Compartilhar via

Coletando e analisando logs em clusters de Big Data usando notebooks

Esta página é um índice de notebooks para Big Data Clusters do SQL Server. Esses notebooks executáveis (.ipynb) foram projetados para o SQL Server 2019 para ajudar no registro em log de clusters de Big Data.

Important

Os Clusters de Big Data do Microsoft SQL Server 2019 foram desativados. O suporte para clusters de Big Data do SQL Server 2019 terminou em 28 de fevereiro de 2025. Para obter mais informações, consulte a postagem no blog de anúncios e as opções de Big Data na plataforma microsoft SQL Server.

Cada notebook foi projetado para verificar suas próprias dependências. A opção Executar todas as células é concluída com êxito ou gera uma exceção com uma dica hiperlinkada para outro notebook para resolver a dependência ausente. Siga o hiperlink de dica para o bloco de anotações de destino, clique em Executar todas as células. Após o êxito, retorne ao bloco de anotações original e clique em Executar todas as células.

Depois que todas as dependências forem instaladas, mas Executar todas as células falhar, cada notebook analisará os resultados e, sempre que possível, fornecerá uma dica com hiperlink para outro notebook para ajudar em resolver o problema.

Coletando logs do Cluster de Big Data

Esta seção contém um conjunto de notebooks úteis para a obtenção de logs de um cluster de Big Data do SQL Server.

Name Description
TSG001 – Execute azdata copy-logs Use a interface de linha de comando azdata para copiar dados em clusters de Big Data.
TSG061 – Obter a parte final de todos os logs de contêiner para os pods no namespace do BDC Obtenha todos os logs de contêiner para pods do cluster de Big Data no namespace.
TSG062 – Obter parte final de todos os logs de contêiner anteriores para pods no namespace do BDC Obtenha todos os logs de contêiner anteriores para pods do cluster de Big Data no namespace.
TSG083 – Executar o comando "kubectl cluster-info dump" Use a interface de linha de comando kubetl para despejar informações relacionadas ao cluster de Big Data.
TSG084 – Erro interno do processador de consulta Usando a consulta DMV para obter mais informações sobre o erro interno do processador de consulta.
TSG091 – Obter os logs da CLI do azdata Obtenha os logs azdata do computador local.

Analisar logs de clusters de Big Data

Um conjunto de notebooks para coletar e analisar logs de um cluster de Big Data do SQL Server. O processo de análise sugerirá notebooks de acompanhamento para serem executados em relação aos problemas conhecidos encontrados nos logs.

Name Description
TSG030 – Arquivos de log de erros do SQL Server Obtenha arquivos de log de erros do SQL Server e analise as entradas de log e sugira mais guias de solução de problemas relevantes.
TSG031 – Logs do PolyBase do SQL Server Obtenha os logs do PolyBase do SQL Server, analise as entradas do log e sugira guias adicionais relevantes de solução de problemas.
TSG034 – Logs do Livy Capture os logs do Livy, analise as entradas e sugira guias relevantes de solução de problemas.
TSG035 – Logs de histórico do Spark Obtenha logs do Histórico do Spark, analise as entradas de log e sugira guias adicionais para a solução de problemas relevantes.
TSG036 – Registros do controlador Obtenha as últimas 'n' horas de logs do controlador, analise as entradas de log e sugira guias adicionais de solução de problemas relevantes.
TSG046 – Logs de gateway do Knox Knox fornece um erro HTTP 500 para o cliente e remove detalhes (a pilha) apontando para a causa raiz do problema. Portanto, use este notebook para obter os logs do Knox do cluster. Obtenha os logs do gateway do Knox, analise as entradas de log e sugira guias adicionais de solução de problemas relevantes.
TSG073 – Logs do InfluxDB Obtenha os logs do InfluxDB, analise as entradas de log e faça uma sugestão de guias adicionais de solução de problemas relevantes.
TSG076 – Logs de Pesquisa Elástica Obtenha os logs do Elasticsearch, analise as entradas de log e sugira guias adicionais de solução de problemas relevantes.
TSG077 – Logs do Kibana Obtenha logs do Kibana, analise as entradas de log e sugira orientações adicionais para solução de problemas relevantes.
TSG088 – Logs de datanode do Hadoop Obtenha os logs do datanode do Hadoop, analise as entradas de log e sugira guias adicionais de solução de problemas.
TSG090 – Logs do gerenciador de nós do Yarn Obtenha os logs do NodeManager do Yarn, analise as entradas de log e sugira guias adicionais de solução de problemas relevantes.
TSG092 – Parte final do log supervisor para todos os contêineres no BDC Obtenha a cauda do log do Supervisord para todos os contêineres no BDC, analise as entradas do log e sugira guias adicionais de solução de problemas relevantes.
TSG093 – Registro de log do agente para todos os contêineres no BDC Obtenha logs do Agente para todos os contêineres no BDC, analise as entradas de log e sugira orientações de resolução de problemas relevantes.
TSG094 – Logs do Grafana Obtenha logs do Grafana, analise as entradas de log e sugira guias adicionais para solução de problemas relevantes.
TSG095 – logs de NameNode do Hadoop Obtenha os logs namenode do Hadoop, analise as entradas e sugira guias adicionais para solução de problemas.
TSG096 – Registros do Zookeeper Obtenha os logs do Zookeeper, analise as entradas desses logs e sugira guias relevantes para solução de problemas.

Next steps

  • Last updated on