Troubleshoot HDFS

Este artigo contém cenários de solução de problemas para erros do HDFS em Clusters de Big Data do SQL Server 2019.

Solucionar problemas relacionados ao tamanho do heap do HDFS

Symptom

Em clusters de Big Data do SQL Server: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

Cause

O tamanho do heap do HDFS pode não estar configurado corretamente. As configurações adequadas do heap de JVM do namenode dependem de muitos fatores, como o número de arquivos e blocos e a carga no sistema HDFS. Para obter mais informações sobre como calcular o tamanho do heap, consulte Configurando o tamanho do heap de namenode.

Resolution

Em Clusters de Big Data do SQL Server, o tamanho do heap do processo de namenode do HDFS é controlado pela configuração hdfs-env.HDFS_NAMENODE_OPTSde clusters de Big Data, o valor padrão é 2 GB, conforme especificado nas propriedades de configuração do HDFS. Essa solução alternativa propõe aumentar o tamanho do heap, que é uma alteração de configuração global para todo o cluster de Big Data.

A funcionalidade de configuração de runtime dos Clusters de Big Data do SQL Server é ativada por padrão após a atualização do SQL Server 2019 CU9. Para continuar, atualize seu cluster para CU9+, de preferência para a versão mais recente disponível. Para obter mais informações, consulte as notas de versão de clusters de Big Data do SQL Server.

Para aumentar o tamanho do heap do HDFS namenode, siga o guia de configuração pós-implantação.

O exemplo a seguir usa azdata para aumentar o heap de namenode do HDFS para 4 GB. Observe que essa operação só está disponível na CU9 ou posterior.

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

Para confirmar a alteração e monitorar o status da atualização:

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

See also

• azdata bdc (CLI de Dados do Azure)
• Configurar Spark HDFS

Next steps

• Monitorar aplicativos com o Painel do Grafana e azdata
• Tutorial: Executar um notebook de exemplo em um Cluster de Big Data do SQL Server 2019
• Configurar Tierização do HDFS