Troubleshoot HDFS

Dieser Artikel enthält Problembehandlungsszenarien für HDFS-Fehler in SQL Server 2019 Big Data Clusters.

Problembehandlung der HDFS-Heapgröße

Symptom

In SQL Server Big Data Clustern: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

Cause

Die HDFS-Heapgröße könnte nicht korrekt konfiguriert sein. Die richtigen Einstellungen des JVM-Heaps der Namenode hängen von vielen Faktoren ab, z. B. die Anzahl der Dateien und Blöcke und die Last auf dem HDFS-System. Weitere Informationen zum Berechnen der Heapgröße finden Sie unter Konfigurieren der Namenode-Heapgröße.

Resolution

In SQL Server Big Data Clustern wird die Heapgröße des HDFS-Namenode-Prozesses durch die Konfiguration hdfs-env.HDFS_NAMENODE_OPTSvon Big Data-Clustern gesteuert, der Standardwert ist 2 GB, wie in HDFS-Konfigurationseigenschaften angegeben. Diese Problemumgehung schlägt vor, die Heap-Größe zu erhöhen, was eine globale Konfigurationsänderung für den gesamten Big Data-Cluster ist.

Das Sql Server Big Data Cluster-Laufzeitkonfigurationsfeature ist standardmäßig nach SQL Server 2019 CU9 aktiviert. Um fortzufahren, aktualisieren Sie Ihren Cluster auf CU9+, vorzugsweise auf die neueste verfügbare Version. Weitere Informationen finden Sie in den Versionshinweisen zu SQL Server Big Data Clustern.

Um die Heapgröße von HDFS-Namenode zu erhöhen, folgen Sie dem Konfigurationshandbuch nach der Bereitstellung.

Im folgenden Beispiel wird der HDFS-Namenode-Heap mithilfe von azdata auf 4 GB erhöht. Beachten Sie, dass dieser Vorgang nur in CU9 oder höher verfügbar ist.

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

So bestätigen Sie die Änderung und überwachen den Updatestatus:

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

See also

• azdata bdc (Azure Data CLI)
• Konfigurieren von Spark HDFS

Next steps

• Überwachen von Anwendungen mit azdata und einem Grafana-Dashboard
• Tutorial: Ausführen eines Beispielnotebooks auf einem SQL Server 2019-Big Data-Cluster
• Konfigurieren von HDFS-Schichtung