Troubleshoot HDFS

이 문서에는 SQL Server 2019 빅 데이터 클러스터의 HDFS 오류에 대한 문제 해결 시나리오가 포함되어 있습니다.

HDFS 힙 크기 문제 해결

Symptom

SQL Server 빅 데이터 클러스터에서: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

Cause

HDFS 힙 크기가 제대로 구성되지 않을 수 있습니다. namenode JVM 힙의 적절한 설정은 파일 및 블록 수, HDFS 시스템의 부하와 같은 여러 요인에 따라 달라집니다. 힙 크기를 계산하는 방법에 대한 자세한 내용은 이름 노드 힙 크기 구성을 참조하세요.

Resolution

SQL Server 빅 데이터 클러스터에서 HDFS 이름 노드 프로세스의 힙 크기는 빅 데이터 클러스터 구성 hdfs-env.HDFS_NAMENODE_OPTS에 의해 제어되며, 기본값은 HDFS 구성 속성에 지정된 대로 2GB입니다. 이 해결 방법은 전체 빅 데이터 클러스터에 대한 전역 구성 변경인 힙 크기를 늘리는 것을 제안합니다.

SQL Server 빅 데이터 클러스터 런타임 구성 기능은 SQL Server 2019 CU9 이후 기본적으로 사용하도록 설정됩니다. 계속하려면 클러스터를 사용 가능한 최신 버전으로 CU9+로 업그레이드합니다. 자세한 내용은 SQL Server 빅 데이터 클러스터 릴리스 정보를 참조하세요.

HDFS namenode의 힙 크기를 늘리려면 배포 후 구성 가이드를 따릅니다.

다음 샘플에서는 HDFS 네임 노드 힙을 4GB로 늘리는 데 사용합니다 azdata . 이 작업은 CU9 이상에서만 사용할 수 있습니다.

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

변경 사항을 확인하고 업데이트 상태를 모니터링하려면 다음을 수행합니다.

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

See also

• azdata bdc(Azure Data CLI)
• Spark HDFS 구성

Next steps

• azdata 및 Grafana 대시보드를 사용하여 애플리케이션 모니터링
• 자습서: SQL Server 2019 빅 데이터 클러스터에서 한 샘플 노트북 실행
• HDFS 계층화 구성