Konfigurieren von Einstellungen für Big Data-Cluster nach der Bereitstellung

Gilt für: SQL Server 2019 (15.x)

Cluster-, Dienst- und Ressourcenbereichseinstellungen für SQL Server Big Data Cluster können nach der Bereitstellung über die azdata CLI konfiguriert werden. Mit dieser Funktion können SQL Server Big Data Cluster-Administratoren Konfigurationen so anpassen, dass sie immer den Workloadanforderungen entsprechen. In diesem Artikel werden Beispielszenarien zum Konfigurieren von Zeitzonen- und Spark-Workloadanforderungen erläutert. Die Konfiguration nach der Bereitstellung folgt einem satz, diff, apply flow.

Schritt-für-Schritt-Szenario: Konfigurieren der Zeitzone in SQL Server Big Data-Clustern

Ab SQL Server Big Data Cluster CU13 ist es möglich, die Konfiguration der Clusterzeitzone anzupassen, sodass die Zeitstempel der Dienste an der ausgewählten Zeitzone ausgerichtet sind. Die Einstellung gilt nicht für die Big Data-Clustersteuerungsebene, sie legt die neue Zeitzonenkonfiguration für alle SQL Server-Pools (Master, Compute und Daten), Hadoop-Komponenten und Spark fest.

Verwenden Sie den folgenden Befehl, um die Zeitzonenkonfiguration festzulegen:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Anwenden der ausstehenden Einstellungen auf den Cluster

Der folgende Befehl wendet die Konfiguration an und startet alle Dienste neu. In den letzten Abschnitten dieses Artikels erfahren Sie, wie Sie Änderungen nachverfolgen und den Konfigurationsprozess steuern können.

azdata bdc settings apply

Schritt-für-Schritt-Szenario: Konfigurieren des Clusters, um Ihre Spark-Workloadanforderungen zu erfüllen

Anzeigen der aktuellen Konfigurationen des Spark-Diensts des Big Data-Clusters

Das folgende Beispiel zeigt, wie die vom Benutzer konfigurierten Einstellungen des Spark-Diensts angezeigt werden. Sie können alle möglichen konfigurierbaren Einstellungen, vom System verwalteten und alle konfigurierbaren Einstellungen sowie ausstehende Einstellungen über optionale Parameter anzeigen. Besuchen Sie azdata bdc spark die Erklärung , um weitere Informationen zu erfahren.

azdata bdc spark settings show

Sample output

Spark Service

Ändern der Standardanzahl von Kernen und Arbeitsspeicher für den Spark-Treiber

Aktualisieren Sie die Standardanzahl der Kerne auf zwei und den Standardspeicher auf 7424 MB für den Spark-Dienst. Dies wirkt sich auf alle Ressourcen mit Spark für den Spark-Dienst aus.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Ändern der Standardanzahl von Kernen und Arbeitsspeicher für die Spark executors im Speicherpool

Aktualisieren Sie die Standardanzahl der Executorkerne für den Speicherpool auf 4.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Konfigurieren zusätzlicher Pfade zum Standardklassenpfad von Spark-Anwendungen

Der /opt/hadoop/share/hadoop/tools/lib/ Pfad enthält mehrere Bibliotheken, die von Ihren Spark-Anwendungen verwendet werden sollen, der verwiesene Pfad wird jedoch nicht standardmäßig im Klassenpfad von Spark-Anwendungen geladen. Um diese Einstellung zu aktivieren, wenden Sie das folgende Konfigurationsmuster an.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Anzeigen der ausstehenden Einstellungsänderungen im Big Data-Cluster

Zeigen Sie die ausstehenden Einstellungen nur für den Spark-Dienst und den gesamten Big Data-Cluster an.

Ausstehende Spark Service-Einstellungen

azdata bdc spark settings show --filter-option=pending --include-details

Spark Service

Alle ausstehenden Einstellungen

azdata bdc settings show --filter-option=pending --include-details --recursive

Spark Service-Einstellungen – Ausstehend

Speicher-0-Ressourcen-Spark-Einstellungen – Ausstehend

Anwenden der ausstehenden Einstellungen auf den Big Data-Cluster

azdata bdc settings apply

Überwachen des Konfigurationsupdatestatus

azdata bdc status show

Optional steps

Ausstehende Konfigurationseinstellungen wiederherstellen

Wenn Sie feststellen, dass Sie die ausstehenden Konfigurationseinstellungen nicht mehr ändern möchten, können Sie diese Einstellungen aufheben. Dadurch werden die ausstehenden Einstellungen in allen Bereichen wiederhergestellt.

azdata bdc settings revert

Abbrechen des Konfigurationsupgrades

Wenn das Konfigurationsupgrade für eine der Komponenten fehlschlägt, können Sie den Upgradevorgang abbrechen und den Cluster zurück zu den vorherigen Konfigurationen zurückgeben. Einstellungen, die während des Upgrades zur Änderung bereitgestellt wurden, werden erneut als ausstehende Einstellungen aufgeführt.

azdata bdc settings cancel-apply

Next steps

Konfigurieren eines Big Data-Clusters in SQL Server