Partager via

Comment configurer les paramètres des clusters Big Data après le déploiement

S’applique à : SQL Server 2019 (15.x)

Important

Les clusters Big Data Microsoft SQL Server 2019 sont mis hors service. La prise en charge des clusters Big Data SQL Server 2019 a pris fin le 28 février 2025. Pour plus d’informations, consultez le billet de blog d’annonce et les options Big Data sur la plateforme Microsoft SQL Server.

Les paramètres de cluster, de service et de ressources pour les clusters Big Data SQL Server peuvent être configurés après le déploiement via l’interface azdata CLI. Cette fonctionnalité permet aux administrateurs de clusters Big Data SQL Server d’ajuster les configurations pour répondre toujours aux exigences de charge de travail. Cet article décrit des exemples de scénarios sur la configuration des exigences de fuseau horaire et de charge de travail Spark. La fonctionnalité de configuration post-déploiement suit un flux d’application défini, diff.

Note

La configuration des paramètres de post-déploiement est disponible uniquement dans les clusters Big Data SQL Server CU9 et les déploiements ultérieurs. La configuration des paramètres n’inclut pas la configuration de mise à l’échelle, de stockage ou de point de terminaison. Vous trouverez ici des options et des instructions pour configurer des clusters Big Data SQL Server avant CU9.

Scénario pas à pas : configurer un fuseau horaire sur des clusters Big Data SQL Server

À compter de SQL Server Big Data Clusters CU13, il est possible de personnaliser la configuration du fuseau horaire du cluster. Les horodatages des services s’alignent donc sur le fuseau horaire sélectionné. Le paramètre ne s’applique pas au plan de contrôle du cluster Big Data, il définit la nouvelle configuration de fuseau horaire pour tous les pools SQL Server (master, calcul et données), les composants Hadoop et Spark.

Note

Par défaut, les clusters Big Data SQL Server définissent UTC comme fuseau horaire.

Utilisez la commande suivante pour définir la configuration du fuseau horaire :

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Appliquer les paramètres en attente au cluster

La commande suivante applique la configuration et redémarre tous les services. Passez en revue les dernières sections de cet article sur la façon de suivre les modifications et de contrôler le processus de configuration.

azdata bdc settings apply

Scénario pas à pas : configurer le cluster pour répondre à vos besoins en charge de travail Spark

Afficher les configurations actuelles du service Spark du cluster Big Data

L’exemple suivant montre comment afficher les paramètres configurés par l’utilisateur du service Spark. Vous pouvez afficher tous les paramètres configurables possibles, gérés par le système et tous les paramètres configurables et les paramètres en attente via des paramètres facultatifs. Consultez azdata bdc spark l’instruction pour plus d’informations.

azdata bdc spark settings show

Sample output

Spark Service

Setting Running Value
spark-defaults-conf.spark.driver.cores 1
spark-defaults-conf.spark.driver.memory 1664m

Modifier le nombre par défaut de cœurs et de mémoire pour le pilote Spark

Mettez à jour le nombre par défaut de cœurs sur deux et la mémoire par défaut sur 7424 Mo pour le service Spark. Cela affecte toutes les ressources avec Spark, pour le service Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Modifier le nombre par défaut de cœurs et de mémoire pour les exécuteurs Spark dans le pool de stockage

Mettez à jour le nombre par défaut de cœurs d’exécuteur sur 4 pour le pool de stockage.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Configurer des chemins d’accès supplémentaires au chemin de classe par défaut des applications Spark

Le /opt/hadoop/share/hadoop/tools/lib/ chemin d’accès contient plusieurs bibliothèques à utiliser par vos applications Spark, mais le chemin référencé n’est pas chargé par défaut dans le chemin de classe des applications Spark. Pour activer ce paramètre, appliquez le modèle de configuration suivant.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Afficher les modifications apportées aux paramètres en attente dans le cluster Big Data

Affichez les modifications des paramètres en attente pour le service Spark uniquement et sur l’ensemble du cluster Big Data.

Paramètres du service Spark en attente

azdata bdc spark settings show --filter-option=pending --include-details

Spark Service

Setting Running Value Configured Value Configurable Configured Heure de la dernière mise à jour
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Tous les paramètres en attente

azdata bdc settings show --filter-option=pending --include-details --recursive

Paramètres du service Spark - En attente

Setting Running Value Configured Value Configurable Configured Heure de la dernière mise à jour
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Paramètres Spark de ressource Storage-0 - En attente

Setting Running Value Configured Value Configurable Configured Heure de la dernière mise à jour
spark-defaults-conf.spark.executor.cores 1 4 true true

Appliquer les paramètres en attente au cluster Big Data

azdata bdc settings apply

Surveiller l’état de la mise à jour de la configuration

azdata bdc status show

Optional steps

Rétablir les paramètres de configuration en attente

Si vous déterminez que vous ne souhaitez plus modifier les paramètres de configuration en attente, vous pouvez annuler l’étape de ces paramètres. Cela rétablit les paramètres en attente dans toutes les étendues.

azdata bdc settings revert

Abandonner la mise à niveau de configuration

Si la mise à niveau de configuration échoue pour l’un des composants, vous pouvez annuler le processus de mise à niveau et renvoyer le cluster à ses configurations antérieures. Les paramètres qui ont été intermédiaires pour modification pendant la mise à niveau sont à nouveau répertoriés comme paramètres en attente.

azdata bdc settings cancel-apply

Next steps

Configurer un cluster Big Data SQL Server

  • Last updated on