Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
S’applique à : SQL Server 2019 (15.x)
Important
Les clusters Big Data Microsoft SQL Server 2019 sont mis hors service. La prise en charge des clusters Big Data SQL Server 2019 a pris fin le 28 février 2025. Pour plus d’informations, consultez le billet de blog d’annonce et les options Big Data sur la plateforme Microsoft SQL Server.
Les clusters Big Data prennent en charge le temps de déploiement et la configuration du temps de post-déploiement des composants Apache Spark et Hadoop au niveau des étendues de service et de ressources. Les clusters Big Data utilisent les mêmes valeurs de configuration par défaut que le projet open source respectif pour la plupart des paramètres. Les paramètres que nous modifions sont répertoriés ci-dessous, ainsi qu’une description et leur valeur par défaut. En dehors de la ressource de passerelle, il n’existe aucune différence entre les paramètres configurables au niveau de l’étendue du service et de l’étendue de la ressource.
Vous trouverez toutes les configurations possibles et les valeurs par défaut pour chacun sur le site de documentation Apache associé :
- Apache Spark : https://spark.apache.org/docs/latest/configuration.html
- Apache Hadoop:
- HDFS HDFS-Site : https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
- HDFS Core-Site : https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/core-default.xml
- Fil: https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceModel.html
- Ruche: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-MetaStore
- Livy: https://github.com/cloudera/livy/blob/master/conf/livy.conf.template
- Passerelle Apache Knox : https://knox.apache.org/books/knox-0-14-0/user-guide.html#Gateway+Details
Les paramètres que nous ne prenons pas en charge la configuration sont également répertoriés ci-dessous.
Note
Pour inclure Spark dans le pool de stockage, définissez la valeur includeSpark booléenne dans le bdc.json fichier de configuration sur spec.resources.storage-0.spec.settings.spark. Pour obtenir des instructions , consultez Configurer Apache Spark et Apache Hadoop dans les clusters Big Data .
Paramètres Spark spécifiques aux clusters Big Data
Les paramètres Spark ci-dessous sont ceux qui ont des valeurs par défaut spécifiques à BDC, mais qui sont configurables par l’utilisateur. Les paramètres gérés par le système ne sont pas inclus.
| Setting Name | Description | Type | Default Value |
|---|---|---|---|
| capacity-scheduler.yarn.scheduler.capacity.maximum-applications | Nombre maximal d’applications dans le système qui peuvent être actives simultanément à la fois en cours d’exécution et en attente. | int | 10000 |
| capacity-scheduler.yarn.scheduler.capacity.resource-calculator | Implémentation resourceCalculator à utiliser pour comparer les ressources dans le planificateur. | string | org.apache.hadoop.yarn.util.resource.DominantResourceCalculator |
| capacity-scheduler.yarn.scheduler.capacity.root.queues | Planificateur de capacité avec file d’attente prédéfinie appelée racine. | string | default |
| capacity-scheduler.yarn.scheduler.capacity.root.default.capacity | Capacité de file d’attente en pourcentage (%) en tant que capacité minimale de file d’attente de ressources absolue pour la file d’attente racine. | int | 100 |
| spark-defaults-conf.spark.driver.cores | Nombre de cœurs à utiliser pour le processus de pilote, uniquement en mode cluster. | int | 1 |
| spark-defaults-conf.spark.driver.memoryOverhead | Quantité de mémoire hors tas à allouer par pilote en mode cluster. | int | 384 |
| spark-defaults-conf.spark.executor.instances | Nombre d’exécuteurs pour l’allocation statique. | int | 1 |
| spark-defaults-conf.spark.executor.cores | Nombre de cœurs à utiliser sur chaque exécuteur. | int | 1 |
| spark-defaults-conf.spark.driver.memory | Quantité de mémoire à utiliser pour le processus du pilote. | string | 1g |
| spark-defaults-conf.spark.executor.memory | Quantité de mémoire à utiliser par processus d’exécuteur. | string | 1g |
| spark-defaults-conf.spark.executor.memoryOverhead | Quantité de mémoire hors tas à allouer par exécuteur. | int | 384 |
| yarn-site.yarn.nodemanager.resource.memory-mb | Quantité de mémoire physique, en Mo, qui peut être allouée pour les conteneurs. | int | 8192 |
| yarn-site.yarn.scheduler.maximum-allocation-mb | Allocation maximale pour chaque demande de conteneur au niveau du gestionnaire de ressources. | int | 8192 |
| yarn-site.yarn.nodemanager.resource.cpu-vcores | Nombre de cœurs d’UC qui peuvent être alloués pour les conteneurs. | int | 32 |
| yarn-site.yarn.scheduler.maximum-allocation-vcores | Allocation maximale pour chaque demande de conteneur au niveau du gestionnaire de ressources, en termes de cœurs de processeur virtuel. | int | 8 |
| yarn-site.yarn.nodemanager.linux-container-executor.secure-mode.pool-user-count | Nombre d’utilisateurs du pool pour l’exécuteur de conteneur Linux en mode sécurisé. | int | 6 |
| yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent | Pourcentage maximal de ressources dans le cluster qui peuvent être utilisées pour exécuter des maîtres d’application. | float | 0.1 |
| yarn-site.yarn.nodemanager.container-executor.class | Exécuteurs de conteneur pour un ou plusieurs systèmes d’exploitation spécifiques. | string | org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor |
| capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor | Le multiple de la capacité de file d’attente qui peut être configurée pour permettre à un seul utilisateur d’acquérir plus de ressources. | int | 1 |
| capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity | Capacité maximale de file d’attente en pourcentage (%) en tant que capacité maximale de file d’attente de ressources flottante OU comme capacité maximale de file d’attente absolue. La définition de cette valeur sur -1 définit la capacité maximale sur 100%. | int | 100 |
| capacity-scheduler.yarn.scheduler.capacity.root.default.state | L’état de la file d’attente peut être l’un des en cours d’exécution ou arrêtés. | string | RUNNING |
| capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime | Durée de vie maximale d’une application soumise à une file d’attente en secondes. Toute valeur inférieure ou égale à zéro est considérée comme désactivée. | int | -1 |
| capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime | Durée de vie par défaut d’une application soumise à une file d’attente en secondes. Toute valeur inférieure ou égale à zéro est considérée comme désactivée. | int | -1 |
| capacity-scheduler.yarn.scheduler.capacity.node-locality-delay | Nombre d’opportunités de planification manquées après lesquelles CapacityScheduler tente de planifier des conteneurs locaux en rack. | int | 40 |
| capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay | Nombre d’opportunités de planification manquées supplémentaires sur les délais de nœud-localité, après quoi capacityScheduler tente de planifier des conteneurs hors commutateur. | int | -1 |
| hadoop-env.HADOOP_HEAPSIZE_MAX | Taille maximale par défaut du tas de tous les processus JVM Hadoop. | int | 2048 |
| yarn-env.YARN_RESOURCEMANAGER_HEAPSIZE | Taille du tas de Yarn ResourceManager. | int | 2048 |
| yarn-env.YARN_NODEMANAGER_HEAPSIZE | Taille du tas de Yarn NodeManager. | int | 2048 |
| mapred-env.HADOOP_JOB_HISTORYSERVER_HEAPSIZE | Taille du tas de Hadoop Job HistoryServer. | int | 2048 |
| hive-env.HADOOP_HEAPSIZE | Taille du tas de Hadoop pour Hive. | int | 2048 |
| livy-conf.livy.server.session.timeout-check | Recherchez le délai d’expiration de session du serveur Livy. | bool | true |
| livy-conf.livy.server.session.timeout-check.skip-busy | Ignorez le délai d’expiration du délai d’expiration de la session du serveur Livy. | bool | true |
| livy-conf.livy.server.session.timeout | Délai d’expiration de la session de serveur livy dans (ms/s/m | min/h/d/y). | string | 2h |
| livy-conf.livy.server.yarn.poll-interval | Intervalle d’interrogation pour yarn dans le serveur Livy dans (ms/s/m | min/h/d/y). | string | 500ms |
| livy-conf.livy.rsc.jars | Jars Livy RSC. | string | local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar |
| livy-conf.livy.repl.jars | Jars de repl Livy. | string | local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar |
| livy-conf.livy.rsc.sparkr.package | Package Livy RSC SparkR. | string | hdfs:///system/livy/sparkr.zip |
| livy-env.LIVY_SERVER_JAVA_OPTS | Options Java du serveur Livy. | string | -Xmx2g |
| spark-defaults-conf.spark.r.backendConnectionTimeout | Délai d’expiration de connexion défini par le processus R sur sa connexion à RBackend en secondes. | int | 86400 |
| spark-defaults-conf.spark.pyspark.python | Option Python pour Spark. | string | /opt/bin/python3 |
| spark-defaults-conf.spark.yarn.jars | Yarn jars. | string | local:/opt/spark/jars/* |
| spark-history-server-conf.spark.history.fs.cleaner.maxAge | Âge maximal des fichiers d’historique des travaux avant leur suppression par le nettoyeur d’historique du système de fichiers dans (ms/s/m | min/h/d/y). | string | 7d |
| spark-history-server-conf.spark.history.fs.cleaner.interval | Intervalle de nettoyage de l’historique spark dans (ms/s/m | min/h/d/y). | string | 12h |
| hadoop-env.HADOOP_CLASSPATH | Définit le chemin de classe Hadoop supplémentaire. | string | |
| spark-env.SPARK_DAEMON_MEMORY | Mémoire du démon Spark. | string | 2g |
| yarn-site.yarn.log-aggregation.retain-seconds | Lorsque l’agrégation de journaux est activée, cette propriété détermine le nombre de secondes pour conserver les journaux. | int | 604800 |
| yarn-site.yarn.nodemanager.log-aggregation.compression-type | Type de compression pour l’agrégation de journaux pour Yarn NodeManager. | string | gz |
| yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | Intervalle de secondes pour la surveillance de la restauration dans l’agrégation de journaux NodeManager. | int | 3600 |
| yarn-site.yarn.scheduler.minimum-allocation-mb | Allocation minimale pour chaque requête de conteneur au niveau de Resource Manager, en Mo. | int | 512 |
| yarn-site.yarn.scheduler.minimum-allocation-vcores | Allocation minimale pour chaque demande de conteneur au niveau de Resource Manager en termes de cœurs de processeur virtuel. | int | 1 |
| yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms | Durée d’attente jusqu’à ce qu’un gestionnaire de nœuds soit considéré comme mort. | int | 180000 |
| yarn-site.yarn.resourcemanager.zk-timeout-ms | Délai d’expiration de session « ZooKeeper » en millisecondes. | int | 40000 |
| capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority | Liste de contrôle d’accès des personnes pouvant envoyer des applications avec une priorité configurée. Par exemple, [user={name} group={name} max_priority={priority} default_priority={priority}]. | string | * |
| includeSpark | Boolean pour configurer si les travaux Spark peuvent s’exécuter ou non dans le pool de stockage. | bool | true |
| enableSparkOnK8s | Boolean pour configurer l’activation ou non de Spark sur K8s, qui ajoute des conteneurs pour K8s dans spark head. | bool | false |
| sparkVersion | Version de Spark | string | 2.4 |
| spark-env.PYSPARK_ARCHIVES_PATH | Chemin d’accès aux fichiers jar d’archive pyspark utilisés dans les travaux Spark. | string | local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/py4j-0.10.7-src.zip |
Les sections suivantes répertorient les configurations non prises en charge.
Paramètres HDFS spécifiques aux clusters Big Data
Les paramètres HDFS ci-dessous sont ceux qui ont des valeurs par défaut spécifiques à BDC, mais qui sont configurables par l’utilisateur. Les paramètres gérés par le système ne sont pas inclus.
| Setting Name | Description | Type | Default Value |
|---|---|---|---|
| hdfs-site.dfs.replication | Réplication de bloc par défaut. | int | 2 |
| hdfs-site.dfs.namenode.provided.enabled | Permet au nœud de nom de gérer les stockages fournis. | bool | true |
| hdfs.site.dfs.namenode.mount.acls.enabled | Définissez la valeur true pour hériter des listes de contrôle d’accès (listes de contrôle d’accès) des magasins distants pendant le montage. | bool | false |
| hdfs-site.dfs.datanode.provided.enabled | Permet au nœud de données de gérer les stockages fournis. | bool | true |
| hdfs-site.dfs.datanode.provided.volume.lazy.load | Activez la charge différée dans le nœud de données pour les stockages fournis. | bool | true |
| hdfs-site.dfs.provided.aliasmap.inmemory.enabled | Activez la carte d’alias en mémoire pour les stockages fournis. | bool | true |
| hdfs-site.dfs.provided.aliasmap.class | Classe utilisée pour spécifier le format d’entrée des blocs sur les stockages fournis. | string | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient |
| hdfs-site.dfs.namenode.provided.aliasmap.class | Classe utilisée pour spécifier le format d’entrée des blocs sur les stockages fournis pour namenode. | string | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient |
| hdfs-site.dfs.provided.aliasmap.load.retries | Nombre de nouvelles tentatives sur le datanode pour charger le mappage d’alias fourni. | int | 0 |
| hdfs-site.dfs.provided.aliasmap.inmemory.batch-size | Taille du lot lors de l’itération sur la base de données qui sauvegarde l’aliasmap. | int | 500 |
| hdfs-site.dfs.datanode.provided.volume.readthrough | Activez la lecture pas à pas pour les stockages fournis dans datanode. | bool | true |
| hdfs-site.dfs.provided.cache.capacity.mount | Activez le montage de capacité du cache pour les stockages fournis. | bool | true |
| hdfs-site.dfs.provided.overreplication.factor | Facteur de surréplication pour les stockages fournis. Nombre de blocs de cache sur BDC créés par bloc HDFS distant. | float | 1 |
| hdfs-site.dfs.provided.cache.capacity.fraction | Fraction de capacité du cache pour le stockage fourni. Fraction de la capacité totale dans le cluster qui peut être utilisée pour mettre en cache les données à partir de magasins fournis. | float | 0.01 |
| hdfs-site.dfs.provided.cache.capacity.bytes | Capacité de cluster à utiliser comme espace de cache pour les blocs fournis, en octets. | int | -1 |
| hdfs-site.dfs.ls.limit | Limitez le nombre de fichiers imprimés par ls. | int | 500 |
| hdfs-env.HDFS_NAMENODE_OPTS | Options namenode HDFS. | string | -Dhadoop.security.logger=INFO,RFAS -Xmx2g |
| hdfs-env.HDFS_DATANODE_OPTS | Options de datanode HDFS. | string | -Dhadoop.security.logger=ERROR,RFAS -Xmx2g |
| hdfs-env.HDFS_ZKFC_OPTS | Options ZKFC HDFS. | string | -Xmx1g |
| hdfs-env.HDFS_JOURNALNODE_OPTS | Options journalNode HDFS. | string | -Xmx2g |
| hdfs-env.HDFS_AUDIT_LOGGER | Options de l’enregistreur d’événements d’audit HDFS. | string | INFO,RFAAUDIT |
| core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | Niveaux de hiérarchie pour le groupe de recherche LDAP Hadoop du site principal. | int | 10 |
| core-site.fs.permissions.umask-mode | Mode umask d’autorisation. | string | 077 |
| core-site.hadoop.security.kms.client.failover.max.retries | Nombre maximal de nouvelles tentatives pour le basculement du client. | int | 20 |
| zoo-cfg.tickTime | Tick Time for 'ZooKeeper' config. | int | 2000 |
| zoo-cfg.initLimit | Init Time for 'ZooKeeper' config. | int | 10 |
| zoo-cfg.syncLimit | Heure de synchronisation de la configuration « ZooKeeper ». | int | 5 |
| zoo-cfg.maxClientCnxns | Nombre maximal de connexions client pour la configuration « ZooKeeper ». | int | 60 |
| zoo-cfg.minSessionTimeout | Délai minimal de session pour la configuration « ZooKeeper ». | int | 4000 |
| zoo-cfg.maxSessionTimeout | Délai maximal de session pour la configuration « ZooKeeper ». | int | 40000 |
| zoo-cfg.autopurge.snapRetainCount | Alignement du nombre de conservations pour la configuration « ZooKeeper ». | int | 3 |
| zoo-cfg.autopurge.purgeInterval | Intervalle de vidage pour la configuration « ZooKeeper ». | int | 0 |
| zookeeper-java-env.JVMFLAGS | Indicateurs JVM pour l’environnement Java dans « ZooKeeper ». | string | -Xmx1G -Xms1G |
| zookeeper-log4j-properties.zookeeper.console.threshold | Seuil de la console log4j dans « ZooKeeper ». | string | INFO |
| zoo-cfg.zookeeper.request.timeout | Contrôle le délai d’expiration de la requête « ZooKeeper » en millisecondes. | int | 40000 |
| kms-site.hadoop.security.kms.encrypted.key.cache.size | Taille du cache pour la clé chiffrée dans hadoop kms. | int | 500 |
Paramètres de passerelle par défaut spécifiques aux clusters Big Data
Les paramètres de passerelle ci-dessous sont ceux qui ont des valeurs par défaut spécifiques à BDC, mais qui sont configurables par l’utilisateur. Les paramètres gérés par le système ne sont pas inclus. Les paramètres de passerelle ne peuvent être configurés qu’à l’étendue de la ressource .
| Setting Name | Description | Type | Default Value |
|---|---|---|---|
| gateway-site.gateway.httpclient.socketTimeout | Délai d’expiration du socket pour le client HTTP dans la passerelle dans (ms/s/m). | string | 90s |
| gateway-site.sun.security.krb5.debug | Déboguer pour la sécurité Kerberos. | bool | true |
| knox-env.KNOX_GATEWAY_MEM_OPTS | Options de mémoire de la passerelle Knox. | string | -Xmx2g |
Configurations Spark non prises en charge
Les configurations suivantes spark ne sont pas prises en charge et ne peuvent pas être modifiées dans le contexte du cluster Big Data.
| Category | Sub-Category | File | Unsupported Configurations |
|---|---|---|---|
| yarn-site | yarn-site.xml | yarn.log-aggregation-enable | |
| yarn.log.server.url | |||
| yarn.nodemanager.pmem-check-enabled | |||
| yarn.nodemanager.vmem-check-enabled | |||
| yarn.nodemanager.aux-services | |||
| yarn.resourcemanager.address | |||
| yarn.nodemanager.address | |||
| yarn.client.failover-no-ha-proxy-provider | |||
| yarn.client.failover-proxy-provider | |||
| yarn.http.policy | |||
| yarn.nodemanager.linux-container-executor.secure-mode.use-pool-user | |||
| yarn.nodemanager.linux-container-executor.secure-mode.pool-user-prefix | |||
| yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | |||
| yarn.acl.enable | |||
| yarn.admin.acl | |||
| yarn.resourcemanager.hostname | |||
| yarn.resourcemanager.principal | |||
| yarn.resourcemanager.keytab | |||
| yarn.resourcemanager.webapp.spnego-keytab-file | |||
| yarn.resourcemanager.webapp.spnego-principal | |||
| yarn.nodemanager.principal | |||
| yarn.nodemanager.keytab | |||
| yarn.nodemanager.webapp.spnego-keytab-file | |||
| yarn.nodemanager.webapp.spnego-principal | |||
| yarn.resourcemanager.ha.enabled | |||
| yarn.resourcemanager.cluster-id | |||
| yarn.resourcemanager.zk-address | |||
| yarn.resourcemanager.ha.rm-ids | |||
| yarn.resourcemanager.hostname.* | |||
| capacity-scheduler | capacity-scheduler.xml | yarn.scheduler.capacity.root.acl_submit_applications | |
| yarn.scheduler.capacity.root.acl_administer_queue | |||
| yarn.scheduler.capacity.root.default.acl_application_max_priority | |||
| yarn-env | yarn-env.sh | ||
| spark-defaults-conf | spark-defaults.conf | spark.yarn.archive | |
| spark.yarn.historyServer.address | |||
| spark.eventLog.enabled | |||
| spark.eventLog.dir | |||
| spark.sql.warehouse.dir | |||
| spark.sql.hive.metastore.version | |||
| spark.sql.hive.metastore.jars | |||
| spark.extraListeners | |||
| spark.metrics.conf | |||
| spark.ssl.enabled | |||
| spark.authenticate | |||
| spark.network.crypto.enabled | |||
| spark.ssl.keyStore | |||
| spark.ssl.keyStorePassword | |||
| spark.ui.enabled | |||
| spark-env | spark-env.sh | SPARK_NO_DAEMONIZE | |
| SPARK_DIST_CLASSPATH | |||
| spark-history-server-conf | spark-history-server.conf | spark.history.fs.logDirectory | |
| spark.ui.proxyBase | |||
| spark.history.fs.cleaner.enabled | |||
| spark.ssl.enabled | |||
| spark.authenticate | |||
| spark.network.crypto.enabled | |||
| spark.ssl.keyStore | |||
| spark.ssl.keyStorePassword | |||
| spark.history.kerberos.enabled | |||
| spark.history.kerberos.principal | |||
| spark.history.kerberos.keytab | |||
| spark.ui.filters | |||
| spark.acls.enable | |||
| spark.history.ui.acls.enable | |||
| spark.history.ui.admin.acls | |||
| spark.history.ui.admin.acls.groups | |||
| livy-conf | livy.conf | livy.keystore | |
| livy.keystore.password | |||
| livy.spark.master | |||
| livy.spark.deploy-mode | |||
| livy.rsc.jars | |||
| livy.repl.jars | |||
| livy.rsc.pyspark.archives | |||
| livy.rsc.sparkr.package | |||
| livy.repl.enable-hive-context | |||
| livy.superusers | |||
| livy.server.auth.type | |||
| livy.server.launch.kerberos.keytab | |||
| livy.server.launch.kerberos.principal | |||
| livy.server.auth.kerberos.principal | |||
| livy.server.auth.kerberos.keytab | |||
| livy.impersonation.enabled | |||
| livy.server.access-control.enabled | |||
| livy.server.access-control.* | |||
| livy-env | livy-env.sh | ||
| hive-site | hive-site.xml | javax.jdo.option.ConnectionURL | |
| javax.jdo.option.ConnectionDriverName | |||
| javax.jdo.option.ConnectionUserName | |||
| javax.jdo.option.ConnectionPassword | |||
| hive.metastore.uris | |||
| hive.metastore.pre.event.listeners | |||
| hive.security.authorization.enabled | |||
| hive.security.metastore.authenticator.manager | |||
| hive.security.metastore.authorization.manager | |||
| hive.metastore.use.SSL | |||
| hive.metastore.keystore.path | |||
| hive.metastore.keystore.password | |||
| hive.metastore.truststore.path | |||
| hive.metastore.truststore.password | |||
| hive.metastore.kerberos.keytab.file | |||
| hive.metastore.kerberos.principal | |||
| hive.metastore.sasl.enabled | |||
| hive.metastore.execute.setugi | |||
| hive.cluster.delegation.token.store.class | |||
| hive-env | hive-env.sh |
Configurations HDFS non prises en charge
Les configurations suivantes hdfs ne sont pas prises en charge et ne peuvent pas être modifiées dans le contexte du cluster Big Data.
| Category | Sub-Category | File | Unsupported Configurations |
|---|---|---|---|
| core-site | core-site.xml | fs.defaultFS | |
| ha.zookeeper.quorum | |||
| hadoop.tmp.dir | |||
| hadoop.rpc.protection | |||
| hadoop.security.auth_to_local | |||
| hadoop.security.authentication | |||
| hadoop.security.authorization | |||
| hadoop.http.authentication.simple.anonymous.allowed | |||
| hadoop.http.authentication.type | |||
| hadoop.http.authentication.kerberos.principal | |||
| hadoop.http.authentication.kerberos.keytab | |||
| hadoop.http.filter.initializers | |||
| hadoop.security.group.mapping.* | |||
| hadoop.security.key.provider.path | |||
| mapred-env | mapred-env.sh | ||
| hdfs-site | hdfs-site.xml | dfs.namenode.name.dir | |
| dfs.datanode.data.dir | |||
| dfs.namenode.acls.enabled | |||
| dfs.namenode.datanode.registration.ip-hostname-check | |||
| dfs.client.retry.policy.enabled | |||
| dfs.permissions.enabled | |||
| dfs.nameservices | |||
| dfs.ha.namenodes.nmnode-0 | |||
| dfs.namenode.rpc-address.nmnode-0.* | |||
| dfs.namenode.shared.edits.dir | |||
| dfs.ha.automatic-failover.enabled | |||
| dfs.ha.fencing.methods | |||
| dfs.journalnode.edits.dir | |||
| dfs.client.failover.proxy.provider.nmnode-0 | |||
| dfs.namenode.http-address | |||
| dfs.namenode.httpS-address | |||
| dfs.http.policy | |||
| dfs.encrypt.data.transfer | |||
| dfs.block.access.token.enable | |||
| dfs.data.transfer.protection | |||
| dfs.encrypt.data.transfer.cipher.suites | |||
| dfs.https.port | |||
| dfs.namenode.keytab.file | |||
| dfs.namenode.kerberos.principal | |||
| dfs.namenode.kerberos.internal.spnego.principal | |||
| dfs.datanode.data.dir.perm | |||
| dfs.datanode.address | |||
| dfs.datanode.http.address | |||
| dfs.datanode.ipc.address | |||
| dfs.datanode.https.address | |||
| dfs.datanode.keytab.file | |||
| dfs.datanode.kerberos.principal | |||
| dfs.journalnode.keytab.file | |||
| dfs.journalnode.kerberos.principal | |||
| dfs.journalnode.kerberos.internal.spnego.principal | |||
| dfs.web.authentication.kerberos.keytab | |||
| dfs.web.authentication.kerberos.principal | |||
| dfs.webhdfs.enabled | |||
| dfs.permissions.superusergroup | |||
| hdfs-env | hdfs-env.sh | HADOOP_HEAPSIZE_MAX | |
| zoo-cfg | zoo.cfg | secureClientPort | |
| clientPort | |||
| dataDir | |||
| dataLogDir | |||
| 4lw.commands.whitelist | |||
| zookeeper-java-env | java.env | ZK_LOG_DIR | |
| SERVER_JVMFLAGS | |||
| zookeeper-log4j-properties | log4j.properties (zookeeper) | log4j.rootLogger | |
| log4j.appender.CONSOLE.* |
Note
Cet article contient la liste verte du terme, un terme que Microsoft considère insensible dans ce contexte. Le terme apparaît dans cet article, car il apparaît actuellement dans le logiciel. Lorsque le terme sera supprimé du logiciel, nous le supprimerons de l’article.
Configurations non prises en charge gateway
Les configurations suivantes gateway ne sont pas prises en charge et ne peuvent pas être modifiées dans le contexte du cluster Big Data.
| Category | Sub-Category | File | Unsupported Configurations |
|---|---|---|---|
| gateway-site | gateway-site.xml | gateway.port | |
| gateway.path | |||
| gateway.gateway.conf.dir | |||
| gateway.hadoop.kerberos.secured | |||
| java.security.krb5.conf | |||
| java.security.auth.login.config | |||
| gateway.websocket.feature.enabled | |||
| gateway.scope.cookies.feature.enabled | |||
| ssl.exclude.protocols | |||
| ssl.include.ciphers |