次の方法で共有

Apache Spark と Apache Hadoop (HDFS) の構成プロパティ

適用対象: SQL Server 2019 (15.x)

Important

Microsoft SQL Server 2019 ビッグ データ クラスターは廃止されました。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日の時点で終了しました。 詳細については、Microsoft SQL Server プラットフォーム の発表ブログ投稿 と ビッグ データ オプションを参照してください。

ビッグ データ クラスターでは、サービススコープとリソース スコープでの Apache Spark および Hadoop コンポーネントのデプロイ時間とデプロイ後の時間の構成がサポートされます。 ビッグ データ クラスターでは、ほとんどの設定で、それぞれのオープン ソース プロジェクトと同じ既定の構成値が使用されます。 変更する設定は、説明とその既定値と共に以下に示します。 ゲートウェイ リソース以外に、サービス スコープで構成できる設定とリソース スコープに違いはありません。

使用可能なすべての構成とそれぞれの既定値は、関連する Apache ドキュメント サイトで確認できます。

構成をサポートしていない設定も以下に示します。

Note

Spark をストレージ プールに含めるには、includeSparkのbdc.json構成ファイルにspec.resources.storage-0.spec.settings.sparkブール値を設定します。 手順については、 ビッグ データ クラスターでの Apache Spark と Apache Hadoop の構成 に関する記事を参照してください。

ビッグ データ クラスター固有の既定の Spark 設定

以下の Spark 設定は、BDC 固有の既定値を持つものの、ユーザーが構成可能な設定です。 システム管理の設定は含まれません。

Setting Name Description タイプ Default Value
capacity-scheduler.yarn.scheduler.capacity.maximum-applications 実行中と保留中の両方で同時にアクティブにできるシステム内のアプリケーションの最大数。 int 10000
capacity-scheduler.yarn.scheduler.capacity.resource-calculator スケジューラのリソースの比較に使用する ResourceCalculator の実装。 文字列 org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
capacity-scheduler.yarn.scheduler.capacity.root.queues ルートと呼ばれる定義済みのキューを持つ容量スケジューラ。 文字列 デフォルト
capacity-scheduler.yarn.scheduler.capacity.root.default.capacity ルート キューの絶対リソース キューの最小容量としてのキュー容量 (%)(%)。 int 100
spark-defaults-conf.spark.driver.cores クラスター モードでのみ、ドライバー プロセスに使用するコアの数。 int 1
spark-defaults-conf.spark.driver.memoryOverhead クラスター モードでドライバーごとに割り当てられるオフヒープ メモリの量。 int 384
spark-defaults-conf.spark.executor.instances 静的割り当ての Executor の数。 int 1
spark-defaults-conf.spark.executor.cores 各 Executor で使用するコアの数。 int 1
spark-defaults-conf.spark.driver.memory ドライバー プロセスに使用するメモリの量。 文字列 1g
spark-defaults-conf.spark.executor.memory Executor プロセスごとに使用するメモリの量。 文字列 1g
spark-defaults-conf.spark.executor.memoryOverhead Executor ごとに割り当てられるオフヒープ メモリの量。 int 384
yarn-site.yarn.nodemanager.resource.memory-mb コンテナーに割り当てることができる物理メモリの量 (MB 単位)。 int 8192
yarn-site.yarn.scheduler.maximum-allocation-mb リソース マネージャーでの各コンテナー要求の最大割り当て。 int 8192
yarn-site.yarn.nodemanager.resource.cpu-vcores コンテナーに割り当てることができる CPU コアの数。 int 32
yarn-site.yarn.scheduler.maximum-allocation-vcores 仮想 CPU コアに関するリソース マネージャーでの各コンテナー要求の最大割り当て。 int 8
yarn-site.yarn.nodemanager.linux-container-executor.secure-mode.pool-user-count セキュリティで保護されたモードの Linux コンテナー 実行プログラムのプール ユーザーの数。 int 6
yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent アプリケーション マスターの実行に使用できるクラスター内のリソースの最大割合。 float 0.1
yarn-site.yarn.nodemanager.container-executor.class 特定のオペレーティング システムのコンテナー 実行プログラム。 文字列 org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor 1 人のユーザーがより多くのリソースを取得できるように構成できるキュー容量の倍数。 int 1
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity float または絶対リソース キューの最大容量としての最大キュー容量 (%)(%)。 この値を -1 に設定すると、最大容量が 100%に設定されます。 int 100
capacity-scheduler.yarn.scheduler.capacity.root.default.state キューの状態は、実行中または停止のいずれかです。 文字列 RUNNING
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime キューに送信されるアプリケーションの最大有効期間 (秒単位)。 0 以下の値は無効と見なされます。 int -1
capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime キューに送信されるアプリケーションの既定の有効期間 (秒単位)。 0 以下の値は無効と見なされます。 int -1
capacity-scheduler.yarn.scheduler.capacity.node-locality-delay CapacityScheduler がラックローカル コンテナーのスケジュール設定を試行した後の、スケジュールが間違った機会の数。 int 40
capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay Node-locality-delay に対する追加のスケジュールミス機会の数。その後、CapacityScheduler はオフスイッチ コンテナーのスケジュールを試みます。 int -1
hadoop-env.HADOOP_HEAPSIZE_MAX すべての Hadoop JVM プロセスの既定の最大ヒープ サイズ。 int 2048
yarn-env.YARN_RESOURCEMANAGER_HEAPSIZE Yarn ResourceManager のヒープ サイズ。 int 2048
yarn-env.YARN_NODEMANAGER_HEAPSIZE Yarn NodeManager のヒープ サイズ。 int 2048
mapred-env.HADOOP_JOB_HISTORYSERVER_HEAPSIZE Hadoop ジョブ履歴サーバーのヒープ サイズ。 int 2048
hive-env.HADOOP_HEAPSIZE Hive の Hadoop のヒープ サイズ。 int 2048
livy-conf.livy.server.session.timeout-check Livy サーバー セッションのタイムアウトを確認します。 bool true
livy-conf.livy.server.session.timeout-check.skip-busy Livy サーバーセッションタイムアウトのチェックのスキップビジー。 bool true
livy-conf.livy.server.session.timeout livy サーバー セッションのタイムアウト (ms/s/m | min/h/d/y)。 文字列 2h
livy-conf.livy.server.yarn.poll-interval Livy サーバーの yarn のポーリング間隔 (ms/s/m | min/h/d/y)。 文字列 500ms
livy-conf.livy.rsc.jars Livy RSC jars。 文字列 local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar
livy-conf.livy.repl.jars Livy repl jars. 文字列 local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar
livy-conf.livy.rsc.sparkr.package Livy RSC SparkR パッケージ。 文字列 hdfs:///system/livy/sparkr.zip
livy-env.LIVY_SERVER_JAVA_OPTS Livy サーバーの Java オプション。 文字列 -Xmx2g
spark-defaults-conf.spark.r.backendConnectionTimeout RBackend への接続時に R プロセスによって設定された接続タイムアウト (秒単位)。 int 86400
spark-defaults-conf.spark.pyspark.python Spark の Python オプション。 文字列 /opt/bin/python3
spark-defaults-conf.spark.yarn.jars Yarn jars. 文字列 local:/opt/spark/jars/*
spark-history-server-conf.spark.history.fs.cleaner.maxAge ジョブ履歴ファイルがファイルシステム履歴クリーナー (ms/s/m | min/h/d/y) で削除される前のジョブ履歴ファイルの最大有効期間。 文字列 7d
spark-history-server-conf.spark.history.fs.cleaner.interval スパーク履歴のクリーナーの間隔 (ms/s/m | min/h/d/y)。 文字列 12h
hadoop-env.HADOOP_CLASSPATH 追加の Hadoop クラスパスを設定します。 文字列
spark-env.SPARK_DAEMON_MEMORY Spark デーモン メモリ。 文字列 2g
yarn-site.yarn.log-aggregation.retain-seconds ログ集計が有効になっている場合、このプロパティはログを保持する秒数を決定します。 int 604800
yarn-site.yarn.nodemanager.log-aggregation.compression-type Yarn NodeManager のログ集計の圧縮の種類。 文字列 gz
yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds NodeManager ログ集計でのロール監視の間隔 (秒)。 int 3600
yarn-site.yarn.scheduler.minimum-allocation-mb Resource Manager のすべてのコンテナー要求の最小割り当て (MB 単位)。 int 512
yarn-site.yarn.scheduler.minimum-allocation-vcores 仮想 CPU コアの観点から、Resource Manager のすべてのコンテナー要求の最小割り当て。 int 1
yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms ノード マネージャーがデッドと見なされるまで待機する時間。 int 180000
yarn-site.yarn.resourcemanager.zk-timeout-ms 'ZooKeeper' セッションタイムアウト (ミリ秒単位)。 int 40000
capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority 設定された優先順位でアプリケーションを送信できるユーザーの ACL。 例: [user={name} group={name} max_priority={priority} default_priority={priority}]。 文字列 *
includeSpark Spark ジョブを記憶域プールで実行できるかどうかを構成するブール値。 bool true
enableSparkOnK8s Spark ヘッドで K8s 用のコンテナーを追加する K8s で Spark を有効にするかどうかを構成するブール値。 bool false
sparkVersion Spark のバージョン 文字列 2.4
spark-env.PYSPARK_ARCHIVES_PATH Spark ジョブで使用される pyspark アーカイブ jar へのパス。 文字列 local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/py4j-0.10.7-src.zip

次のセクションでは、サポートされていない構成の一覧を示します。

ビッグ データ クラスター固有の既定の HDFS 設定

以下の HDFS 設定は、BDC 固有の既定値を持ち、ユーザーが構成可能な設定です。 システム管理の設定は含まれません。

Setting Name Description タイプ Default Value
hdfs-site.dfs.replication 既定のブロック レプリケーション。 int 2
hdfs-site.dfs.namenode.provided.enabled 指定されたストレージを処理する名前ノードを有効にします。 bool true
hdfs.site.dfs.namenode.mount.acls.enabled マウント時にリモート ストアから ACL (アクセス制御リスト) を継承するには、true に設定します。 bool false
hdfs-site.dfs.datanode.provided.enabled 指定されたストレージをデータ ノードが処理できるようにします。 bool true
hdfs-site.dfs.datanode.provided.volume.lazy.load 指定されたストレージのデータ ノードで遅延読み込みを有効にします。 bool true
hdfs-site.dfs.provided.aliasmap.inmemory.enabled 指定されたストレージのメモリ内エイリアス マップを有効にします。 bool true
hdfs-site.dfs.provided.aliasmap.class 指定されたストレージ上のブロックの入力形式を指定するために使用されるクラス。 文字列 org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient
hdfs-site.dfs.namenode.provided.aliasmap.class namenode 用に指定されたストレージ上のブロックの入力形式を指定するために使用されるクラス。 文字列 org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient
hdfs-site.dfs.provided.aliasmap.load.retries 指定されたエイリアスマップを読み込むデータ ノードの再試行回数。 int 0
hdfs-site.dfs.provided.aliasmap.inmemory.batch-size エイリアスマップをバックアップするデータベースを反復処理するときのバッチ サイズ。 int 500
hdfs-site.dfs.datanode.provided.volume.readthrough datanode で指定されたストレージの読み取りスルーを有効にします。 bool true
hdfs-site.dfs.provided.cache.capacity.mount 指定されたストレージのキャッシュ容量マウントを有効にします。 bool true
hdfs-site.dfs.provided.overreplication.factor 指定されたストレージの繰り返し係数。 リモート HDFS ブロックごとに作成された BDC 上のキャッシュ ブロックの数。 float 1
hdfs-site.dfs.provided.cache.capacity.fraction 提供されたストレージのキャッシュ容量の割合。 提供されたストアからのデータをキャッシュするために使用できるクラスター内の合計容量の割合。 float 0.01
hdfs-site.dfs.provided.cache.capacity.bytes 指定されたブロックのキャッシュ領域として使用するクラスター容量 (バイト単位)。 int -1
hdfs-site.dfs.ls.limit ls で出力されるファイルの数を制限します。 int 500
hdfs-env.HDFS_NAMENODE_OPTS HDFS Namenode オプション。 文字列 -Dhadoop.security.logger=INFO,RFAS -Xmx2g
hdfs-env.HDFS_DATANODE_OPTS HDFS データ ノード のオプション。 文字列 -Dhadoop.security.logger=ERROR,RFAS -Xmx2g
hdfs-env.HDFS_ZKFC_OPTS HDFS ZKFC オプション。 文字列 -Xmx1g
hdfs-env.HDFS_JOURNALNODE_OPTS HDFS JournalNode オプション。 文字列 -Xmx2g
hdfs-env.HDFS_AUDIT_LOGGER HDFS 監査ロガー のオプション。 文字列 INFO,RFAAUDIT
core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels コア サイト Hadoop LDAP Search グループの階層レベル。 int 10
core-site.fs.permissions.umask-mode アクセス許可 umask モード。 文字列 077
core-site.hadoop.security.kms.client.failover.max.retries クライアント フェールオーバーの最大再試行回数。 int 20
zoo-cfg.tickTime 'ZooKeeper' 構成のティック タイム。 int 2000
zoo-cfg.initLimit 'ZooKeeper' 構成の初期化時刻。 int 10
zoo-cfg.syncLimit 'ZooKeeper' 構成の同期時間。 int 5
zoo-cfg.maxClientCnxns 'ZooKeeper' 構成の最大クライアント接続数。 int 60
zoo-cfg.minSessionTimeout 'ZooKeeper' 構成の最小セッション タイムアウト。 int 4000
zoo-cfg.maxSessionTimeout 'ZooKeeper' 構成の最大セッション タイムアウト。 int 40000
zoo-cfg.autopurge.snapRetainCount Autopurge 'ZooKeeper' 構成のスナップ保持数。 int 3
zoo-cfg.autopurge.purgeInterval Autopurge 'ZooKeeper' 構成の消去間隔。 int 0
zookeeper-java-env.JVMFLAGS 'ZooKeeper' の Java 環境用の JVM フラグ。 文字列 -Xmx1G -Xms1G
zookeeper-log4j-properties.zookeeper.console.threshold 'ZooKeeper' の log4j コンソールのしきい値。 文字列 INFO
zoo-cfg.zookeeper.request.timeout 'ZooKeeper' 要求のタイムアウトをミリ秒単位で制御します。 int 40000
kms-site.hadoop.security.kms.encrypted.key.cache.size hadoop kms での暗号化されたキーのキャッシュ サイズ。 int 500

ビッグ データ クラスター固有の既定のゲートウェイ設定

以下のゲートウェイ設定は、BDC 固有の既定値を持ち、ユーザーが構成可能な設定です。 システム管理の設定は含まれません。 ゲートウェイ設定は、 リソース スコープでのみ構成できます。

Setting Name Description タイプ Default Value
gateway-site.gateway.httpclient.socketTimeout ゲートウェイ内の HTTP クライアントのソケット タイムアウト (ms/s/m)。 文字列 90s
gateway-site.sun.security.krb5.debug Kerberos セキュリティのデバッグ。 bool true
knox-env.KNOX_GATEWAY_MEM_OPTS Knox ゲートウェイ のメモリ オプション。 文字列 -Xmx2g

サポートされていない Spark 構成

次の spark 構成はサポートされておらず、ビッグ データ クラスターのコンテキストでは変更できません。

Category Sub-Category File Unsupported Configurations
yarn-site yarn-site.xml yarn.log-aggregation-enable
yarn.log.server.url
yarn.nodemanager.pmem-check-enabled
yarn.nodemanager.vmem-check-enabled
yarn.nodemanager.aux-services
yarn.resourcemanager.address
yarn.nodemanager.address
yarn.client.failover-no-ha-proxy-provider
yarn.client.failover-proxy-provider
yarn.http.policy
yarn.nodemanager.linux-container-executor.secure-mode.use-pool-user
yarn.nodemanager.linux-container-executor.secure-mode.pool-user-prefix
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user
yarn.acl.enable
yarn.admin.acl
yarn.resourcemanager.hostname
yarn.resourcemanager.principal
yarn.resourcemanager.keytab
yarn.resourcemanager.webapp.spnego-keytab-file
yarn.resourcemanager.webapp.spnego-principal
yarn.nodemanager.principal
yarn.nodemanager.keytab
yarn.nodemanager.webapp.spnego-keytab-file
yarn.nodemanager.webapp.spnego-principal
yarn.resourcemanager.ha.enabled
yarn.resourcemanager.cluster-id
yarn.resourcemanager.zk-address
yarn.resourcemanager.ha.rm-ids
yarn.resourcemanager.hostname.*
capacity-scheduler capacity-scheduler.xml yarn.scheduler.capacity.root.acl_submit_applications
yarn.scheduler.capacity.root.acl_administer_queue
yarn.scheduler.capacity.root.default.acl_application_max_priority
yarn-env yarn-env.sh
spark-defaults-conf spark-defaults.conf spark.yarn.archive
spark.yarn.historyServer.address
spark.eventLog.enabled
spark.eventLog.dir
spark.sql.warehouse.dir
spark.sql.hive.metastore.version
spark.sql.hive.metastore.jars
spark.extraListeners
spark.metrics.conf
spark.ssl.enabled
spark.authenticate
spark.network.crypto.enabled
spark.ssl.keyStore
spark.ssl.keyStorePassword
spark.ui.enabled
spark-env spark-env.sh SPARK_NO_DAEMONIZE
SPARK_DIST_CLASSPATH
spark-history-server-conf spark-history-server.conf spark.history.fs.logDirectory
spark.ui.proxyBase
spark.history.fs.cleaner.enabled
spark.ssl.enabled
spark.authenticate
spark.network.crypto.enabled
spark.ssl.keyStore
spark.ssl.keyStorePassword
spark.history.kerberos.enabled
spark.history.kerberos.principal
spark.history.kerberos.keytab
spark.ui.filters
spark.acls.enable
spark.history.ui.acls.enable
spark.history.ui.admin.acls
spark.history.ui.admin.acls.groups
livy-conf livy.conf livy.keystore
livy.keystore.password
livy.spark.master
livy.spark.deploy-mode
livy.rsc.jars
livy.repl.jars
livy.rsc.pyspark.archives
livy.rsc.sparkr.package
livy.repl.enable-hive-context
livy.superusers
livy.server.auth.type
livy.server.launch.kerberos.keytab
livy.server.launch.kerberos.principal
livy.server.auth.kerberos.principal
livy.server.auth.kerberos.keytab
livy.impersonation.enabled
livy.server.access-control.enabled
livy.server.access-control.*
livy-env livy-env.sh
hive-site hive-site.xml javax.jdo.option.ConnectionURL
javax.jdo.option.ConnectionDriverName
javax.jdo.option.ConnectionUserName
javax.jdo.option.ConnectionPassword
hive.metastore.uris
hive.metastore.pre.event.listeners
hive.security.authorization.enabled
hive.security.metastore.authenticator.manager
hive.security.metastore.authorization.manager
hive.metastore.use.SSL
hive.metastore.keystore.path
hive.metastore.keystore.password
hive.metastore.truststore.path
hive.metastore.truststore.password
hive.metastore.kerberos.keytab.file
hive.metastore.kerberos.principal
hive.metastore.sasl.enabled
hive.metastore.execute.setugi
hive.cluster.delegation.token.store.class
hive-env hive-env.sh

サポートされていない HDFS 構成

次の hdfs 構成はサポートされておらず、ビッグ データ クラスターのコンテキストでは変更できません。

Category Sub-Category File Unsupported Configurations
core-site core-site.xml fs.defaultFS
ha.zookeeper.quorum
hadoop.tmp.dir
hadoop.rpc.protection
hadoop.security.auth_to_local
hadoop.security.authentication
hadoop.security.authorization
hadoop.http.authentication.simple.anonymous.allowed
hadoop.http.authentication.type
hadoop.http.authentication.kerberos.principal
hadoop.http.authentication.kerberos.keytab
hadoop.http.filter.initializers
hadoop.security.group.mapping.*
hadoop.security.key.provider.path
mapred-env mapred-env.sh
hdfs-site hdfs-site.xml dfs.namenode.name.dir
dfs.datanode.data.dir
dfs.namenode.acls.enabled
dfs.namenode.datanode.registration.ip-hostname-check
dfs.client.retry.policy.enabled
dfs.permissions.enabled
dfs.nameservices
dfs.ha.namenodes.nmnode-0
dfs.namenode.rpc-address.nmnode-0.*
dfs.namenode.shared.edits.dir
dfs.ha.automatic-failover.enabled
dfs.ha.fencing.methods
dfs.journalnode.edits.dir
dfs.client.failover.proxy.provider.nmnode-0
dfs.namenode.http-address
dfs.namenode.httpS-address
dfs.http.policy
dfs.encrypt.data.transfer
dfs.block.access.token.enable
dfs.data.transfer.protection
dfs.encrypt.data.transfer.cipher.suites
dfs.https.port
dfs.namenode.keytab.file
dfs.namenode.kerberos.principal
dfs.namenode.kerberos.internal.spnego.principal
dfs.datanode.data.dir.perm
dfs.datanode.address
dfs.datanode.http.address
dfs.datanode.ipc.address
dfs.datanode.https.address
dfs.datanode.keytab.file
dfs.datanode.kerberos.principal
dfs.journalnode.keytab.file
dfs.journalnode.kerberos.principal
dfs.journalnode.kerberos.internal.spnego.principal
dfs.web.authentication.kerberos.keytab
dfs.web.authentication.kerberos.principal
dfs.webhdfs.enabled
dfs.permissions.superusergroup
hdfs-env hdfs-env.sh HADOOP_HEAPSIZE_MAX
zoo-cfg zoo.cfg secureClientPort
clientPort
dataDir
dataLogDir
4lw.commands.whitelist
zookeeper-java-env java.env ZK_LOG_DIR
SERVER_JVMFLAGS
zookeeper-log4j-properties log4j.properties (zookeeper) log4j.rootLogger
log4j.appender.CONSOLE.*

Note

この記事には 、ホワイトリストという用語が含まれています。このコンテキストでは、Microsoft が非依存と見なします。 これはソフトウェアに現在表示されるものであるため、この記事に出現します。 ソフトウェアからこの用語が削除された時点で、この記事から削除します。

サポートされていない gateway 構成

次の gateway 構成はサポートされておらず、ビッグ データ クラスターのコンテキストでは変更できません。

Category Sub-Category File Unsupported Configurations
gateway-site gateway-site.xml gateway.port
gateway.path
gateway.gateway.conf.dir
gateway.hadoop.kerberos.secured
java.security.krb5.conf
java.security.auth.login.config
gateway.websocket.feature.enabled
gateway.scope.cookies.feature.enabled
ssl.exclude.protocols
ssl.include.ciphers

Next steps

SQL Server ビッグ データ クラスターの構成

  • Last updated on