Apache Spark 및 APache Hadoop(HDFS) 구성 속성

적용 대상: SQL Server 2019(15.x)

Important

Microsoft SQL Server 2019 빅 데이터 클러스터는 사용 중지되었습니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일부터 종료되었습니다. 자세한 내용은 Microsoft SQL Server 플랫폼 의 공지 블로그 게시물 및 빅 데이터 옵션을 참조하세요.

빅 데이터 클러스터는 서비스 및 리소스 범위에서 Apache Spark 및 Hadoop 구성 요소의 배포 시간 및 배포 후 시간 구성을 지원합니다. 빅 데이터 클러스터는 대부분의 설정에 대해 각 오픈 소스 프로젝트와 동일한 기본 구성 값을 사용합니다. 변경되는 설정은 설명 및 기본값과 함께 아래에 나열됩니다. 게이트웨이 리소스 외에는 서비스 범위에서 구성할 수 있는 설정과 리소스 범위 간에 차이가 없습니다.

연결된 Apache 설명서 사이트에서 가능한 모든 구성과 각 구성의 기본값을 찾을 수 있습니다.

Apache Spark: https://spark.apache.org/docs/latest/configuration.html
Apache Hadoop:
- HDFS HDFS 사이트: https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
- HDFS Core-Site: https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/core-default.xml
- 털 실: https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceModel.html
하이브: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-MetaStore
Livy: https://github.com/cloudera/livy/blob/master/conf/livy.conf.template
Apache Knox 게이트웨이: https://knox.apache.org/books/knox-0-14-0/user-guide.html#Gateway+Details

구성을 지원하지 않는 설정도 아래에 나열되어 있습니다.

Note

스토리지 풀에 Spark를 포함하려면 구성 파일의 부울 값을 includeSparkbdc.json 로 spec.resources.storage-0.spec.settings.spark설정합니다. 지침은 빅 데이터 클러스터에서 Apache Spark 및 Apache Hadoop 구성 을 참조하세요.

빅 데이터 클러스터별 기본 Spark 설정

아래 Spark 설정은 BDC 관련 기본값을 가지고 있지만 사용자가 구성할 수 있는 설정입니다. 시스템 관리 설정은 포함되지 않습니다.

Setting Name	Description	Type	Default Value
capacity-scheduler.yarn.scheduler.capacity.maximum-applications	실행 중 및 보류 중 동시에 활성화될 수 있는 시스템의 최대 애플리케이션 수입니다.	int	10000
capacity-scheduler.yarn.scheduler.capacity.resource-calculator	스케줄러의 리소스를 비교하는 데 사용할 ResourceCalculator 구현입니다.	string	org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
capacity-scheduler.yarn.scheduler.capacity.root.queues	루트라는 미리 정의된 큐가 있는 용량 스케줄러입니다.	string	default
capacity-scheduler.yarn.scheduler.capacity.root.default.capacity	루트 큐에 대한 절대 리소스 큐 최소 용량으로 백분율(%)의 큐 용량입니다.	int	100
spark-defaults-conf.spark.driver.cores	클러스터 모드에서만 드라이버 프로세스에 사용할 코어 수입니다.	int	1
spark-defaults-conf.spark.driver.memoryOverhead	클러스터 모드에서 드라이버당 할당할 오프힙 메모리의 양입니다.	int	384
spark-defaults-conf.spark.executor.instances	정적 할당을 위한 실행기 수입니다.	int	1
spark-defaults-conf.spark.executor.cores	각 실행기에서 사용할 코어 수입니다.	int	1
spark-defaults-conf.spark.driver.memory	드라이버 프로세스에 사용할 메모리 양입니다.	string	1g
spark-defaults-conf.spark.executor.memory	실행기 프로세스당 사용할 메모리 양입니다.	string	1g
spark-defaults-conf.spark.executor.memoryOverhead	실행기당 할당할 오프힙 메모리 양입니다.	int	384
yarn-site.yarn.nodemanager.resource.memory-mb	컨테이너에 할당할 수 있는 실제 메모리 양(MB)입니다.	int	8192
yarn-site.yarn.scheduler.maximum-allocation-mb	리소스 관리자의 모든 컨테이너 요청에 대한 최대 할당입니다.	int	8192
yarn-site.yarn.nodemanager.resource.cpu-vcores	컨테이너에 할당할 수 있는 CPU 코어 수입니다.	int	32
yarn-site.yarn.scheduler.maximum-allocation-vcores	가상 CPU 코어 측면에서 리소스 관리자의 모든 컨테이너 요청에 대한 최대 할당입니다.	int	8
yarn-site.yarn.nodemanager.linux-container-executor.secure-mode.pool-user-count	보안 모드의 Linux 컨테이너 실행기의 풀 사용자 수입니다.	int	6
yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent	애플리케이션 마스터를 실행하는 데 사용할 수 있는 클러스터의 최대 리소스 비율입니다.	float	0.1
yarn-site.yarn.nodemanager.container-executor.class	특정 운영 체제에 대한 컨테이너 실행기입니다.	string	org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor	단일 사용자가 더 많은 리소스를 획득할 수 있도록 구성할 수 있는 큐 용량의 배수입니다.	int	1
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity	최대 큐 용량(백분율(%)을 부동 또는 절대 리소스 큐 최대 용량으로 사용합니다. 이 값을 -1 설정하면 최대 용량이 100%로 설정됩니다.	int	100
capacity-scheduler.yarn.scheduler.capacity.root.default.state	큐 상태는 실행 중 또는 중지 중 하나일 수 있습니다.	string	RUNNING
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime	큐에 제출되는 애플리케이션의 최대 수명(초)입니다. 0보다 작거나 같은 모든 값은 비활성화된 것으로 간주됩니다.	int	-1
capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime	큐에 제출되는 애플리케이션의 기본 수명(초)입니다. 0보다 작거나 같은 모든 값은 비활성화된 것으로 간주됩니다.	int	-1
capacity-scheduler.yarn.scheduler.capacity.node-locality-delay	CapacityScheduler가 랙-로컬 컨테이너를 예약하려고 시도한 후 누락된 일정 예약 기회 수입니다.	int	40
capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay	Node-locality-delay를 통해 누락된 추가 예약 기회의 수이며, 그 후 CapacityScheduler는 오프 스위치 컨테이너를 예약하려고 시도합니다.	int	-1
hadoop-env.HADOOP_HEAPSIZE_MAX	모든 Hadoop JVM 프로세스의 기본 최대 힙 크기입니다.	int	2048
yarn-env.YARN_RESOURCEMANAGER_HEAPSIZE	Yarn ResourceManager의 힙 크기입니다.	int	2048
yarn-env.YARN_NODEMANAGER_HEAPSIZE	Yarn NodeManager의 힙 크기입니다.	int	2048
mapred-env.HADOOP_JOB_HISTORYSERVER_HEAPSIZE	Hadoop 작업 기록 서버의 힙 크기입니다.	int	2048
hive-env.HADOOP_HEAPSIZE	Hive용 Hadoop의 힙 크기입니다.	int	2048
livy-conf.livy.server.session.timeout-check	Livy 서버 세션 시간 제한을 확인합니다.	bool	true
livy-conf.livy.server.session.timeout-check.skip-busy	Livy 서버 세션 시간 제한 확인을 위해 건너뜁니다.	bool	true
livy-conf.livy.server.session.timeout	livy 서버 세션 시간 제한(ms/s/m \| min/h/d/y).	string	2h
livy-conf.livy.server.yarn.poll-interval	Livy 서버의 원사 폴링 간격(ms/s/m \| min/h/d/y).	string	500ms
livy-conf.livy.rsc.jars	Livy RSC jars.	string	local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar
livy-conf.livy.repl.jars	Livy repl jars.	string	local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar
livy-conf.livy.rsc.sparkr.package	Livy RSC SparkR 패키지.	string	hdfs:///system/livy/sparkr.zip
livy-env.LIVY_SERVER_JAVA_OPTS	Livy Server Java 옵션.	string	-Xmx2g
spark-defaults-conf.spark.r.backendConnectionTimeout	RBackend에 대한 연결에서 R 프로세스에 의해 설정된 연결 시간 제한(초)입니다.	int	86400
spark-defaults-conf.spark.pyspark.python	Spark에 대한 Python 옵션입니다.	string	/opt/bin/python3
spark-defaults-conf.spark.yarn.jars	Yarn jars.	string	local:/opt/spark/jars/*
spark-history-server-conf.spark.history.fs.cleaner.maxAge	파일 시스템 기록 클리너(ms/s/m \| min/h/d/y)에 의해 삭제되기 전의 작업 기록 파일의 최대 기간입니다.	string	7d
spark-history-server-conf.spark.history.fs.cleaner.interval	spark 기록에 대한 클리너 간격(ms/s/m \| min/h/d/y)입니다.	string	12h
hadoop-env.HADOOP_CLASSPATH	추가 Hadoop 클래스 경로를 설정합니다.	string
spark-env.SPARK_DAEMON_MEMORY	Spark 디먼 메모리.	string	2g
yarn-site.yarn.log-aggregation.retain-seconds	로그 집계를 사용하도록 설정하면 이 속성은 로그를 보존할 시간(초)을 결정합니다.	int	604800
yarn-site.yarn.nodemanager.log-aggregation.compression-type	Yarn NodeManager의 로그 집계에 대한 압축 유형입니다.	string	gz
yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds	NodeManager 로그 집계의 롤 모니터링 간격(초)입니다.	int	3600
yarn-site.yarn.scheduler.minimum-allocation-mb	Resource Manager의 모든 컨테이너 요청(MB)에 대한 최소 할당입니다.	int	512
yarn-site.yarn.scheduler.minimum-allocation-vcores	가상 CPU 코어 측면에서 Resource Manager의 모든 컨테이너 요청에 대한 최소 할당입니다.	int	1
yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms	노드 관리자가 데드로 간주될 때까지 대기하는 기간입니다.	int	180000
yarn-site.yarn.resourcemanager.zk-timeout-ms	'ZooKeeper' 세션 시간 제한(밀리초)입니다.	int	40000
capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority	구성된 우선 순위로 애플리케이션을 제출할 수 있는 사용자 ACL입니다. 예를 들어 [user={name} group={name} max_priority={priority} default_priority={priority}]입니다.	string	*
includeSpark	Spark 작업을 스토리지 풀에서 실행할 수 있는지 여부를 구성하는 부울입니다.	bool	true
enableSparkOnK8s	Spark 헤드에서 K8s용 컨테이너를 추가하는 K8에서 Spark를 사용하도록 설정할지 여부를 구성하는 부울입니다.	bool	false
sparkVersion	Spark 버전	string	2.4
spark-env.PYSPARK_ARCHIVES_PATH	spark 작업에 사용되는 pyspark 보관 jar의 경로입니다.	string	local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/py4j-0.10.7-src.zip

다음 섹션에서는 지원되지 않는 구성을 나열합니다.

빅 데이터 클러스터별 기본 HDFS 설정

아래 HDFS 설정은 BDC별 기본값을 사용하지만 사용자 구성이 가능한 설정입니다. 시스템 관리 설정은 포함되지 않습니다.

Setting Name	Description	Type	Default Value
hdfs-site.dfs.replication	기본 블록 복제.	int	2
hdfs-site.dfs.namenode.provided.enabled	이름 노드가 제공된 스토리지를 처리할 수 있도록 합니다.	bool	true
hdfs.site.dfs.namenode.mount.acls.enabled	탑재하는 동안 원격 저장소에서 ACL(액세스 제어 목록)을 상속하려면 true로 설정합니다.	bool	false
hdfs-site.dfs.datanode.provided.enabled	데이터 노드가 제공된 스토리지를 처리할 수 있도록 합니다.	bool	true
hdfs-site.dfs.datanode.provided.volume.lazy.load	제공된 스토리지에 대해 데이터 노드에서 지연 로드를 사용하도록 설정합니다.	bool	true
hdfs-site.dfs.provided.aliasmap.inmemory.enabled	제공된 스토리지에 대해 메모리 내 별칭 맵을 사용하도록 설정합니다.	bool	true
hdfs-site.dfs.provided.aliasmap.class	제공된 스토리지에서 블록의 입력 형식을 지정하는 데 사용되는 클래스입니다.	string	org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient
hdfs-site.dfs.namenode.provided.aliasmap.class	namenode에 대해 제공된 스토리지에서 블록의 입력 형식을 지정하는 데 사용되는 클래스입니다.	string	org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient
hdfs-site.dfs.provided.aliasmap.load.retries	제공된 별칭 매핑을 로드하기 위한 데이터 노드의 재시도 횟수입니다.	int	0
hdfs-site.dfs.provided.aliasmap.inmemory.batch-size	별칭 매핑을 지원하는 데이터베이스를 반복할 때의 일괄 처리 크기입니다.	int	500
hdfs-site.dfs.datanode.provided.volume.readthrough	datanode에서 제공된 스토리지에 대한 읽기 연습을 사용하도록 설정합니다.	bool	true
hdfs-site.dfs.provided.cache.capacity.mount	제공된 스토리지에 캐시 용량 탑재를 사용하도록 설정합니다.	bool	true
hdfs-site.dfs.provided.overreplication.factor	제공된 스토리지에 대한 오버리필레이션 요소입니다. 원격 HDFS 블록당 생성된 BDC의 캐시 블록 수입니다.	float	1
hdfs-site.dfs.provided.cache.capacity.fraction	제공된 스토리지에 대한 캐시 용량 비율입니다. 제공된 저장소에서 데이터를 캐시하는 데 사용할 수 있는 클러스터의 총 용량 비율입니다.	float	0.01
hdfs-site.dfs.provided.cache.capacity.bytes	제공된 블록의 캐시 공간으로 사용할 클러스터 용량(바이트)입니다.	int	-1
hdfs-site.dfs.ls.limit	ls로 인쇄되는 파일 수를 제한합니다.	int	500
hdfs-env.HDFS_NAMENODE_OPTS	HDFS Namenode 옵션입니다.	string	-Dhadoop.security.logger=INFO,RFAS -Xmx2g
hdfs-env.HDFS_DATANODE_OPTS	HDFS Datanode 옵션입니다.	string	-Dhadoop.security.logger=ERROR,RFAS -Xmx2g
hdfs-env.HDFS_ZKFC_OPTS	HDFS ZKFC 옵션.	string	-Xmx1g
hdfs-env.HDFS_JOURNALNODE_OPTS	HDFS JournalNode 옵션.	string	-Xmx2g
hdfs-env.HDFS_AUDIT_LOGGER	HDFS 감사 로거 옵션입니다.	string	INFO,RFAAUDIT
core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels	핵심 사이트 Hadoop LDAP 검색 그룹의 계층 수준입니다.	int	10
core-site.fs.permissions.umask-mode	권한 umask 모드입니다.	string	077
core-site.hadoop.security.kms.client.failover.max.retries	클라이언트 장애 조치(failover)에 대한 최대 재시도.	int	20
zoo-cfg.tickTime	'ZooKeeper' 구성에 대한 틱 시간입니다.	int	2000
zoo-cfg.initLimit	'ZooKeeper' 구성에 대한 초기화 시간입니다.	int	10
zoo-cfg.syncLimit	'ZooKeeper' 구성에 대한 동기화 시간입니다.	int	5
zoo-cfg.maxClientCnxns	'ZooKeeper' 구성에 대한 최대 클라이언트 연결입니다.	int	60
zoo-cfg.minSessionTimeout	'ZooKeeper' 구성에 대한 최소 세션 시간 제한입니다.	int	4000
zoo-cfg.maxSessionTimeout	'ZooKeeper' 구성에 대한 최대 세션 시간 제한입니다.	int	40000
zoo-cfg.autopurge.snapRetainCount	Autopurge 'ZooKeeper' 구성에 대한 스냅 보존 횟수입니다.	int	3
zoo-cfg.autopurge.purgeInterval	Autopurge 'ZooKeeper' 구성에 대한 제거 간격입니다.	int	0
zookeeper-java-env.JVMFLAGS	'ZooKeeper'의 Java 환경에 대한 JVM 플래그입니다.	string	-Xmx1G -Xms1G
zookeeper-log4j-properties.zookeeper.console.threshold	'ZooKeeper'의 log4j 콘솔에 대한 임계값입니다.	string	INFO
zoo-cfg.zookeeper.request.timeout	'ZooKeeper' 요청 시간 제한을 밀리초 단위로 제어합니다.	int	40000
kms-site.hadoop.security.kms.encrypted.key.cache.size	hadoop kms의 암호화된 키에 대한 캐시 크기입니다.	int	500

빅 데이터 클러스터별 기본 게이트웨이 설정

아래 게이트웨이 설정은 BDC 관련 기본값을 사용하지만 사용자 구성이 가능한 설정입니다. 시스템 관리 설정은 포함되지 않습니다. 게이트웨이 설정은 리소스 범위에서만 구성할 수 있습니다.

Setting Name	Description	Type	Default Value
gateway-site.gateway.httpclient.socketTimeout	게이트웨이의 HTTP 클라이언트에 대한 소켓 시간 제한(ms/s/m)입니다.	string	90s
gateway-site.sun.security.krb5.debug	Kerberos 보안에 대한 디버그입니다.	bool	true
knox-env.KNOX_GATEWAY_MEM_OPTS	Knox 게이트웨이 메모리 옵션입니다.	string	-Xmx2g

지원되지 않는 Spark 구성

다음 spark 구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.

Sub-Category	File	Unsupported Configurations
yarn-site	yarn-site.xml	yarn.log-aggregation-enable
		yarn.log.server.url
		yarn.nodemanager.pmem-check-enabled
		yarn.nodemanager.vmem-check-enabled
		yarn.nodemanager.aux-services
		yarn.resourcemanager.address
		yarn.nodemanager.address
		yarn.client.failover-no-ha-proxy-provider
		yarn.client.failover-proxy-provider
		yarn.http.policy
		yarn.nodemanager.linux-container-executor.secure-mode.use-pool-user
		yarn.nodemanager.linux-container-executor.secure-mode.pool-user-prefix
		yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user
		yarn.acl.enable
		yarn.admin.acl
		yarn.resourcemanager.hostname
		yarn.resourcemanager.principal
		yarn.resourcemanager.keytab
		yarn.resourcemanager.webapp.spnego-keytab-file
		yarn.resourcemanager.webapp.spnego-principal
		yarn.nodemanager.principal
		yarn.nodemanager.keytab
		yarn.nodemanager.webapp.spnego-keytab-file
		yarn.nodemanager.webapp.spnego-principal
		yarn.resourcemanager.ha.enabled
		yarn.resourcemanager.cluster-id
		yarn.resourcemanager.zk-address
		yarn.resourcemanager.ha.rm-ids
		yarn.resourcemanager.hostname.*
capacity-scheduler	capacity-scheduler.xml	yarn.scheduler.capacity.root.acl_submit_applications
		yarn.scheduler.capacity.root.acl_administer_queue
		yarn.scheduler.capacity.root.default.acl_application_max_priority
yarn-env	yarn-env.sh
spark-defaults-conf	spark-defaults.conf	spark.yarn.archive
		spark.yarn.historyServer.address
		spark.eventLog.enabled
		spark.eventLog.dir
		spark.sql.warehouse.dir
		spark.sql.hive.metastore.version
		spark.sql.hive.metastore.jars
		spark.extraListeners
		spark.metrics.conf
		spark.ssl.enabled
		spark.authenticate
		spark.network.crypto.enabled
		spark.ssl.keyStore
		spark.ssl.keyStorePassword
		spark.ui.enabled
spark-env	spark-env.sh	SPARK_NO_DAEMONIZE
		SPARK_DIST_CLASSPATH
spark-history-server-conf	spark-history-server.conf	spark.history.fs.logDirectory
		spark.ui.proxyBase
		spark.history.fs.cleaner.enabled
		spark.ssl.enabled
		spark.authenticate
		spark.network.crypto.enabled
		spark.ssl.keyStore
		spark.ssl.keyStorePassword
		spark.history.kerberos.enabled
		spark.history.kerberos.principal
		spark.history.kerberos.keytab
		spark.ui.filters
		spark.acls.enable
		spark.history.ui.acls.enable
		spark.history.ui.admin.acls
		spark.history.ui.admin.acls.groups
livy-conf	livy.conf	livy.keystore
		livy.keystore.password
		livy.spark.master
		livy.spark.deploy-mode
		livy.rsc.jars
		livy.repl.jars
		livy.rsc.pyspark.archives
		livy.rsc.sparkr.package
		livy.repl.enable-hive-context
		livy.superusers
		livy.server.auth.type
		livy.server.launch.kerberos.keytab
		livy.server.launch.kerberos.principal
		livy.server.auth.kerberos.principal
		livy.server.auth.kerberos.keytab
		livy.impersonation.enabled
		livy.server.access-control.enabled
		livy.server.access-control.*
livy-env	livy-env.sh
hive-site	hive-site.xml	javax.jdo.option.ConnectionURL
		javax.jdo.option.ConnectionDriverName
		javax.jdo.option.ConnectionUserName
		javax.jdo.option.ConnectionPassword
		hive.metastore.uris
		hive.metastore.pre.event.listeners
		hive.security.authorization.enabled
		hive.security.metastore.authenticator.manager
		hive.security.metastore.authorization.manager
		hive.metastore.use.SSL
		hive.metastore.keystore.path
		hive.metastore.keystore.password
		hive.metastore.truststore.path
		hive.metastore.truststore.password
		hive.metastore.kerberos.keytab.file
		hive.metastore.kerberos.principal
		hive.metastore.sasl.enabled
		hive.metastore.execute.setugi
		hive.cluster.delegation.token.store.class
hive-env	hive-env.sh

지원되지 않는 HDFS 구성

다음 hdfs 구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.

Sub-Category	File	Unsupported Configurations
core-site	core-site.xml	fs.defaultFS
		ha.zookeeper.quorum
		hadoop.tmp.dir
		hadoop.rpc.protection
		hadoop.security.auth_to_local
		hadoop.security.authentication
		hadoop.security.authorization
		hadoop.http.authentication.simple.anonymous.allowed
		hadoop.http.authentication.type
		hadoop.http.authentication.kerberos.principal
		hadoop.http.authentication.kerberos.keytab
		hadoop.http.filter.initializers
		hadoop.security.group.mapping.*
		hadoop.security.key.provider.path
mapred-env	mapred-env.sh
hdfs-site	hdfs-site.xml	dfs.namenode.name.dir
		dfs.datanode.data.dir
		dfs.namenode.acls.enabled
		dfs.namenode.datanode.registration.ip-hostname-check
		dfs.client.retry.policy.enabled
		dfs.permissions.enabled
		dfs.nameservices
		dfs.ha.namenodes.nmnode-0
		dfs.namenode.rpc-address.nmnode-0.*
		dfs.namenode.shared.edits.dir
		dfs.ha.automatic-failover.enabled
		dfs.ha.fencing.methods
		dfs.journalnode.edits.dir
		dfs.client.failover.proxy.provider.nmnode-0
		dfs.namenode.http-address
		dfs.namenode.httpS-address
		dfs.http.policy
		dfs.encrypt.data.transfer
		dfs.block.access.token.enable
		dfs.data.transfer.protection
		dfs.encrypt.data.transfer.cipher.suites
		dfs.https.port
		dfs.namenode.keytab.file
		dfs.namenode.kerberos.principal
		dfs.namenode.kerberos.internal.spnego.principal
		dfs.datanode.data.dir.perm
		dfs.datanode.address
		dfs.datanode.http.address
		dfs.datanode.ipc.address
		dfs.datanode.https.address
		dfs.datanode.keytab.file
		dfs.datanode.kerberos.principal
		dfs.journalnode.keytab.file
		dfs.journalnode.kerberos.principal
		dfs.journalnode.kerberos.internal.spnego.principal
		dfs.web.authentication.kerberos.keytab
		dfs.web.authentication.kerberos.principal
		dfs.webhdfs.enabled
		dfs.permissions.superusergroup
hdfs-env	hdfs-env.sh	HADOOP_HEAPSIZE_MAX
zoo-cfg	zoo.cfg	secureClientPort
		clientPort
		dataDir
		dataLogDir
		4lw.commands.whitelist
zookeeper-java-env	java.env	ZK_LOG_DIR
		SERVER_JVMFLAGS
zookeeper-log4j-properties	log4j.properties (zookeeper)	log4j.rootLogger
		log4j.appender.CONSOLE.*

Note

이 문서에는 Microsoft에서 이 컨텍스트에서 민감하지 않음으로 간주하는 용어인 허용 목록이라는 용어가 포함되어 있습니다. 이 용어가 이 문서에 나타나는 이유는 현재 소프트웨어에 나타나기 때문입니다. 소프트웨어에서 이 용어가 제거되면 문서에서 제거할 것입니다.

지원 `gateway` 되지 않는 구성

다음 gateway 구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.

Sub-Category	File	Unsupported Configurations
gateway-site	gateway-site.xml	gateway.port
		gateway.path
		gateway.gateway.conf.dir
		gateway.hadoop.kerberos.secured
		java.security.krb5.conf
		java.security.auth.login.config
		gateway.websocket.feature.enabled
		gateway.scope.cookies.feature.enabled
		ssl.exclude.protocols
		ssl.include.ciphers

Next steps

SQL Server 빅 데이터 클러스터 구성

Last updated on 2021-03-23