Databricks Runtime 14.1(EoS)

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.1에 대한 정보를 제공합니다.

Databricks는 2023년 10월에 이 버전을 릴리스했습니다.

새로운 기능 및 개선 사항

• array_insert()는 음수 인덱스에 대해 1부터 사용합니다.
• 액체 클러스터링에서 기본적으로 사용 설정된 델타 v2 검사점
• 공개 미리 보기에서 델타 테이블 기능 삭제
• 델타 공유: 받는 사람이 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
• 델타 공유: 받는 사람이 열 매핑을 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)
• Unity 카탈로그 뷰에서 스트리밍 (공개 미리 보기)
• 공개 미리 보기의 Apache Pulsar 커넥터
• 업그레이드된 Snowflake 드라이버
• SQL 세션 변수
• SQL 및 Python UDF에 대한 명명된 매개변수 호출.
• 함수에 대한 테이블 인수는 분할 및 순서 지정을 지원합니다.
• 새롭고 향상된 기본 제공 SQL 함수
• 상호 관련된 하위 쿼리 처리 개선

array_insert()는 음수 인덱스에 대해 1부터 사용합니다.

array_insert 함수는 양수 및 음수 지수 모두 1을 기준으로 합니다. 이제 인덱스 -1의 입력 배열 끝에 새 요소를 삽입합니다. 이전 동작을 복원하려면 spark.sql.legacy.negativeIndexInArrayInserttrue설정합니다.

델타 v2 검사점이 Liquid 클러스터링에서 기본값으로 활성화됩니다.

액체 클러스터링이 있는 새로 만든 델타 테이블은 기본적으로 v2 검사점을 사용합니다. 리퀴드 클러스터링이 있는 테이블의 호환성을 참조하세요.

공개 미리 보기에서 델타 테이블 기능 삭제

이제 델타 테이블에 대한 일부 테이블 기능을 삭제할 수 있습니다. 현재 지원되는 항목은 deletionVectors와 v2Checkpoint를 삭제하는 것입니다. Delta Lake 테이블 기능 삭제 및 테이블 프로토콜 다운그레이드를 참조하세요.

델타 공유: 받는 사람이 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)

이제 델타 공유 받는 사람이 삭제 벡터를 사용하는 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있습니다. 삭제 벡터 또는 열 매핑이 있는 테이블을 공유에 추가하는 것, 삭제 벡터 또는 열 매핑이 사용되도록 설정된 테이블 읽기 , 및 삭제 벡터 또는 열 매핑이 사용되도록 설정된 테이블 읽기 을 참조하세요.

델타 공유: 받는 사람이 열 매핑을 사용하여 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있음(공개 미리 보기)

이제 델타 공유 받는 사람이 열 매핑을 사용하는 공유 테이블에서 일괄 처리 쿼리를 수행할 수 있습니다. 삭제 벡터 또는 열 매핑이 있는 테이블을 공유에 추가하는 것, 삭제 벡터 또는 열 매핑이 사용되도록 설정된 테이블 읽기 , 및 삭제 벡터 또는 열 매핑이 사용되도록 설정된 테이블 읽기 을 참조하세요.

공개 미리 보기 버전의 Unity 카탈로그 뷰에서 데이터 스트림

이제 구조적 스트리밍을 사용하여 Unity 카탈로그에 등록된 보기에서 스트리밍 읽기를 수행할 수 있습니다. Azure Databricks는 델타 테이블에 대해 정의된 뷰의 스트리밍 읽기만 지원합니다.

공개 미리 보기의 Apache Pulsar 커넥터

이제 구조적 스트리밍을 사용하여 Azure Databricks의 Apache Pulsar에서 데이터를 스트리밍할 수 있습니다. Apache Pulsar에서 스트림을 참조하세요.

업그레이드된 Snowflake 드라이버

이제 Snowflake JDBC 드라이버는 버전 3.13.33을 사용합니다.

SQL 세션 변수

이 릴리스에서는 쿼리 내에서 설정한 다음 참조할 수 있는 세션에서 임시 변수를 선언하는 기능을 소개합니다. 변수를 참고하세요.

SQL 및 Python UDF에 대한 명명된 매개변수 호출.

이제 SQL 및 Python UDF에서 명명된 매개 변수 호출을 사용할 수 있습니다.

함수에 대한 테이블 인수는 분할 및 순서 지정을 지원합니다.

이제 PARTITION BY 시 ORDER BY 및 절을 사용하여 테이블 인수가 함수에 전달되는 방식을 제어할 수 있습니다.

새롭고 향상된 기본 제공 SQL 함수

다음과 같은 기본 제공 기능이 추가되었습니다.

• from_xml: XML STRING을 STRUCT로 구문 분석합니다.
• schema_of_xml: XML STRING에서 스키마를 파생합니다.
• session_user: 로그인한 사용자를 반환합니다.
• try_reflect: Java 메서드가 실패하면 예외 대신 NULL를 반환합니다.

다음과 같은 기본 제공 함수가 향상되었습니다.

• 모드: 결정론적 결과를 강제하는 선택적 매개변수 지원.
• to_char: DATE, TIMESTAMP 및 BINARY에 대한 새로운 지원.
• to_varchar: DATE, TIMESTAMP 및 BINARY에 대한 새로운 지원.

상호 관련된 하위 쿼리 처리 개선

하위 쿼리에서 상관 관계를 처리하는 기능이 확장되었습니다.

• 상관된 스칼라(횡적) 하위 쿼리에서 LIMIT 및 ORDER BY를 처리합니다.
• 상관 관계가 있는 스칼라 하위 쿼리에서 창 함수를 지원합니다.
• 스칼라 및 측면 하위 쿼리의 결합 조건에서 상관 참조를 지원하기

동작 변경

Photon Parquet 판독기에서 엄격한 형식 검사

10진수 형식이 아닌 Parquet 열에서 10진수 값을 읽으려고 하면 Photon이 실패합니다. 또한 Parquet에서 고정 길이 바이트 배열을 문자열로 읽을 때 Photon은 실패합니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • filelock을 3.12.2에서 3.12.3로
  • s3transfer를 0.6.1에서 0.6.2으로
• 업그레이드된 Java 라이브러리:
  • com.uber.h3에서 3.7.0에서 3.7.3으로 변경
  • io.airlift.aircompressor 0.24에서 0.25로
  • io.delta.delta-sharing-spark_2.12 0.7.1에서 0.7.5로
  • io.netty.netty-all을 4.1.93.Final에서 4.1.96.Final로
  • io.netty.netty-buffer 버전을 4.1.93.Final에서 4.1.96.Final로 변경
  • io.netty.netty-codec을 4.1.93.Final에서 4.1.96.Final로 업그레이드
  • 4.1.93.Final에서 4.1.96.Final로 io.netty.netty-codec-http 변경
  • io.netty.netty-codec-http2 버전이 4.1.93.Final에서 4.1.96.Final로 변경되었습니다.
  • 4.1.93.Final에서 4.1.96.Final로 io.netty.netty-codec-socks 변경
  • io.netty.netty-common을 버전 4.1.93.Final에서 4.1.96.Final로 업데이트합니다.
  • io.netty.netty-handler를 4.1.93.Final에서 4.1.96.Final로 업데이트합니다.
  • 4.1.93.Final에서 4.1.96.Final로 io.netty-handler-proxy 변경
  • io.netty.netty-resolver를 4.1.93.Final에서 4.1.96.Final로 업데이트함
  • io.netty.netty-transport의 버전을 4.1.93.Final에서 4.1.96.Final로 업데이트합니다.
  • io.netty.netty-transport-classes-epoll를 4.1.93.Final에서 4.1.96.Final으로
  • io.netty.netty-transport-classes-kqueue를 4.1.93.Final에서 4.1.96.Final로 업데이트합니다.
  • io.netty.netty-transport-native-epoll을(를) 4.1.93.Final-linux-x86_64에서 4.1.96.Final-linux-x86_64로 변경
  • io.netty.netty-transport-native-kqueue가 4.1.93.Final-osx-x86_64에서 4.1.96.Final-osx-x86_64로 업데이트되었습니다.
  • io.netty.netty-transport-native-unix-common을 4.1.93.Final 버전에서 4.1.96.Final 버전으로
  • 3.13.29부터 3.13.33까지 net.snowflake.snowflake-jdbc.
  • org.apache.orc.orc-core의 1.9.0-shaded-protobuf에서 1.9.1-shaded-protobuf로
  • org.apache.orc.orc-mapreduce를 1.9.0-shaded-protobuf에서 1.9.1-shaded-protobuf로 업데이트합니다.
  • org.apache.orc.orc-shims: 버전 1.9.0에서 1.9.1로 업데이트

Apache Spark

Databricks Runtime 14.1에는 Apache Spark 3.5.0이 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 14.0 (EoS)에 포함된 모든 Spark 수정 사항 및 개선 사항과 다음과 같은 Spark의 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-45088] [DBRRM-557] "[SC-142785][python][CONNECT] 중복된 열로 getitem 작동" 되돌리기
• [SPARK-43453] [DBRRM-557] "[SC-143135][ps] namesMultiIndex의 axis=1을 concat할 때 무시하기"를 되돌리기
• [SPARK-45225] [SC-143207][sql] XML: XSD 파일 URL 지원
• [SPARK-45156] [SC-142782][sql] inputName 오류 클래스에서 NON_FOLDABLE_INPUT을(를) 백틱으로 래핑하기
• [SPARK-44910] [SC-143082][sql] Encoders.bean은 제네릭 형식 인수가 있는 슈퍼클래스를 지원하지 않습니다.
• [SPARK-43453] [SC-143135][ps] names의 MultiIndex를 axis=1할 때 concat 무시하세요
• [SPARK-44463] [SS][connect] 스트리밍 Python 작업자 연결의 오류 처리 개선
• [SPARK-44960] [SC-141023][ui] UI 페이지에서 오류 요약 이스케이프 해제 및 통일
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] pyspark, spark connect 및 sql 함수에 from_xml 및 schema_of_xml 추가
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] setup.py 에서 누락된 패키지 추가
• [SPARK-45151] [SC-142861][core][UI] 작업 수준 스레드 덤프 지원
• [SPARK-45056] [SC-142779][python][SS][connect] streamingQueryListener 및 foreachBatch에 대한 종료 테스트
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress를 사용하여 정확한 유효 셔플 파티션 번호 사용
• [SPARK-44872] [SC-142405][connect] 서버 테스트 인프라 및 ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] StandaloneRestServer를 드라이버에 추가하도록 JavaModuleOptions 만들기
• [SPARK-44404] [SC-139601][sql] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] 조인 키가 클러스터 키보다 작은 SPJ 지원
• [SPARK-45088] [SC-142785][python][CONNECT] 중복된 열로 작업하기 getitem
• [SPARK-45128] [SC-142851][sql] 화살표 지원 CalendarIntervalType
• [SPARK-45130] [SC-142976][connect][ML][python] Spark 연결 ML 모델이 입력 pandas 데이터 프레임을 변경하지 않도록 하기
• [SPARK-45034] [SC-142959][sql] 결정 모드 함수 지원
• [SPARK-45173] [SC-142931][ui] UI에서 불필요한 sourceMapping 파일 제거
• [SPARK-45162] [SC-142781][sql] 맵 및 배열을 통해 생성된 매개변수 지원
• [SPARK-45143] [SC-142840][python][CONNECT] PySpark를 PyArrow 13.0.0과 호환되도록 만들기
• [SPARK-45174] [SC-142837][core] 지원 spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] Python 클라이언트가 호출해야 합니다. release_all
• [SPARK-36191] [SC-142777][sql] 상관 관계 스칼라(횡적) 하위 쿼리에서 제한과 정렬을 처리
• [SPARK-45159] [SC-142829][python] 필요한 경우에만 명명된 인수 처리
• [SPARK-45133] [SC-142512][connect] 마지막 결과 작업이 완료되면 Spark Connect 쿼리를 완료합니다.
• [SPARK-44801] [SC-140802][sql][UI] 수신기 및 UI에서 실패한 쿼리 분석 캡처
• [SPARK-45139] [SC-142527][sql] SQL 형식 변환을 처리하는 DatabricksDialect 추가
• [SPARK-45157] [SC-142546][sql] if에서 반복적인 [On|Off|HeapColumnVector 확인 방지
• [SPARK-45077] "[SC-142069][ui] dagre-d3.js 04.3에서 0.6.4로 업그레이드" 되돌리기
• [SPARK-45145] [SC-142521][예제] JavaSparkSQLCli 예제 추가
• [SPARK-43295] "[SC-142254][ps] DataFrameGroupBy.sum에 대한 문자열 형식 열 지원" 되돌리기
• [SPARK-44915] [SC-142383][core] 복구 전에 다시 탑재된 PVC의 순서 섞기 데이터의 체크섬 유효성 검사
• [SPARK-45147] [SC-142524][core] 사용량 제거 System.setSecurityManager
• [SPARK-45104] [SC-142206][ui] 1.0.2로 업그레이드 graphlib-dot.min.js
• [SPARK-44238] [SC-141606][core][SQL] byte 배열 입력을 사용하는 새 readFrom 메서드 소개 BloomFilter
• [SPARK-45060] [SC-141742][sql] 형식에서 to_char()NULL 내부 오류 수정
• [SPARK-43252] [SC-142381][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2016 를 내부 오류로 바꾸기
• [SPARK-45069] [SC-142279][sql] SQL 변수는 외부 참조 후에 항상 확인되어야 합니다.
• [SPARK-44911] [SC-142388][sql] 잘못된 열이 있는 hive 테이블 만들기 오류 클래스를 반환해야 합니다.
• [SPARK-42754] [SC-125567][sql][UI] 중첩된 SQL 실행에서 이전 버전과의 호환성 문제 해결
• [SPARK-45121] [SC-142375][connect][PS] Spark Connect에서 Series.empty 지원.
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. 사전이 있는 열 벡터에서 작동해야 합니다.
• [SPARK-45027] [SC-142248][python] 자동 완성에서 내부 함수/변수 pyspark.sql.functions 숨기기
• [SPARK-45073] [SC-141791][ps][CONNECT] LastNotNull을(를) Last(ignoreNulls=True)로 교체
• [SPARK-44901] [SC-141676][sql] 수동 백포트: Python UDTF 'analyze' 메서드에 API를 추가하여 분할/순서 지정 식을 반환합니다.
• [SPARK-45076] [SC-141795][ps] 기본 제공 repeat 함수로 전환
• [SPARK-44162] [SC-141605][core] Spark 메트릭에서 G1GC 지원
• [SPARK-45053] [SC-141733][python][MINOR] Python 버전 불일치의 로그 개선
• [SPARK-44866] [SC-142221][sql] SnowflakeDialect를 추가하여 부울 형식을 올바르게 처리합니다.
• [SPARK-45064] [SC-141775][python][CONNECT] 다음에서 누락된 scale 매개 변수 추가 ceil/ceiling
• [SPARK-45059] [SC-141757][connect][PYTHON] Scala 및 Python에 함수 추가 try_reflect
• [SPARK-43251] [SC-142280][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2015 를 내부 오류로 바꾸기
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] 함수 별칭 출력 열 이름을 SQL과 일치하게 만들기
• [SPARK-44239] [SC-141502][sql] 벡터가 다시 설정될 때 큰 벡터에 의해 할당된 메모리를 해제하기
• [SPARK-43295] [SC-142254][ps] DataFrameGroupBy.sum에 대해 문자열 형식의 열을 지원합니다.
• [SPARK-45080] [SC-142062][ss] DSv2 스트리밍 데이터 원본에서 열 형식에 대한 지원을 명시적으로 호출합니다.
• [SPARK-45036] [SC-141768][sql] SPJ: 부분적으로 클러스터된 배포를 처리하도록 논리 간소화
• [SPARK-45077] [SC-142069][ui] dagre-d3.js 0.4.3에서 0.6.4로 업그레이드
• [SPARK-45091] [SC-142020][python][CONNECT][sql] 함수 floor/round/bround 수락 열 형식 scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} 열 순서 지원
• [SPARK-44743] [SC-141625][sql] 함수 추가 try_reflect
• [SPARK-45086] [SC-142052][ui] 스레드 잠금 해시 코드에 대한 16진수 표시
• [SPARK-44952] [SC-141644][sql][PYTHON] 집계 Pandas UDF에서 명명된 인수 지원
• [SPARK-44987] [SC-141552][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] 관련 컴파일 경고 수정 Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Python 클라이언트 및 연결 가능한 실행에 대한 추가 테스트 추가
• [SPARK-45072] [SC-141807][connect] 암모나이트 클래스에 대한 외부 범위 수정
• [SPARK-45033] [SC-141759][sql] 매개 변수화된 맵 지원 sql()
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] 함수 repeat 가 열 형식을 수락하게 만들기 n
• [SPARK-44860] [SC-141103][sql] SESSION_USER 함수 추가
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} 열 서수 지원
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy 지원 서수
• [SPARK-44863] [SC-140798][ui] Spark UI에서 스레드 덤프를 txt로 다운로드하는 단추 추가
• [SPARK-45026] [SC-141604][connect] spark.sql 는 화살표와 호환되지 않는 데이터 형식을 지원해야 합니다.
• [SPARK-44999] [SC-141145][core] ExternalSorter 호출 시 shouldPartition에 대한 검사를 줄이기 위해 getPartition 리팩터링하기
• [SPARK-42304] [SC-141501][sql] 이름 바꾸기 _LEGACY_ERROR_TEMP_2189GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] 동일한 원본에서 파생된 두 데이터 세트를 공동 그룹화할 때 IllegalStateException 수정
• [SPARK-45018] [SC-141516][python][CONNECT] Python 클라이언트에 CalendarIntervalType 추가
• [SPARK-45024] [SC-141513][python][CONNECT] 세션 만들기에서 일부 구성 필터링
• [SPARK-45017] [SC-141508][python] PySpark에 추가 CalendarIntervalType
• [SPARK-44720] [SC-139375][connect] 데이터 세트가 AgnosticEncoder 대신 인코더를 사용하도록 설정
• [SPARK-44982] [SC-141027][connect] Spark Connect 서버 구성을 정적으로 표시
• [SPARK-44839] [SC-140900][ss][CONNECT] 사용자가 Spark 세션을 serialize하려고 할 때 더 나은 오류 로깅
• [SPARK-44865] [SC-140905][ss] StreamingRelationV2 지원 메타데이터 열 만들기
• [SPARK-45001] [SC-141141][python][CONNECT] DataFrame.foreachPartition을 구현하기
• [SPARK-44497] [SC-141017][webui] 작업 테이블에 작업 파티션 ID 표시
• [SPARK-45006] [SC-141143][ui] 타임라인의 x축에 대해 다른 UI 날짜 요소의 동일한 날짜 형식 사용
• [SPARK-45000] [SC-141135][python][CONNECT] DataFrame.foreach 구현
• [SPARK-44967] [SC-141137][sql][CONNECT] TreeNodeTag에 부울을 사용하기 전에 단위를 먼저 고려해야 합니다.
• [SPARK-44993] [SC-141088][core] 다시 사용하여 추가 ShuffleChecksumUtils.compareChecksumsShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][connect] Scala Client에 Dataset.metadataColumn 추가
• [SPARK-44965] [SC-141098][python] 내부 함수/변수 숨기기 pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] 형식에 따라 이진 파일을 문자열로 to_char 변환합니다hexbase64.utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] createDataFrame에서 작동하도록 상속받은 namedtuple 수정
• [SPARK-44985] [SC-141033][core] 작업 사신 threadDump에 스택 추적 대신 toString 사용
• [SPARK-44984] [SC-141028][python][CONNECT] DataFrame에서 제거 _get_alias
• [SPARK-44975] [SC-141013][sql] BinaryArithmetic에서 쓸모없는 오버라이드 해결 제거 구현
• [SPARK-44969] [SC-140957][sql] ArrayInsertArrayAppend에서 재사용
• [SPARK-44549] [SC-140714][sql] 상관 관계가 있는 스칼라 하위 쿼리의 지원 창 함수
• [SPARK-44938] [SC-140811][sql] 기본값을 spark.sql.maxSinglePartitionBytes 128m로 변경
• [SPARK-44918] [SC-140816][sql][PYTHON] 스칼라 Python/Pandas UDF에서 명명된 인수 지원
• [SPARK-44966] [SC-140907][core][CONNECT] 변경되지 않았던 var을 val로 변경합니다.
• [SPARK-41471] [SC-140804][sql] 조인의 한쪽만 KeyGroupedPartitioning일 때 스파크 셔플 줄이기
• [SPARK-44214] [SC-140528][core] Spark 드라이버 라이브 로그 UI 지원
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] SparkListenerConnectOperationFinished에 ProducedRowCount 추가
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] 에서 열 이름의 유효성을 검사해야 합니다.
• [SPARK-40178] [SC-140433][sql][COONECT] PySpark 및 R에 대한 간편한 병합 힌트 지원
• [SPARK-44840] [SC-140593][sql] 음수 인덱스를 1 기반으로 변경하기 array_insert()
• [SPARK-44939] [SC-140778][r] SparkR SystemRequirements에서 Java 21 지원
• [SPARK-44936] [SC-140770][core] Spark HybridStore가 메모리 제한에 도달할 때 로그 간소화
• [SPARK-44908] [SC-140712][ml][CONNECT] 교차 유효성 검사기 foldCol 매개 변수 기능 수정
• [SPARK-44816] [SC-140717][connect] UDF 클래스를 찾을 수 없는 경우 오류 메시지 개선
• [SPARK-44909] [SC-140710][ml] 사용 가능하지 않을 때는 토치 배포자 로그 스트리밍 서버 시작을 건너뛰기
• [SPARK-44920] [SC-140707][core] TransportClientFactory.createClient()에서 awaitUninterruptibly() 대신 await()를 사용합니다.
• [SPARK-44905] [SC-140703][sql] 상태 저장 lastRegex가 eval 수행 중 regexp_replace에서 NullPointerException을 유발함
• [SPARK-43987] [SC-139594][셔플] 전용 스레드 풀로 finalizeShuffleMerge 처리를 분리하기
• [SPARK-42768] [SC-140549][sql] 캐시된 계획을 사용하도록 설정하면 기본적으로 AQE가 적용됩니다.
• [SPARK-44741] [SC-139447][core] 에서 regex 기반 MetricFilter 지원 StatsdSink
• [SPARK-44751] [SC-140532][sql] XML FileFormat 인터페이스 구현
• [SPARK-44868] [SC-140438][sql] datetime을 문자열로 변환 to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] UDTF PARTITION 인수의 TABLE BY 절에 대한 쿼리 실행
• [SPARK-44873] [SC-140427] Hive 클라이언트에서 중첩된 열을 사용하여 보기 변경 지원
• [SPARK-44876] [SC-140431][python] Spark Connect에서 화살표 최적화 Python UDF 수정
• [SPARK-44520] [SC-137845][sql] UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 용어를 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY로 변경하고 disclosure root AE를 명시하기
• [SPARK-42664] [SC-139769][connect] bloomFilter 기능 지원 DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] use_na_sentinel에 대한 factorize 지원
• [SPARK-44859] [SC-140254][ss] 구조적 스트리밍 문서에서 잘못된 속성 이름 수정
• [SPARK-44822] [SC-140182][python][SQL] 기본적으로 비결정적 Python UDF 만들기
• [SPARK-44731] [SC-139524][python][CONNECT] Python Spark Connect에서 TimestampNTZ가 리터럴과 함께 작동하게 만들기
• [SPARK-44836] [SC-140180][python] Arrow Python UDTF 리팩터링
• [SPARK-44714] [SC-139238] 다음을 포함하는 쿼리에 대한 LCA 해상도 제한 완화
• [SPARK-44749] [SC-139664][sql][PYTHON] Python UDTF에서 명명된 인수 지원
• [SPARK-44737] [SC-139512][sql][UI] SQL 탭의 SparkThrowable이 아닌 경우 SQL 페이지에 json 형식 오류를 표시해서는 안 됩니다.
• [SPARK-44665] [SC-139307][python] pandas DataFrame assertDataFrameEqual에 대한 지원 추가
• [SPARK-44736] [SC-139622][connect] Spark Connect Scala 클라이언트에 Dataset.explode 추가
• [SPARK-44732] [SC-139422][sql] 기본 제공 XML 데이터 원본 지원
• [SPARK-44694] [SC-139213][python][CONNECT] 활성 세션을 리팩터링하고 API로 노출
• [SPARK-44652] [SC-138881] df 중 하나만 None인 경우 오류 발생
• [SPARK-44562] [SC-138824][sql] 하위 쿼리 일괄 처리에 OptimizeOneRowRelationSubquery 추가
• [SPARK-44717] [SC-139319][python][PS] Resampling에서 TimestampNTZ 존중
• [SPARK-42849] [SC-139365] [SQL] 세션 변수
• [SPARK-44236] [SC-139239][sql] NO_CODEGEN 설정 spark.sql.codegen.factoryMode 하면 WholeStageCodegen 사용 안 함
• [SPARK-44695] [SC-139316][python] 다음의 오류 메시지 개선 DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] 다음에서 매개 변수에 대한 오류를 개선합니다. DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec는 스칼라 하위 쿼리를 사용하여 데이터 필터 푸시다운을 지원합니다.
• [SPARK-44641] [SC-139216][sql] SPJ가 트리거되지 않은 특정 시나리오에서 잘못된 결과
• [SPARK-44689] [SC-139219][connect] 함수 SparkConnectPlanner#unpackScalarScalaUDF 의 예외 처리를 보다 보편적으로 만들기
• [SPARK-41636] [SC-139061][sql] selectFilters를 조건자를 결정적 순서로 반환하도록 합니다.
• [SPARK-44132] [SC-139197][sql] codegen 오류를 방지하기 위해 조인 열 이름을 구체화 Stream 합니다.
• [SPARK-42330] [SC-138838][sql] 오류 클래스에 이름 RULE_ID_NOT_FOUND 할당 _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] 로깅 수준이 RocksDB 상태 저장소 공급자에게 올바르게 전달되지 않음
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus는 None 대신 Some(null)를 반환해야 합니다.
• [SPARK-44603] [SC-138353] pyspark.testing을 setup.py 추가
• [SPARK-44252] [SC-137505][ss] 새 오류 클래스를 정의하고 DFS에서 로드 상태가 실패하는 경우를 적용합니다.
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] UDF를 역직렬화할 수 없는 경우 오류를 발생시킵니다.
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] 초기 요청이 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect 클라이언트 카탈리스트 종속성 제거
• [SPARK-44059] [SC-138833][sql] argumnts라는 SQL에 대한 더 나은 오류 메시지 추가
• [SPARK-44620] [SC-138831][sql][PS][connect] ResolvePivot을(를) Plan_ID_TAG가 유지하도록 함.
• [SPARK-43838] [SC-137413][sql] having 절을 사용하여 단일 테이블의 하위 쿼리를 최적화할 수 없습니다.
• [SPARK-44555] [SC-138820][sql] checkError()를 사용하여 명령 모음에서 예외를 확인하고 일부 오류 클래스 이름을 할당합니다.
• [SPARK-44280] [SC-138821][sql] JDBCDialect API에서 convertJavaTimestampToTimestamp 추가
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] WidenSetOperationTypes가 Plan_ID_TAG을/를 계속 유지하도록 합니다
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] “[SC-137413][sql] 단일 테이블에서 하위 쿼리 수정” 되돌리기...
• [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue 및 친구 복원
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect에서 재연결 가능한 실행
• [SPARK-43838] [SC-137413][sql] having 절을 사용하여 단일 테이블의 하위 쿼리를 최적화할 수 없습니다.
• [SPARK-44587] [SC-138315][sql][CONNECT] protobuf 마샬러 재귀 제한 증가
• [SPARK-44605] [SC-138338][core] 내부 ShuffleWriteProcessor API 구체화
• [SPARK-44394] [SC-138291][connect][WEBUI] Spark Connect용 Spark UI 페이지 추가
• [SPARK-44585] [SC-138286][mllib] MLLib RankingMetrics ndcgAk에서 경고 조건 수정
• [SPARK-44198] [SC-138137][core] 실행기에 로그 수준 전파 지원
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType 대체 지원
• [SPARK-44425] [SC-138135][connect] 사용자가 제공한 sessionId가 UUID인지 확인합니다.
• [SPARK-43611] [SC-138051][sql][PS][connect] ExtractWindowExpressions를 유지하도록 PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Arrow Python UDF에 대한 테스트 및 설명서 개선
• [SPARK-44482] [SC-138067][connect] Connect 서버에서 바인딩 주소를 지정할 수 있어야 합니다.
• [SPARK-44528] [SC-138047][connect] Connect 데이터 프레임에 대한 hasattr()의 적절한 사용 지원
• [SPARK-44525] [SC-138043][sql] Invoke 메서드를 찾을 수 없을 때 오류 메시지 개선
• [SPARK-44355] [SC-137878][sql] WithCTE를 명령 쿼리로 이동

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 14.1 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• 델타 레이크: 3.0.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)