Databricks Runtime 14.3 LTS

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.3 LTS에 대한 정보를 제공합니다.

Databricks는 2024년 2월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• PySpark User-Defined Functions(UDF)의 표준 액세스 모드 클러스터(이전의 공유 액세스 모드) 작업 영역 파일 시스템 지원
• Photon 없이 삭제 벡터 MERGE 최적화 지원
• Spark 카탈로그 API는 이제 표준 액세스 모드 완전히 지원됩니다.
• 이제 Delta UniForm이 일반적으로 공급되었습니다
• 새 SQL 함수 EXECUTE IMMEDIATE
• 델타 테이블의 데이터 건너뛰기 통계를 다시 계산
• 상태 저장 스트리밍 쿼리에 대한 쿼리 상태 정보
• 표준 클러스터 Kafka 인증에 Microsoft Entra ID 사용
• 쿼리 성능 개선하기 위해 파일 및 파티션 정리에 대한 지원이 추가되었습니다.
• SQL 세션에서 임시 변수 선언
• 사용되지 않는 기능 제거하도록 Thriftserver 업데이트
• 유니티 카탈로그 볼륨에서 트러스트 스토어 및 키스토어 파일 사용
• 네이티브 XML 파일 형식 지원(공개 미리 보기)
• Cloudflare R2 스토리지 지원(공개 미리 보기)
• 표준 액세스 Unity 카탈로그 클러스터에서 Spark 및 dbutils는 작업 영역 파일에 대한 접근을 지원합니다
• 표준 액세스 Unity 카탈로그 클러스터에 대한 Init 스크립트 및 클러스터 라이브러리 지원

표준 액세스 모드 클러스터(이전의 공유 액세스 모드)에서 PySpark User-Defined Functions(UDF)의 작업 영역 파일 시스템 지원

표준 클러스터의 PySpark UDF는 이제 Git 폴더, 작업 영역 파일 또는 UC 볼륨 Python 모듈을 가져올 수 있습니다.

Git 폴더 또는 작업 영역 파일에서 모듈을 사용하는 방법에 대한 자세한 내용은 Python 및 R 모듈 작업을 참조 하세요.

Photon을 사용하지 않는 삭제 벡터 MERGE 최적화에 대한 지원

삭제 벡터 최적화를 활용하기 위한 MERGE 작업에는 Photon이 더 이상 필요하지 않습니다. 삭제 벡터란?을 참조하세요.

이제 Spark 카탈로그 API가 표준 액세스 모드에서 완전히 지원됨

이제 표준 액세스 모드로 구성된 컴퓨팅의 Python 및 Scala 모두에서 spark.catalog API의 모든 함수를 사용할 수 있습니다.

이제 Delta UniForm을 일반 공급

이제 UniForm이 일반 공급되며 IcebergCompatV2 테이블 기능을 사용합니다. 이제 기존 테이블에서 UniForm을 사용하거나 업그레이드할 수 있습니다. Iceberg 클라이언트를 사용하여 델타 테이블 읽기 참조하세요.

새 SQL 함수 EXECUTE IMMEDIATE

이제 EXECUTE IMMEDIATE 구문을 사용하여 SQL에서 매개 변수가 있는 쿼리를 지원할 수 있습니다. EXECUTE IMMEDIATE참조하세요.

델타 테이블의 데이터 건너뛰기 통계 다시 계산

이제 데이터 건너뛰기에 사용되는 열을 변경한 후 델타 로그에 저장된 통계를 다시 계산할 수 있습니다. 델타 통계 열을 지정하는 방법을 참조하세요.

상태 저장 스트리밍 쿼리에 대한 쿼리 상태 정보

이제 구조적 스트리밍 상태 데이터 및 메타데이터를 쿼리할 수 있습니다. 구조적 스트리밍 상태 정보 읽기를 참조하세요.

표준 클러스터에서 Kafka 인증에 Microsoft Entra ID 사용

이제 표준 액세스 모드로 구성된 컴퓨팅의 Microsoft Entra ID를 사용하여 OAuth를 통해 Event Hubs 서비스를 인증할 수 있습니다. Microsoft Entra ID 및 Azure Event Hubs를 사용한 서비스 주체 인증을 참조하세요.

쿼리 성능을 개선하기 위해 파일 및 파티션 정리에 대한 지원이 추가됨

JOIN 조건에서 null 허용 같음을 사용하는 일부 쿼리의 속도를 높이기 위해 이제 JOIN의 DynamicFilePruning 연산자에 대해 DynamicPartitionPruning 및 EqualNullSafe를 지원합니다.

SQL 세션에서 임시 변수 선언

이 릴리스에서는 쿼리 내에서 설정한 다음 참조할 수 있는 세션에서 임시 변수를 선언하는 기능을 소개합니다. 변수를 참고하세요.

사용되지 않는 기능을 제거하기 위한 Thriftserver 업데이트

Thriftserver 코드는 사용되지 않는 기능에 대한 코드를 제거하도록 업데이트되었습니다. 이러한 변경으로 인해 다음 구성은 더 이상 지원되지 않습니다.

• hive.aux.jars.path 속성을 사용하여 구성된 Hive 보조 JAR은 hive-thriftserver 연결에 대해 더 이상 지원되지 않습니다.
• .hiverc 속성 또는 hive.server2.global.init.file.location 환경 변수를 사용하여 위치가 구성된 Hive global init 파일(HIVE_CONF_DIR)은 hive-thriftserver 연결에 대해 더 이상 지원되지 않습니다.

Unity 카탈로그 볼륨에서 truststore 및 키 저장소 파일 사용

이제 Unity 카탈로그 볼륨의 truststore 및 키 저장소 파일을 사용하여 avro 또는 프로토콜 버퍼 데이터에 대한 Confluent 스키마 레지스트리에 인증할 수 있습니다. avro 또는 프로토콜 버퍼에 대한 설명서를 참조하세요.

네이티브 XML 파일 형식 지원(공개 미리 보기)

이제 네이티브 XML 파일 형식 지원이 공개 프리뷰에 추가되었습니다. XML 파일 형식 지원을 사용하면 일괄 처리 또는 스트리밍을 위해 XML 데이터를 수집, 쿼리 및 구문 분석할 수 있습니다. 스키마 및 데이터 형식을 자동으로 유추 및 발전시키고, from_xml같은 SQL 식을 지원하며, XML 문서를 생성할 수 있습니다. 외부 jar가 필요하지 않으며 자동 로더, read_filesCOPY INTO및 DLT에서 원활하게 작동합니다. XML 파일 읽기 및 쓰기를 참조하세요.

Cloudflare R2 스토리지 지원(공개 미리 보기)

이제 Cloudflare R2를 Unity 카탈로그에 등록된 데이터에 대한 클라우드 스토리지로 사용할 수 있습니다. Cloudflare R2는 주로 데이터가 지역을 넘을 때 클라우드 공급자가 청구하는 데이터 송신 요금을 방지하려는 델타 공유 사용 사례를 위한 것입니다. R2 스토리지는 AWS S3, Azure Data Lake Storage 및 Google Cloud Storage에서 지원되는 모든 Databricks 데이터 및 AI 자산을 지원합니다. Cloudflare R2 복제본 사용 또는 스토리지를 R2로 마이그레이션 및 Cloudflare R2에 연결하기 위한 스토리지 자격 증명 만들기를 참조하세요.

Unity 카탈로그의 표준 액세스 클러스터에서 작업 공간 파일 지원을 위한 Spark 및 dbutils 액세스

이제 작업 영역 파일에 대한 Spark 및 dbutils 읽기 및 쓰기 액세스가 표준 액세스 모드Unity 카탈로그 클러스터에서 지원됩니다. 작업 영역 파일 작업을 참조하세요.

표준 액세스 Unity 카탈로그 클러스터에 대한 Init 스크립트 및 클러스터 라이브러리 지원

이제 클러스터 정책을 사용하는 설치를 포함하여 표준 액세스 모드Unity 카탈로그 클러스터에 클러스터 범위 init 스크립트 및 Python 및 JAR 라이브러리를 설치할 수 있습니다. Databricks는 Unity 카탈로그 볼륨에서 init 스크립트 및 라이브러리를 설치하는 것을 권장합니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • fastjsonschema 2.19.0에서 2.19.1로
  • filelock 버전 3.12.4에서 3.13.1로
  • googleapis-common-protos 1.61.0에서 1.62.0으로
  • 패키징 버전을 22.0에서 23.2로 업데이트
• 업그레이드된 R 라이브러리:
  • 0.8-82에서 0.8-85로 외화
  • nlme 버전 3.1-162에서 3.1-163으로 업데이트
  • rpart 4.1.19에서 4.1.21로
• 업그레이드된 Java 라이브러리:
  • com.databricks.databricks-sdk-java 0.7.0에서 0.13.0까지
  • org.apache.orc.orc-core 1.9.1-shaded-protobuf에서 1.9.2-shaded-protobuf로
  • org.apache.orc.orc-mapreduce를 버전 1.9.1-shaded-protobuf에서 1.9.2-shaded-protobuf로 업데이트
  • org.apache.orc.orc-shims 1.9.1에서 1.9.2로
  • org.scala-lang.modules.scala-collection-compat_2.12의 버전을 2.9.0에서 2.11.0으로 업데이트

Apache Spark

Databricks Runtime 14.3에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-46541] [SC-153546][sql][CONNECT] 자체 조인에서 모호한 열 참조 수정
• [SPARK-45433] 되돌리기 "[SC-145163][sql] CSV/JSON 스키마 유추 수정...
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] addArtifact 다시 시도 가능으로 만들기
• [SPARK-46660] [SC-153391][connect] ReattachExecute 요청이 SessionHolder의 활성 상태를 업데이트합니다.
• [SPARK-46670] [SC-153273][python][SQL] 정적 및 런타임 Python 데이터 원본을 구분하여 DataSourceManager를 자체 복제 가능으로 만들기
• [SPARK-46720] [SC-153410][sql][PYTHON] Python 데이터 원본을 리팩터링하여 다른 DSv2 기본 제공 데이터 원본과 일치
• [SPARK-46684] [SC-153275][python][CONNECT] 인수를 올바르게 전달하도록 CoGroup.applyInPandas/Arrow 수정
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: 여러 XML 데이터 원본에 오류 발생
• [SPARK-46382] [SC-151881][sql]XML: 기본적으로 ignoreSurroundingSpaces를 true로 설정
• [SPARK-46382] [SC-153178][sql] XML: ignoreSurroundingSpaces에 대한 문서 업데이트
• [SPARK-45292] 되돌리기 "[SC-151609][sql][HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거"
• [SPARK-45292] [SC-151609][sql][HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거
• [SPARK-46311] [SC-150137][core] Master.removeDriver 동안 드라이버의 최종 상태를 기록합니다.
• [SPARK-46413] [SC-151052][python] Arrow Python UDF의 returnType 유효성 검사
• [SPARK-46633] [WARMFIX][sc-153092][SQL] 길이가 0인 블록을 처리하도록 Avro 판독기 수정
• [SPARK-46537] [SC-151286][sql] NPE 및 어설션을 명령에서 내부 오류로 변환하기
• [SPARK-46179] [SC-151678][sql] Postgres부터 시작하여 다른 DBMS의 골든 파일에 대해 다양한 DBMS를 실행하는 CrossDbmsQueryTestSuites 추가
• [SPARK-44001] [SC-151413][protobuf] protobuf 잘 알려진 래퍼 형식의 래핑 해제를 허용하는 옵션 추가
• [SPARK-40876] [SC-151786][sql] Parquet 판독기에서 더 큰 소수 자릿수를 다루기 위한 데이터 유형 확장 및 승격
• [SPARK-46605] [SC-151769][connect] connect 모듈의 lit/typedLit 함수를 지원하도록 만들기 s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] 리터럴 유효성 검사는 null 필드로 드릴다운해서는 안 됩니다.
• [SPARK-37039] [SC-153094][ps] Series.astype가 누락된 값이 있어도 제대로 작동하도록 수정
• [SPARK-46312] [SC-150163][core] lower_camel_case 사용 store_types.proto에서
• [SPARK-46630] [SC-153084][sql] XML: 쓰기 시 XML 요소 이름 유효성 검사
• [SPARK-46627] [SC-152981][ss][UI] 스트리밍 UI에서 타임라인 도구 설명 콘텐츠 수정
• [SPARK-46248] [SC-151774][sql] XML: ignoreCorruptFiles 및 ignoreMissingFiles 옵션에 대한 지원
• [SPARK-46386] [SC-150766][python] 관찰 어설션 개선(pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] AccumulatorV2의 isZero에 대한 주석 업데이트
• [SPARK-46601] [SC-151785] [CORE] handleStatusMessage에서 로그 오류 수정
• [SPARK-46568] [SC-151685][python] Python 데이터 원본 옵션을 대/소문자를 구분하지 않는 사전으로 만들기
• [SPARK-46611] [SC-151783][core] SimpleDateFormat을 DateTimeFormatter로 바꿔 ThreadLocal 제거
• [SPARK-46604] [SC-151768][sql] Literal.apply 지원 s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] pyspark.sql.functions.user 및 session_user 출력 이름 수정
• [SPARK-46621] [SC-151794][python] Py4J 캡처된 예외의 Exception.getMessage에서 null 주소
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader는 누락된 열에 대한 열 벡터를 만들 때 메모리 모드를 준수해야 합니다.
• [SPARK-46613] [SC-151778][sql][PYTHON] Python 데이터 원본을 조회하지 못한 경우 전체 예외 기록
• [SPARK-46559] [SC-151364][mllib] 패키지 이름의 export를 백틱으로 감싸기
• [SPARK-46522] [SC-151784][python] 이름 충돌로 Python 데이터 원본 등록 차단
• [SPARK-45580] [SC-149956][sql] 중첩된 하위 쿼리가 존재 조인으로 변환되는 경우에 대한 처리
• [SPARK-46609] [SC-151714][sql] PartitioningPreservingUnaryExecNode에서 지수적 폭증 방지
• [SPARK-46535] [SC-151288][sql] col 통계 없이 확장된 열을 설명할 때 NPE 수정
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: 호환성 검사를 위해 TypeCoercion.findTightestCommonType 사용
• [SPARK-40876] [SC-151129][sql] Parquet 판독기에서 형식 승격 확대
• [SPARK-46179] [SC-151069][sql] SQLQueryTestSuite에서 재사용 가능한 함수로 코드 끌어오기
• [SPARK-46586] [SC-151679][sql] s.c.immutable.ArraySeq를 customCollectionCls로 MapObjects에서 지원
• [SPARK-46585] [SC-151622][core] metricPeaksimmutable.ArraySeq 사용하는 대신 mutable.ArraySeq.toSeq 직접 생성된 Executor
• [SPARK-46488] [SC-151173][sql] 타임스탬프 파싱 중 trimAll 호출 건너뛰기
• [SPARK-46231] [SC-149724][python] 나머지 NotImplementedError & TypeError 모두 PySpark 오류 프레임워크로 마이그레이션
• [SPARK-46348] [SC-150281][core] 지원 spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] 로그 Spark HA 복구 기간
• [SPARK-46358] [SC-150307][연결] ResponseValidator#verifyResponse 조건 검사를 간소화합니다.
• [SPARK-46380] [SC-151078][sql]인라인 테이블 식을 평가하기 전에 현재 시간/날짜를 대체합니다.
• [SPARK-46563] [SC-151441][sql] conf spark.sql.debug.maxToStringFields를 따르지 않는 simpleString 보기
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] (string|array).size를 (string|array).length로 대체하여 스택 깊이를 줄입니다.
• [SPARK-46539] [SC-151469][sql] SELECT * EXCEPT(구조체의 모든 필드,) 어설션 오류를 초래합니다.
• [SPARK-46565] [SC-151414][python] Python 데이터 원본에 대한 오류 클래스 및 오류 메시지 구체화
• [SPARK-46576] [SC-151614][sql] 지원되지 않는 데이터 원본 저장 모드에 대한 오류 메시지 개선
• [SPARK-46540] [SC-151355][python] Python 데이터 원본 읽기 함수가 Row 개체라는 이름을 출력할 때 열 이름 존중
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite가 hive의 SessionState를 누출합니다.
• [SPARK-44556] [SC-151562][sql] vectorizedReader를 사용하도록 설정할 때 OrcTail 다시 사용
• [SPARK-46587] [SC-151618][sql] XML: XSD 큰 정수 변환 수정
• [SPARK-46382] [SC-151297][sql] XML: 요소 사이에 산재된 캡처 값
• [SPARK-46567] [SC-151447][core] ReadAheadInputStream에 대한 ThreadLocal 제거
• [SPARK-45917] [SC-151269][python][SQL] 시작 시 Python 데이터 원본 자동 등록
• [SPARK-28386] [SC-151014][sql] ORDER BY 및 GROUP BY 사용하여 HAVING 열을 확인할 수 없습니다.
• [SPARK-46524] [SC-151446][sql] 잘못된 저장 모드에 대한 오류 메시지 개선
• [SPARK-46294] [SC-150672][sql] init 및 0 값의 의미 체계 정리
• [SPARK-46301] [SC-150100][core] 지원 spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] 항상 true이므로 c>=0에 대한 검사를 ExternalCatalogUtils#needsEscaping에서 제거합니다.
• 개체 dtype을 사용하는 을 위한 FutureWarning [SC-151360][ps] interpolate
• [SPARK-45914] [SC-151312][python] Python 데이터 원본 쓰기에 대한 커밋 및 중단 API 지원
• [SPARK-46543] [SC-151350][python][CONNECT] 빈 필드에 PySparkValueError를 json_tuple throw합니다.
• [SPARK-46520] [SC-151227][python] Python 데이터 원본 쓰기에 대한 덮어쓰기 모드 지원
• [SPARK-46502] [SC-151235][sql] UnwrapCastInBinaryComparison의 타임스탬프 형식 지원
• [SPARK-46532] [SC-151279][connect] ErrorInfo 메타데이터에 메시지 매개 변수 전달
• [SPARK-46397] 되돌리기 "[SC-151311][python][CONNECT] 함수 sha2 잘못된 PySparkValueError대해 numBits 발생시켜야 합니다."
• [SPARK-46170] [SC-149472][sql] SparkSessionExtensions에서 적응 쿼리 포스트 플래너 전략 규칙 삽입 지원
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable은 테이블을 로드하지 않아야 합니다.
• [SPARK-46397] [SC-151311][python][CONNECT] 함수 sha2는 잘못된 PySparkValueError에 대해 numBits를 발생시켜야 합니다.
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
• [SPARK-46272] [SC-151012][sql] DSv2 원본을 사용하여 CTAS 지원
• [SPARK-46480] [SC-151127][core][SQL] 테이블 캐시 작업 시도 시 NPE 수정
• [SPARK-46100] [SC-149051][core][PYTHON] (string|array).size를 (string|array).length로 교체하여 스택 깊이 줄이기
• [SPARK-45795] [SC-150764][sql] DS V2는 푸시다운 모드를 지원합니다.
• [SPARK-46485] [SC-151133][sql] V1Write는 필요하지 않은 경우 정렬을 추가하면 안 됩니다.
• [SPARK-46468] [SC-151121] [SQL] 키를 그룹화하지 않고 집계를 사용하여 EXISTS 하위 쿼리에 대한 COUNT 버그 처리
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE SQL 지원
• [SPARK-46498] [SC-151199][core] shuffleServiceEnabled에서 o.a.spark.util.Utils#getConfiguredLocalDirs 제거
• [SPARK-46440] [SC-150807][sql] 기본적으로 rebase 구성을 CORRECTED 모드로 설정
• [SPARK-45525] [SC-151120][sql][PYTHON] DSv2를 사용하여 Python 데이터 원본 쓰기 지원
• [SPARK-46505] [SC-151187][connect] 바이트 임계값을 구성 가능하게 만들기 ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] 레거시 "datetime rebasing SQL 구성" 제거
• [SPARK-46443] [SC-151123][sql] H2 방언에 따라 소수 자릿수 및 소수 축척이 결정되어야 합니다.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] 구조적 스트리밍 페이지에서 작업 기간 스택 차트 수정
• [SPARK-46207] [SC-151068][sql] DataFrameWriterV2에서 MergeInto 지원
• [SPARK-46452] [SC-151018][sql] DataWriter에 새 API를 추가하여 레코드 반복기를 작성합니다.
• [SPARK-46273] [SC-150313][sql] DSv2 원본을 사용하여 INTO/OVERWRITE INSERT 지원
• [SPARK-46344] [SC-150267][core] 드라이버가 성공적으로 존재하지만 마스터 연결이 끊어지면 제대로 경고
• [SPARK-46284] [SC-149944][python][CONNECT] Python에 session_user 함수 추가
• [SPARK-46043] [SC-149786][sql] DSv2 원본을 사용하여 테이블 만들기 지원
• [SPARK-46323] [SC-150191][python] pyspark.sql.functions.now의 출력 이름 수정
• [SPARK-46465] [SC-151059][python][CONNECT] PySpark에서 Column.isNaN 추가
• [SPARK-46456] [SC-151050][core] spark.ui.jettyStopTimeout 추가하여 Jetty 서버 중지 시간 제한을 설정하여 SparkContext 종료 차단 해제
• [SPARK-43427] [SC-150356][protobuf] spark protobuf: 부호 없는 정수 형식 업캐스트 허용
• [SPARK-46399] [SC-151013][14.x][코어] Spark 수신기를 사용하기 위해 Application End 이벤트에 종료 상태 추가
• [SPARK-46423] [SC-150752][python][SQL] DataSource.lookupDataSourceV2에서 Python 데이터 원본 인스턴스 만들기
• [SPARK-46424] [SC-150765][python][SQL] Python 데이터 원본에서 Python 메트릭 지원
• [SPARK-46330] [SC-151015] HybridStore를 사용하도록 설정한 경우 오랫동안 Spark UI 블록 로드
• [SPARK-46378] [SC-150397][sql] 집계를 프로젝트로 변환한 후에도 여전히 정렬을 제거합니다.
• [SPARK-45506] [SC-146959][connect] SparkConnect addArtifact에 ivy URI 지원 추가
• [SPARK-45814] [SC-147871][connect][SQL] 메모리 누수를 방지하기 위해 ArrowConverters.createEmptyArrowBatch가 close()를 호출하도록 하기
• [SPARK-46427] [SC-150759][python][SQL] 설명에서 Python 데이터 원본의 설명을 더 명확하고 보기 좋게 변경하다
• [SPARK-45597] [SC-150730][python][SQL] SQL에서 Python 데이터 원본을 사용하여 테이블 만들기 지원(DSv2 exec)
• [SPARK-46402] [SC-150700][python] getMessageParameters 및 getQueryContext 지원 추가
• [SPARK-46453] [SC-150897][connect] internalError()에서 SessionHolder로 예외 발생
• [SPARK-45758] [SC-147454][sql] hadoop 압축 코덱에 대한 매퍼 소개
• [SPARK-46213] [PYTHON] 오류 프레임워크 소개 PySparkImportError
• [SPARK-46230] [SC-149960][python] RetriesExceeded를 PySpark 오류에 마이그레이션
• [SPARK-45035] [SC-145887][sql] multiline CSV/JSON을 사용하여 ignoreCorruptFiles/ignoreMissingFiles를 수정하면 오류가 보고됩니다.
• [SPARK-46289] [SC-150846][sql] 해석 모드에서 UDT 순서 지정 지원
• [SPARK-46229] [SC-150798][python][CONNECT] Spark Connect에서 groupBy 및 공동 그룹에 applyInArrow 추가
• [SPARK-46420] [SC-150847][sql] SparkSQLCLIDriver에서 사용되지 않는 전송 제거
• [SPARK-46226] [PYTHON] 나머지 RuntimeError 모든 항목이 PySpark 오류 프레임워크로 마이그레이션
• [SPARK-45796] [SC-150613][sql] 그룹 내 MODE() 지원(ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] groupBy 및 공동 그룹에 applyInArrow 추가
• [SPARK-46069] [SC-149672][sql] 타임스탬프 유형을 날짜 유형으로 변환 지원
• [SPARK-46406] [SC-150770][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] 세션 반복기에서 IllegalStateExceptioninternalError 변환
• [SPARK-45807] [SC-150751][sql] ViewCatalog API 개선
• [SPARK-46009] [SC-149771][sql][CONNECT] PercentileCont 및 PercentileDisc의 구문 분석 규칙을 functionCall에 병합
• [SPARK-46403] [SC-150756][sql] getBytesUnsafe 메서드를 사용하여 parquet 이진 데이터를 디코딩하기
• [SPARK-46389] [SC-150779][core] RocksDB/LevelDB에서 예외가 발생할 때 checkVersion 인스턴스를 수동으로 닫습니다.
• [SPARK-46360] [SC-150376][python] 새 getMessage API를 사용하여 오류 메시지 디버깅 향상
• [SPARK-46233] [SC-149766][python] 나머지 AttributeError 모두 PySpark 오류 프레임워크로 마이그레이션
• [SPARK-46394] [SC-150599][sql] spark.sql.legacy.keepCommandOutputSchema true로 설정된 경우 특수 문자가 있는 스키마의 spark.catalog.listDatabases() 문제 해결
• [SPARK-45964] [SC-148484][sql] catalyst 패키지의 XML 및 JSON 패키지에서 비공개 sql 접근자 제거
• [SPARK-45856] [SC-148691] Spark Connect에서 SparkSession으로 ArtifactManager 이동(sql/core)
• [SPARK-46409] [SC-150714][connect] spark-connect-scala-client 시작 스크립트 수정
• [SPARK-46416] [SC-150699][core] @tailrec을 HadoopFSUtils#shouldFilterOutPath에 추가합니다.
• [SPARK-46115] [SC-149154][sql] encode() 문자 집합 제한
• [SPARK-46253] [SC-150416][python] MapInArrow를 사용하여 Python 데이터 원본 읽기 계획
• [SPARK-46339] [SC-150266][ss] 일괄 처리 번호 이름을 가진 디렉터리를 메타데이터 로그로 처리해서는 안 됩니다.
• [SPARK-46353] [SC-150396][core] RegisterWorker 단위 테스트 범위를 개선하기 위한 리팩터링
• [SPARK-45826] [SC-149061][sql] DataFrame 쿼리 컨텍스트에서 스택 추적에 대한 SQL 구성 추가
• [SPARK-45649] [SC-150300][sql] OffsetWindowFunctionFrame에 대한 준비 프레임워크 통합
• [SPARK-46346] [SC-150282][core] 마스터를 수정하여 UNKNOWN msg에서 작업자를 ALIVE에서 RegisterWorker으로 업데이트하도록 함
• [SPARK-46388] [SC-150496][sql] HiveAnalysis가 패턴 가드를 놓치다 query.resolved
• [SPARK-46401] [SC-150609][core] !isEmpty()에서 RoaringBitmap 대신 getCardinality() > 0에 RemoteBlockPushResolver를 사용
• [SPARK-46393] [SC-150603][sql] JDBC 테이블 카탈로그의 예외 분류
• [SPARK-45798] [SC-150513][connect] 후속 작업: SessionHolderInfo에 serverSessionId 추가
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: TimestampNTZType 지원 추가
• [SPARK-46075] [SC-150393][connect] SparkConnectSessionManager 개선 사항
• [SPARK-46357] [SC-150596] setConf의 잘못된 설명서 사용을 conf.set로 바꾸기
• [SPARK-46202] [SC-150420][connect] 사용자 지정 대상 디렉터리를 지원하기 위해 새 ArtifactManager API 노출
• [SPARK-45824] [SC-147648][sql] ParseException 오류 클래스 강제 적용
• [SPARK-45845] [SC-148163][ss][UI] 스트리밍 UI에 제거된 상태 행 수 추가
• [SPARK-46316] [SC-150181][core] buf-lint-action 모듈에서 core를 활성화하다
• [SPARK-45816] [SC-147656][sql] 타임스탬프에서 정수로 캐스팅할 때 오버플로가 발생하면 NULL를 반환합니다.
• [SPARK-46333] [SC-150263][sql] 촉매에서 IllegalStateException를 SparkException.internalError로 바꾸기
• [SPARK-45762] [SC-148486][core] 시작 순서를 변경하여 사용자 JAR 파일에 정의된 셔플 관리자 지원
• [SPARK-46239] [SC-149752][core] Jetty 정보 숨기기
• [SPARK-45886] [SC-148089][sql] DataFrame 컨텍스트의 callSite에서 전체 스택 추적 출력
• [SPARK-46290] [SC-150059][python] saveMode를 DataSourceWriter에서 불리언 플래그로 변경
• [SPARK-45899] [SC-148097][connect] errorInfoToThrowable에서 errorClass 설정
• [SPARK-45841] [SC-147657][sql] DataFrameQueryContext별 스택 추적 노출
• [SPARK-45843] [SC-147721][core] REST 제출 API의 killall 지원
• [SPARK-46234] [SC-149711][python] PySpark 오류 프레임워크에 대한 PySparkKeyError 소개
• [SPARK-45606] [SC-147655][sql] 다중 계층 런타임 필터에 대한 릴리스 제한
• [SPARK-45725] [SC-147006][sql] 기본이 아닌 IN 하위 쿼리 런타임 필터 제거
• [SPARK-45694] [SC-147314][spark-45695][SQL] 더 이상 사용되지 않는 API 사용을 View.force 정리하고 ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] withOrigin 더 일반화
• [SPARK-46292] [SC-150086][core][UI] MasterPage에서 작업자 요약 표시
• [SPARK-45685] [SC-146881][core][SQL] LazyList 대신 Stream 사용
• [SPARK-45888] [SC-149945][ss] 상태(메타데이터) 데이터 원본에 오류 클래스 프레임워크 적용
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed 받아쓰기/맵 순서를 유지해야 합니다.
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] SeqOps.view 정리 및 ArrayOps.view 변환
• [SPARK-46029] [SC-149255][sql] DS V2 푸시다운에 대해 작은따옴표와 _ 및 %를 이스케이프 처리
• [SPARK-46275] [SC-150189] Protobuf: 역직렬화가 실패하면 허용 모드에서 null을 반환합니다.
• [SPARK-46320] [SC-150187][core] 지원 spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] 범위를 초과하는 Parquet 행 그룹 필터를 푸시하지 않기.
• [SPARK-46300] [SC-150097][python][CONNECT] 열의 세부 동작을 완전한 테스트 범위와 일치시키기
• [SPARK-46298] [SC-150092][python][CONNECT] Catalog.createExternalTable의 사용 중단 경고, 테스트 사례 및 오류 일치
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] StringContext/StringOps/RightProjection/LeftProjection/Either 및 BufferedIterator/CanBuildFrom/Traversable와 관련된 API 사용에서 사용되지 않은 부분을 정리하고 형식 사용을 개선합니다.
• [SPARK-33393] [SC-148407][sql] v2의 SHOW TABLE EXTENDED 지원
• [SPARK-45737] [SC-147011][sql] .toArray[InternalRow]을 SparkPlan#executeTake에서 불필요하게 제거
• [SPARK-46249] [SC-149797][ss] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하기 위한 인스턴스 잠금 필요
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed 받아쓰기 순서를 따라야 합니다.
• [SPARK-46274] [SC-150043] [SQL] 변환하기 전에 긴 유효성을 검사하도록 Range 연산자 computeStats()를 수정합니다.
• [SPARK-46040] [SC-149767][sql][Python] 일반 식을 지원하도록 '분석' 분할/순서 지정 열에 대한 UDTF API 업데이트
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty 모든 데이터 형식에서 작동해야 합니다.
• [SPARK-45678] [SC-146825][core] tryOrFetchFailedException 하에서 BufferReleasingInputStream.available/reset을 다루다
• [SPARK-45667] [SC-146716][core][SQL][connect] IterableOnceExtensionMethods관련된 사용되지 않는 API 사용량을 정리합니다.
• [SPARK-43980] [SC-148992][sql] select * except 구문 소개
• [SPARK-46269] [SC-149816][ps] 더 많은 NumPy 호환성 함수 테스트를 사용하도록 설정
• [SPARK-45807] [SC-149851][sql] ViewCatalog에 createOrReplaceView(..) / replaceView(..) 추가
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Scala Array를 immutable.ArraySeq로 래핑하는 암시적 함수를 도입합니다.
• [SPARK-46205] [SC-149655][core] PersistenceEngine로 KryoSerializer 성능을 향상하다
• [SPARK-45746] [SC-149359][python] UDTF 'analyze' 또는 'eval' 메서드가 잘못된 값을 수락하거나 반환하는 경우 특정 오류 메시지를 반환합니다.
• [SPARK-46186] [SC-149707][connect] ExecuteThreadRunner가 시작하기 전에 중단되었을 때 잘못된 상태 전환 수정
• [SPARK-46262] [SC-149803][ps] Pandas-on-Spark 개체에 대한 np.left_shift의 테스트를 활성화합니다.
• [SPARK-45093] [SC-149679][connect][PYTHON] AddArtifactHandler에 대한 오류 처리 및 변환을 올바르게 지원합니다.
• [SPARK-46188] [SC-149571][doc][3.5] Spark 문서의 생성된 테이블 CSS 수정
• [SPARK-45940] [SC-149549][python] DataSourceReader 인터페이스에 InputPartition 추가
• [SPARK-43393] [SC-148301][sql] 주소 시퀀스 식 오버플로 버그입니다.
• [SPARK-46144] [SC-149466][sql] 실패하다 INSERT... 조건에 하위 쿼리가 포함되어 있을 때는 REPLACE 문을 사용하세요.
• [SPARK-46118] [SC-149096][sql][SS][connect] SparkSession.sessionState.conf 대신 SQLContext.conf 사용하고 SQLContext.conf 더 이상 사용되지 않는 것으로 표시
• [SPARK-45760] [SC-147550][sql] 식 중복을 방지하기 위해 식과 함께 추가
• [SPARK-43228] [SC-149670][sql] 조인 키도 CoalesceBucketsInJoin의 PartitioningCollection과 일치합니다.
• [SPARK-46223] [SC-149691][ps] 사용되지 않는 코드 정리를 사용하여 SparkPandasNotImplementedError 테스트
• [SPARK-46119] [SC-149205][sql] toString에 대한 UnresolvedAlias 메서드 오버라이드
• [SPARK-46206] [SC-149674][ps] SQL 프로세서에 더 좁은 범위 예외 사용
• [SPARK-46191] [SC-149565][core] 기존 파일의 경우 FileSystemPersistenceEngine.persist 오류 msg 개선
• [SPARK-46036] [SC-149356][sql] raise_error 함수에서 오류 클래스 제거
• [SPARK-46055] [SC-149254][sql] 카탈로그 데이터베이스 API 구현 다시 쓰기
• [SPARK-46152] [SC-149454][sql] XML: XML 스키마 유추에서 DecimalType 지원 추가
• [SPARK-45943] [SC-149452][sql] DetermineTableStats를 확인 규칙으로 이동
• [SPARK-45887] [SC-148994][sql] codegen 및 non-codegen 구현 정렬 Encode
• [SPARK-45022] [SC-147158][sql] 데이터 세트 API 오류에 대한 컨텍스트 제공
• ko-KR: [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] toIterator를 iterator로 교체 IterableOnce
• [SPARK-46141] [SC-149357][sql] spark.sql.legacy.ctePrecedencePolicy의 기본값을 CORRECTED로 변경
• [SPARK-45663] [SC-146617][core][MLLIB] IterableOnceOps#aggregate를 IterableOnceOps#foldLeft로 교체
• [SPARK-45660] [SC-146493][sql] ComputeCurrentTime 규칙에서 리터럴 개체 다시 사용
• [SPARK-45803] [SC-147489][core] 더 이상 사용되지 않는 RpcAbortException 제거
• [SPARK-46148] [SC-149350][ps] pyspark.pandas.mlflow.load_model 테스트 수정(Python 3.12)
• [SPARK-46110] [SC-149090][python] 카탈로그, conf, 연결, 관찰, pandas 모듈에서 오류 클래스 사용
• [SPARK-45827] [SC-149203][sql] codegen 및 벡터화 판독기 비활성화 시 관련 문제 수정
• [SPARK-46080] "[SC-149012][python] Cloudpickle을 3.0.0으로 업그레이드" 되돌리기
• [SPARK-45460] [SC-144852][sql] scala.collection.convert.ImplicitConversions를 scala.jdk.CollectionConverters로 교체하기
• [SPARK-46073] [SC-149019][sql] 특정 명령에 대한 UnresolvedNamespace의 특수 해상도 제거
• [SPARK-45600] [SC-148976][python] Python 데이터 원본 등록 세션 수준 만들기
• [SPARK-46074] [SC-149063][connect][SCALA] UDF 오류에 대한 오류 메시지의 세부 정보가 부족합니다.
• [SPARK-46114] [SC-149076][python] 오류 프레임워크에 PySparkIndexError 추가
• [SPARK-46120] [SC-149083][connect][PYTHON] 도우미 함수 DataFrame.withPlan 제거
• [SPARK-45927] [SC-148660][python] Python 데이터 원본에 대한 업데이트 경로 처리
• [SPARK-46062] [14.x][sc-148991][SQL] CTE 정의와 참조 간에 isStreaming 플래그 동기화
• [SPARK-45698] [SC-146736][core][SQL][ss] Buffer 관련된 사용되지 않는 API 사용량 정리
• [SPARK-46064] [SC-148984][sql][SS] EliminateEventTimeWatermark를 분석기로 이동하고 해결된 자식에만 적용되도록 변경
• [SPARK-45922] [SC-149038][connect][CLIENT] 사소한 재시도 리팩터링(여러 정책에 대한 후속 작업)
• [SPARK-45851] [SC-148419][connect][SCALA] scala 클라이언트에서 여러 정책 지원
• [SPARK-45974] [SC-149062][sql] RowLevelOperationRuntimeGroupFiltering에 대해 scan.filterAttributes가 비어 있지 않음을 판단하는 기능 추가
• [SPARK-46085] [SC-149049][connect] Scala Spark Connect 클라이언트의 Dataset.groupingSets
• [SPARK-45136] [SC-146607][connect] Ammonite 지원으로 ClosureCleaner 향상
• [SPARK-46084] [SC-149020][ps] 범주 형식에 대한 데이터 형식 캐스팅 작업을 리팩터링합니다.
• [SPARK-46083] [SC-149018][python] SparkNoSuchElementException을 정식 오류 API로 만들기
• [SPARK-46048] [SC-148982][python][CONNECT] Python Spark Connect에서 DataFrame.groupingSets 지원
• [SPARK-46080] [SC-149012][python] Cloudpickle을 3.0.0으로 업그레이드
• [SPARK-46082] [SC-149015][python][CONNECT] Spark Connect를 사용하여 Pandas Functions API에 대한 protobuf 문자열 표현 수정
• [SPARK-46065] [SC-148985][ps] (DataFrame|Series).factorize()사용하도록 create_map 리팩터링합니다.
• [SPARK-46070] [SC-148993][sql] 핫 루프 외부의 SparkDateTimeUtils.getZoneId에서 regex 패턴 컴파일
• [SPARK-46063] [SC-148981][python][CONNECT] 아규먼트 타입과 관련된 오류 메시지를 큐트, 롤업, groupby 및 피벗에서 개선
• [SPARK-44442] [SC-144120][mesos] Mesos 지원 제거
• [SPARK-45555] [SC-147620][python] 실패한 어설션에 대한 디버깅 가능한 개체 포함
• [SPARK-46048] [SC-148871][python][SQL] PySpark에서 DataFrame.groupingSets 지원
• [SPARK-45768] [SC-147304][sql][PYTHON] 장애 처리기를 SQL에서 Python 실행에 대한 런타임 구성으로 만들기
• [SPARK-45996] [SC-148586][python][CONNECT] Spark Connect에 대한 적절한 종속성 요구 사항 메시지 표시
• [SPARK-45681] [SC-146893][ui] UI에서 일관된 오류 렌더링을 위해 js 버전의 UIUtils.errorMessageCell 복제
• [SPARK-45767] [SC-147225][core] TimeStampedHashMap 및 해당 UT 삭제
• [SPARK-45696] [SC-148864][core] fix 메서드 tryCompleteWith in trait Promise는 더 이상 사용되지 않습니다.
• [SPARK-45503] [SC-146338][ss] RocksDB 압축 설정에 Conf 추가
• [SPARK-45338] [SC-143934][core][SQL] scala.collection.JavaConverters을 scala.jdk.CollectionConverters로 교체하기
• [SPARK-44973] [SC-148804][sql] ArrayIndexOutOfBoundsException에서 conv() 수정
• [SPARK-45912] [SC-144982][sc-148467][SQL] XSDToSchema API 향상: 클라우드 스토리지 접근성을 위한 HDFS API로 변경
• [SPARK-45819] [SC-147570][core] REST 제출 API에서 clear 지원
• [SPARK-45552] [14.x][sc-146874][PS] 유연한 매개변수를 도입합니다 assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] 다른 스트리밍 원본에 대한 인터페이스를 제공하여 _metadata 열을 추가합니다.
• [SPARK-45929] [SC-148692][sql] 데이터 프레임 API에서 groupingSets 작업 지원
• [SPARK-46012] [SC-148693][core] EventLogFileReader는 앱 상태 파일이 없는 경우 롤링 로그를 읽지 않아야 합니다.
• [SPARK-45965] [SC-148575][sql] DSv2 분할 식을 functions.partitioning으로 이동
• [SPARK-45971] [SC-148541][core][SQL] SparkCollectionUtils 패키지 이름을 org.apache.spark.util으로 수정합니다.
• [SPARK-45688] [SC-147356][spark-45693][CORE] MapOps & method += in trait Growable is deprecated 관련 사용되지 않는 API 사용 정리, 수정 완료
• [SPARK-45962] [SC-144645][sc-148497][SQL] XML 대신 treatEmptyValuesAsNulls 제거하고 nullValue 옵션 사용
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Python 3.11 이상에서 list GenericAlias를 처리하도록 typehints 수정
• [SPARK-45999] [SC-148595][ps] PandasProduct에 전용 cumprod를 사용합니다.
• [SPARK-45986] [SC-148583][ml][PYTHON] Python 3.11에서 pyspark.ml.torch.tests.test_distributor 수정
• [SPARK-45994] [SC-148581][python] description-file를 description_file로 변경
• [SPARK-45575] [SC-146713][sql] df 읽기 API에 대한 시간 이동 옵션 지원
• [SPARK-45747] [SC-148404][ss] 상태 메타데이터의 접두사 키 정보를 사용하여 세션 창 집계에 대한 읽기 상태 처리
• [SPARK-45898] [SC-148213][sql] 해결되지 않은 논리 계획을 사용하도록 카탈로그 테이블 API 다시 작성
• [SPARK-45828] [SC-147663][sql] dsl에서 사용되지 않는 메서드 제거
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] protobuf 4.25.1로 업그레이드하여 Python 3.11을 지원합니다.
• [SPARK-45911] [SC-148226][core] TLS1.3을 RPC SSL의 기본값으로 설정
• [SPARK-45955] [SC-148429][ui] 플레임그래프 및 스레드 덤프 세부 정보에 대한 축소 기능 지원
• [SPARK-45936] [SC-148392][ps] 최적화 Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] 파티션 메타데이터 가져오기에 대한 MetaException 일치 규칙 수정
• [SPARK-45655] [SC-148085][sql][SS] CollectMetrics의 AggregateFunctions 내에서 비결정적 식 허용
• [SPARK-45946] [SC-148448][ss] RocksDBSuite에서 기본 문자 집합을 전달하도록 사용 중지된 FileUtils 쓰기의 사용 수정
• [SPARK-45511] [SC-148285][ss] 상태 데이터 원본 - 리더
• [SPARK-45918] [SC-148293][ps] MultiIndex.symmetric_difference 최적화
• [SPARK-45813] [SC-148288][connect][PYTHON] 명령에서 관찰된 메트릭 반환
• [SPARK-45867] [SC-147916][core] 지원 spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] parser 도우미 함수 추가
• [SPARK-45930] [SC-148399][sql] MapInPandas/MapInArrow에서 비결정적 UDF 지원
• [SPARK-45810] [SC-148356][python] Python UDTF API를 만들어 입력 테이블에서 행 사용을 중지합니다.
• [SPARK-45731] [SC-147929][sql] 또한 ANALYZE TABLE 명령을 사용하여 파티션 통계 업데이트
• [SPARK-45868] [SC-148355][connect] 바닐라 스파크와 동일한 파서를 spark.table 사용하도록 확인하다
• [SPARK-45882] [SC-148161][sql] BroadcastHashJoinExec 전파 분할은 CoalescedHashPartitioning을 존중해야 합니다.
• [SPARK-45710] [SC-147428][sql] 오류 _LEGACY_ERROR_TEMP_21에 이름을 할당[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] decimal(x, 0)을 IntegralType과 동일하게 취급합니다 PromoteStrings
• [SPARK-45786] [SC-147552][sql] 부정확한 10진수 곱하기 및 나누기 결과 수정
• [SPARK-45871] [SC-148084][connect] .toBuffer 모듈의 connect 관련된 최적화 컬렉션 변환
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager는 중지된 sparkcontext를 조회할 수 있습니다.
• [SPARK-45913] [SC-148289][python] PySpark 오류에서 내부 특성을 비공개로 만듭니다.
• [SPARK-45827] [SC-148201][sql] Spark에 Variant 데이터 형식을 추가합니다.
• [SPARK-44886] [SC-147876][sql] CREATE/REPLACE CLUSTER BY에 대한 TABLE 구문을 도입하다
• [SPARK-45756] [SC-147959][core] 지원 spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] 서버 쪽 세션 ID 어설션
• [SPARK-45896] [SC-148091][sql] 올바른 예상 형식의 ValidateExternalType 생성
• [SPARK-45902] [SC-148123][sql] resolvePartitionColumns 사용하지 않는 함수 DataSource 제거
• [SPARK-45909] [SC-148137][sql] NumericType 안전하게 업캐스트할 수 있는 경우 IsNotNull 캐스트 제거
• [SPARK-42821] [SC-147715][sql] splitFiles 메서드에서 사용되지 않는 매개 변수 제거
• [SPARK-45875] [SC-148088][core] MissingStageTableRowData 모듈에서 core 제거
• [SPARK-45783] [SC-148120][python][CONNECT] Spark Connect 모드를 사용하지만 원격 URL이 설정되지 않은 경우 오류 메시지 개선
• [SPARK-45804] [SC-147529][ui] spark.ui.threadDump.flamegraphEnabled 구성을 추가하여 불꽃 그래프 켜기/끄기
• [SPARK-45664] [SC-146878][sql] 오크 압축 코덱에 대한 매퍼 소개
• [SPARK-45481] [SC-146715][sql] parquet 압축 코덱용 매퍼 소개
• [SPARK-45752] [SC-148005][sql] 참조되지 않은 CTE 관계를 확인하기 위한 코드 간소화
• [SPARK-44752] [SC-146262][sql] XML: Spark 문서 업데이트
• [SPARK-45752] [SC-147869][sql] 참조되지 않은 CTE는 모두 CheckAnalysis0에서 검사되어야 함
• [SPARK-45842] [SC-147853][sql] 분석기를 사용하도록 카탈로그 함수 API 리팩터링
• [SPARK-45639] [SC-147676][sql][PYTHON] DataFrameReader에서 Python 데이터 원본 로드 지원
• [SPARK-45592] [SC-146977][sql] InMemoryTableScanExec를 사용한 AQE의 정확성 문제
• [SPARK-45794] [SC-147646][ss] 스트리밍 상태 메타데이터 정보를 쿼리하기 위한 상태 메타데이터 소스 도입
• [SPARK-45739] [SC-147059][python] faulthandler의 EOFException 대신 IOException 캐치
• [SPARK-45677] [SC-146700] 관찰 API에 대한 더 나은 오류 로깅
• [SPARK-45544] [SC-146873][core] TransportContext에 SSL 지원 통합
• [SPARK-45654] [SC-147152][python] Python 데이터 원본 쓰기 API 추가
• [SPARK-45771] [SC-147270][core] 기본적으로 spark.eventLog.rolling.enabled 사용
• [SPARK-45713] [SC-146986][python] Python 데이터 원본 등록 지원
• [SPARK-45656] [SC-146488][sql] 다른 데이터 세트에 동일한 이름의 관찰 이름이 지정된 경우 관찰 수정
• [SPARK-45808] [SC-147571][connect][PYTHON] SQL 예외에 대한 더 나은 오류 처리
• [SPARK-45774] [SC-147353][core][UI] spark.master.ui.historyServerUrl 지원 ApplicationPage
• [SPARK-45776] [SC-147327][core] SPARK-39553에 추가된 MapOutputTrackerMaster#unregisterShuffle에 대한 방어 null 검사를 제거
• [SPARK-45780] [SC-147410][connect] 모든 Spark Connect 클라이언트 스레드로컬을 InheritableThread에 전달
• [SPARK-45785] [SC-147419][core] 앱 번호를 회전하는 spark.deploy.appNumberModulo 지원
• [SPARK-45793] [SC-147456][core] 기본 제공 압축 코덱 개선
• [SPARK-45757] [SC-147282][ml] 이진 변환기에서 NNZ의 다시 계산 방지
• [SPARK-45209] [SC-146490][core][UI] 실행기 스레드 덤프 페이지에 대한 플레임 그래프 기능 지원
• [SPARK-45777] [SC-147319][core] spark.test.appId 지원 LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] 지름길을 사용하도록 null 검사 리팩터링
• [SPARK-45711] [SC-146854][sql] avro 압축 코덱에 대한 매퍼 소개
• [SPARK-45523] [SC-146077][python] UDTF가 null을 허용하지 않는 열에 대해 None을 반환하는 경우 유용한 오류 메시지를 반환합니다.
• [SPARK-45614] [SC-146729][sql] 오류 _LEGACY_ERROR_TEMP_215[6,7,8]에 이름 지정하기
• [SPARK-45755] [SC-147164][sql] 전역 제한 Dataset.isEmpty() 적용하여 1 개선
• [SPARK-45569] [SC-145915][sql] 오류 _LEGACY_ERROR_TEMP_2153에 이름을 할당
• [SPARK-45749] [SC-147153][core][WEBUI] Spark History Server 열을 올바르게 정렬하기 위해 Duration 수정합니다.
• [SPARK-45754] [SC-147169][core] 지원 spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] DataFrameStatFunctions.countMinSketch 사용하여 CountMinSketchAgg 간소화
• [SPARK-45753] [SC-147167][core] 지원 spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] MasterPage를 개선하여 Resource 열이 존재할 때만 표시하도록 함
• [SPARK-45112] [SC-143259][sql] SQL 데이터 세트 함수에서 UnresolvedFunction 기반 해상도 사용

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

유지 관리 업데이트

Databricks Runtime 14.3 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.3 LTS
  • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. DBR 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• 델타 레이크: 3.1.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-07-13: https://packagemanager.posit.co/cran/2023-07-13/Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)