Databricks Runtime 유지 관리 업데이트

이 문서에서는 지원되는 Databricks 런타임 버전에 대한 유지 관리 업데이트를 나열합니다. 기존 클러스터에 유지 관리 업데이트를 추가하려면 클러스터를 다시 시작합니다. 지원되지 않는 Databricks Runtime 버전에 대한 유지 관리 업데이트는 Databricks Runtime에 대한 유지 관리 업데이트(보관됨)를 참조하세요.

Databricks Runtime 릴리즈

릴리스별 유지 관리 업데이트:

• Databricks Runtime 17.3 LTS
• Databricks Runtime 17.2
• Databricks Runtime 17.1
• Databricks Runtime 17.0
• Databricks Runtime 16.4 LTS
• Databricks Runtime 16.2
• Databricks Runtime 15.4 LTS
• Databricks Runtime 14.3 LTS
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 17.3 LTS (데이터브릭스 런타임 17.3 LTS)

Databricks Runtime 17.3 LTS를 참조하세요.

• 2025년 12월 9일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.13 버전 1.3.5에서 1.3.6으로
  • [SPARK-50906][SQL] 순서 변경된 구조체 필드의 Avro null 허용 여부 검사 수정
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • [SPARK-54427][SQL] ColumnarRow가 변형 형식으로 호출 copy 하도록 허용
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • [SPARK-52762][SDP] Spark Connect 쿼리 실행 중 파이프라인 분석을 지원하는 PipelineAnalysisContext 메시지 추가
  • [SPARK-54156][PROTOBUF] ProtobufOptions 캐스팅 실패에 대한 오류 분류
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54015][PYTHON] Py4J 요구 사항을 py4j>=0.10.9.7,<0.10.9.10 로 완화합니다.
  • [SPARK-54099][SQL] XML 변형 파서는 10진수 구문 분석 오류에서 문자열로 대체되어야 합니다.
  • [17.3 백포트][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Defineflow Proto에 한 번 추가
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • [SPARK-53729][PYTHON][CONNECT] pyspark.sql.connect.window.WindowSpec의 serialization 수정
  • [SPARK-46679][SQL] Parameterized 클래스를 사용하는 경우 SparkUnsupportedOperationException에 대한 수정 사항 T 형식의 인코더를 찾을 수 없습니다.
  • [SPARK-53973][Avro] AvroOptions 부울 캐스팅 실패에 대한 오류 분류
  • [SPARK-53794][SS] rocksdb 상태 공급자와 연결된 유지 관리 작업당 삭제를 제한하는 옵션 추가
  • [SPARK-53908][CONNECT] 계획 캐시를 사용하여 Spark Connect에 대한 관찰 수정
  • [SPARK-53972][SS] 클래식 pyspark에서 스트리밍 쿼리의 최근 진행 회귀를 수정하기.
  • 운영 체제 보안 업데이트.

Databricks Runtime 17.2

Databricks Runtime 17.2를 참조하세요.

• 2025년 12월 9일
  • 향후 분할된 델타 테이블의 파티션 열은 데이터 파케 파일에 구체화될 것입니다. 이렇게 하면 Iceberg 및 UniForm 테이블이 처리되는 방식에 대한 시너지 효과가 향상되고 외부 비 델타 판독기와의 호환성이 향상됩니다.
  • [SPARK-54427][SQL] ColumnarRow가 변형 형식으로 호출 copy 하도록 허용
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • [SPARK-50906][SQL] 순서가 다시 지정된 구조체의 필드에 대한 Avro null 허용 여부 검사를 수정
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • [SPARK-54099][SQL] XML 변형 파서는 10진수 구문 분석 오류에서 문자열로 대체되어야 합니다.
  • [SPARK-54015][PYTHON] Py4J 요구 사항을 py4j>=0.10.9.7,<0.10.9.10 로 완화합니다.
  • [SPARK-52515]Apache DataSketches를 사용하는 Approx_top_k
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • [SPARK-53973][Avro] AvroOptions 부울 캐스팅 실패에 대한 오류 분류
  • [SPARK-53972][SS] 클래식 pyspark에서 스트리밍 쿼리의 최근 진행 회귀를 수정하기.
  • [SPARK-53908][CONNECT] 계획 캐시를 사용하여 Spark Connect에 대한 관찰 수정
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 운영 체제 보안 업데이트.

• 2025년 10월 8일
  • [SPARK-53555] 수정: SparkML 연결에서 SparkML(레거시 모드) 저장된 모델을 로드할 수 없음
  • [SPARK-53598][SQL] 큰 테이블 속성을 읽기 전에 numParts가 있는지 확인합니다.
  • [SPARK-53625][SS] ApplyCharTypePadding 비호환성을 해결하기 위해 프로젝션을 통해 메타데이터 열 전파
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python 클라이언트 오류 처리 논리에서 몇 가지 작은 버그 수정
  • [SPARK-53574] 중첩된 계획 해결 중에 삭제되는 AnalysisContext 수정
  • [SPARK-53623][SQL] 큰 테이블 속성 읽기 개선...
  • [SPARK-53729][PYTHON][CONNECT] 직렬화 수정 pyspark.sql.connect.window.WindowSpec
  • [SPARK-53549][SS] 목록 상태 요청 프로세스가 완료될 때 항상 화살표 할당자를 닫습니다.
  • 운영 체제 보안 업데이트.

• 2025년 9월 10일
  • 자동 로더가 무기한 중단될 수 있는 문제를 해결했습니다.
  • [SPARK-53362] [ML] [CONNECT] IDFModel 로컬 로더 버그 수정
  • [SPARK-53382][SQL] 잘못된 형식의 재귀를 사용하여 rCTE 버그 수정
  • [SPARK-53345]에 대한 백포트 불안정한 테스트 수정
  • [SPARK-49872][CORE] 잭슨 JSON 문자열 길이 제한 제거
  • [SPARK-53423] [SQL] 모든 단일 패스 확인자 관련 태그를 ResolverTag로 이동
  • [SPARK-53431][PYTHON] DataFrame API에서 명명된 테이블 인수를 사용하여 Python UDTF 수정
  • [SPARK-53336] [ML] [CONNECT] 호출 시 MLCache.totalMLCacheSizeBytes 다시 설정 MLCache.clear()
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible은 중복된 인터럽트를 방지해야 합니다.
  • [SPARK-53470][SQL] ExtractValue 식은 항상 형식 검사를 수행해야 합니다.
  • ANSI 표준에서 Spark의 Pandas API에 대한 [SPARK-53389] 개선 사항 중 선택적 적용
  • 운영 체제 보안 업데이트.

Databricks Runtime 17.1

Databricks Runtime 17.1을 참조하세요.

• 2025년 12월 9일
  • 앞으로 분할된 Delta 테이블의 파티션 열은 데이터 parquet 파일에서 구체화될 것입니다. 이렇게 하면 Iceberg 및 UniForm 테이블이 처리되는 방식에 대한 시너지 효과가 향상되고 외부 비 델타 판독기와의 호환성이 향상됩니다.
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • [SPARK-50906][SQL] 순서가 다시 지정된 구조체 필드에 대한 Avro Null 허용 여부 검사 수정
  • [SPARK-54427][SQL] ColumnarRow가 변형 형식으로 호출 copy 하도록 허용
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54015][PYTHON] Py4J 요구 사항을 py4j>=0.10.9.7,<0.10.9.10 로 완화합니다.
  • [SPARK-52515]Apache DataSketches를 사용하는 Approx_top_k
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54099][SQL] XML 변형 파서는 10진수 구문 분석 오류에서 문자열로 대체되어야 합니다.
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • [SPARK-53972][SS] 클래식 pyspark에서 스트리밍 쿼리의 최근 진행 회귀를 수정하기.
  • [SPARK-53908][CONNECT] 계획 캐시를 사용하여 Spark Connect에 대한 관찰 수정
  • [SPARK-53973][Avro] AvroOptions 부울 캐스팅 실패에 대한 오류 분류
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • [SPARK-53574] 중첩된 계획 해결 중에 삭제되는 AnalysisContext 수정
  • [SPARK-53549][SS] 목록 상태 요청 프로세스가 완료될 때 항상 화살표 할당자를 닫습니다.
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python 클라이언트 오류 처리 논리에서 몇 가지 작은 버그 수정
  • [SPARK-53625][SS] ApplyCharTypePadding 비호환성을 해결하기 위해 프로젝션을 통해 메타데이터 열 전파
  • [SPARK-53598][SQL] 큰 테이블 속성을 읽기 전에 numParts가 있는지 확인합니다.
  • [SPARK-53623][SQL] 큰 테이블 속성 읽기 개선...
  • [SPARK-53555] 수정: SparkML 연결에서 SparkML(레거시 모드) 저장된 모델을 로드할 수 없음
  • [SPARK-53729][PYTHON][CONNECT] 직렬화 수정 pyspark.sql.connect.window.WindowSpec
  • 운영 체제 보안 업데이트.

• 2025년 9월 16일
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 자동 로더가 무기한 중단될 수 있는 문제를 해결했습니다.
  • [SPARK-53362] [ML] [CONNECT] IDFModel 로컬 로더 버그 수정
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible은 중복된 인터럽트를 방지해야 합니다.
  • [SPARK-53382][SQL] 잘못된 형식의 재귀를 사용하여 rCTE 버그 수정
  • [SPARK-53431][PYTHON] DataFrame API에서 명명된 테이블 인수를 사용하여 Python UDTF 수정
  • [SPARK-53336] [ML] [CONNECT] 호출 시 MLCache.totalMLCacheSizeBytes 다시 설정 MLCache.clear()
  • [SPARK-49872][CORE] 잭슨 JSON 문자열 길이 제한 제거
  • 운영 체제 보안 업데이트.

• 2025년 8월 25일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.13부터 1.3.3~ 1.3.5
  • [SPARK-52482][SQL][CORE] 손상된 특정 zstd 파일을 읽기 위한 예외 처리 개선
  • [SPARK-53192][CONNECT] 항상 Spark Connect 계획 캐시에서 DataSource 캐시
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • [SPARK-52833][SQL] 수정 VariantBuilder.appendFloat
  • [SPARK-52961][PYTHON] 횡적 조인 시 0-arg eval을 사용하여 화살표 최적화 Python UDTF 수정
  • [SPARK-51505][SQL] 항상 AQEShuffleReadExec에 빈 파티션 번호 메트릭 표시
  • [SPARK-52753][SQL] parseDataType 이진 파일을 이전 버전과 호환되도록 설정
  • [SPARK-52842][SQL] 단일 패스 분석기를 위한 새로운 기능 및 버그 수정
  • [SPARK-52960][SQL] LogicalQueryStage toString에 하위 트리 문자열 표시
  • [SPARK-53054][CONNECT] 연결을 수정합니다. DataFrameReader 기본 형식 동작
  • 운영 체제 보안 업데이트.

Databricks Runtime 17.0

Databricks Runtime 17.0을 참조하세요.

• 2025년 12월 9일
  • 앞으로 분할된 델타 테이블의 파티션 열은 데이터 parquet 파일에서 구현될 것입니다. 이렇게 하면 Iceberg 및 UniForm 테이블이 처리되는 방식에 대한 시너지 효과가 향상되고 외부 비 델타 판독기와의 호환성이 향상됩니다.
  • Snowflake 커넥터 및 Snowflake Lakehouse 연합의 경우, TIMESTAMP_NTZ (표준 시간대 없는 타임스탬프) 리터럴은 더 이상 Snowflake로 전달되지 않습니다. 이 변경은 호환되지 않는 타임스탬프 처리로 인한 쿼리 오류를 방지하고 영향을 받는 쿼리의 안정성을 향상시킵니다.
  • [SPARK-54427][SQL] ColumnarRow가 변형 형식으로 호출 copy 하도록 허용
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54099][SQL] XML 변형 파서는 10진수 구문 분석 오류에서 문자열로 대체되어야 합니다.
  • [SPARK-54015][PYTHON] Py4J 요구 사항을 py4j>=0.10.9.7,<0.10.9.10 로 완화합니다.
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • [SPARK-53908][CONNECT] 계획 캐시를 사용하여 Spark Connect에 대한 관찰 수정
  • [SPARK-53972][SS] 클래식 pyspark에서 스트리밍 쿼리의 최근 진행 회귀를 수정하기.
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • [SPARK-53598][SQL] 큰 테이블 속성을 읽기 전에 numParts가 있는지 확인합니다.
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python 클라이언트 오류 처리 논리에서 몇 가지 작은 버그 수정
  • [SPARK-53574] 중첩된 계획 해결 중에 삭제되는 AnalysisContext 수정
  • [SPARK-53549][SS] 목록 상태 요청 프로세스가 완료될 때 항상 화살표 할당자를 닫습니다.
  • [SPARK-53623][SQL] 큰 테이블 속성 읽기 개선...
  • [SPARK-53729][PYTHON][CONNECT] 직렬화 수정 pyspark.sql.connect.window.WindowSpec
  • 운영 체제 보안 업데이트.

• 2025년 9월 16일
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 자동 로더가 무기한 중단될 수 있는 문제를 해결했습니다.
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible은 중복된 인터럽트를 방지해야 합니다.
  • [SPARK-53336] [ML] [CONNECT] 호출 시 MLCache.totalMLCacheSizeBytes 다시 설정 MLCache.clear()
  • [SPARK-49872][CORE] 잭슨 JSON 문자열 길이 제한 제거
  • [SPARK-53431][PYTHON] DataFrame API에서 명명된 테이블 인수를 사용하여 Python UDTF 수정
  • [SPARK-53382][SQL] 잘못된 형식의 재귀를 사용하여 rCTE 버그 수정
  • 운영 체제 보안 업데이트.

• 2025년 8월 26일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.13부터 1.3.3~ 1.3.5
  • [SPARK-52482][SQL][CORE] 손상된 특정 zstd 파일을 읽기 위한 예외 처리 개선
  • [SPARK-53192][CONNECT] 항상 Spark Connect 계획 캐시에서 DataSource 캐시
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • [SPARK-51505][SQL] 항상 AQEShuffleReadExec에 빈 파티션 번호 메트릭 표시
  • [SPARK-53054][CONNECT] 연결을 수정합니다. DataFrameReader 기본 형식 동작
  • [SPARK-52961][PYTHON] 횡적 조인 시 0-arg eval을 사용하여 화살표 최적화 Python UDTF 수정
  • [SPARK-52833][SQL] 수정 VariantBuilder.appendFloat
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • [SPARK-51889][PYTHON][SS] Python TWS에서 MapState clear()에 대한 버그 수정
  • [SPARK-52753][SQL] parseDataType 이진 파일을 이전 버전과 호환되도록 설정
  • [SPARK-49428][SQL] Connect Scala 클라이언트를 커넥터에서 SQL로 이동
  • 운영 체제 보안 업데이트.

• 2025년 7월 15일
  • Spark 구조적 스트리밍을 사용하여 Pulsar에서 데이터를 스트리밍할 때 비결정적 데이터 손실 문제를 해결했습니다.
  • [SPARK-52430][SQL] rCTE에서 Union의 Null 허용 여부와 관련된 버그 해결
  • [SPARK-52503][SQL][CONNECT] 입력 열이 존재하지 않는 경우 수정 drop
  • [SPARK-52579][PYTHON] Python 작업자에 대한 정기 추적 덤프 설정
  • [SPARK-52450] 스키마 딥코피의 성능 향상
  • [SPARK-52599][PYTHON] 드라이버 쪽 작업자에서 주기적 추적 덤프 지원
  • [SPARK-52553][SS] v1 변경 로그를 읽을 때 NumberFormatException 수정
  • 운영 체제 보안 업데이트.

• 2025년 5월 28일
  • 업데이트된 Python 라이브러리:
    • google-auth 2.40.0에서 2.40.1로
    • mlflow-skinny 버전 2.22.0에서 3.0.0으로 업그레이드
    • opentelemetry-api 1.32.1에서 1.33.0으로
    • opentelemetry-sdk 1.32.1에서 1.33.0으로
    • opentelemetry-semantic-conventions 0.53b1에서 0.54b0로 업데이트.
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.13 1.3.0부터 1.3.3까지
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • TVF 함수를 cloud_files_state 사용하여 파이프라인 간에 스트리밍 테이블의 파일 수준 상태를 읽을 수 없다는 제한 사항 수정
  • 임시 뷰에 대한 쿼리에 대한 Unity 카탈로그 권한 부여 문제를 해결합니다.
  • 17.0.1에서 플래그를 전환하고, 17.0.0에서는 모든 작업 공간에 대해 SAFE 플래그를 배포했습니다.
  • 미리 서명된 URL을 사용하는 쿼리에 Spark Parquet I/O 캐시를 사용하기 위한 델타 공유 지원(버전 17.0.1부터 사용 가능).
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • 이제 Teradata 커넥터는 기본적으로 TMODE=ANSI를 드라이버에 전달합니다. 즉, Lakehouse 페더레이션을 통해 수행된 모든 문자열 비교는 대/소문자를 구분합니다.
  • [SPARK-51921][SS][PYTHON] transformWithState에서 TTL 기간(밀리초)에 긴 형식 사용
  • [SPARK-52259][ML][CONNECT] Param 클래스 이진 호환성 수정
  • [SPARK-52195][PYTHON][SS] Python TWS에 대한 초기 상태 열 삭제 문제 해결
  • [SPARK-52057] [ML] [CONNECT] 클라이언트에 트리 크기 제한 경고 메시지 수집
  • [SPARK-52051] [ML] [CONNECT] 메모리 제어가 활성화된 경우 모델 요약 기능을 활성화합니다.
  • [SPARK-51606][CONNECT] Spark Connect 서버를 중지할 때 SPARK_IDENT_STRING 추가
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement 은 SQLConf에 동적으로 액세스해서는 안 됩니다.
  • [SPARK-52232][SQL] 모든 단계에서 다른 결과를 생성하도록 비결정적 쿼리 수정
  • [SPARK-52013] [CONNECT] [ML] 제거 SparkConnectClient.ml_caches
  • [SPARK-52353][SQL] UnionLoop에서 이전 반복을 참조하는 LogicalRDD에서 잘못된 제약 조건이 있는 버그 수정
  • [SPARK-52130] [ML] [CONNECT] 오류 메시지를 구체화하고 내부 Spark 구성을 숨깁니다.
  • [SPARK-52470][ML][CONNECT] 모델 요약 오프로드 지원
  • [SPARK-51935][SQL] 해석된 df.collect()에서 반복기의 지연 동작 수정
  • [SPARK-52482][SQL][CORE] 파일 데이터 원본 판독기용 ZStandard 지원
  • [SPARK-52159][SQL] jdbc 언어에 대한 테이블 존재 확인 제대로 처리
  • [SPARK-52010] 내부 클래스에 대한 API 문서를 생성하지 마세요.
  • [SPARK-52049] XML 속성을 Variant로 구문 분석할 수 없는 버그 수정
  • [SPARK-52312][SQL] DataFrame을 캐싱할 때 V2WriteCommand 무시
  • [SPARK-52229][ML][CONNECT] 모델 크기 예측 개선
  • [SPARK-50815][PYTHON] 변형 로컬 데이터를 화살표 변환으로 수정
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference는 계획 ID를 유지해야 함
  • [SPARK-51981][SS] queryStartedEvent에 JobTags 추가
  • [되돌리기 수정][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] 구문에서 재귀 수준 제한을 재정의하도록 설정
  • [SPARK-52101][SQL] rCTE에 대한 인라인 강제 사용을 비활성화함
  • [SPARK-52099][SQL] 연산자를 추가하여 재귀 행 제한을 재정의할 수 있는 기능 활성화 LIMIT
  • 운영 체제 보안 업데이트.

Databricks Runtime 16.4 LTS (데이터브릭스 런타임 16.4 LTS)

Databricks Runtime 16.4 LTS를 참조하세요.

• 2025년 12월 9일
  • 앞으로 분할된 델타 테이블의 파티션 열은 데이터 파케 파일에서 구체화됩니다. 이렇게 하면 Iceberg 및 UniForm 테이블이 처리되는 방식에 대한 시너지 효과가 향상되고 외부 비 델타 판독기와의 호환성이 향상됩니다.
  • Snowflake 커넥터 및 Snowflake Lakehouse 연합의 경우, TIMESTAMP_NTZ (표준 시간대 없는 타임스탬프) 리터럴은 더 이상 Snowflake로 전달되지 않습니다. 이 변경은 호환되지 않는 타임스탬프 처리로 인한 쿼리 오류를 방지하고 영향을 받는 쿼리의 안정성을 향상시킵니다.
  • [SPARK-54427][SQL] ColumnarRow가 변형 형식으로 호출 copy 하도록 허용
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54099][SQL] XML 변형 파서는 10진수 구문 분석 오류에서 문자열로 대체되어야 합니다.
  • [SPARK-54015][PYTHON] Py4J 요구 사항을 py4j>=0.10.9.7,<0.10.9.10 로 완화합니다.
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54156][PROTOBUF] ProtobufOptions 캐스팅 실패에 대한 오류 분류
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • 업데이트된 R 라이브러리:
    • 화살표를 16.1.0에서 21.0.0으로
  • [SPARK-53973][Avro] AvroOptions 부울 캐스팅 실패에 대한 오류 분류
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python 클라이언트 오류 처리 논리에서 몇 가지 작은 버그 수정
  • [SPARK-53574] 중첩된 계획 해결 중에 삭제되는 AnalysisContext 수정
  • [SPARK-53623][SQL] 큰 테이블 속성 읽기 개선...
  • [SPARK-53598][SQL] 큰 테이블 속성을 읽기 전에 numParts가 있는지 확인합니다.
  • [SPARK-53549][SS] 목록 상태 요청 프로세스가 완료될 때 항상 화살표 할당자를 닫습니다.
  • 운영 체제 보안 업데이트.

• 2025년 9월 16일
  • 이제 Snowflake 커넥터는 INFORMATION_SCHEMA 명령 대신 SHOW SCHEMAS 테이블을 사용하여 스키마를 나열합니다. 이렇게 변경하면 이전 방법의 10,000 스키마 제한이 제거되고 많은 수의 스키마가 있는 데이터베이스에 대한 지원이 향상됩니다.
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 자동 로더가 무기한 중단될 수 있는 문제를 해결했습니다.
  • 작업이 실패할 수 있는 자동 로더의 일시적인 오류를 수정합니다.
  • [SPARK-49872][CORE] 잭슨 JSON 문자열 길이 제한 제거
  • [SPARK-51821][CORE] 교착 상태를 방지하기 위해 uninterruptibleLock을 보유하지 않고 인터럽트()를 호출합니다.
  • 운영 체제 보안 업데이트.

• 2025년 8월 26일
  • 업데이트된 Java 라이브러리:
    • (Scala 2.12에만 해당) io.delta.delta-sharing-client_2.12에서 1.2.7~ 1.2.8
    • (Scala 2.13에만 해당) io.delta.delta-sharing-client_2.13부터 1.2.7~ 1.2.8
  • [SPARK-52482][SQL][CORE] 손상된 특정 zstd 파일을 읽기 위한 예외 처리 개선
  • [SPARK-53192][CONNECT] 항상 Spark Connect 계획 캐시에서 DataSource 캐시
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • [SPARK-51011][CORE] 작업이 종료될 때 중단될지 여부에 대한 로깅 추가
  • [SPARK-52833][SQL] 수정 VariantBuilder.appendFloat
  • [SPARK-51505][SQL] 항상 AQEShuffleReadExec에 빈 파티션 번호 메트릭 표시
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • [SPARK-52753][SQL] parseDataType 이진 파일을 이전 버전과 호환되도록 설정
  • 운영 체제 보안 업데이트.

• 2025년 7월 15일
  • Spark 구조적 스트리밍을 사용하여 Pulsar에서 데이터를 스트리밍할 때 비결정적 데이터 손실 문제를 해결했습니다.
  • [SPARK-52579][PYTHON] Python 작업자에 대한 정기 추적 덤프 설정
  • [SPARK-52553][SS] v1 변경 로그를 읽을 때 NumberFormatException 수정
  • [SPARK-52450] 스키마 딥코피의 성능 향상
  • [SPARK-52503][SQL][CONNECT] 입력 열이 존재하지 않는 경우 수정 drop
  • [SPARK-52599][PYTHON] 드라이버 쪽 작업자에서 주기적 추적 덤프 지원
  • 운영 체제 보안 업데이트.

• 2025년 7월 1일
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement 은 SQLConf에 동적으로 액세스해서는 안 됩니다.
  • [SPARK-52482][SQL][CORE] 파일 데이터 원본 판독기용 ZStandard 지원
  • [SPARK-52312][SQL] DataFrame을 캐싱할 때 V2WriteCommand 무시
  • 운영 체제 보안 업데이트.

• 2025년 6월 17일
  • TVF(테이블 반환 함수)를 사용하여 파이프라인 간에 스트리밍 테이블의 파일 수준 상태를 읽을 수 없다는 제한 사항을 cloud_files_state 수정했습니다.
  • 임시 뷰에 대한 쿼리에 대한 Unity 카탈로그 권한 부여 문제가 해결되었습니다.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference는 계획 ID를 유지해야 함
  • 운영 체제 보안 업데이트.

• 2025년 6월 3일
  • [SPARK-52195][PYTHON][SS] Python TWS에 대한 초기 상태 열 삭제 문제 해결
  • [SPARK-52159][SQL] jdbc 언어에 대한 테이블 존재 확인 제대로 처리
  • 기타 버그가 수정되었습니다.

• 2025년 5월 7일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.13에서 1.2.3부터 1.2.7까지
    • org.apache.avro.avro 1.11.3에서 1.11.4로
    • org.apache.avro.avro-ipc 버전을 1.11.3에서 1.11.4로 업데이트합니다.
    • org.apache.avro.avro-mapred 버전 1.11.3에서 1.11.4로 업데이트
  • 복제된 스트리밍 세션은 공유 클러스터/서버리스의 foreachBatch 사용자 함수 내에서 사용됩니다. 이는 클래식(할당된 클러스터)의 동작과 일치합니다.
  • 복제된 스트리밍 세션은 공유 클러스터/서버리스의 foreachBatch 사용자 함수 내에서 사용됩니다. 이는 클래식(할당된 클러스터)의 동작과 일치합니다.
  • 이 변경 이전에는 Photon이 비활성화된 경우, variant_get 식의 경로에 있는 선행 공백 및 탭이 무시되었습니다. 예를 들어, select variant_get(parse_json('{"key": "value"}'), '$['key']')는 "key"의 가치를 추출하는 데 효과적이지 않을 것입니다. 그러나 사용자는 이제 이러한 키를 추출할 수 있습니다.
  • [SPARK-51935][SQL] 해석된 df.collect()에서 반복기의 지연 동작 수정
  • [SPARK-51921][SS][PYTHON] transformWithState에서 TTL 기간(밀리초)에 긴 형식 사용
  • [SPARK-51940][SS] 스트리밍 검사점 메타데이터를 관리하기 위한 인터페이스 추가
  • [SPARK-52049] XML 속성을 Variant로 구문 분석할 수 없는 버그 수정
  • [SPARK-51904][SS] OperatorMetadata 파일을 나열할 때 StateSchemaV3에 대한 비동기 메타데이터 제거 및 비 일괄 처리 파일 무시
  • [SPARK-51869][SS] Scala TransformWithState의 UDF 내에서 사용자 오류에 대한 분류 만들기
  • [SPARK-51889][PYTHON][SS] Python TWS에서 MapState clear()에 대한 버그 수정
  • [SPARK-51922] [SS] v1용 StateStoreChangelogReaderFactory에서 throw된 UTFDataFormatException 수정
  • [SPARK-51848][SQL] VARIANT의 배열/구조체/지도의 정의된 스키마를 사용하여 XML 레코드 구문 분석 수정
  • 운영 체제 보안 업데이트.

Databricks Runtime 16.2

Databricks Runtime 16.2(EoS)를 참조하세요.

• 2025년 8월 14일
  • [SPARK-51011][CORE] 작업이 종료될 때 중단될지 여부에 대한 로깅 추가
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • 운영 체제 보안 업데이트.

• 2025년 7월 15일
  • Spark 구조적 스트리밍을 사용하여 Pulsar에서 데이터를 스트리밍할 때 비결정적 데이터 손실 문제를 해결했습니다.
  • [SPARK-52553][SS] v1 변경 로그를 읽을 때 NumberFormatException 수정
  • 운영 체제 보안 업데이트.

• 2025년 7월 1일
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement 은 SQLConf에 동적으로 액세스해서는 안 됩니다.
  • [SPARK-52312][SQL] DataFrame을 캐싱할 때 V2WriteCommand 무시
  • [SPARK-52482][SQL][CORE] 파일 데이터 원본 판독기용 ZStandard 지원
  • 운영 체제 보안 업데이트.

• 2025년 6월 17일
  • TVF(테이블 반환 함수)를 사용하여 파이프라인 간에 스트리밍 테이블의 파일 수준 상태를 읽을 수 없다는 제한 사항을 cloud_files_state 수정했습니다.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference는 계획 ID를 유지해야 함
  • 운영 체제 보안 업데이트.

• 2025년 6월 3일
  • 업데이트된 Python 라이브러리:
    • 41.0.7, 41.0.7, 42.0.5에서 42.0.5로 암호화
    • 24.0과 24.1에서 24.1로 패키징 변경
    • platformdirs 버전 3.10.0, 4.2.2에서 3.10.0으로
    • pyparsing 3.0.9, 3.1.1에서 3.0.9로
    • autocommand 2.2.2 추가됨
    • backports.tarfile 1.2.0 추가됨
    • importlib_resources 6.4.0 추가됨
    • inflect 7.3.1 추가됨
    • jaraco.context 5.3.0 추가됨
    • jaraco.functools 4.0.1 추가됨
    • jaraco.text 3.12.1 추가됨
    • more-itertools 10.3.0 추가됨
    • pip 24.2가 추가되었습니다.
    • setuptools 74.0.0 추가됨
    • tomli 2.0.1 추가됨
    • typeguard 4.3.0 추가됨
    • wcwidth 0.2.5 추가됨
    • 휠 0.43.0 추가됨
    • 제거된 배포판 1.9.0
    • 배포판 정보 1.7+build1 제거됨
    • python-apt 2.7.7+ubuntu4 제거됨
  • [SPARK-52159][SQL] jdbc 언어에 대한 테이블 존재 확인 제대로 처리
  • [SPARK-52195][PYTHON][SS] Python TWS에 대한 초기 상태 열 삭제 문제 해결
  • 운영 체제 보안 업데이트.

• 2025년 5월 20일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.12에서 1.2.6을 1.2.7로
    • org.apache.avro.avro 1.11.3에서 1.11.4로
    • org.apache.avro.avro-ipc 버전을 1.11.3에서 1.11.4로 업데이트합니다.
    • org.apache.avro.avro-mapred 버전 1.11.3에서 1.11.4로 업데이트
  • 복제된 스트리밍 세션은 공유 클러스터/서버리스의 foreachBatch 사용자 함수 내에서 사용됩니다. 이는 클래식(할당된 클러스터)의 동작과 일치합니다.
  • 복제된 스트리밍 세션은 공유 클러스터/서버리스의 foreachBatch 사용자 함수 내에서 사용됩니다. 이는 클래식(할당된 클러스터)의 동작과 일치합니다.
  • 이 변경 이전에는 Photon이 비활성화된 경우, variant_get 식의 경로에 있는 선행 공백 및 탭이 무시되었습니다. 예를 들어, select variant_get(parse_json('{"key": "value"}'), '$[' key']')는 "key"의 가치를 추출하는 데 효과적이지 않을 것입니다. 그러나 사용자는 이제 이러한 키를 추출할 수 있습니다.
  • [SPARK-51935][SQL] 해석된 df.collect()에서 반복기의 지연 동작 수정
  • [SPARK-51921][SS][PYTHON] transformWithState에서 TTL 기간(밀리초)에 긴 형식 사용
  • 운영 체제 보안 업데이트.

• 2025년 4월 22일
  • [SPARK-51717][SS][RocksDB] 새 쿼리에 대해 만든 두 번째 스냅샷에 대해 발생할 수 있는 SST 불일치 손상 수정
  • "[SPARK-47895][SQL] 별칭에 의한 그룹화가 동일해야 함을 15.4, 16.0, 16.1, 16.2 및 16.3에서 되돌리기"
  • 운영 체제 보안 업데이트.

• 2025년 4월 9일

  • 업데이트된 Java 라이브러리:
    • io.starburst.openjson.openjson 1.8-e.12 제거됨
    • io.starburst.openx.data.json-serde 1.3.9-e.12 제거됨
    • 삭제됨 io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] 별칭별 그룹은 idempotent여야 합니다.
  • [SPARK-51505][SQL] AQE 병합에서 빈 파티션 개수 메트릭 기록하기
  • [SPARK-51624][SQL] CreateNamedStruct.dataType에서 GetStructField 메타데이터 전파
  • [SPARK-51589][SQL] | 에서 집계 함수를 확인하지 못하는 작은 버그 수정>SELECT
  • 운영 체제 보안 업데이트.

• 2025년 3월 11일

  • Databricks Runtime 14.3 LTS 이상에는 SparkListenerApplicationEnd 클래스를 인스턴스화하고 Apache Spark에 대해 컴파일된 코드에서 발생한 이진 비호환성을 유발하는 문제에 대한 수정 사항이 포함되어 있습니다. 이 비호환성은 SPARK-46399를 Apache Spark에 병합한 결과입니다. 이 병합에는 SparkListenerApplicationEnd 생성자에 기본 인수를 추가하는 변경 내용이 포함되어 있습니다. 이진 호환성을 복원하기 위해 이 수정은 SparkListenerApplicationEnd 클래스에 단일 인수 생성자를 추가합니다.
  • "복구[SPARK-48273][SQL] 해결되지 않은 식별자가 포함된 계획의 지연된 재작성 수정"
  • [SPARK-50985][SS] KafkaTokenProvider에서 서버 누락 시 어설션 및 오류 던지기 대신 Kafka 타임스탬프 오프셋 불일치 오류를 분류합니다.
  • [SPARK-51065][SQL] Avro 인코딩이 TransformWithState에 사용되는 경우 null을 허용하지 않는 스키마 허용 안 함
  • [SPARK-51237][SS] 필요에 따라 새 transformWithState 도우미 API에 대한 API 세부 정보 추가
  • [SPARK-51222][SQL] ReplaceCurrentLike 기능 최적화
  • [SPARK-51351][SS] TWS용 Python 작업자의 출력을 구체화하지 않음
  • [SPARK-51084][SQL] negativeScaleNotAllowedError에 적절한 오류 클래스 할당
  • [SPARK-51249][SS] 올바른 수의 버전 바이트를 사용하도록 NoPrefixKeyStateEncoder 및 Avro 인코딩 수정
  • 운영 체제 보안 업데이트.

• 2025년 2월 5일

  • 이 릴리스에는 복구된 XML 데이터 열을 직렬화할 때 특정 데이터 유형의 변환에 영향을 주는 문제에 대한 수정 사항이 포함되어 있습니다. 영향을 받는 데이터 형식은 prefersDecimal 사용하도록 설정된 날짜, NTZ가 아닌 타임스탬프 및 소수점입니다. 구조된 데이터 열에 대한 자세한 내용은 구조된 데이터 열이란?을 참조하세요..
  • [SPARK-50770][SS] transformWithState 연산자 API에 대한 패키지 범위 제거
  • 운영 체제 보안 업데이트.

Databricks Runtime 15.4 LTS

Databricks Runtime 15.4 LTS를 참조하세요.

• 2025년 12월 9일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.12이 1.1.7에서 1.1.9로 업데이트됨
  • [SPARK-54427][SQL] ColumnarRow가 변형 형식으로 호출 copy 하도록 허용
  • [SPARK-52579][PYTHON] Python 작업자에 대한 정기 추적 덤프 설정
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • 업데이트된 R 라이브러리:
    • 화살표를 14.0.0.2에서 21.0.0으로
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 검사 광자화 기준은 체크섬 검증이 필요할 때에도 스캔 광자화를 허용하도록 업데이트됩니다.
    체크섬 확인이 필요한지 여부를 확인하는 것은 이제 SQLConf 대신 hadoop conf에서 가져옵니다.
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python 클라이언트 오류 처리 논리에서 몇 가지 작은 버그 수정
  • [SPARK-53574] 중첩된 계획 해결 중에 삭제되는 AnalysisContext 수정
  • 기타 버그가 수정되었습니다.

• 2025년 9월 16일
  • 이제 Snowflake 커넥터는 INFORMATION_SCHEMA 명령 대신 SHOW SCHEMAS 테이블을 사용하여 스키마를 나열합니다. 이렇게 변경하면 이전 방법의 10,000 스키마 제한이 제거되고 많은 수의 스키마가 있는 데이터베이스에 대한 지원이 향상됩니다.
  • [SPARK-50870][SQL] V2ScanRelationPushDown에서 시간을 타임스탬프로 캐스팅할 때 표준 시간대를 추가합니다.
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 자동 로더가 무기한 중단될 수 있는 문제를 해결했습니다.
  • 작업이 실패할 수 있는 자동 로더의 일시적인 오류를 수정합니다.
  • [SPARK-51821][CORE] 교착 상태를 방지하기 위해 uninterruptibleLock을 보유하지 않고 인터럽트()를 호출합니다.
  • [SPARK-49872][CORE] 잭슨 JSON 문자열 길이 제한 제거
  • 운영 체제 보안 업데이트.

• 2025년 8월 26일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.12에서 1.1.6에서 1.1.7로
  • [SPARK-52482][SQL][CORE] 손상된 특정 zstd 파일을 읽기 위한 예외 처리 개선
  • [SPARK-53192][CONNECT] 항상 Spark Connect 계획 캐시에서 DataSource 캐시
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • [SPARK-51011][CORE] 작업이 종료될 때 중단될지 여부에 대한 로깅 추가
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • 운영 체제 보안 업데이트.

• 2025년 7월 21일

  • Photon에 사용하도록 설정되거나 Arm64 기반 CPU mlflow-skinny 를 사용하는 컴퓨팅의 경우 2.19.0 ray 으로 업그레이드되고 2.37.0으로 업그레이드되고 databricks-feature-engineering 0.8.0으로 업그레이드됩니다.

• 2025년 7월 15일

  • Spark 구조적 스트리밍을 사용하여 Pulsar에서 데이터를 스트리밍할 때 비결정적 데이터 손실 문제를 해결했습니다.
  • [SPARK-52503][SQL][CONNECT] 입력 열이 존재하지 않는 경우 수정 drop

• 2025년 7월 1일
  • 업데이트된 Java 라이브러리:
    • org.mlflow.mlflow-spark_2.12를 2.9.1에서 2.11.3로
    • com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2가 제거됨
    • org.slf4j.slf4j-simple 1.7.25 제거됨
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement 은 SQLConf에 동적으로 액세스해서는 안 됩니다.
  • [SPARK-52482][SQL][CORE] 파일 데이터 원본 판독기용 ZStandard 지원
  • [SPARK-52312][SQL] DataFrame을 캐싱할 때 V2WriteCommand 무시
  • 운영 체제 보안 업데이트.

• 2025년 6월 17일
  • TVF(테이블 반환 함수)를 사용하여 파이프라인 간에 스트리밍 테이블의 파일 수준 상태를 읽을 수 없다는 제한 사항을 cloud_files_state 수정했습니다.
  • [SPARK-49646][SQL] parentOuterReferences에 collectedChildOuterReferences에서 다루지 않는 참조가 있는 경우, union/set 연산에 대한 하위 쿼리의 decorrelation 수정
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference는 계획 ID를 유지해야 함

• 2025년 6월 3일
  • 업데이트된 Python 라이브러리:
    • 3.4.8, 41.0.3에서 41.0.3까지의 암호화
    • filelock 3.13.4, 3.15.4에서 3.13.4로
    • importlib-metadata 버전 4.6.4, 6.0.0에서 6.0.0으로
    • platformdirs의 버전을 3.11.0에서 3.10.0으로 변경했습니다.
    • pyparsing 2.4.7, 3.0.9에서 3.0.9로
    • zipp 1.0.0, 3.11.0에서 3.11.0으로
    • pip 23.2.1 추가됨
    • setuptools 68.0.0 추가됨
    • wcwidth 0.2.5 추가됨
    • 휠 0.38.4 추가됨
    • 제거된 배포판 1.7.0
    • 배포판 정보 1.1+ubuntu0.2 제거됨
    • python-apt 2.4.0+ubuntu4 제거됨
  • 업데이트된 Java 라이브러리:
    • com.github.fommil.netlib.native_ref-java에서 1.1, 1.1-네이티브에서 1.1, 1.1로
    • com.github.fommil.netlib.native_system-java에서 1.1, 1.1 네이티브에서 1.1, 1.1로
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 버전이 1.1-natives에서 1.1로 변경됨
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 1.1-natives에서 1.1로
    • io.netty.netty-tcnative-boringssl-static의 버전이 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64에서 2.0.61.Final-db-r16으로 업데이트되었습니다.
    • io.netty.netty-transport-native-epoll 버전을 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64에서 4.1.96.Final, 4.1.96.Final, 4.1.96.Final로 업데이트합니다.
    • io.netty.netty-transport-native-kqueue 버전 변경: 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64에서 4.1.96.Final, 4.1.96.Final로 변경되었습니다.
    • org.apache.orc.orc-core에서 1.9.2-shaded-protobuf에서 1.9.2로
    • org.apache.orc.orc-mapreduce를 1.9.2-shaded-protobuf에서 1.9.2로 변경합니다.
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64에서 1.6.2로
  • [SPARK-52159][SQL] jdbc 언어에 대한 테이블 존재 확인 제대로 처리
  • 운영 체제 보안 업데이트.

• 2025년 5월 20일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.12에서 1.1.5에서 1.1.6까지
  • 복제된 스트리밍 세션은 공유 클러스터/서버리스의 foreachBatch 사용자 함수 내에서 사용됩니다. 이는 클래식(할당된 클러스터)의 동작과 일치합니다.
  • 이 변경 이전에는 Photon이 비활성화된 경우, variant_get 식의 경로에 있는 선행 공백 및 탭이 무시되었습니다. 예를 들어, select variant_get(parse_json('{"key": "value"}'), '$['key']')는 "key"의 가치를 추출하는 데 효과적이지 않을 것입니다. 그러나 사용자는 이제 이러한 키를 추출할 수 있습니다.
  • [SPARK-51935][SQL] 해석된 df.collect()에서 반복기의 지연 동작 수정
  • 운영 체제 보안 업데이트.

• 2025년 4월 22일
  • 업데이트된 Java 라이브러리:
    • org.apache.avro.avro 1.11.3에서 1.11.4로
    • org.apache.avro.avro-ipc 버전을 1.11.3에서 1.11.4로 업데이트합니다.
    • org.apache.avro.avro-mapred 버전 1.11.3에서 1.11.4로 업데이트
  • "[SPARK-47895][SQL] 별칭에 의한 그룹화가 동일해야 함을 15.4, 16.0, 16.1, 16.2 및 16.3에서 되돌리기"
  • [SPARK-50682][SQL] 내부 별칭을 정식화해야 합니다.
  • 운영 체제 보안 업데이트.

• 2025년 4월 9일
  • (동작 변경) 중요한 보안 패치를 적용하기 위해 기본 Python 버전은 Python 3.11.0rc1에서 Python 3.11.11로 업데이트됩니다. 이 업데이트는 Databricks Runtime 15.4 LTS에서 실행되는 일부 워크로드에 영향을 줄 수 있습니다. 예를 들어, Python serialization을 사용하여 실행 간에 상태를 저장하고 복원하는 워크로드나 3.11.0 Python 버전에 고정된 워크로드 등이 이에 해당됩니다.
  • 업데이트된 Java 라이브러리:
    • io.starburst.openjson.openjson 1.8-e.12 제거됨
    • io.starburst.openx.data.json-serde 1.3.9-e.12 제거됨
    • 삭제됨 io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] 별칭별 그룹은 idempotent여야 합니다.
  • [SPARK-51624][SQL] CreateNamedStruct.dataType에서 GetStructField 메타데이터 전파
  • 운영 체제 보안 업데이트.

• 2025년 3월 31일
  • Photon databricks-feature-engineering 에 대해 사용하도록 설정되지 않은 컴퓨팅의 경우 0.8.0으로 업그레이드됩니다. Photon 지원 컴퓨팅 databricks-feature-engineering 의 경우 0.6.0으로 유지됩니다.

• 2025년 3월 11일

  • Databricks Runtime 14.3 LTS 이상에는 SparkListenerApplicationEnd 클래스를 인스턴스화하고 Apache Spark에 대해 컴파일된 코드에서 발생한 이진 비호환성을 유발하는 문제에 대한 수정 사항이 포함되어 있습니다. 이 비호환성은 SPARK-46399를 Apache Spark에 병합한 결과입니다. 이 병합에는 SparkListenerApplicationEnd 생성자에 기본 인수를 추가하는 변경 내용이 포함되어 있습니다. 이진 호환성을 복원하기 위해 이 수정은 SparkListenerApplicationEnd 클래스에 단일 인수 생성자를 추가합니다.
  • [SPARK-50985][SS] KafkaTokenProvider에서 서버 누락 시 어설션 및 오류 던지기 대신 Kafka 타임스탬프 오프셋 불일치 오류를 분류합니다.
  • [SPARK-50791][SQL] 상태 저장 오류 처리에서 NPE 수정
  • [SPARK-50310][PYTHON] DQC를 사용하지 않도록 설정된 경우 열 성능 향상
  • [SPARK-51222][SQL] ReplaceCurrentLike 기능 최적화
  • [SPARK-49525][SS][CONNECT] 서버 측 스트리밍 쿼리 ListenerBus의 로그 미세 개선
  • [SPARK-51084][SQL] negativeScaleNotAllowedError에 적절한 오류 클래스 할당
  • 운영 체제 보안 업데이트.

• 2025년 2월 11일

  • 이 릴리스에는 복구된 XML 데이터 열을 직렬화할 때 특정 데이터 유형의 변환에 영향을 주는 문제에 대한 수정 사항이 포함되어 있습니다. 영향을 받는 데이터 형식은 prefersDecimal 사용하도록 설정된 날짜, NTZ가 아닌 타임스탬프 및 소수점입니다. 구조된 데이터 열에 대한 자세한 내용은 구조된 데이터 열이란?을 참조하세요..
  • [SPARK-50492][SS] dropDuplicatesWithinWatermark 후 이벤트 시간 열이 삭제될 때 java.util.NoSuchElementException 수정
  • 운영 체제 보안 업데이트.
  • Photon에 대해 컴퓨팅을 사용하도록 설정하지 않은 경우 mlflow-skinny 2.19.0으로 업그레이드됩니다. Photon 지원 컴퓨팅의 경우 mlflow-skinny 2.13.1로 유지됩니다.

• 2024년 12월 10일
  • 이제 USE CATALOG 문은 IDENTIFIER 절을 지원합니다. 이 지원을 사용하면 문자열 변수 또는 매개 변수 표식을 기반으로 현재 카탈로그를 매개 변수화할 수 있습니다.
  • 이 릴리스에는 백그라운드 자동 압축과 관련된 특정 에지 사례에서 델타 테이블의 기본 키가 삭제될 수 있는 문제에 대한 수정 사항이 포함되어 있습니다.
  • 이 릴리스에서는 Databricks 컴퓨팅 노드에서 SSD에서 사용하는 캐시 크기가 동적으로 SSD의 초기 크기로 확장되고 필요한 경우 한도까지 spark.databricks.io.cache.maxDiskUsage 축소됩니다. Azure Databricks캐싱을 사용하여 성능 최적화 참조하세요.
  • pyodbc 패키지는 버전 4.0.38에서 버전 4.0.39로 업데이트됩니다. 이 변경은 버전 4.0.38에서 버그가 발견되었고 해당 버전이 PyPI에서 제거되었기 때문에 필요합니다.
  • [SPARK-50329][SQL] InSet$toString 수정
  • [SPARK-47435][SQL] MySQL UNSIGNED TINYINT의 오버플로 문제 해결
  • [SPARK-49757][SQL] IDENTIFIERSET 문에 CATALOG 표현식 지원
  • [SPARK-50426][PYTHON] 내장된 또는 Java 데이터 소스를 사용할 때 정적 Python 데이터 소스 조회 방지
  • [SPARK-48863][SQL] "spark.sql.json.enablePartialResults"가 설정된 JSON을 구문 분석할 때 ClassCastException 수정
  • [SPARK-50310][PYTHON] PySpark에 DataFrameQueryContext를 사용하지 않도록 설정하는 플래그 추가
  • [15.3-15.4] [SPARK-50034][CORE] 치명적 오류를 미처리 예외로 잘못 보고하는 문제 수정 SparkUncaughtExceptionHandler
  • 운영 체제 보안 업데이트.
• 2024년 11월 26일
  • 이 릴리스에서는 이제 텍스트 입력을 위해 vector_search을 사용하거나 임베딩 입력을 위해 query_text를 사용하여 query_vector 함수를 쿼리할 수 있습니다.
  • 이제 Spark 구성 속성 spark.databricks.execution.timeout사용하여 Spark Connect 쿼리에 대한 시간 제한을 설정할 수 있습니다. 서버리스 컴퓨팅에서 실행되는 Notebook의 경우 기본값은 9000(초)입니다. 이 구성 속성을 설정하지 않으면 표준 액세스 모드로 서버리스 컴퓨팅 및 컴퓨팅에서 실행되는 작업에 시간 제한이 없습니다. 지정된 시간 제한보다 오래 실행되는 경우 QUERY_EXECUTION_TIMEOUT_EXCEEDED 오류가 발생합니다.
  • [SPARK-50322][SQL] 하위 쿼리에서 매개 변수가 있는 식별자 수정
  • [SPARK-49615] [ML] 모든 ML 기능 변환기 데이터 세트 스키마 유효성 검사가 "spark.sql.caseSensitive" 구성을 준수하도록 합니다.
  • [SPARK-50124][SQL] LIMIT/OFFSET 데이터 순서를 유지해야 합니다.
  • 운영 체제 보안 업데이트.

• 2024년 11월 5일
  • (호환성에 영향을 미치는 변경사항) Databricks Runtime 15.4 LTS 이상에서는 Apache Spark의 정규식 처리 동작과 일치되도록 Photon의 정규식 처리가 업데이트됩니다. 이전에는 split() 및 regexp_extract()같은 Photon에서 실행하는 정규식 함수가 Spark 파서에서 거부된 일부 정규식을 수락했습니다. Apache Spark와의 일관성을 유지하기 위해 이제 Spark가 유효하지 않다고 간주하는 정규식에 대해 Photon 쿼리가 실패합니다. 이 변경으로 인해 Spark 코드에 잘못된 정규식이 포함된 경우 오류가 표시될 수 있습니다. 예를 들어, 일치하지 않는 중괄호를 포함한 식 split(str_col, '{')은 이전에 Photon에서 수락되었지만 이제는 실패합니다. 이 식을 수정하려면 중괄호 문자인 split(str_col, '\\{')이스케이프할 수 있습니다. ASCII가 아닌 문자의 일부 정규식 일치에 대해서도 Photon 및 Spark 동작이 다릅니다. 또한 Photon이 Apache Spark 동작과 일치하게 업데이트됩니다.
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식의 출력을 사용하여 UnresolvedAttribute를 해결합니다.
  • [SPARK-49867][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49829] 스트림-스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 셔플이 수정되지 않도록 방지합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49443][SQL][PYTHON] to_variant_object 식을 구현하고 schema_of_variant 식이 Variant 개체에 대한 OBJECT를 인쇄하게 합니다.
  • [SPARK-49615] Bugfix: ML 열 스키마 유효성 검사가 spark 구성 spark.sql.caseSensitive준수하도록 합니다.

• 2024년 10월 22일
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식의 출력을 사용하여 UnresolvedAttribute를 해결합니다.
  • [SPARK-49867][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49829] 스트림-스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 셔플이 수정되지 않도록 방지합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49443][SQL][PYTHON] to_variant_object 식을 구현하고 schema_of_variant 식이 Variant 개체에 대한 OBJECT를 인쇄하게 합니다.
  • [SPARK-49615] Bugfix: ML 열 스키마 유효성 검사가 spark 구성 spark.sql.caseSensitive준수하도록 합니다.
• 2024년 10월 10일
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr는 GetArrayStructFields를 정리할 때 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49688][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
  • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49460][SQL] 후속 작업: 잠재적인 NPE 위험 해결
• 2024년 9월 25일
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "t에서 개수(고유 1) 선택" 수정
  • [SPARK-49492][CONNECT] 비활성 ExecutionHolder에서 다시 연결 시도됨
  • [SPARK-49458][CONNECT][PYTHON] ReattachExecute를 통해 서버 쪽 세션 ID 제공
  • 여러 매개 변수를 사용할 때, [SPARK-49017][SQL] Insert 문이 실패합니다.
  • [SPARK-49451] parse_json 중복 키를 허용합니다.
  • 기타 버그가 수정되었습니다.
• 2024년 9월 17일
  • [SPARK-48463][ML] 바이너라이저, 버킷나이저, 벡터어셈블러, 피처 해셔, 퀀타이즈디스크리타이저, 원핫 인코더, 불용어 제거기, 임퓨터, 인터렉터가 중첩된 입력 열을 지원하도록 개선
  • [SPARK-49409][CONNECT] CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] ArtifactManager에서 Windows 스타일 경로 지원
  • 되돌리기 "[SPARK-48482][PYTHON] dropDuplicates 및 dropDuplicatesWIthinWatermark가 가변 길이 인수를 수용할 수 있어야 한다"
  • [SPARK-43242][CORE] 셔플 오류 진단 중 '예기치 않은 BlockId 유형' 예외 수정
  • [SPARK-49366][CONNECT] 데이터 프레임 열 해결에서 유니온 노드를 리프로 처리
  • [SPARK-49018][SQL] 데이터 정렬에서 제대로 작동하지 않는 approx_count_distinct 수정
  • [SPARK-49460][SQL] EmptyRelationExec에서 cleanupResource() 제거
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-49336][CONNECT] protobuf 메시지를 잘릴 때 중첩 수준을 제한합니다
• 2024년 8월 29일
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE참조하세요. 행 필터 및 열 마스크에 대한 자세한 내용은 행 필터 및 열 마스크를 참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. 스트리밍 제한 사항을 참조하세요.
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-49074][SQL] df.cache()를 사용하여 변형 수정
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: Boolean DataFrame 리더 옵션을 일관되게 처리
  • [SPARK-48955][SQL] 15.4에 ArrayCompact 변경 내용 포함
  • [SPARK-48937][SQL] StringToMap 문자열 식에 대한 데이터 정렬 지원 추가
  • [SPARK-48929] 내부 오류 보기 수정 및 파서 예외 컨텍스트 정리
  • [SPARK-49125][SQL] CSV 쓰기에서 중복 열 이름 허용
  • [SPARK-48934][SS] applyInPandasWithState에서 시간 제한을 설정하기 위한 Python 날짜/시간 형식이 잘못 변환됨
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-48981] 데이터 정렬을 위해 pyspark에서 StringType의 simpleString 메서드 수정
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48896][SPARK-48909][SPARK-48883] 백포트 spark ML 작성기 수정
  • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints를 문자열 식에 통합
  • [SPARK-48978][SQL] UTF8_LCASE용 데이터 정렬 지원에서 ASCII 빠른 경로 구현
  • [SPARK-49047][PYTHON] [CONNECT] 로깅을 위해 메시지 자르기
  • [SPARK-49146][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
  • [SPARK-48977][SQL] UTF8_LCASE 정렬에서 문자열 검색 최적화
  • [SPARK-48889][SS] testStream을 사용하여 완료하기 전에 상태 저장소 언로드
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • [SPARK-48954] try_mod()는 try_remainder()를 대체합니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 14.3 LTS

Databricks Runtime 14.3 LTS를 참조하세요.

• 2025년 12월 9일
  • [SPARK-52579][PYTHON] Python 작업자에 대한 정기 추적 덤프 설정
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload에 대한 새 테스트 및 이전 테스트에서 인프라 제거
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • 업데이트된 R 라이브러리:
    • 화살표 방향을 12.0.1에서 21.0.0으로
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python 클라이언트 오류 처리 논리에서 몇 가지 작은 버그 수정
  • [SPARK-53574] 중첩된 계획 해결 중에 삭제되는 AnalysisContext 수정
  • 기타 버그가 수정되었습니다.

• 2025년 9월 16일
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 자동 로더가 무기한 중단될 수 있는 문제를 해결했습니다.
  • [SPARK-49872][CORE] 잭슨 JSON 문자열 길이 제한 제거
  • 운영 체제 보안 업데이트.

• 2025년 8월 26일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.12에서 1.1.6에서 1.1.7로
  • [SPARK-52482][SQL][CORE] 손상된 특정 zstd 파일을 읽기 위한 예외 처리 개선
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • 운영 체제 보안 업데이트.

• 2025년 7월 15일
  • [SPARK-52503][SQL][CONNECT] 입력 열이 존재하지 않는 경우 수정 drop
  • 기타 버그가 수정되었습니다.

• 2025년 7월 1일
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • 파일 데이터 원본 판독기(json, csv, xml 및 text)에 대한 ZStandard 압축 해제 지원
  • [SPARK-52521][SQL] Right#replacement 은 SQLConf에 동적으로 액세스해서는 안 됩니다.
  • [SPARK-52482][SQL][CORE] 파일 데이터 원본 판독기용 ZStandard 지원
  • 운영 체제 보안 업데이트.

• 2025년 6월 17일
  • TVF(테이블 반환 함수)를 사용하여 파이프라인 간에 스트리밍 테이블의 파일 수준 상태를 읽을 수 없다는 제한 사항을 cloud_files_state 수정했습니다.
  • [SPARK-49646][SQL] parentOuterReferences에 collectedChildOuterReferences에서 다루지 않는 참조가 있는 경우, union/set 연산에 대한 하위 쿼리의 decorrelation 수정

• 2025년 6월 3일
  • 업데이트된 Python 라이브러리:
    • 3.4.8, 39.0.1에서 39.0.1까지의 암호화
    • platformdirs를 2.5.2, 2.6.2에서 2.5.2로 변경
    • pyparsing 2.4.7, 3.0.9에서 3.0.9로
    • pip 22.3.1 추가됨
    • setuptools 65.6.3 추가됨
    • tomli 2.0.1 추가됨
    • wcwidth 0.2.5 추가됨
    • 휠 0.38.4 추가됨
    • 제거된 배포판 1.7.0
    • 배포판 정보 1.1+ubuntu0.2 제거됨
    • python-apt 2.4.0+ubuntu4 제거됨
  • 업데이트된 Java 라이브러리:
    • com.github.fommil.netlib.native_ref-java에서 1.1, 1.1-네이티브에서 1.1, 1.1로
    • com.github.fommil.netlib.native_system-java에서 1.1, 1.1 네이티브에서 1.1, 1.1로
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 버전이 1.1-natives에서 1.1로 변경됨
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 1.1-natives에서 1.1로
    • io.netty.netty-tcnative-boringssl-static의 버전이 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64에서 2.0.61.Final-db-r16으로 업데이트되었습니다.
    • io.netty.netty-transport-native-epoll 버전을 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64에서 4.1.96.Final, 4.1.96.Final, 4.1.96.Final로 업데이트합니다.
    • io.netty.netty-transport-native-kqueue 버전 변경: 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64에서 4.1.96.Final, 4.1.96.Final로 변경되었습니다.
    • org.apache.orc.orc-core에서 1.9.2-shaded-protobuf에서 1.9.2로
    • org.apache.orc.orc-mapreduce를 1.9.2-shaded-protobuf에서 1.9.2로 변경합니다.
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 버전 1.6.1-linux-x86_64을 1.6.1로 업데이트합니다.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference는 계획 ID를 유지해야 함
  • [SPARK-52159][SQL] jdbc 언어에 대한 테이블 존재 확인 제대로 처리
  • 운영 체제 보안 업데이트.

• 2025년 5월 20일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-client_2.12에서 1.1.5에서 1.1.6까지
  • [SPARK-51935][SQL] 해석된 df.collect()에서 반복기의 지연 동작 수정
  • 운영 체제 보안 업데이트.

• 2025년 4월 22일
  • 운영 체제 보안 업데이트.

• 2025년 4월 9일

  • [동작 변경] 이제 진공 작업은 다른 작업과 유사한 기록기 프로토콜 검사를 수행하여 호환되지 않는 이전 DBR 버전에서 실행할 때 최신 기능이 있는 테이블에서 예기치 않은 정리를 방지합니다.
  • [SPARK-51624][SQL] CreateNamedStruct.dataType에서 GetStructField 메타데이터 전파
  • 운영 체제 보안 업데이트.

• 2025년 3월 11일

  • Databricks Runtime 14.3 LTS 이상에는 SparkListenerApplicationEnd 클래스를 인스턴스화하고 Apache Spark에 대해 컴파일된 코드에서 발생한 이진 비호환성을 유발하는 문제에 대한 수정 사항이 포함되어 있습니다. 이 비호환성은 SPARK-46399를 Apache Spark에 병합한 결과입니다. 이 병합에는 SparkListenerApplicationEnd 생성자에 기본 인수를 추가하는 변경 내용이 포함되어 있습니다. 이진 호환성을 복원하기 위해 이 수정은 SparkListenerApplicationEnd 클래스에 단일 인수 생성자를 추가합니다.
  • [SPARK-50791][SQL] 상태 저장 오류 처리에서 NPE 수정
  • [SPARK-50705][SQL] QueryPlan 잠금 해제
  • [SPARK-49525][SS][CONNECT] 서버 측 스트리밍 쿼리 ListenerBus의 로그 미세 개선
  • 운영 체제 보안 업데이트.

• 2025년 2월 11일

  • 이 릴리스에는 복구된 XML 데이터 열을 직렬화할 때 특정 데이터 유형의 변환에 영향을 주는 문제에 대한 수정 사항이 포함되어 있습니다. 영향을 받는 데이터 형식은 prefersDecimal 사용하도록 설정된 날짜, NTZ가 아닌 타임스탬프 및 소수점입니다. 구조된 데이터 열에 대한 자세한 내용은 구조된 데이터 열이란?을 참조하세요..
  • [SPARK-50492][SS] dropDuplicatesWithinWatermark 후 이벤트 시간 열이 삭제될 때 java.util.NoSuchElementException 수정
  • [SPARK-51084][SQL] negativeScaleNotAllowedError에 적절한 오류 클래스 할당
  • 운영 체제 보안 업데이트.

• 2024년 12월 10일
  • 이 릴리스에는 백그라운드 자동 압축과 관련된 특정 에지 사례에서 델타 테이블의 기본 키가 삭제될 수 있는 문제에 대한 수정 사항이 포함되어 있습니다.
  • [SPARK-50329][SQL] InSet$toString 수정
  • 운영 체제 보안 업데이트.
• 2024년 11월 26일
  • [SPARK-49615] [ML] 모든 ML 기능 변환기 데이터 세트 스키마 유효성 검사가 "spark.sql.caseSensitive" 구성을 준수하도록 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 11월 5일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49829] 스트림-스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [BACKPORT] [SPARK-49326][SS] Foreach 싱크 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식의 출력을 사용하여 UnresolvedAttribute를 해결합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 셔플이 수정되지 않도록 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 셔플이 수정되지 않도록 방지합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식의 출력을 사용하여 UnresolvedAttribute를 해결합니다.
  • [BACKPORT] [SPARK-49326][SS] Foreach 싱크 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49829] 스트림-스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr는 GetArrayStructFields를 정리할 때 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49688][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
• 2024년 9월 25일
  • [SPARK-48810][CONNECT] 세션 stop() API는 idempotent해야 하며 서버에서 세션을 이미 닫은 경우에도 실패하지 않아야 합니다.
  • [SPARK-48719][SQL] `RegrS`의 계산 버그 수정
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "t에서 개수(고유 1) 선택" 수정
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-49492][CONNECT] 비활성 ExecutionHolder에서 다시 연결 시도됨
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49336][CONNECT] protobuf 메시지를 잘릴 때 중첩 수준을 제한합니다
  • [SPARK-43242][CORE] 셔플 오류 진단 중 '예기치 않은 BlockId 유형' 예외 수정
  • [SPARK-48463][ML] 바이너라이저, 버킷나이저, 벡터어셈블러, 피처 해셔, 퀀타이즈디스크리타이저, 원핫 인코더, 불용어 제거기, 임퓨터, 인터렉터가 중첩된 입력 열을 지원하도록 개선
  • [SPARK-49526][CONNECT] ArtifactManager에서 Windows 스타일 경로 지원
  • [SPARK-49409][CONNECT] CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
  • [SPARK-49366][CONNECT] 데이터 프레임 열 해결에서 유니온 노드를 리프로 처리
• 2024년 8월 29일
  • [SPARK-49146][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
  • [SPARK-48862][PYTHON] [CONNECT] INFO 수준을 사용할 수 없는 경우 _proto_to_string 호출 방지
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: Boolean DataFrame 리더 옵션을 일관되게 처리
• 2024년 8월 14일
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-48706][PYTHON] 상위 순서 함수의 Python UDF는 내부 오류를 발생시키지 않습니다.
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48934][SS] applyInPandasWithState에서 시간 제한을 설정하기 위한 Python 날짜/시간 형식이 잘못 변환됨
• 2024년 8월 1일
  • 이 릴리스에는 Spark Java 인터페이스의 ColumnVector 및 ColumnarArray 클래스에 대한 버그 수정이 포함되어 있습니다. 이 수정 이전에는 이러한 클래스 중 하나의 인스턴스에 ArrayIndexOutOfBoundsException 값이 포함된 경우 null throw되거나 잘못된 데이터가 반환될 수 있습니다.
  • Notebook 및 작업에 대한 서버리스 컴퓨팅에서 ANSI SQL 모드는 기본값으로 사용하도록 설정됩니다. 지원되는 Spark 구성 매개 변수참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. 스트리밍 제한 사항을 참조하세요.
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE참조하세요. 행 필터 및 열 마스크에 대한 자세한 내용은 행 필터 및 열 마스크를 참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. 스트리밍 제한 사항을 참조하세요.
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE참조하세요. 행 필터 및 열 마스크에 대한 자세한 내용은 행 필터 및 열 마스크를 참조하세요.
  • [SPARK-48896][SPARK-48909][SPARK-48883] 백포트 spark ML 작성기 수정
  • [SPARK-48889][SS] testStream을 사용하여 완료하기 전에 상태 저장소 언로드
  • [SPARK-48705][PYTHON] pyspark로 시작할 때 worker_main 명시적으로 사용
  • [SPARK-48047][SQL] 빈 TreeNode 태그의 메모리 압력 감소
  • [SPARK-48544][SQL] 빈 TreeNode BitSets의 메모리 압력 감소
  • [SPARK-46957][CORE] 마이그레이션된 셔플 파일의 사용 중지는 실행기에서 정리할 수 있어야 합니다.
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • [SPARK-47202][PYTHON] tzinfo를 사용하여 오타가 생긴 날짜/시간 수정
  • [SPARK-47713][SQL][CONNECT] 자체 조인 실패 수정
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 델타 테이블 원본에 대해 캐시된 데이터 프레임이 무효화됩니다. 이 변경은 이제 델타 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. .checkpoint() 사용하여 DataFrame의 수명 동안 테이블 상태를 유지합니다.
  • Snowflake JDBC 드라이버가 버전 3.16.1로 업데이트되었습니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • Notebook 및 작업에 대한 서버리스 컴퓨팅에서 ANSI SQL 모드는 기본값으로 사용하도록 설정됩니다. 지원되는 Spark 구성 매개 변수참조하세요.
  • 데이터를 읽을 때 잘못된 파티션을 무시하려면 Parquet, ORC, CSV 또는 JSON과 같은 파일 기반 데이터 원본에서 ignoreInvalidPartitionPaths 데이터 원본 옵션을 true로 설정할 수 있습니다. 예를 들어: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). SQL 구성 spark.sql.files.ignoreInvalidPartitionPaths를 사용할 수도 있습니다. 그러나 데이터 원본 옵션이 SQL 구성보다 우선 순위를 갖습니다. 기본값으로 이것은 false로 설정되어 있습니다.
  • [SPARK-48648][PYTHON] [CONNECT] SparkConnectClient.tags를 올바르게 threadlocal로 만들기
  • [SPARK-48445][SQL] 고가의 자식이 있는 인라인 UDF를 사용하지 마세요.
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 더 나은 오류 메시지 제공
  • [SPARK-48503][SQL] 동등하지 않은 열에 대한 그룹화로 인해 잘못 허용된 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48100][SQL] 스키마에서 선택되지 않은 중첩된 구조체 필드를 건너뛰는 문제 해결
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48252][SQL] 필요한 경우 CommonExpressionRef 업데이트
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • applyInPandasWithState()는 표준 액세스 모드로 컴퓨트에서 사용할 수 있습니다.
  • Photon TopK를 사용하여 순위 창 최적화가 구조체로 파티션을 잘못 처리하는 버그를 수정합니다.
  • [SPARK-48310][PYTHON] [CONNECT] 캐시된 속성은 복사본을 반환해야 합니다.
  • [SPARK-48276][PYTHON] [CONNECT] __repr__에 대해 누락된 SQLExpression 메서드 추가
  • [SPARK-48294][SQL] nestedTypeMissingElementTypeError에서 소문자 처리 기능 추가
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • (동작 변경) 이제 노트북에서 모든 위젯 값을 가져오는 것이 지원됩니다.
  • 10진수를 포함하는 입력으로 인해 예기치 않은 예외가 발생하는 try_divide() 함수의 버그가 수정되었습니다.
  • [SPARK-48056][CONNECT] [PYTHON] SESSION_NOT_FOUND 오류가 발생하고 부분 응답이 수신되지 않은 경우 계획을 다시 실행
  • [SPARK-48146][SQL] With 식의 하위 어설션에서 집계 함수 수정
  • [SPARK-47986][CONNECT] [PYTHON] 서버에서 기본 세션을 닫을 때 새 세션을 만들 수 없음
  • [SPARK-48180][SQL] TABLE 인수를 사용하는 UDTF 호출에서 여러 PARTITION/ORDER BY 표현식 주위의 괄호를 놓친 경우에 대한 오류 메시지 개선
  • [SPARK-48016][SQL] 소수점을 사용하는 경우 try_divide 함수의 버그 수정
  • [SPARK-48197][SQL] 잘못된 람다 함수에 대한 어설션 오류 방지
  • [SPARK-47994][SQL] SQLServer에서 CASE WHEN 열 필터 푸시다운으로 버그 수정
  • [SPARK-48173][SQL] CheckAnalysis에 전체 쿼리 계획을 확인해야 합니다.
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경쟁 상태 수정
  • 운영 체제 보안 업데이트.

• 2024년 5월 9일
  • (동작 변경) applyInPandas 이제 mapInPandas Databricks Runtime 14.3 LTS 이상을 실행하는 공유 액세스 모드 컴퓨팅에서 UDF 유형이 지원됩니다.
  • [SPARK-47739][SQL] 논리 avro 형식 등록
  • [SPARK-47941] [SS] [연결] PySpark 사용자에게 ForeachBatch 작업자 초기화 오류 전파
  • [SPARK-48010][SQL] resolveExpression에서 conf.resolver에 대한 반복 호출 방지
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreaming 캐시
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame에서 dict를 Map 타입으로 유추하여 DataFrame 생성을 허용
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] 실행 정리에 비동기 콜백 사용
  • [SPARK-47764][CORE][SQL] ShuffleCleanupMode에 따라 셔플 종속성 정리
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange를 발생시킬 때 null groupId로 인해 매개변수 오류가 발생하는 문제 수정
  • [SPARK-47839][SQL] RewriteWithExpression에서 집계 버그 수정
  • [SPARK-47371] [SQL] XML: CDATA에 있는 행 태그 무시
  • [SPARK-47895][SQL] GROUP BY ALL은 idempotent여야 합니다.
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • 운영 체제 보안 업데이트.

• 2024년 4월 25일
  • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame에서 dict으로 MapType를 유추하여 DataFrame 만들기 허용
  • [SPARK-47694][CONNECT] 클라이언트 쪽에서 최대 메시지 크기를 구성할 수 있도록 설정
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] 캐시된 스키마를 사용하여 열 이름 유효성 검사
  • [SPARK-47862][PYTHON] [CONNECT] proto 파일 생성 수정
  • "[SPARK-47543][CONNECT][PYTHON] Pandas DataFrame에서 dict을 MapType로 유추하여 DataFrame 만들기를 허용하는 변경 사항 되돌리기"
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults를 사용하도록 설정하면 "java.lang.ClassCastException"으로 JSON 구문 분석이 실패
  • [SPARK-47812][CONNECT] ForEachBatch 작업자에 대한 SparkSession의 직렬화 지원
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] SparkConnectPlanner에 계획 캐시를 도입하여 분석 요청의 성능 향상
  • [SPARK-47828][CONNECT] [PYTHON] 잘못된 계획으로 DataFrameWriterV2.overwrite 실패
  • 운영 체제 보안 업데이트.
• 2024년 4월 11일
  • (동작 변경) 컴퓨팅 유형 간에 일관된 동작을 보장하기 위해 표준 액세스 모드가 있는 컴퓨팅의 PySpark UDF는 이제 격리되지 않고 할당된 클러스터에서 UDF의 동작과 일치합니다. 이 업데이트에는 기존 코드를 중단할 수 있는 다음과 같은 변경 내용이 포함됩니다.
    • string 반환 형식이 있는 UDF는 더 이상 비string 값을 string 값으로 암시적으로 변환하지 않습니다. 이전에는 반환 형식 str이 있는 UDF는 반환된 값의 실제 데이터 형식과 관계없이 반환 값을 str() 함수로 래핑했습니다.
    • timestamp 반환 형식이 있는 UDF는 더 이상timestamp을 사용하여 timezone에 대한 변환을 암시적으로 적용하지 않습니다.
    • spark.databricks.sql.externalUDF.* Spark 클러스터 구성은 표준 액세스 모드를 사용하는 컴퓨팅의 PySpark UDF에 더 이상 적용되지 않습니다.
    • Spark 클러스터 구성 spark.databricks.safespark.externalUDF.plan.limit은 더 이상 PySpark UDF에 영향을 주지 않으며 PySpark UDF에 대한 쿼리당 5UDF의 공개 미리 보기 제한을 제거합니다.
    • Spark 클러스터 구성 spark.databricks.safespark.sandbox.size.default.mib 표준 액세스 모드를 사용하는 컴퓨팅의 PySpark UDF에 더 이상 적용되지 않습니다. 대신 시스템에서 사용 가능한 메모리가 사용됩니다. PySpark UDF의 메모리를 제한하려면 spark.databricks.pyspark.udf.isolation.memoryLimit를 사용할 때 최소값을 100m로 설정합니다.
  • 이제 TimestampNTZ 데이터 형식이 액체 클러스터링이 있는 클러스터링 열로 지원됩니다. 테이블에 대한 액체 클러스터링 사용을 참조하세요.
  • [SPARK-47511][SQL] ID를 다시 할당하여 'With' 표현식을 정규화하기
  • [SPARK-47509][SQL] LAMBDA 및 상위 함수에서 하위 쿼리 식 차단
  • [SPARK-46990][SQL] event-hubs에서 내보낸 빈 Avro 파일 로드 수정
  • [SPARK-47638][PS][CONNECT] PS에서 열 이름 유효성 검사 건너뛰기
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • [SPARK-47145][SQL] 테이블 식별자를 V2 전략에 대한 행 데이터 원본 검사 exec에 전달합니다.
  • [SPARK-47044][SQL] 출력을 설명하기 위해 JDBC 외부 데이터 원본에 대해 실행된 쿼리 추가
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • [SPARK-47121][CORE] StandaloneSchedulerBackend 종료 시 RejectedExecutionExceptions를 방지하기
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier는 식 트리에 다른 식을 포함해야 합니다.
  • [SPARK-47129][CONNECT][SQL] ResolveRelations 캐시 연결 계획 올바르게 만들기
  • [SPARK-47241][SQL] ExtractGenerator에 대한 규칙 순서 문제 해결
  • [SPARK-47035][SS][CONNECT] 클라이언트 쪽 수신기에 대한 프로토콜
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자에게 ANY FILE에 대한 SELECT 및 MODIFY 권한이 있어야 합니다.
  • [SPARK-47071][SQL] 특수 표현이 포함된 경우 With 표현을 인라인으로 적용
  • [SPARK-47059][SQL] ALTER COLUMN v1 명령에 대한 오류 정보 첨부
  • [SPARK-46993][SQL] 세션 변수에 대한 상수 폴딩 수정
  • 운영 체제 보안 업데이트.
• 2024년 1월 3일
  • [SPARK-46933] JDBCRDD를 사용하는 커넥터에 쿼리 실행 시간 메트릭을 추가합니다.
  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • [SPARK-46954] XML: InputStreamReader를 BufferedReader로 감쌉니다.
  • [SPARK-46655]DataFrame 메서드에서 쿼리 컨텍스트 포착을 생략합니다.
  • [SPARK-44815] 추가 RPC를 방지하기 위해 df.schema를 캐시합니다.
  • [SPARK-46952] XML: 손상된 레코드의 크기를 제한합니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • [SPARK-46736] protobuf 커넥터에서 빈 메시지 필드를 유지합니다.
  • [SPARK-45182] 체크섬에 의해 결정된 대로 부모 불확정 단계의 재시도 후 이전 단계의 작업 완료를 무시합니다.
  • [SPARK-46414] prependBaseUri를 사용하여 javascript 가져오기를 렌더링합니다.
  • [SPARK-46383]TaskInfo.accumulables()의 수명을 줄여 드라이버 힙 사용량을 줄입니다.
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-46954] XML: 스키마 인덱스 조회 최적화
  • [SPARK-46676] dropDuplicatesWithinWatermark는 계획을 정규화하는 과정에서 오류를 일으키지 않아야 합니다.
  • [SPARK-46644] isZero를 사용하도록 SQLMetric에서 추가 및 병합을 변경합니다.
  • [SPARK-46731] 상태 데이터 원본- 판독기별로 상태 저장소 공급자 인스턴스를 관리합니다.
  • [SPARK-46677]dataframe["*"] 해상도를 수정합니다.
  • [SPARK-46610] 옵션에서 키에 대한 값이 없으면 테이블 생성 시 예외를 발생시켜야 합니다.
  • [SPARK-46941] SizeBasedWindowFunction이 포함된 경우 최상위 K 계산에 대한 창 그룹 제한 노드를 삽입할 수 없습니다.
  • [SPARK-45433] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추를 수정합니다.
  • [SPARK-46930] Avro에서 Union 형식 필드에 대한 사용자 지정 접두사에 대한 지원을 추가합니다.
  • [SPARK-46227] 14.3으로 백포트합니다.
  • [SPARK-46822] jdbc 형식을 jdbc의 촉매 형식에 캐스팅할 때 spark.sql.legacy.charVarcharAsString을 존중합니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 13.3 LTS

Databricks Runtime 13.3 LTS를 참조하세요.

• 2025년 12월 9일
  • [SPARK-54180][SQL] BinaryFileFormat의 toString 재정의
  • [SPARK-52579][PYTHON] Python 작업자에 대한 정기 추적 덤프 설정
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • [SPARK-54047][PYTHON] kill-on-idle-timeout 시 차이 오류 사용
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • 업데이트된 R 라이브러리:
    • 화살표를 10.0.1에서 21.0.0으로
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • 운영 체제 보안 업데이트.

• 2025년 9월 24일
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 운영 체제 보안 업데이트.

• 2025년 8월 26일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-spark_2.12에서 0.7.12에서 0.7.13까지
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • 운영 체제 보안 업데이트.

• 2025년 7월 15일

  • 운영 체제 보안 업데이트.

• 2025년 7월 1일

  • 운영 체제 보안 업데이트.

• 2025년 6월 17일
  • TVF(테이블 반환 함수)를 사용하여 파이프라인 간에 스트리밍 테이블의 파일 수준 상태를 읽을 수 없다는 제한 사항을 cloud_files_state 수정했습니다.
  • 운영 체제 보안 업데이트.

• 2025년 6월 3일
  • 업데이트된 Python 라이브러리:
    • 3.4.8, 37.0.1에서 37.0.1로 암호화
    • platformdirs를 2.5.2, 2.6.2에서 2.5.2로 변경
    • pyparsing 2.4.7, 3.0.9에서 3.0.9로
    • pip 22.2.2 추가됨
    • setuptools 63.4.1 추가됨
    • tomli 2.0.1 추가됨
    • wcwidth 0.2.5 추가됨
    • 휠 0.37.1 추가됨
    • 제거된 배포판 1.7.0
    • 배포판 정보 1.1+ubuntu0.2 제거됨
    • python-apt 2.4.0+ubuntu4 제거됨
  • 업데이트된 Java 라이브러리:
    • com.github.fommil.netlib.native_ref-java에서 1.1, 1.1-네이티브에서 1.1, 1.1로
    • com.github.fommil.netlib.native_system-java에서 1.1, 1.1 네이티브에서 1.1, 1.1로
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 버전이 1.1-natives에서 1.1로 변경됨
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 1.1-natives에서 1.1로
    • io.netty.netty-transport-native-epoll 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64에서 4.1.87.Final, 4.1.87.Final, 4.1.87.Final로
    • io.netty.netty-transport-native-kqueue가 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64에서 4.1.87.Final, 4.1.87.Final로 변경됩니다.
    • org.apache.orc.orc-core의 1.8.4-shaded-protobuf 버전을 1.8.4로 변경
    • org.apache.orc.orc-mapreduce 버전을 1.8.4-shaded-protobuf에서 1.8.4로 변경
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 버전 1.6.1-linux-x86_64을 1.6.1로 업데이트합니다.
  • [SPARK-52159][SQL] jdbc 언어에 대한 테이블 존재 확인 제대로 처리
  • 운영 체제 보안 업데이트.

• 2025년 5월 20일
  • 업데이트된 Java 라이브러리:
    • io.delta.delta-sharing-spark_2.12의 버전을 0.7.11에서 0.7.12로 변경
  • 운영 체제 보안 업데이트.

• 2025년 4월 22일
  • [동작 변경] 이제 진공 작업은 다른 작업과 유사한 기록기 프로토콜 검사를 수행하여 호환되지 않는 이전 DBR 버전에서 실행할 때 최신 기능이 있는 테이블에서 예기치 않은 정리를 방지합니다.
  • 운영 체제 보안 업데이트.

• 2025년 4월 9일
  • [SPARK-51624][SQL] CreateNamedStruct.dataType에서 GetStructField 메타데이터 전파
  • 운영 체제 보안 업데이트.

• 2025년 3월 11일
  • 운영 체제 보안 업데이트.

• 2025년 2월 11일
  • [SPARK-50492][SS] dropDuplicatesWithinWatermark 후 이벤트 시간 열이 삭제될 때 java.util.NoSuchElementException 수정
  • [SPARK-45915][SQL] PromoteStrings의 IntegralType과 동일한 10진수(x, 0) 처리
  • 운영 체제 보안 업데이트.

• 2024년 12월 10일
  • 운영 체제 보안 업데이트.
• 2024년 11월 26일
  • [SPARK-49615] [ML] 모든 ML 기능 변환기 데이터 세트 스키마 유효성 검사가 "spark.sql.caseSensitive" 구성을 준수하도록 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 11월 5일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [BACKPORT] [SPARK-49326][SS] Foreach 싱크 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 셔플이 수정되지 않도록 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [BACKPORT] [SPARK-49326][SS] Foreach 싱크 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 셔플이 수정되지 않도록 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr는 GetArrayStructFields를 정리할 때 스키마 필드를 변경하지 않아야 합니다.
• 2024년 9월 25일
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • [SPARK-48719][SQL] 첫 번째 매개 변수가 null일 때 RegrSlope &RegrIntercept의 계산 버그 수정
  • [SPARK-43242][CORE] 셔플 오류 진단 중 '예기치 않은 BlockId 유형' 예외 수정
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "t에서 개수(고유 1) 선택" 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49526][CONNECT] ArtifactManager에서 Windows 스타일 경로 지원
  • [SPARK-48463][ML] 바이너라이저, 버킷나이저, 벡터어셈블러, 피처 해셔, 퀀타이즈디스크리타이저, 원핫 인코더, 불용어 제거기, 임퓨터, 인터렉터가 중첩된 입력 열을 지원하도록 개선
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
• 2024년 8월 14일
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
• 2024년 8월 1일
  • 이 릴리스에는 Spark Java 인터페이스의 ColumnVector 및 ColumnarArray 클래스에 대한 버그 수정이 포함되어 있습니다. 이 수정 이전에는 이러한 클래스 중 하나의 인스턴스에 ArrayIndexOutOfBoundsException 값이 포함된 경우 null throw되거나 잘못된 데이터가 반환될 수 있습니다.
  • [SPARK-47202][PYTHON] tzinfo를 사용하여 오타가 생긴 날짜/시간 수정
  • [SPARK-48896][SPARK-48909][SPARK-48883] 백포트 spark ML 작성기 수정
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 델타 테이블 원본에 대해 캐시된 데이터 프레임이 무효화됩니다. 이 변경은 이제 델타 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. .checkpoint() 사용하여 DataFrame의 수명 동안 테이블 상태를 유지합니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 더 나은 오류 메시지 제공
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • [SPARK-48503][SQL] 동등하지 않은 열에 대한 그룹화로 인해 잘못 허용된 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48445][SQL] 고가의 자식이 있는 인라인 UDF를 사용하지 마세요.
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • (동작 변경) 이제 노트북에서 모든 위젯 값을 가져오는 것이 지원됩니다.
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경쟁 상태 수정
  • [SPARK-47994][SQL] SQLServer에서 CASE WHEN 열 필터 푸시다운으로 버그 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-46822][SQL] jdbc 형식을 jdbc의 촉매 형식으로 캐스팅할 때 spark.sql.legacy.charVarcharAsString을 준수합니다.
  • [SPARK-47895][SQL] GROUP BY ALL은 idempotent여야 합니다.
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange를 발생시킬 때 null groupId로 인해 매개변수 오류가 발생하는 문제 수정
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • [SPARK-44653][SQL] 복잡한 DataFrame 유니온은 캐싱을 저해해서는 안 됩니다.
  • 기타 버그가 수정되었습니다.
• 2024년 4월 11일
  • [SPARK-47509][SQL] LAMBDA 및 상위 함수에서 하위 쿼리 식 차단
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • [SPARK-47385] 옵션 입력을 사용하여 튜플 인코더 수정
  • [SPARK-38708][SQL] Hive Metastore 클라이언트를 Hive 3.1용 3.1.3으로 업그레이드
  • [SPARK-47200][SS] Foreach 배치 싱크 사용자 함수 오류에 대한 오류 클래스
  • [SPARK-47368][SQL] ParquetRowConverter에서 inferTimestampNTZ config 검사 제거
  • [SPARK-44252][SS] 새 오류 클래스를 정의하고 DFS에서 로드 상태가 실패하는 경우를 적용합니다.
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-47300][SQL] quoteIfNeeded 숫자로 시작하는 식별자는 따옴표로 묶어야 합니다.
  • [SPARK-47305][SQL] 계획에 일괄 처리 및 스트리밍이 모두 있는 경우 PruneFilters가 LocalRelation의 isStreaming 플래그에 올바르게 태그를 지정하도록 수정
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47145][SQL] 테이블 식별자를 V2 전략에 대한 행 데이터 원본 검사 exec에 전달합니다.
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • [SPARK-47044][SQL] 출력을 설명하기 위해 JDBC 외부 데이터 원본에 대해 실행된 쿼리 추가
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자에게 ANY FILE에 대한 SELECT 및 MODIFY 권한이 있어야 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 2월 8일
  • Unity 카탈로그 구체화된 뷰의 CDF(변경 데이터 피드) 쿼리는 지원되지 않으며 Unity 카탈로그 구체화된 뷰를 사용하여 CDF 쿼리를 실행하려고 시도하면 오류가 반환됩니다. Unity 카탈로그 스트리밍 테이블은 Databricks Runtime 14.1 이상에서 AUTO가 아닌 CDC 테이블에 대한 CDF 쿼리를 지원합니다. CDF 쿼리는 Databricks Runtime 14.0 이하의 Unity 카탈로그 스트리밍 테이블에서 지원되지 않습니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • [SPARK-46933] JDBCRDD를 사용하는 커넥터에 쿼리 실행 시간 메트릭을 추가합니다.
  • [SPARK-45582] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인합니다.
  • [SPARK-46396] 타임스탬프 유추는 예외를 throw해서는 안 됩니다.
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-46941] SizeBasedWindowFunction이 포함된 경우 최상위 K 계산에 대한 창 그룹 제한 노드를 삽입할 수 없습니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • [SPARK-46610] 옵션에서 키에 대한 값이 없으면 테이블 생성 시 예외를 발생시켜야 합니다.
  • [SPARK-46383] TaskInfo.accumulables()의 수명을 줄여 드라이버 힙 사용량을 줄입니다.
  • [SPARK-46600] SqlConf와 SqlApiConf 간에 공유 코드를 SqlApiConfHelper로 이동합니다.
  • [SPARK-46676] dropDuplicatesWithinWatermark는 계획을 정규화하는 과정에서 오류를 일으키지 않아야 합니다.
  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 17일
  • Photon 쿼리의 설명 계획에서 반환된 shuffle 노드는 브로드캐스트 조인의 일환으로 수행되는 셔플 도중 메모리 부족 오류가 발생했을 때 causedBroadcastJoinBuildOOM=true 플래그를 추가하도록 업데이트됩니다.
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-46173] 날짜 구문 분석 중 trimAll 호출을 건너뜁니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46609] PartitioningPreservingUnaryExecNode의 지수적 증가를 방지합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
  • [SPARK-46602] 뷰/테이블이 없을 때 뷰 생성 시allowExisting를 전파합니다.
  • [SPARK-46249] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하려면 인스턴스 잠금이 필요합니다.
  • [SPARK-46417] hive.getTable을 호출하고 throwException이 false인 경우 실패하지 마세요.
  • [SPARK-46538]에서는 ALSModel.transform에서 발생하는 모호한 열 참조 문제를 해결합니다.
  • [SPARK-46478] 문자열에 oracle varchar(255)를 사용하도록 SPARK-43049를 되돌립니다.
  • [SPARK-46250] test_parity_listener를 안정화합니다.
  • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema true로 설정된 경우 특수 문자가 있는 스키마에서 spark.catalog.listDatabases() 문제를 수정합니다.
  • [SPARK-46056] Parquet 벡터화된 읽기 NPE를 byteArrayDecimalType 기본값으로 수정합니다.
  • [SPARK-46145] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
  • [SPARK-46466] 벡터화된 parquet 리더기는 타임스탬프 ntz에 대해 절대 재베이스 작업을 해서는 안 됩니다.
• 2023년 12월 14일
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업에서 이스케이프된 밑줄 문자가 잘못 처리되어 와일드카드로 해석되는 문제를 해결했습니다.
  • [SPARK-45920] 서수를 기준으로 그룹화는 idempotent여야 합니다.
  • [SPARK-44582] 이미 정리된 경우 SMJ에서 반복자를 건너뜁니다.
  • [SPARK-45433] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추를 수정합니다.
  • [SPARK-45655] CollectMetrics의 AggregateFunctions 내에서 비결정적 식을 허용합니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • Spark-snowflake 커넥터가 2.12.0으로 업그레이드되었습니다.
  • [SPARK-44846]RemoveRedundantAggregates 뒤의 복합 그룹화 식이 제거되었습니다.
  • [SPARK-45544]TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-45892] 최적화 계획의 유효성을 검토하고 validateSchemaOutput 및 validateExprIdUniqueness를 분리하기 위해 리팩터링합니다.
  • [SPARK-45730]ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-45859] UDF 객체를 ml.functions 지연 초기화 방식으로 만들었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 10일
  • 더 나은 사용률을 달성하기 위해 속도 제한 전에 Delta Lake 스트리밍 쿼리의 파티션 필터가 푸시다운됩니다.
  • Unity 카탈로그 스트리밍 테이블 및 구체화된 뷰에서 데이터 피드 쿼리가 변경되어 오류 메시지가 표시됩니다.
  • [SPARK-45545]SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45584]TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45427]SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45541]SSLFactory가 추가되었습니다.
  • [SPARK-45430]FramelessOffsetWindowFunction는 IGNORE NULLS 및 offset > rowCount의 경우 더 이상 실패하지 않습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-44219] 최적화 재작성을 위한 규칙별 추가 유효성 검사가 추가되었습니다.
  • [SPARK-45543] 다른 창 함수에 InferWindowGroupLimit 순위와 유사한 함수와 동일한 창 프레임이 없는 경우 문제가 발생하는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 23일
  • [SPARK-45256] 초기 용량보다 더 많은 값을 쓸 때 DurationWriter 실패한 문제를 해결했습니다.
  • [SPARK-45419] 더 큰 버전의 파일 버전 맵 항목을 제거하여 다른 rocksdb sst 인스턴스에서 rocksdb 파일을 다시 사용하지 마세요.
  • [SPARK-45426]ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 기타 수정사항.
• 2023년 10월 13일
  • Snowflake-jdbc 종속성이 3.13.29에서 3.13.33으로 업그레이드되었습니다.
  • array_insert 함수는 양수 및 음수 인덱스에 대해 1부터 시작합니다. 이전에는 음수 인덱스의 경우 0부터 시작했습니다. 이제 인덱스 -1의 입력 배열 끝에 새 요소를 삽입합니다. 이전 동작을 복원하려면 spark.sql.legacy.negativeIndexInArrayInserttrue설정합니다.
  • 자동 로더를 사용하여 CSV 스키마 유추 중에 ignoreCorruptFiles 사용하도록 설정된 경우 손상된 파일을 무시하지 않는 문제를 해결했습니다.
  • 되돌리세요 "[SPARK-42946]."
  • [SPARK-42205] 작업 또는 스테이지 시작 이벤트에서 Accumulables 로깅을 제거하도록 JSON 프로토콜을 업데이트했습니다.
  • [SPARK-45178] 래퍼를 사용하는 대신 지원되지 않는 원본이 있는 Trigger.AvailableNow에 대해 단일 일괄 처리를 실행하는 것으로 대체합니다.
  • [SPARK-45316]ignoreCorruptFiles 및 ignoreMissingFiles을 HadoopRDD 및 NewHadoopRDD에 새 매개 변수로 추가합니다.
  • [SPARK-44740] 아티팩트에 대한 메타데이터 값 수정.
  • [SPARK-45360]SPARK_REMOTE에서 Spark 세션 작성기 구성을 초기화했습니다.
  • [SPARK-44551] OSS와 동기화를 위해 주석을 편집했습니다.
  • [SPARK-45346] Parquet 스키마 유추는 이제 스키마를 병합할 때 대/소문자를 구분하는 플래그를 존중합니다.
  • [SPARK-44658] 이제 ShuffleStatus.getMapStatus에서 None가 아닌 Some(null)을 반환합니다.
  • [SPARK-44840] 음수 인덱스를 1 기반으로 변경했습니다.
• 2023년 9월 14일
  • [SPARK-44873] Hive 클라이언트에 중첩 열이 있는 alter view 대한 지원이 추가되었습니다.
  • [SPARK-44878] 캐시 완료에 대한 삽입 예외를 방지하기 위해 RocksDB 쓰기 관리자에 대한 엄격한 제한을 해제했습니다.
• 2023년 8월 30일
  • 더 빠른 복사를 위해 dbutils cp 명령(dbutils.fs.cp)이 최적화되었습니다. 이 향상된 기능을 사용하면 파일 크기에 따라 복사 작업에 시간이 최대 100까지 단축될 수 있습니다. 이 기능은 Unity 카탈로그 볼륨 및 DBFS 탑재를 포함하여 Databricks에서 액세스할 수 있는 모든 클라우드 및 파일 시스템에서 사용할 수 있습니다.
  • [SPARK-44455]SHOW CREATE TABLE 결과에서 식별자를 백틱으로 묶습니다.
  • [SPARK-44763] 간격이 있는 이진 산술 연산에서 문자열을 double로 표시하는 문제를 해결했습니다.
  • [SPARK-44871]percentile_disc 동작이 수정되었습니다.
  • [SPARK-44714] 쿼리에 대한 LCA 확인의 제한이 완화됩니다.
  • [SPARK-44818]taskThread이 초기화되기 전에 발생한 보류 중인 작업 중단의 경합 상태를 수정했습니다.
  • [SPARK-44505] DSv2의 스캔에서 컬럼 형식 지원을 재정의하는 기능이 추가되었습니다.
  • [SPARK-44479] 빈 구조체 형식의 protobuf 변환을 수정하였습니다.
  • [SPARK-44718]ColumnVector 메모리 모드 구성 기본값을 OffHeapMemoryMode 구성 값과 일치시킵니다.
  • [SPARK-42941] Python StreamingQueryListener에 대한 지원이 추가되었습니다.
  • [SPARK-44558] PySpark의 Spark Connect 로그 수준을 내보냅니다.
  • [SPARK-44464] 첫 번째 열 값이 Null인 행을 출력하기 위해 applyInPandasWithStatePythonRunner가 수정되었습니다.
  • [SPARK-44643] 필드에 행이 비어 있는 경우 Row.__repr__를 수정했습니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 12.2 LTS (데이터브릭스 런타임 12.2 LTS)

Databricks Runtime 12.2 LTS을 참조하세요.

• 2025년 12월 9일
  • 운영 체제 보안 업데이트.

• 2025년 11월 18일
  • 운영 체제 보안 업데이트.

• 2025년 11월 4일
  • 업데이트된 R 라이브러리:
    • 화살표를 10.0.0에서 21.0.0으로
  • 운영 체제 보안 업데이트.

• 2025년 10월 21일
  • Python을 2.7.18에서 2.7.18.1로 업데이트했습니다.
  • 운영 체제 보안 업데이트.

• 2025년 10월 7일
  • 운영 체제 보안 업데이트.

• 2025년 9월 24일
  • 운영 체제 보안 업데이트.

• 2025년 9월 9일
  • 운영 체제 보안 업데이트.

• 2025년 8월 26일
  • 운영 체제 보안 업데이트.

• 2025년 8월 14일
  • 운영 체제 보안 업데이트.

• 2025년 7월 29일
  • 운영 체제 보안 업데이트.

• 2025년 7월 15일
  • 운영 체제 보안 업데이트.

• 2025년 7월 1일
  • 운영 체제 보안 업데이트.

• 2025년 6월 17일
  • 운영 체제 보안 업데이트.

• 2025년 6월 3일
  • 업데이트된 Python 라이브러리:
    • 확인서 2019년 11월 28일부터, 2021년 10월 8일까지 2021년 10월 8일.
    • chardet 3.0.4, 4.0.0에서 4.0.0으로
    • idna 버전 2.8, 3.3 에서 3.3으로
    • 2.22.0, 2.27.1 버전에서 2.27.1 버전으로 요청
    • 1.14.0과 1.16.0에서 1.16.0으로 6개의 항목이 변경되었습니다.
    • urllib3 버전 1.25.8, 1.26.9에서 1.26.9로
    • pip 21.2.4 버전 추가됨
    • setuptools 61.2.0 추가됨
    • tomli 1.2.2 추가됨
    • wcwidth 0.2.5 추가됨
    • 휠 0.37.0 추가됨
    • 제거된 배포판 1.4.0
    • 배포판 정보 0.23+ubuntu1.1 제거됨
    • python-apt 2.0.1+ubuntu0.20.4.1 제거됨
  • 업데이트된 Java 라이브러리:
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 버전 1.6.1-linux-x86_64을 1.6.1로 업데이트합니다.
  • 운영 체제 보안 업데이트.

• 2025년 5월 20일
  • [SPARK-42655][SQL] 잘못된 모호한 열 참조 오류
  • 운영 체제 보안 업데이트.

• 2025년 4월 22일
  • [동작 변경] 이제 진공 작업은 다른 작업과 유사한 기록기 프로토콜 검사를 수행하여 호환되지 않는 이전 DBR 버전에서 실행할 때 최신 기능이 있는 테이블에서 예기치 않은 정리를 방지합니다.
  • 운영 체제 보안 업데이트.

• 2025년 4월 9일
  • 운영 체제 보안 업데이트.

• 2025년 3월 11일

  • 운영 체제 보안 업데이트.

• 2024년 12월 10일

  • 운영 체제 보안 업데이트.

• 2024년 11월 26일

  • 기타 버그가 수정되었습니다.

• 2024년 10월 10일

  • [SPARK-49743][SQL] OptimizeCsvJsonExpr는 GetArrayStructFields를 정리할 때 스키마 필드를 변경하지 않아야 합니다.

• 2024년 9월 25일

  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "t에서 개수(고유 1) 선택" 수정
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • 기타 버그가 수정되었습니다.

• 2024년 9월 17일

  • 운영 체제 보안 업데이트.

• 2024년 8월 29일

  • 기타 버그가 수정되었습니다.

• 2024년 8월 14일

  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-48463][ML] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • 운영 체제 보안 업데이트.

• 2024년 8월 1일

  • [SPARK-48896][SPARK-48909][SPARK-48883] 백포트 spark ML 작성기 수정

• 2024년 8월 1일

  • 필요한 보안 패치를 적용하기 위해 Databricks Runtime 12.2 LTS의 Python 버전이 3.9.5에서 3.9.19로 업그레이드됩니다.

• 2024년 7월 11일

  • (동작 변경) 이제 원본 테이블을 덮어쓰면 델타 테이블 원본에 대해 캐시된 데이터 프레임이 무효화됩니다. 이 변경은 이제 델타 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. .checkpoint() 사용하여 DataFrame의 수명 동안 테이블 상태를 유지합니다.
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • [SPARK-42741][SQL] 리터럴이 null인 경우 이진 비교에서 캐스트를 해제하지 않음
  • [SPARK-48445][SQL] 고가의 자식이 있는 인라인 UDF를 사용하지 마세요.
  • [SPARK-48503][SQL] 동등하지 않은 열에 대한 그룹화로 인해 잘못 허용된 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 더 나은 오류 메시지 제공
  • 운영 체제 보안 업데이트.

• 2024년 6월 17일

  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • 기타 버그가 수정되었습니다.

• 2024년 5월 21일

  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경쟁 상태 수정
  • 운영 체제 보안 업데이트.

• 2024년 5월 9일

  • [SPARK-44251][SQL] 전체 외부 USING 조인에서 통합된 조인 키에 nullable을 올바르게 설정하기
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange를 발생시킬 때 null groupId로 인해 매개변수 오류가 발생하는 문제 수정
  • 운영 체제 보안 업데이트.

• 2024년 4월 25일

  • 운영 체제 보안 업데이트.

• 2024년 4월 11일

  • 운영 체제 보안 업데이트.

• 2024년 4월 1일

  • [SPARK-47305][SQL] 계획에 일괄 처리 및 스트리밍이 모두 있는 경우 PruneFilters가 LocalRelation의 isStreaming 플래그에 올바르게 태그를 지정하도록 수정
  • [SPARK-44252][SS] 새 오류 클래스를 정의하고 DFS에서 로드 상태가 실패하는 경우를 적용합니다.
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-47200][SS] Foreach 배치 싱크 사용자 함수 오류에 대한 오류 클래스
  • 운영 체제 보안 업데이트.

• 2024년 3월 14일

  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • 운영 체제 보안 업데이트.

• 2024년 2월 29일

  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자에게 ANY FILE에 대한 SELECT 및 MODIFY 권한이 있어야 합니다.
  • [SPARK-45582][SS] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인
  • 운영 체제 보안 업데이트.

• 2024년 2월 13일

  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • 운영 체제 보안 업데이트.

• 2024년 1월 31일

  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • 운영 체제 보안 업데이트.

• 2023년 12월 25일

  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-39440] 이벤트 타임라인을 사용 중지하는 구성을 추가합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
  • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema true로 설정된 경우 특수 문자가 있는 스키마에서 spark.catalog.listDatabases() 문제를 수정합니다.
  • [SPARK-46417] hive.getTable을 호출하고 throwException이 false인 경우 실패하지 마세요.
  • [SPARK-43067] Kafka 커넥터에서 오류 클래스 리소스 파일의 위치를 수정합니다.
  • [SPARK-46249] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하려면 인스턴스 잠금이 필요합니다.
  • [SPARK-46602] 뷰/테이블이 없을 때 뷰 생성 시allowExisting를 전파합니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-46145] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
  • [SPARK-46538]에서는 ALSModel.transform에서 발생하는 모호한 열 참조 문제를 해결합니다.
  • [SPARK-42852] EquivalentExpressions에서 NamedLambdaVariable 관련 변경 내용을 되돌립니다.

• 2023년 12월 14일

  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업에서 이스케이프된 밑줄 문자가 잘못 처리되어 와일드카드로 해석되는 문제를 해결했습니다.
  • [SPARK-44582] 이미 정리된 경우 SMJ에서 반복자를 건너뜁니다.
  • [SPARK-45920] 서수를 기준으로 그룹화는 idempotent여야 합니다.
  • [SPARK-45655] CollectMetrics의 AggregateFunctions 내에서 비결정적 식을 허용합니다.
  • 운영 체제 보안 업데이트.

• 2023년 11월 29일

  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업에서 이스케이프된 밑줄이 와일드카드로 잘못 해석되는 문제를 해결했습니다.
  • [SPARK-42205]Stage 및 Task 시작 이벤트의 누적 가능한 항목 로깅을 제거했습니다.
  • [SPARK-44846]RemoveRedundantAggregates 뒤의 복합 그룹화 식이 제거되었습니다.
  • [SPARK-43718]USING 조인의 키에 대한 null 허용 여부를 수정했습니다.
  • [SPARK-45544]TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-43973] 이제 구조적 스트리밍 UI가 실패한 쿼리를 올바르게 표시합니다.
  • [SPARK-45730]ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-45859] UDF 객체를 ml.functions 지연 초기화 방식으로 만들었습니다.
  • 운영 체제 보안 업데이트.

• 2023년 11월 14일

  • 더 나은 사용률을 달성하기 위해 속도 제한 전에 Delta Lake 스트리밍 쿼리의 파티션 필터가 푸시다운됩니다.
  • [SPARK-45545]SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45427]SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45584]TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45541]SSLFactory가 추가되었습니다.
  • [SPARK-45430]FramelessOffsetWindowFunction는 IGNORE NULLS 및 offset > rowCount의 경우 더 이상 실패하지 않습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • 운영 체제 보안 업데이트.

• 2023년 10월 24일

  • [SPARK-45426]ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 기타 수정사항.

• 2023년 10월 13일

  • Snowflake-jdbc 종속성이 3.13.29에서 3.13.33으로 업그레이드되었습니다.
  • [SPARK-42553] 간격 후에 하나 이상의 시간 단위를 확인합니다.
  • [SPARK-45346] Parquet 스키마 유추는 스키마를 병합할 때 대/소문자 구분 플래그를 고려합니다.
  • [SPARK-45178] 래퍼를 사용하는 대신 지원되지 않는 원본이 있는 Trigger.AvailableNow에 대해 단일 일괄 처리를 실행하는 것으로 대체합니다.
  • [SPARK-45084]StateOperatorProgress 정확하고 적절한 셔플 파티션 번호를 사용합니다.

• 2023년 9월 12일

  • [SPARK-44873] Hive 클라이언트에 중첩 열이 있는 alter view 대한 지원이 추가되었습니다.
  • [SPARK-44718]ColumnVector 메모리 모드 구성 기본값을 OffHeapMemoryMode 구성 값과 일치시킵니다.
  • [SPARK-43799] PySpark Protobuf API에 설명자 이진 옵션이 추가되었습니다.
  • 기타 수정사항.

• 2023년 8월 30일

  • [SPARK-44485]TreeNode.generateTreeString를 최적화합니다.
  • [SPARK-44818]taskThread이 초기화되기 전에 발생한 보류 중인 작업 중단의 경합 상태를 수정했습니다.
  • [SPARK-44871][11.3-13.0] percentile_disc 동작이 수정되었습니다.
  • [SPARK-44714] 쿼리에 대한 LCA 확인의 제한이 완화되었습니다.
  • 운영 체제 보안 업데이트.

• 2023년 8월 15일

  • [SPARK-44504] 유지 관리 작업은 중지 오류 발생시 로드된 공급자를 정리합니다.
  • [SPARK-44464]applyInPandasWithStatePythonRunner을(를) 첫 번째 열 값으로 가지는 출력 행이 제대로 나오도록 수정했습니다.
  • 운영 체제 보안 업데이트.

• 2023년 7월 29일

  • 다른 외부 또는 관리되는 스토리지 위치와 충돌하는 스토리지 위치 경로를 호출할 때 dbutils.fs.ls()INVALID_PARAMETER_VALUE.LOCATION_OVERLAP 반환하는 문제를 해결했습니다.
  • [SPARK-44199]CacheManager가 더 이상 불필요하게 fileIndex를 새로 고치지 않습니다.
  • 운영 체제 보안 업데이트.

• 2023년 7월 24일

  • [SPARK-44337]Any.getDefaultInstance로 설정된 필드가 구문 분석 오류를 발생시킨 문제를 해결했습니다.
  • [SPARK-44136]StateManager에서 FlatMapGroupsWithStateExec가 드라이버가 아닌 실행기에서 구체화되는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.

• 2023년 6월 23일

  • 운영 체제 보안 업데이트.

• 2023년 6월 15일

  • approx_count_distinct를 광자화했습니다.
  • Snowflake-jdbc 라이브러리는 보안 문제를 해결하기 위해 3.13.29로 업그레이드됩니다.
  • [SPARK-43779]ParseToDate이 이제 주 스레드에서 EvalMode를 로드합니다.
  • [SPARK-43156][SPARK-43098]decorrelateInnerQuery가 비활성화된 상태에서 스칼라 하위 쿼리 수 오류 테스트를 확장했습니다.
  • 운영 체제 보안 업데이트.

• 2023년 6월 2일

  • failOnUnknownFields 모드의 JSON 파서는 DROPMALFORMED 모드에서 레코드를 삭제하고 FAILFAST 모드에서 바로 실패합니다.
  • Apache Iceberg 및 Apache Parquet을 사용하여 SHALLOW CLONE 증분 업데이트의 성능을 향상시킵니다.
  • 제공된 스키마에 유추 파티션이 포함되지 않은 경우 다른 원본 파일 형식이 일치하지 않는 자동 로더의 문제가 해결되었습니다. 이 문제로 인해 유추된 파티션 스키마에 열이 없는 파일을 읽을 때 예기치 않은 오류가 발생할 수 있습니다.
  • [SPARK-43404] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 대한 sst 파일 재사용을 건너뜁니다.
  • [SPARK-43413][11.3-13.0] IN 하위 쿼리 ListQuery null 허용 여부가 수정되었습니다.
  • [SPARK-43522] 배열 인덱스를 사용하여 구조체 열 이름을 만드는 문제가 해결되었습니다.
  • [SPARK-43541] 식 및 누락된 열 해결 시 모든 Project 태그를 전파합니다.
  • [SPARK-43527] PySpark에서 catalog.listCatalogs가 수정되었습니다.
  • [SPARK-43123] 내부 필드 메타데이터는 더 이상 카탈로그로 누출되지 않습니다.
  • [SPARK-43340] 이벤트 로그에서 누락된 스택 추적 필드가 수정되었습니다.
  • [SPARK-42444]DataFrame.drop 이제 중복 열을 올바르게 처리합니다.
  • [SPARK-42937]PlanSubqueries이 이제 InSubqueryExec#shouldBroadcast을 true로 설정합니다.
  • [SPARK-43286] 임의 EV를 생성하도록 aes_encrypt CBC 모드가 업데이트되었습니다.
  • [SPARK-43378]deserializeFromChunkedBuffer에서 스트림 개체를 제대로 닫습니다.

• 2023년 5월 17일

  • Parquet 검사는 매우 특수하게 구조화된 파일을 스캔할 때 OOM을 방지하기 위해 일괄 처리 크기를 동적으로 조정하여 더 강력해졌습니다. 파일 메타데이터는 일괄 처리 크기를 선제적으로 낮추기 위해 분석되며, 작업 재시도 시 최종 안전망으로 다시 낮아집니다.
  • failOnUnknownFields 옵션만 사용하거나 failOnNewColumns 스키마 진화 모드로 자동 로더를 사용하여 Avro 파일을 읽은 경우, 데이터 형식이 다른 열은 파일을 읽을 수 없다는 오류를 발생시키는 대신 null로 읽힙니다. 이러한 읽기는 이제 실패하고 사용자에게 rescuedDataColumn 옵션을 사용하도록 권장합니다.
  • 이제 자동 로더가 다음을 수행합니다.
  • • Integer, Short, Byte 데이터 형식 중 하나가 제공되고, Avro 파일에서 다른 두 형식 중 하나로 제안된 경우, 해당 형식을 올바르게 읽고 더 이상 복구하지 않습니다.
  • • 날짜가 손상되는 것을 방지하기 위해, 간격 유형을 날짜 또는 타임스탬프 유형으로 읽지 않도록 합니다.
  • • 정밀도가 낮은 Decimal 타입의 사용을 방지합니다.
  • [SPARK-43172] Spark Connect 클라이언트에서 호스트 및 토큰을 노출합니다.
  • [SPARK-43293]__qualified_access_only 일반 열에서 무시됩니다.
  • [SPARK-43098] 스칼라 하위 쿼리가 절별로 그룹화될 때 발생하는 정확성 버그를 수정했습니다.
  • [SPARK-43085] 다중 파트 테이블 이름에 대한 열 할당 지원.
  • [SPARK-43190]ListQuery.childOutput은 이제 보조 출력과 일치합니다.
  • [SPARK-43192] 사용자 에이전트 문자 집합 유효성 검사가 제거되었습니다.
  • 운영 체제 보안 업데이트.

• 2023년 4월 25일

  • Parquet 파일을 failOnUnknownFields 옵션만 사용하거나 failOnNewColumns 스키마 진화 모드에서 자동 로더를 사용하여 읽은 경우, 데이터 형식이 서로 다른 열은 파일을 읽을 수 없다는 오류를 발생시키는 대신 null로 읽힙니다. 이러한 읽기는 이제 실패하고 사용자에게 rescuedDataColumn 옵션을 사용하도록 권장합니다.
  • 이제 자동 로더가 올바르게 읽고 이러한 데이터 형식 중 하나가 제공되면 Integer, Short, Byte 형식을 더 이상 복구 하지 않습니다. Parquet 파일은 다른 두 형식 중 하나를 제안합니다. 이전에 구조된 데이터 열을 활성화했을 때, 데이터 형식 불일치로 인해 열이 비록 읽을 수 있었지만 저장되는 문제가 발생했습니다.
  • [SPARK-43009]sql()이(가) Any 상수로 매개변수화됨
  • [SPARK-42406] 필드를 삭제하여 Protobuf 재귀 필드 종료
  • [SPARK-43038]aes_encrypt()/aes_decrypt()의 CBC 모드 지원
  • [SPARK-42971] 작업자가 workdir 이벤트를 처리할 때 appDirs이 null인 경우 WorkDirCleanup를 인쇄하도록 변경
  • [SPARK-43018]INSERT 명령의 타임스탬프 리터럴 관련 버그 수정
  • 운영 체제 보안 업데이트.

• 2023년 4월 11일

  • SYNC 명령에서 레거시 데이터 원본 서식을 지원합니다.
  • 리포지토리 외부의 Notebook에서 %autoreload 동작의 문제를 해결합니다.
  • 중첩된 JSON 개체의 스키마에서 새 열이 검색될 때 자동 로더 스키마 진화가 무한 장애 루프로 전환될 수 있는 문제를 해결했습니다.
  • [SPARK-42928]resolvePersistentFunction를 동기화합니다.
  • [SPARK-42936] LCan 문제를 자식 집계를 통해 절을 직접 해결할 수 있는 경우 해결합니다.
  • [SPARK-42967] 스테이지가 취소된 후 작업이 시작되는 경우 SparkListenerTaskStart.stageAttemptId 수정.
  • 운영 체제 보안 업데이트.

• 2023년 3월 29일

  • 이제 Databricks SQL은 테이블 생성 시 또는 나중에 Delta Lake 테이블 열에 대한 기본값 지정을 지원합니다. 이후 INSERT, UPDATE및 DELETEMERGE 명령은 명시적 DEFAULT 키워드를 사용하여 열의 기본값을 참조할 수 있습니다. 또한 INSERT 할당에 대상 테이블보다 적은 열의 명시적 목록이 있는 경우 해당 열 기본값은 나머지 열(또는 기본값이 지정되지 않은 경우 NULL)으로 대체됩니다.

    다음은 그 예입니다.

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • 이제 자동 로더는 Trigger.AvailableNow 스트림에 대해 하나 이상의 동기 RocksDB 로그 정리를 시작하여 빠른 실행 자동 로더 스트림에 대해 검사점이 정기적으로 정리될 수 있는지 확인합니다. 이로 인해 일부 스트림이 종료되기까지 시간이 더 오래 걸릴 수 있지만 스토리지 비용을 절감하고 향후 실행 시 자동 로더 환경을 개선할 수 있습니다.

  • 이제 델타 테이블을 수정하여 DeltaTable.addFeatureSupport(feature_name)사용하여 테이블 기능에 지원을 추가할 수 있습니다.

  • [SPARK-42794] 구조 스트리밍에서 RocksDB 상태 저장소를 획득하기 위해 lockAcquireTimeoutMs을 2분으로 늘림

  • [SPARK-42521] 대상 테이블보다 적은 열의 사용자 지정 목록을 사용하여 INSERT에 대한 NULL 추가

  • [SPARK-42702][SPARK-42623] 하위 쿼리 및 CTE에서 매개 변수가 있는 쿼리 지원

  • [SPARK-42668] HDFSStateStoreProvider 중단 시, 압축 스트림을 닫으려고 할 때 발생하는 예외를 처리하다.

  • [SPARK-42403] JsonProtocol은 null JSON 문자열을 처리해야 함

• 2023년 3월 8일

  • 고객에게 더 많은 컨텍스트를 제공하기 위해 "구성을 초기화하지 못했습니다"라는 오류 메시지가 개선되었습니다.
  • 테이블 속성을 사용하여 델타 테이블에 기능을 추가하기 위한 용어 변경이 있습니다. 기본 구문은 이제 'delta.feature.featureName'='supported' 대신 'delta.feature.featureName'='enabled'입니다. 이전 버전과의 호환성을 위해 'delta.feature.featureName'='enabled' 사용이 여전히 작동하며 계속 작동합니다.
  • 이 릴리스부터 기본 판독기 및 기록기 버전 및 기본적으로 지원되는 테이블 기능을 포함하는 프로토콜 관련 Spark 구성을 무시하기 위해 테이블을 추가 테이블 속성 delta.ignoreProtocolDefaults 만들거나 바꿀 수 있습니다.
  • [SPARK-42070] Mask 함수 인수의 기본값을 -1에서 NULL로 변경
  • [SPARK-41793] 중요한 소수점을 기준으로 범위 절을 사용하여 정의된 창 프레임의 잘못된 결과
  • [SPARK-42484] UnsafeRowUtils 더 나은 오류 메시지
  • [SPARK-42516] 뷰를 생성할 때 항상 세션 시간대 설정을 캡처
  • [SPARK-42635] TimestampAdd 식 수정.
  • [SPARK-42622] 값의 교체 비활성화
  • [SPARK-42534] DB2Dialect Limit 절 수정
  • [SPARK-42121] 기본 제공 테이블 기반 함수 posexplode, posexplode_outer, json_tuple 및 stack 추가
  • [SPARK-42045] ANSI SQL 모드: Round/Bround에서 매우 작은/작은/중요한 정수 오버플로에 대한 오류를 반환해야 함
  • 운영 체제 보안 업데이트.

Databricks Runtime 9.1 LTS

Databricks Runtime 9.1 LTS를 참조하세요.

• 2025년 4월 9일
  • 운영 체제 보안 업데이트.

• 2025년 3월 11일
  • 운영 체제 보안 업데이트.

• 2025년 2월 11일
  • 운영 체제 보안 업데이트.

• 2024년 12월 10일
  • 운영 체제 보안 업데이트.
• 2024년 11월 26일
  • 운영 체제 보안 업데이트.
• 2024년 11월 5일
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • 운영 체제 보안 업데이트.
• 2024년 9월 25일
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "t에서 개수(고유 1) 선택" 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 6일
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
• 2024년 8월 14일
• 2024년 8월 1일
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경쟁 상태 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • [SPARK-44251][SQL] 전체 외부 USING 조인에서 통합된 조인 키에 nullable을 올바르게 설정하기
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • 기타 버그가 수정되었습니다.
• 2024년 4월 11일
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 운영 체제 보안 업데이트.
• 2024년 2월 13일
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • 운영 체제 보안 업데이트.
• 2023년 12월 25일
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-39440] 이벤트 타임라인을 사용 중지하는 구성을 추가합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
• 2023년 12월 14일
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • [SPARK-45859] UDF 객체를 ml.functions 지연 초기화 방식으로 만들었습니다.
  • [SPARK-45544]TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-45730]ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 14일
  • [SPARK-45545]SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-45427]SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45584]TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45541]SSLFactory가 추가되었습니다.
  • [SPARK-42205] 스테이지 및 태스크 시작 이벤트의 accumulables 로깅을 제거했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 24일
  • [SPARK-45426]ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 13일
  • 운영 체제 보안 업데이트.
• 2023년 9월 10일
  • 기타 수정사항.
• 2023년 8월 30일
  • 운영 체제 보안 업데이트.
• 2023년 8월 15일
  • 운영 체제 보안 업데이트.
• 2023년 6월 23일
  • Snowflake-jdbc 라이브러리는 보안 문제를 해결하기 위해 3.13.29로 업그레이드됩니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 15일
  • [SPARK-43098] 스칼라 하위 쿼리에 group by 절이 있는 경우 count 정확성 버그를 수정합니다.
  • [SPARK-43156][SPARK-43098]decorrelateInnerQuery가 비활성화된 상태에서 스칼라 하위 쿼리 수 버그 테스트를 확장합니다.
  • [SPARK-40862] RewriteCorrelatedScalarSubquery에서 집계되지 않은 하위 쿼리를 지원합니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 2일
  • failOnUnknownFields 모드의 JSON 파서는 DROPMALFORMED 모드에서 레코드를 삭제하고 FAILFAST 모드에서 바로 실패합니다.
  • UnknownFieldException를 방지하기 위해 JSON에서 복구된 데이터를 구문 분석하는 문제를 해결했습니다.
  • 제공된 스키마에 유추 파티션이 포함되지 않은 경우 다른 원본 파일 형식이 일치하지 않는 자동 로더의 문제가 해결되었습니다. 이 문제로 인해 유추된 파티션 스키마에 열이 없는 파일을 읽을 때 예기치 않은 오류가 발생할 수 있습니다.
  • [SPARK-37520]startswith() 및 endswith() 문자열 함수 추가
  • [SPARK-43413]IN 하위 쿼리의 ListQuery null 허용성이 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 5월 17일
  • 운영 체제 보안 업데이트.
• 2023년 4월 25일
  • 운영 체제 보안 업데이트.
• 2023년 4월 11일
  • 중첩된 JSON 개체의 스키마에서 새 열이 검색될 때 자동 로더 스키마 진화가 무한 장애 루프로 전환될 수 있는 문제를 해결했습니다.
  • [SPARK-42967] 스테이지가 취소된 후 작업이 시작될 때 SparkListenerTaskStart.stageAttemptId를 수정합니다.
• 2023년 3월 29일
  • 운영 체제 보안 업데이트.
• 2023년 3월 14일
  • [SPARK-42484]UnsafeRowUtils에 대한 오류 메시지가 개선되었습니다.
  • 기타 수정사항.
• 2023년 2월 28일
  • 이제 사용자는 Databricks Runtime 9.1 LTS 이상을 사용하여 판독기 버전 3 및 기록기 버전 7이 필요한 특정 델타 테이블을 읽고 쓸 수 있습니다. 성공하려면 테이블 프로토콜에 나열된 테이블 기능이 현재 버전의 Databricks 런타임에서 지원되어야 합니다.
  • 운영 체제 보안 업데이트.
• 2023년 2월 16일
  • 운영 체제 보안 업데이트.
• 2023년 1월 31일
  • 이제 JDBC 테이블의 테이블 형식은 기본적으로 EXTERNAL입니다.
• 2023년 1월 18일
  • 운영 체제 보안 업데이트.
• 2022년 11월 29일
  • JSON에 중첩된 개체가 포함될 때,cloudFiles.inferColumnTypes이 설정되지 않거나 false로 설정되어 모든 열이 문자열로 남아 있는 경우, 자동 로더에서 JSON 구문 분석과 관련된 문제가 해결되었습니다.
  • 운영 체제 보안 업데이트.
• 2022년 11월 15일
  • Apache commons-text를 1.10.0으로 업그레이드했습니다.
  • 운영 체제 보안 업데이트.
  • 기타 수정사항.
• 2022년 11월 1일
  • Delta 테이블에 사용자가 정의한 열 이름이 _change_type인 경우, 하지만 변경 데이터 피드가 꺼져있는 조건에서 MERGE를 실행하면 해당 열의 데이터가 NULL 값으로 잘못 채워지는 문제를 해결했습니다.
  • allowOverwrites 사용하도록 설정된 경우 동일한 마이크로 일괄 처리에서 파일을 복제할 수 있는 자동 로더 문제를 해결했습니다.
  • [SPARK-40596] ExecutorDecommissionInfo의 메시지를 ExecutorDecommission에 입력하기
  • 운영 체제 보안 업데이트.
• 2022년 10월 18일
  • 운영 체제 보안 업데이트.
• 2022년 10월 5일
  • 기타 수정사항.
  • 운영 체제 보안 업데이트.
• 2022년 9월 22일
  • 사용자는 spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true")을 설정하여 ADLS에서 자동 로더에 대한 기본 제공 목록을 다시 사용하도록 설정할 수 있습니다. 기본 제공 목록은 이전에 성능 문제로 인해 비활성화되었으나, 이로 인해 고객의 스토리지 비용이 증가했을 가능성이 있습니다.
  • [SPARK-40315] ArrayBasedMapData의 리터럴에 해시코드() 추가
  • [SPARK-40089] 일부 10진수 형식에 대한 정렬 수정
  • [SPARK-39887] RemoveRedundantAliases는 프로젝션 노드의 출력을 고유하게 만드는 별칭을 유지해야 함
• 2022년 9월 6일
  • [SPARK-40235] Executor.updateDependencies()에서 동기화되는 대신 인터럽트 가능한 잠금 사용
  • [SPARK-35542] 수정: 여러 열에 대해 매개변수 splitsArray, inputCols 및 outputCols로 생성된 버킷타이저가 저장된 후 로드할 수 없습니다.
  • [SPARK-40079] 빈 입력 사례에 대한 Imputer inputCols 유효성 검사 추가
• 2022년 8월 24일
  • [SPARK-39666] ExpressionEncoder에서 spark.sql.codegen.factoryMode을(를) 고려하여 UnsafeProjection.create를 사용
  • [SPARK-39962] 그룹 특성이 비어 있는 경우 프로젝션 적용
  • 운영 체제 보안 업데이트.
• 2022년 8월 9일
  • 운영 체제 보안 업데이트.
• 2022년 7월 27일
  • 원본이 비결정적일 때 Delta MERGE 작업 결과를 일관되게 만듭니다.
  • [SPARK-39689] CSV 데이터 원본에서 2자 lineSep 지원
  • [SPARK-39575]ByteBuffer#rewind에 ByteBuffer#get 후에 AvroDeserializer를 추가했습니다.
  • [SPARK-37392] 촉매 최적화 프로그램의 성능 오류를 수정했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 7월 13일
  • [SPARK-39419] 비교자가 null을 반환할 때 ArraySort가 예외를 발생시킵니다.
  • Azure에서 디렉터리 목록에 대한 기본 제공 클라우드 API의 자동 로더 사용을 해제했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 7월 5일
  • 운영 체제 보안 업데이트.
  • 기타 수정사항.
• 2022년 6월 15일
  • [SPARK-39283]TaskMemoryManager 및 UnsafeExternalSorter.SpillableIterator 사이의 교착 상태를 수정했습니다.
• 2022년 6월 2일
  • [SPARK-34554]copy()에서 ColumnarMap 메서드를 구현합니다.
  • 운영 체제 보안 업데이트.
• 2022년 5월 18일
  • 자동 로더에서 잠재적인 기본 제공 메모리 누수를 수정했습니다.
  • AWS SDK 버전을 1.11.655에서 1.11.678로 업그레이드합니다.
  • [SPARK-38918] 중첩 열 정리는 현재 관계로 속하지 않는 특성을 필터링해야 합니다.
  • [SPARK-39084] 작업 완료 시 반복기를 중지하는 df.rdd.isEmpty()을 사용하여 TaskContext 수정
  • 운영 체제 보안 업데이트.
• 2022년 4월 19일
  • 운영 체제 보안 업데이트.
  • 기타 수정사항.
• 2022년 4월 6일
  • [SPARK-38631] Utils.unpack에서 un-tarring에 Java 기반 구현을 사용합니다.
  • 운영 체제 보안 업데이트.
• 2022년 3월 22일
  • 높은 동시성 클러스터에서 테이블 액세스 제어나 자격 증명 통과가 활성화된 사용자의 홈 디렉터리로 노트북의 현재 작업 디렉터리를 변경했습니다. 이전에는 Active Directory가 /databricks/driver였습니다.
  • [SPARK-38437] 데이터 원본에서 datetime의 관대한 직렬화
  • [SPARK-38180] 상관된 동등성 조건에서 안전한 업캐스트 식 허용
  • [SPARK-38155] 지원되지 않는 조건자를 포함한 횡적 하위 쿼리에서 고유 집계 허용 안 함
  • [SPARK-27442] parquet에서 데이터를 읽고 쓸 때 확인 필드를 제거했습니다.
• 2022년 3월 14일
  • [SPARK-38236] create/alter 테이블에 지정된 절대 파일 경로는 상대 파일 경로로 처리됩니다.
  • [SPARK-34069] 로컬 속성 SPARK_JOB_INTERRUPT_ON_CANCEL true로 설정된 경우 작업 스레드를 중단합니다.
• 2022년 2월 23일
  • [SPARK-37859] Spark 3.1을 사용하여 JDBC를 사용하여 만든 SQL 테이블은 Spark 3.2에서 읽을 수 없습니다.
• 2022년 2월 8일
  • [SPARK-27442] parquet에서 데이터를 읽고 쓸 때 확인 필드를 제거했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 2월 1일
  • 운영 체제 보안 업데이트.
• 2022년 1월 26일
  • 델타 테이블의 동시 트랜잭션이 특정 드문 조건에서 직렬화할 수 없는 순서로 커밋될 수 있는 문제를 해결했습니다.
  • ANSI SQL 언어를 사용할 때 OPTIMIZE 명령이 실패할 수 있는 문제를 해결했습니다.
• 2022년 1월 19일
  • 사소한 수정 및 보안 개선 사항.
  • 운영 체제 보안 업데이트.
• 2021년 11월 4일
  • ArrayIndexOutOfBoundsException를 사용하여 구조적 스트리밍 스트림이 실패할 수 있는 문제를 해결했습니다.
  • 경합 상태가 수정되어 java.io.IOException: No FileSystem for scheme과 같은 IOException으로 인해 쿼리가 실패할 가능성과 sparkContext.hadoopConfiguration에 대한 수정 사항이 쿼리에 적용되지 않을 수 있는 문제가 해결되었습니다.
  • Delta 공유용 Apache Spark 커넥터가 0.2.0으로 업그레이드되었습니다.
• 2021년 10월 20일
  • BigQuery 커넥터가 0.18.1에서 0.22.2로 업그레이드되었습니다. 이렇게 하면 BigNumeric 형식에 대한 지원이 추가됩니다.