Databricks Runtime 17.1

다음 릴리스 정보는 Apache Spark 4.0.0에서 제공하는 Databricks Runtime 17.1에 대한 정보를 제공합니다.

Azure Databricks는 2025년 8월에 이 버전을 릴리스했습니다.

새로운 기능 및 개선 사항

• 확장된 공간 SQL 식 및 GEOMETRY 및 GEOGRAPHY 데이터 형식
• 재귀 공통 테이블 식(GA)
• Unity 카탈로그 Python User-Defined 테이블 함수(UDF)
• 스키마 및 카탈로그 수준 기본 데이터 정렬 지원
• Batch Unity 카탈로그 Python UDF에 대한 공유 격리 실행 환경
• 를 사용하여 JSON 옵션의 더 나은 처리 VARIANT
• display() 는 스트리밍 Real-Time 모드를 지원합니다.
• 속도 소스는 스트리밍 Real-Time 모드를 지원합니다.
• 시간 기반 창에 지원되는 이벤트 시간 타이머
• 스칼라 Python UDF 지원 서비스 자격 증명
• 향상된 스키마 목록
• Redshift 쓰기에서 향상된 문자열 열 매핑
• 액세스 제어 테이블에 대한 DDL, SHOW 및 DESCRIBE 지원
• Photon 기록기에서 넓은 스키마에 대한 메모리 사용 감소
• TIME ZONE 구문이 없는 TIMESTAMP 지원

확장된 공간 SQL 식 및 GEOMETRY 및 GEOGRAPHY 데이터 형식

이제 공간 쿼리의 성능을 향상시키기 위해 지리 공간 데이터를 기본 제공 GEOMETRY 및 GEOGRAPHY 열에 저장할 수 있습니다. 이 릴리스에서는 공간 조인을 사용하여 토폴로지 관계를 가져오고, 내보내고, 측정하고, 구성하고, 편집하고, 유효성을 검사하고, 변환하고, 결정하는 함수를 포함하여 80개 이상의 새로운 공간 SQL 식을 추가합니다. ST 지리 공간적 함수, GEOGRAPHY 형식 및 GEOMETRY 형식을 참조하세요.

재귀 공통 테이블 식(GA)

이제 rCTE(재귀 공통 테이블 식)를 일반적으로 사용할 수 있습니다. rCTE를 사용하여 계층적 데이터를 탐색하고, 자체 참조 CTE와 UNION ALL로 재귀 관계를 따르세요.

Unity 카탈로그 Python User-Defined 테이블 함수(UDF)

이제 SQL 쿼리에서 중앙 집중식 거버넌스 및 재사용 가능한 논리를 위해 Unity 카탈로그에 Python UDF를 등록할 수 있습니다. Unity 카탈로그에서 Python UDF(사용자 정의 테이블 함수)를 참조하세요.

스키마 및 카탈로그 수준 기본 데이터 정렬 지원

이제 Databricks Runtime 17.1에서 스키마 및 카탈로그에 대한 기본 데이터 정렬을 설정할 수 있습니다. 이렇게 하면 스키마 또는 카탈로그 내에서 만든 모든 개체에 적용되는 데이터 정렬을 정의하여 데이터에서 일관된 데이터 정렬 동작을 보장할 수 있습니다.

Batch Unity 카탈로그 Python UDF에 대한 공유 격리 실행 환경

이제 동일한 소유자가 있는 Batch Unity 카탈로그 Python UDF가 기본적으로 격리 환경을 공유할 수 있습니다. 이렇게 하면 시작해야 하는 개별 환경의 수를 줄여 성능을 향상시키고 메모리 사용량을 줄일 수 있습니다.

UDF가 항상 완전히 격리된 환경에서 실행되도록 하려면 특성 절을 STRICT ISOLATION 추가합니다. 환경 격리를 참조하세요.

를 사용하여 JSON 옵션의 더 나은 처리 VARIANT

from_json 및 to_json 함수는 이제 최상위 VARIANT 스키마를 사용할 때 JSON 옵션을 올바르게 적용합니다. 이렇게 하면 지원되는 다른 데이터 형식과 일관된 동작이 보장됩니다.

display() 는 스트리밍 Real-Time 모드를 지원합니다.

스트리밍 쿼리가 실시간 트리거를 사용할 때 display() 함수를 사용할 수 있습니다. 이 모드에서는 display()가 자동으로 update 출력 모드를 사용하며, LIMIT에서는 지원되지 않는 update 절을 추가하지 않습니다. 또한 디스플레이 새로 고침 간격은 실시간 응답성을 더 잘 지원하기 위해 일괄 처리 기간에서 분리됩니다.

비율 소스는 스트리밍 Real-Time 모드를 지원합니다.

이제 구조적 스트리밍의 속도 원본은 실시간 트리거와 함께 작동하여 스트리밍 Real-Time 모드를 사용하여 스트리밍 파이프라인에 대한 연속 데이터 생성을 가능하게 합니다.

시간 기반 창에 지원되는 이벤트 시간 타이머

Azure Databricks는 스트리밍 Real-Time 모드에서 시간 기반 창 작업에 대한 이벤트 시간 기반 트리거를 지원합니다. 이를 통해 실시간 스트리밍 쿼리에서 지연 데이터 및 워터마크를 보다 정확하게 처리할 수 있습니다.

스칼라 Python UDF 지원 서비스 자격 증명

스칼라 Python UDF는 Unity 카탈로그 서비스 자격 증명을 사용하여 외부 클라우드 서비스에 안전하게 액세스할 수 있습니다. 클라우드 기반 토큰화, 암호화 또는 비밀 관리와 같은 작업을 데이터 변환에 직접 통합하는 데 유용합니다.

향상된 스키마 목록

Snowflake 커넥터는 INFORMATION_SCHEMA 테이블을 사용하여 SHOW SCHEMAS 명령 대신 스키마를 나열합니다. 이렇게 변경하면 이전 방법의 10,000 스키마 제한이 제거되고 많은 수의 스키마가 있는 데이터베이스에 대한 지원이 향상됩니다.

Redshift에서 쓰기 시 문자열 열 매핑이 향상됨

spark.write을 사용하여 Redshift에 테이블을 쓸 때 명시적 길이가 없는 문자열 열은 VARCHAR(MAX) 대신 TEXT에 매핑됩니다. 이렇게 하면 Redshift의 기본 동작이 더 긴 문자열 작성 시 TEXT을 VARCHAR(256)로 해석하는 것을 피할 수 있으며, 이는 오류를 유발할 수 있습니다.

액세스 제어 테이블에 대한 DDL, SHOW 및 DESCRIBE 지원

SQL 명령(DDL, SHOW, DESCRIBE 등)은 이제 전용 클러스터를 사용하여 세분화된 액세스 제어 테이블에서 실행됩니다. 액세스 제어를 적용해야 하는 경우 Azure Databricks는 읽기, 병합 및 추가와 마찬가지로 서버리스 컴퓨팅을 통해 이러한 명령을 라우팅합니다. DDL, SHOW, DESCRIBE 및 기타 명령에 대한 지원을 참조하세요.

Photon 기록기에서 넓은 스키마에 대한 메모리 사용 감소

광자 엔진을 개선하여 광범위한 스키마에 대한 메모리 사용량을 크게 줄여 이전에 메모리 부족 오류를 발생시킨 시나리오를 해결했습니다.

TIME ZONE 구문이 없는 TIMESTAMP 지원

이제 대신 지정할 TIMESTAMP WITHOUT TIME ZONETIMESTAMP_NTZ수 있습니다. 이렇게 변경하면 SQL Standard와의 호환성이 향상됩니다.

동작 변경

• 해결된 하위 쿼리 상관 관계 문제
• 타임스탬프 NTZ 리터럴이 더 이상 푸시다운되지 않음
• 잘못된 CHECK 제약 조건으로 인해 발생한 오류
• 펄서 커넥터는 더 이상 Bouncy Castle 라이브러리를 제공하지 않습니다.
• 자동 로더는 사용할 수 있는 경우 기본적으로 파일 이벤트를 사용합니다.
• 에서 필터링된 내부 테이블 속성 SHOW CREATE TABLE
• 추가 모드에서 스트림 스트림 조인에 대한 더 엄격한 규칙
• Teradata 커넥터가 대/소문자를 구분하는 문자열 비교를 수정합니다.

해결된 하위 쿼리 상관 관계 문제

Azure Databricks는 더 이상 하위 쿼리와 해당 외부 쿼리 간에 의미상 동일한 집계 식의 상관 관계를 잘못 지정하지 않습니다. 이전에는 잘못된 쿼리 결과가 발생할 수 있습니다.

타임스탬프 NTZ 리터럴이 더 이상 하향 처리되지 않음

Snowflake 커넥터 및 Snowflake Lakehouse 연합의 경우, TIMESTAMP_NTZ (표준 시간대 없는 타임스탬프) 리터럴은 더 이상 Snowflake로 전달되지 않습니다. 이 변경은 호환되지 않는 타임스탬프 처리로 인한 쿼리 오류를 방지하고 영향을 받는 쿼리의 안정성을 향상시킵니다.

잘못된 CHECK 제약 조건에 대해 발생한 오류

이제 Azure Databricks는 제약 조건 유효성 검사 중에 제약 조건 식을 확인할 수 없는 경우 AnalysisException 예외를 발생시킵니다.

펄서 커넥터는 더 이상 바운시 성을 노출하지 않습니다.

이제 클래스 경로 충돌을 방지하기 위해 펄서 커넥터에 바운시 캐슬 라이브러리가 음영 처리됩니다. 따라서 Spark 작업은 더 이상 커넥터의 클래스에 액세스할 수 없습니다. 애플리케이션 코드가 Bouncy Castle에 의존하는 경우 클러스터에 라이브러리를 수동으로 설치합니다.

자동 로더는 사용할 수 있는 경우 기본적으로 파일 이벤트를 사용합니다.

자동 로더는 로드 경로가 파일 이벤트를 사용하도록 설정된 외부 위치인 경우 디렉터리 목록 대신 파일 이벤트를 사용합니다. 기본값 useManagedFileEvents 은 현재 if_available (was)입니다 false. 이렇게 하면 수집 성능이 향상되고 파일 이벤트가 아직 사용하도록 설정되지 않은 경우 경고를 기록할 수 있습니다.

에서 필터링된 내부 테이블 속성 SHOW CREATE TABLE

SHOW CREATE TABLE 에는 수동으로 설정하거나 전달할 수 없는 내부 속성이 CREATE TABLE더 이상 포함되어 있지 않습니다. 이렇게 하면 혼동이 줄어들고 사용자가 구성할 수 있는 옵션에 따라 출력이 정렬됩니다.

추가 모드에서 스트림 스트림 조인에 대한 더 엄격한 규칙

이제 Azure Databricks는 워터마크가 양쪽에 정의되지 않는 한 스트림 스트림 조인과 창 집계를 사용하는 추가 모드에서 스트리밍 쿼리를 허용하지 않습니다. 적절한 워터마크가 없는 쿼리는 최종 결과가 아닌 결과를 생성하여 추가 모드 보장을 위반할 수 있습니다.

Teradata 커넥터가 대/소문자를 구분하는 문자열 비교를 수정합니다.

이제 Teradata 커넥터는 대/소문자를 구분하여 문자열 비교 동작을 Azure Databricks와 정렬하는 기본값 TMODE=ANSI으로 설정됩니다. 이 변경 내용은 구성할 수 있으며 옵트인하지 않는 한 기존 사용자에게 영향을 주지 않습니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:

  • google-auth 버전 2.40.1에서 2.40.0으로 변경
  • 'mlflow-skinny'의 버전이 3.0.0에서 3.0.1로 업데이트되었습니다.
  • opentelemetry-api 1.33.0에서 1.32.1로
  • opentelemetry-sdk 1.33.0에서 1.32.1로
  • opentelemetry-semantic-conventions 버전 0.54b0에서 0.53b1로 변경
  • 24.1에서 24.2로 패키징
  • pip 24.2에서 25.0.1으로

• 업그레이드된 R 라이브러리:

• CLI 버전을 3.6.4에서 3.6.5로 업데이트합니다.

• curl 6.2.1에서 6.4.0으로 업데이트

• 제네릭은 0.1.3에서 0.1.4로

• globals 버전 0.16.3에서 0.18.0으로 업데이트하다

• openssl 2.3.2 버전에서 2.3.3 버전으로 업데이트

• 1.10.1에서 1.11.0으로

• 1.1.5에서 1.1.6까지의 rlang

• sparklyr에서 1.9.0에서 1.9.1로

• stringi 버전 1.8.4에서 1.8.7로

• tibble 3.2.1에서 3.3.0으로

• utf8 1.2.4 버전에서 1.2.6 버전으로 업데이트

• 업그레이드된 Java 라이브러리:

  • software.amazon.cryptools.AmazonCorrettoCryptoProvider에서 2.4.1-linux-x86_64에서 2.5.0-linux-x86_64으로

Apache Spark

Databricks Runtime 17.1에는 Apache Spark 4.0.0이 포함됩니다. 이 릴리스에는 버전 17.0에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• SPARK-52721 CANNOT_PARSE_DATATYPE 대한 메시지 매개 변수 수정
• SPARK-51919 정적으로 등록된 Python 데이터 원본 덮어쓰기 허용
• SPARK-52632 되돌리기: V2 쓰기 계획 노드 표시
• SPARK-52715 TIME의 예쁜 SQL 문자열 - DAY-TIME INTERVAL
• SPARK-51268 TreeNode 잠금 해제
• SPARK-52701 ANSI에서 bool을 사용하여 mod에서 float32 형식 확대 수정
• SPARK-52563 _assert_pandas_almost_equal 변수 이름 버그 수정
• SPARK-52541 선언적 파이프라인에 대한 프로그래밍 가이드 추가
• SPARK-51695 CHECK CONSTRAINT 구문 변경으로 인한 테스트 오류 수정
• SPARK-52666 SpecificInternalRow의 MutableValue를 수정하도록 사용자 정의 형식 매핑
• SPARK-52660 CodeGenerator#javaClass에 시간 형식 추가
• SPARK-52693 +/- ANSI 시간 간격과 TIME 간의 일별 간격 지원
• SPARK-52705 그룹화 식에 대한 결정적 검사 리팩터링
• SPARK-52699 해석된 모드에서 TIME 형식 집계 지원
• SPARK-52503 입력 열이 없을 때 삭제 수정
• SPARK-52535 ApplyColumnarRulesAndInsertTransitions 규칙의 코드 가독성 향상
• SPARK-52551 새 v2 조건자 BOOLEAN_EXPRESSION 추가
• SPARK-52698 되돌리기: 데이터 원본 모듈에 대한 형식 힌트 개선
• SPARK-52684 실행 오류가 발생하는 동안 명령을 원자성으로 만들기 CACHE TABLE
• SPARK-52671 RowEncoder는 확인된 UDT를 조회하지 않습니다.
• SPARK-52670 UserDefinedType#stringifyValue에서 HiveResult가 작동하게 만들기
• SPARK-52692 TIME 형식 캐싱 지원
• SPARK-51516 Thrift 서버의 지원 시간
• SPARK-52674 RandomStringUtils와 관련된 사용되지 않는 API의 사용 정리
• SPARK-51428 데이터 정렬된 식 트리에 대한 별칭을 결정적으로 할당
• SPARK-52672 집계에 식이 있는 경우 Sort/Having 식을 별칭으로 대체하지 마세요.
• SPARK-52618 TIME(n)을 TIME(m)으로 캐스팅
• SPARK-52656 current_time() 수정
• SPARK-52630 스트리밍 연산자 및 상태 관리 코드 및 디렉터리 재정리
• SPARK-52649 buildAggExprList에서 정렬/사용/필터 식과 일치하기 전에 별칭 자르기
• SPARK-52578 MergeRowsExec에서 사례 및 작업을 추적하는 행에 대한 메트릭 추가
• SPARK-49428 커넥터에서 SQL로 Scala 클라이언트 연결 이동
• SPARK-52494 Variant 필드에 액세스하기 위한 콜론 서명 연산자 구문 지원
• SPARK-52642 daemonWorkers.get(worker)을 사용하여 idleWorkers와 daemonWorkers 간의 예기치 않은 동기화를 방지합니다.
• SPARK-52570 ANSI가 활성화된 경우 숫자 rmod에 대한 0으로 나누기를 허용
• SPARK-52633 DeduplicateRelations 전에 단일 공용 구조체 자식 출력 중복 제거
• SPARK-52600 CompletionIterator를 일반/유틸리티로 이동
• SPARK-52626 시간 유형별로 그룹화 허용
• SPARK-52395 Prism 인출 요청이 실패할 때 즉시 리듀서 작업 실패
• SPARK-52596 날짜 및 시간에서 TIMESTAMP_NTZ 사용해 보세요.
• SPARK-52595 TimeAdd 식 이름을 TimestampAddInterval로 바꿉니다.
• SPARK-52586 AnyTimeType 소개
• SPARK-52583 UserDefinedType에서 값을 문자열화하기 위한 개발자 API 추가
• SPARK-52354 UnionLoop에 형식 강제 변환 추가
• SPARK-52579 Python 작업자에 대한 주기적 추적 덤프 설정
• SPARK-52456 spark.eventLog.rolling.maxFileSize의 최소 한도 낮추기
• SPARK-52536 AsyncProfilerLoader extractionDir을 설정하여 로컬 dir을 촉발합니다.
• SPARK-52405 V2JDBCTest를 확장하여 여러 파티션 읽기 테스트
• SPARK-52303 ExternalCommandRunner를 안정으로 승격
• SPARK-52572 ANSI 모드에서 DataFrame.isin의 CAST_INVALID_INPUT 방지를 피하다.
• SPARK-52349 ANSI를 활성화하여 불리언 나눗셈 테스트를 수행
• SPARK-52402 ANSI 모드에서 켄달 및 피어슨 상관 관계의 0으로 나누기 오류 수정
• SPARK-52356 ANSI가 활성화된 상태에서 부울 mod/rmod에 대한 0으로 나누기 활성화
• SPARK-52288 ANSI 모드가 설정되면 분할/rsplit에서 INVALID_ARRAY_INDEX 방지
• SPARK-52557 ANSI 모드에서 to_numeric(errors='coerce')의 CAST_INVALID_INPUT을 피하다
• SPARK-52440 선언적 파이프라인에 대한 Python 설치 추가
• SPARK-52569 SecondsOfTimeWithFraction에서 클래스 캐스트 예외 수정
• SPARK-52540 날짜 및 시간에서 TIMESTAMP_NTZ 만들기
• SPARK-52539 세션 후크 소개
• SPARK-52554 Spark Connect에서 구성 확인을 위해 여러 라운드트립 방지
• SPARK-52553 v1 변경 로그를 읽을 때 NumberFormatException 수정
• SPARK-52534 MLCache 및 MLHandler 스레드로부터 안전한지 확인
• SPARK-52460 내부 TIME 값을 나노초로 저장
• SPARK-52482 파일 데이터 원본 판독기용 ZStandard 지원
• SPARK-52531 하위 쿼리 집계의 OuterReference가 외부 쿼리 집계에 잘못 연결됨
• SPARK-52339 InMemoryFileIndex 인스턴스 비교 수정
• SPARK-52418 isEmpty()의 반복적인 계산을 방지하기 위해 백분위수에 noElements 상태 변수를 추가합니다.
• SPARK-52537 임시 디렉터리 생성 실패 시 스택 추적 출력
• SPARK-52462 Union에서 자식 출력 중복 제거 전에 타입 강제 변환을 실행
• SPARK-52528 ANSI가 활성화된 상태에서 수치 모듈로의 0으로 나누기를 허용
• SPARK-52458 spark.eventLog.excludedPatterns 지원
• SPARK-52493 표준 시간대가 없는 타임스탬프 지원
• SPARK-51563 표준 시간대 없이 완전 정규화된 유형 이름 TIME(n)을 지원
• SPARK-52450 스키마 딥코피의 성능 향상
• SPARK-52519 ANSI가 활성화된 경우 숫자 floordiv에 대한 0으로 나누기 허용
• SPARK-52489 SQL 스크립트 내에서 중복된 SQLEXCEPTION 및 NOT FOUND 처리기 금지
• SPARK-52488 외부 참조를 래핑하기 전에 별칭을 제거합니다. HAVING
• SPARK-52383 SparkConnectPlanner의 오류 개선
• SPARK-52335 연결 및 클래식 모두에 대해 잘못된 버킷 수 오류를 통합합니다.
• SPARK-52337 InvalidPlanInput을 사용자 연결 오류로 만들기
• SPARK-52312 DataFrame을 캐싱할 때 V2WriteCommand 무시
• SPARK-52487 단계 페이지 세부 정보에 스테이지 제출 시간 및 지속 시간 추가
• SPARK-52433 createDataFrame에서 문자열 강제 변환 작업을 통합하기
• SPARK-52427 프로젝트에서 다루는 집계 식 목록 정규화
• SPARK-51745 RocksDBStateStore에 상태 머신 적용
• SPARK-52447 GetViewColumnByNameAndOrdinal 정규화를 SessionCatalogSuite로 이동
• SPARK-52397 Idempotent ExecutePlan: operationId 및 계획 다시 연결이 동일한 두 번째 ExecutePlan
• SPARK-52355 DataFrame을 만들 때 VariantVal 개체 형식을 VariantType으로 유추
• SPARK-52425 단일 패스 구현에서 다시 사용할 수 있는 ExtractValue 리팩터링
• SPARK-52249 ANSI가 설정된 경우 숫자형 truediv에서 0으로 나누기를 활성화하는 기능 설정
• SPARK-52228 TCP(Quicksilver)에 상태 상호 작용 마이크로벤치마크 통합
• SPARK-48356 FOR 문 열 스키마 유추 개선
• SPARK-48353 예외 처리 개선 사항
• SPARK-52060 OneRowRelationExec 노드 만들기
• SPARK-52391 TransformWithStateExec 함수/vars를 Scala 및 Python의 기본 클래스로 리팩터링
• SPARK-52218 현재 datetime 함수를 다시 평가할 수 있게 만들기
• SPARK-52350 4.0의 SS 프로그래밍 가이드에 대한 링크 수정
• SPARK-52385 InheritAnalysisRules 이름에서 TempResolvedColumns 제거
• SPARK-52392 새로운 단일 패스 분석기 기능
• SPARK-52243 스키마 관련 InvalidPlanInput 오류에 대한 NERF 지원 추가
• SPARK-52338 스키마에서 뷰로 기본 데이터 정렬 상속
• SPARK-52307 스칼라 화살표 반복기 UDF 지원
• SPARK-52300 SQL UDTVF 해상도가 뷰 해상도와 일관된 구성을 사용하도록 설정
• SPARK-52219 테이블에 대한 스키마 수준 데이터 정렬 지원
• SPARK-52272 V2SessionCatalog는 Hive 카탈로그의 스키마를 변경하지 않습니다.
• SPARK-51890 논리 계획 뷰에 매개 변수 추가 options
• SPARK-51936 ReplaceTableAsSelect는 추가 대신 새 테이블을 덮어써야 합니다.
• SPARK-51302 Spark Connect는 JDBC에서 DataFrameReader API를 사용하도록 지원합니다.
• SPARK-50137 테이블 만들기 실패 시 Hive 호환되지 않는 방법으로 대체 방지
• SPARK-52184 외부 엔진 JDBC 구문 오류를 일관된 예외 처리로 포함하다
• SPARK-47618 기본적으로 모든 S3 버킷에 매직 커밋기 사용
• SPARK-52305 isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull에 대한 문서 문자열 구체화
• SPARK-52174 기본적으로 spark.checkpoint.compress를 사용하도록 설정합니다.
• SPARK-52224 Python 클라이언트에 대한 종속성으로 pyyaml 소개
• SPARK-52233 부동 소수점 형식에 대한 map_zip_with 수정
• SPARK-52036 v2에 SQLConfHelper 특성을 추가합니다. FileScan
• SPARK-52159 MariaDB 방언에 대해 너무 넓은 조건 제거
• SPARK-50104 Connect에서 SparkSession.executeCommand 지원
• SPARK-52240 벡터화된 판독기에서 압축된 배열을 분해할 때 행 인덱스 사용이 수정됨
• SPARK-52153 변형으로 from_json 및 to_json 수정
• SPARK-48618 3부 및 2부 이름을 모두 확인하기 위한 존재하지 않는 테스트 개선
• SPARK-52216 InvalidCommandInput을 사용자 연결 오류로 만들기
• SPARK-52299 사용되지 않는 JsonNode.fields 바꾸기
• SPARK-52287 o.a.s.internal.io.cloud 채웁니다.* 설정이 없으면 SparkContext를 개선합니다.
• SPARK-51430 PySpark 컨텍스트 로거가 로그를 stdout으로 전파하지 못하도록 중지
• SPARK-52278 스칼라 화살표 UDF는 명명된 인수를 지원합니다.
• SPARK-52026 기본적으로 ANSI 모드의 Spark에서 pandas API 차단
• SPARK-52171 상태 v3에 대한 StateDataSource 조인 구현
• SPARK-52159 jdbc 언어에 대한 테이블 존재 확인 제대로 처리
• SPARK-52158 SparkConnectPlanner에서 오류를 중앙 집중화하기 위해 InvalidInputErrors 개체 추가
• SPARK-52195 Python TWS에 대한 초기 상태 열 삭제 문제 해결
• SPARK-52211 SparkConnectServer INFO 로그에서 $ 접미사 제거
• SPARK-52239 화살표 UDF 등록 지원
• SPARK-52215 스칼라 화살표 UDF 구현
• SPARK-52188 StreamExecution.RUN_ID_KEY가 설정되지 않은 경우 StateDataSource 수정
• SPARK-52189 NATURAL JOINGROUP BYHAVINGORDER BY 및 LCA에 대한 새로운 골든 파일 테스트
• SPARK-52079 내부 프로젝트 목록의 특성 순서 정규화
• SPARK-52234 schema_of_csv/xml에 대한 문자열이 아닌 입력 오류 수정
• SPARK-52221 SqlScriptingLocalVariableManager를 보다 일반적인 컨텍스트 관리자로 리팩터링
• SPARK-52181 변형 크기 제한을 128MiB로 늘입니다.
• SPARK-52217 단일-패스 해석기에서 필터 항목에 대한 외부 참조 유효성 검사 생략
• SPARK-51260 V2ExpressionBuilder 및 PushableExpression을 Catalyst 모듈로 이동
• SPARK-52156 레거시 CREATE TEMPORARY를 플래그 아래에 배치하는 USING 공급자
• SPARK-51012 Connect Shim에서 SparkStrategy 제거
• SPARK-52109 데이터 원본 V2 테이블 카탈로그 API에 listTableSummaries API 추가
• SPARK-50915 PySparkException에서 getCondition 추가 및 getErrorClass 사용 중단
• SPARK-52022 SparkThrowable.getQueryContext에 대한 체크 인 기본 메서드 추가
• SPARK-51147 스트리밍 관련 클래스를 전용 스트리밍 디렉터리로 리팩터링
• SPARK-52120 ConnectHelper에 세션 전달
• SPARK-52021 별도의 연산자 및 식 패턴
• SPARK-51722 ParseException에서 "stop" 원본 제거
• SPARK-52096 kafka 원본 오프셋 어설션 오류 다시 분류하기
• SPARK-51985 AccumulatorSource에서 실험적 제거
• SPARK-51156 Spark Connect의 정적 토큰 인증 지원
• SPARK-52157 단일 패스 분석기에서 OuterReference에 이전 계산된 이름 사용
• SPARK-52100 구문에서 재귀 수준 제한을 재정의하도록 설정
• SPARK-51605 logFile을 터치하기 전에 부모 디렉터리 만들기
• SPARK-52127 PySpark에서 transformWithState에 대한 MapState KEYS / VALUES / ITERATOR 프로토콜을 최적화하기
• SPARK-52040 ResolveLateralColumnAliasReference는 계획 ID를 유지해야 합니다.
• SPARK-51638 외부 순서 섞기 서비스를 통해 원격 디스크 저장된 RDD 블록 가져오기 수정
• SPARK-51983 ANSI 모드를 사용하도록 설정된 Spark의 pandas API에 대한 테스트 환경 준비
• SPARK-52087 AliasHelper.trimNonTopLevelAliases에 태그 및 원본 복사 추가
• SPARK-51210 Java 24+용 Java 옵션에 --enable-native-access=ALL-UNNAMED 추가
• SPARK-52052 SerializableConfiguration의 도우미 개체에 .broadcast 추가
• SPARK-51823 실행기에서 상태 저장소를 유지하지 않도록 구성 추가
• SPARK-51291 상태 저장소 로드에서 발생한 유효성 검사 오류를 재분류
• SPARK-52006 CollectMetricsExec 누적기를 Spark UI, 이벤트 로그 및 메트릭 하트비트에서 제외
• SPARK-52076 사용 후 ExecutePlanResponseReattachableIterator를 명시적으로 닫습니다.
• SPARK-51428 데이터 정렬된 식 트리에 대한 별칭을 결정적으로 할당
• SPARK-52079 내부 프로젝트 목록의 특성 순서 정규화
• SPARK-52033 자식 노드의 출력에 동일한 특성의 여러 복사본이 있을 수 있는 노드 생성 버그 수정
• SPARK-51428 데이터 정렬된 식 트리에 대한 별칭을 결정적으로 할당
• SPARK-52055 ExecutePlanResponseReattachableIterator에서 예외를 억제합니다. 델
• SPARK-51921 transformWithState에서 TTL 기간(밀리초)에 long 형식 사용
• SPARK-50763 SQL 테이블 함수를 확인하기 위한 분석기 규칙 추가
• SPARK-51884 SubqueryExpression에 대한 외부 범위 특성 추가
• SPARK-50762 SQL 스칼라 UDF를 확인하기 위한 분석기 규칙 추가
• SPARK-51814 이전 버전 호환성을 위해 StructType.fields 대신 list(self)를 사용합니다.
• SPARK-51537 실행기에서 기본 세션 클래스 로더를 기반으로 세션별 클래스 로더 생성
• SPARK-50777 필터 클래스에서 중복 no-op init/destroy 메서드 제거
• SPARK-51691 serializationDebugger는 serialization 문제의 원인을 찾으려고 할 때 예외를 삼켜야 합니다.
• SPARK-51386 오류 조건에 이름 할당 _LEGACY_ERROR_TEMP_3300-3302
• SPARK-50734 SQL UDF를 만들고 등록하기 위한 카탈로그 API 추가
• SPARK-51989 데이터 원본의 모든 목록에 누락된 필터 하위 클래스 추가
• SPARK-52037 LCA 내부 프로젝트 목록의 순서는 원래 프로젝트 목록의 순서를 따라야 합니다.
• SPARK-52007 그룹화 세트를 사용할 때 그룹화 식에는 식 ID가 없어야 합니다.
• SPARK-51860 기본적으로 spark.connect.grpc.debug.enabled를 사용하지 않도록 설정
• SPARK-47952 Yarn에서 실행할 때 프로그래밍 방식으로 실제 SparkConnectService GRPC 주소 및 포트 검색 지원
• SPARK-50906 to_avro 입력이 스키마와 일치할 경우에만 Null 허용 여부를 확인하는 기능 추가
• DATAset.observe()의 UDAF에 대한 SPARK-50581 수정 지원
• SPARK-49946 SparkOutOfMemoryError에서 오류 클래스 필요
• SPARK-49748 SparkThrowable에서 getCondition 추가 및 getErrorClass 사용 중단
• SPARK-51959 함수가 ParentDataFrame을 가져오지 않도록 만들기
• SPARK-51964 단일 패스 분석기 상의 집계 위에서 ORDER BYHAVING의 숨겨진 출력에서 특성을 올바르게 해결합니다.
• SPARK-49942 classifyException()에서 errorClass를 조건으로 이름 바꾸기
• SPARK-51963 IndexToString.transform 간소화
• SPARK-51946 파티션 이름이 'col'인 hive 호환되지 않는 데이터 원본 테이블을 만드는 데 실패합니다.
• SPARK-51553 TIME 데이터 형식을 지원하도록 EXTRACT 수정
• SPARK-51891 PySpark에서 transformWithState에 대한 ListState GET /PUT/APPENDLIST의 프로토콜 짜기
• SPARK-51931 maxBytesPerOutputBatch를 추가하여 화살표 출력 일괄 처리의 바이트 수를 제한합니다.
• SPARK-51441 제약 조건에 대한 DSv2 API 추가
• SPARK-51814 이전 pyarrow 호환성을 위해 column_names 대신 RecordBatch.schema.names 사용
• SPARK-51913 JDBCTableCatalog#loadTable은 이러한 테이블 오류를 올바르게 throw하지 않아야 합니다.
• SPARK-51840 HiveExternalCatalog#alterTable에서 파티션 열 복원
• SPARK-51414 make_time() 함수 추가
• SPARK-49700 연결과 클래식을 위한 Scala 통합 인터페이스
• SPARK-51914 spark.sql.hive.metastore.sharedPrefixes에 com.mysql.cj 추가
• SPARK-51827 PySpark의 transformWithState에서 Spark Connect 지원
• SPARK-51901 그룹화 집합에서 생성기 함수 허용 불가
• SPARK-51423 TIME 데이터 형식에 대한 current_time() 함수 추가
• SPARK-51680 parquet 작성 도구에서 TIME의 논리 형식 설정
• SPARK-51889 Python TWS에서 MapState clear()에 대한 버그 수정
• SPARK-51869 Scala TransformWithState의 UDF 내에서 사용자 오류에 대한 분류 만들기
• SPARK-51878 접을 수 있는 기본 식을 실행하여 fillDefaultValue를 개선합니다.
• SPARK-51757 창 그룹 크기를 초과하는 LEAD/LAG 함수 오프셋 수정
• SPARK-51805 부적절한 인수가 있는 Get 함수는 내부 인수 대신 적절한 예외를 throw해야 합니다.
• SPARK-51900 단일 패스 분석기에서 데이터 형식 불일치 오류를 올바르게 발생시킵니다.
• SPARK-51421 TIME 데이터 유형에서 초 가져오기
• SPARK-51661 TIME 열 값의 파티션 검색
• SPARK-51687 TIME 값을 사용한 푸시다운 필터를 PARQUET로 전달
• SPARK-51419 TIME 데이터 형식의 시간 가져오기
• SPARK-51881 AvroOptions를 비교할 수 있도록 만들기
• SPARK-51861 InMemoryRelation 계획 세부 정보의 중복/불필요한 정보 제거
• SPARK-51814 PySpark에서 새 API transformWithState 소개
• SPARK-51779 스트림-스트림 조인에 가상 컬럼 패밀리를 사용
• SPARK-51649 TIME 파티션의 동적 쓰기/읽기
• SPARK-51634 오프힙 열 벡터에서 TIME 기능 지원
• SPARK-51877 함수 'chr', 'random' 및 'uuid' 추가
• SPARK-51610 parquet 데이터 원본에서 TIME 데이터 타입을 지원합니다
• SPARK-51420 TIME 데이터 유형의 분 수 가져오기
• SPARK-51822 StatefulProcessor.init() 중에 허용되지 않는 함수가 호출될 때 분류된 오류를 발생시킴
• SPARK-51868 형식 강제 변환 유효성 검사를 별도의 개체로 이동
• SPARK-49747 connect/ 파일을 구조적 로깅으로 마이그레이션

Azure Databricks ODBC/JDBC 드라이버 지원

Azure Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

유지 관리 업데이트

Azure Databricks Runtime 17.1 유지 관리 업데이트를 참조하세요.

시스템 환경

• 운영 체제: Ubuntu 24.04.2 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• 델타 레이크: 4.0.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2025-03-20년 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.13 클러스터 버전)