Databricks Runtime 16.3(EoS)

다음 릴리스 정보는 Apache Spark 3.5.2에서 제공하는 Databricks Runtime 16.3에 대한 정보를 제공합니다.

Databricks는 2025년 3월에 이 버전을 릴리스했습니다.

동작 변경

자동 로더 옵션에 대한 버그 수정: modifiedBefore, modifiedAfterpathGlobFilter

이전에는 자동 로더 옵션modifiedBeforemodifiedAfter의 값을 수정했으며 pathGlobFilter 아무런 효과가 없었습니다. 이 문제는 해결되었습니다.

이제 이러한 필터의 값을 수정하면 자동 로더가 필터를 전달하는 새 파일을 수집합니다. 업데이트된 필터 값에 따라 적합한 파일이 더 적은 경우 더 이상 적격하지 않은 파일은 싱크에서 제거되지 않지만 수집된 상태로 유지됩니다.

잘못된 값이 할당된 경우 kafka.sasl.client.callback.handler.class 오류 메시지가 개선됨

이 릴리스에는 잘못된 값이 할당된 경우 kafka.sasl.client.callback.handler.class 보다 설명적인 오류 메시지를 반환하기 위한 변경 내용이 포함되어 있습니다.

새 오류 메시지는 입니다. org.apache.spark.sql.AnalysisException: [RESTRICTED_STREAMING_OPTION_PERMISSION_ENFORCED.KAFKA_CLIENT_CALLBACK_SHADED_CLASS] The option kafka.sasl.client.callback.handler.class has restricted values on Shared clusters for the kafka source. The Kafka client callback class must be "shadedmskiam.software.amazon.msk.auth.iam.IAMClientCallbackHandler". SQLSTATE: 0A000

이전에는 반환된 오류 메시지가 org.apache.spark.sql.AnalysisException: [UNSUPPORTED_STREAMING_OPTIONS_PERMISSION_ENFORCED] Streaming options kafka.sasl.client.callback.handler.class are not supported for data source kafka on a shared cluster. Please confirm that the options are specified and spelled correctly, and check https://docs.databricks.com/en/compute/access-mode-limitations.html#streaming-shared for limitations. SQLSTATE: 0A000

새로운 기능 및 개선 사항

• State Reader 지원은 표준 컴퓨팅의 GA 버전입니다.
• 델타 테이블 프로토콜의 하향 조정은 검사점 보호와 함께 일반적으로 제공됩니다.
• ANSI SQL/PSM을 기반으로 하는 절차적 SQL 스크립트 작성(공개 미리 보기)
• 테이블 및 뷰 수준 기본 데이터 정렬
• Unity 카탈로그 Python UDF에서 사용자 지정 종속성 설치(공개 미리 보기)
• 한 ALTER TABLE 문에서 여러 테이블 열 변경
• 표준 컴퓨팅에 대한 transformWithStateInPandas 지원
• 전용 컴퓨팅에서 MERGE INTO 세분화된 액세스 제어가 있는 테이블에 대한 지원(공개 미리 보기)
• 전용 컴퓨팅의 세분화된 액세스 제어 테이블에 데이터 추가 지원
• 전용 컴퓨팅에서 세분화된 액세스 제어 개체를 사용하여 자체 조인에 대한 향상된 지원
• 새 H3 함수

상태 판독기 지원은 표준 컴퓨팅에 대한 GA입니다.

구조적 스트리밍 쿼리에 대한 상태 정보 읽기 지원은 이제 표준 액세스 모드로 구성된 컴퓨팅에 일반적으로 사용할 수 있습니다. 구조적 스트리밍 상태 정보 읽기를 참조하세요.

델타 테이블 프로토콜 다운그레이드는 체크포인트 보호와 함께 GA입니다.

DROP FEATURE 는 일반적으로 Delta Lake 테이블 기능을 제거하고 테이블 프로토콜을 다운그레이드하는 데 사용할 수 있습니다. 기본적으로 DROP FEATURE 대기 시간 또는 기록 잘림이 필요하지 않은 보다 최적화되고 간소화된 다운그레이드 환경을 위해 보호된 검사점을 만듭니다. Delta Lake 테이블 기능 삭제 및 테이블 프로토콜 다운그레이드를 참조하세요.

ANSI SQL/PSM을 기반으로 하는 절차적 SQL 스크립트 작성(공개 미리 보기)

이제 ANSI SQL/PSM을 기반으로 하는 스크립팅 기능을 사용하여 제어 흐름 문, 지역 변수 및 예외 처리를 비롯한 SQL로 절차 논리를 작성할 수 있습니다. SQL 스크립팅을 참조하세요.

테이블 및 뷰 수준 기본 데이터 정렬

이제 테이블 및 뷰에 대한 기본 데이터 정렬을 지정할 수 있습니다. 이렇게 하면 모든 열 또는 대부분의 열이 동일한 데이터 정렬을 공유하는 테이블 및 뷰 만들기가 간소화됩니다. 콜레이션을 참조하세요.

Unity 카탈로그 Python UDF에 사용자 지정 종속성 설치(공개 미리 보기)

외부 라이브러리에 대한 사용자 지정 종속성을 정의하여 Databricks 런타임 환경 이상으로 Python UDF의 기능을 확장합니다. 사용자 지정 종속성 사용하여 UDF 확장참조하세요.

한 ALTER TABLE 문에서 여러 테이블 열 변경

Databricks Runtime 16.3에서는 단일 ALTER TABLE 문에서 여러 열을 변경할 수 있습니다. ... ALTER TABLE 절을 참조하세요COLUMN.

표준 컴퓨팅에서 transformWithStateInPandas 지원

이제 표준 액세스 모드로 구성된 컴퓨팅에서 transformWithStateInPandas 사용할 수 있습니다. 사용자 지정 상태 저장 애플리케이션빌드를 참조하세요.

전용 컴퓨팅을 통해 세분화된 액세스 제어가 있는 테이블에 대한 지원 (공개 미리 보기)

Databricks Runtime 16.3 이상에서, 전용 컴퓨팅은 세분화된 액세스 제어를 사용하는 Unity 카탈로그 테이블에 대해 MERGE INTO를 지원합니다. 이러한 개체 MERGE에서 읽는 것과 마찬가지로 필요한 경우 명령이 서버리스 컴퓨팅 환경으로 자동 전달됩니다.

전용 컴퓨팅에서 세분화된 액세스 제어를 참조하세요.

전용 컴퓨팅의 세분화된 액세스 제어 테이블에 데이터 추가 지원

Databricks Runtime 16.3 이상에서는 전용 컴퓨팅이 세분화된 액세스 제어를 사용하는 Unity Catalog 객체에 추가하는 것을 지원합니다. 이 기능을 사용하려면 Apache Spark API의 함수를 사용합니다 DataFrame.write.mode("append") . 이러한 개체에서 읽는 것과 마찬가지로 추가 쓰기는 필요한 경우 서버리스 컴퓨팅에 자동으로 전달됩니다.

세분화된 액세스 제어 Unity 카탈로그 개체와 함께 전용 컴퓨팅을 사용하는 방법에 대한 자세한 내용은 전용 컴퓨팅에서 세분화된 액세스 제어를 참조하세요.

전용 컴퓨팅에서 정교하게 관리되는 접근 제어 객체를 사용하여 자기 조인에 대한 향상된 지원

Databricks Runtime 16.3 이상 버전에서는 전용 컴퓨팅의 세분화된 액세스 제어를 위한 데이터 필터링 기능이 이제 구체화된 뷰와 일반 뷰, 델타 공유를 통해 공유되는 스트리밍 테이블을 제외하고, 전용 컴퓨팅 리소스와 서버리스 컴퓨팅 리소스 간의 스냅샷을 자동으로 동기화합니다. 이 향상된 기능을 사용하면 데이터 필터링을 사용할 때 자체 조인이 동일한 스냅샷을 반환할 수 있습니다. 전용 컴퓨팅에서 세분화된 액세스 제어를 참조하세요.

새 H3 함수

세 가지 새로운 H3 함수가 추가되었습니다: h3_try_coverash3, h3_try_coverash3string, 및 h3_try_tessellateaswkb.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:

  • mlflow-skinny 2.15.1에서 2.19.0으로

• 업그레이드된 R 라이브러리:

• 업그레이드된 Java 라이브러리:

Apache Spark

Databricks Runtime 16.3에는 Apache Spark 3.5.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 16.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-51594] [DBRRM-1604][sc-192125][SQL] Hive 호환되지 않는 보기를 저장할 때 빈 스키마 사용
• [SPARK-51388] [SC-190503][sql] to_timestamp 및 UNION에서 SQL 조각 전파 개선
• [SPARK-51394] [SC-190492][ml] 통계 테스트에서 추가 셔플을 제거하여 최적화하다
• [SPARK-51385] [SC-190486][sql] 유니온 자식 출력 중복 제거를 위해 DeduplicateRelations에 추가된 프로젝션을 정규화하여 제거
• [SPARK-51357] [SC-190485][sql] 보기의 계획 변경 로깅 수준을 유지
• [SPARK-50654] [SC-186686][ss] CommitMetadata는 v1에서 stateUniqueIds를 None으로 설정해야 합니다.
• [SPARK-51362] [SC-190352][sql] NextIterator API를 사용하여 인접한 레코드 종속성을 제거하도록 toJSON 변경
• [SPARK-51375] [SC-190355][sql][CONNECT] SparkConnect(Execution|Session)Manager.periodicMaintenance 로그 메시지 숨기기
• [SPARK-50596] [SC-184060][python] Py4J를 0.10.9.7에서 0.10.9.8로 업그레이드
• [SPARK-51097] [SC-190456][복구] RocksDB 인스턴스 메트릭 변경 복구
• [SPARK-51363] [SC-190343][sql]Desc As JSON 클러스터링 열 이름
• [SPARK-51373] [SC-190370] [SS] 'ReplyChangelog'에서 열 패밀리 접두사에 대한 추가 복사본 제거
• [SPARK-51378] [SC-190363][core] JsonProtocol의 accumulableExcludeList를 ExecutorMetricsUpdate 및 TaskEndReason에 적용
• [SPARK-51369] [SC-190253][sql] 대소문자가 혼합된 이름에 대응하도록 FOR 커서 변수 수정
• [SPARK-51381] [SC-190360][sql][CONNECT] Session ID 페이지에 Spark Connect Session 표시
• [SPARK-51119] [SC-188491][sql] 실행기에서 EXISTS_DEFAULT를 처리하는 리더는 카탈로그를 호출해서는 안 됩니다.
• [SPARK-51322] [SC-190013][sql] 하위 쿼리 식 스트리밍에 대한 더 나은 오류 메시지
• [SPARK-50817] [SC-186642][ss] RocksDB 오류 보고 수정
• [SPARK-51370] [SC-190286] AstBuilder.scala의 INSERT INTO 구문 분석 코드에 대한 코드 명확성 향상
• [SPARK-51083] [SC-189217][core][16.x] InterruptedExceptions를 삼키지 않도록 JavaUtils 수정
• [SPARK-51324] [SC-189997][sql] 빈 결과인 경우 중첩된 FOR 문 throw 오류 수정
• [SPARK-49756] [SC-178793][sql] Postgres 언어는 푸시다운 날짜/시간 함수를 지원합니다.
• [SPARK-51270] [SC-190108][sql] Variant에서 UUID 형식 지원
• [SPARK-51310] [SC-190018][sql] 식을 생성하는 기본 문자열의 형식 확인
• [SPARK-49488] [SC-176685][sql] MySQL 언어는 푸시다운 날짜/시간 함수를 지원합니다.
• [SPARK-50856] [DBR16.x][sc-189812][SS][python][CONNECT] Python의 TransformWithStateInPandas에 대한 Spark Connect 지원
• [SPARK-50553] [SC-190076][connect] 잘못된 계획 메시지에 대해 InvalidPlanInput를 던지기
• [SPARK-51337] [16.x][sc-190105][SQL] CTERelationDef 및 CTERelationRef에 maxRows 추가
• [SPARK-51281] [SC-190033][sql] DataFrameWriterV2는 경로 옵션을 준수해야 합니다.
• [SPARK-51323] [SC-190005][python] Py SQL 메트릭에서 중복된 "합계"가 나타나는 문제
• [SPARK-48618] [SC-174007][sql] SQLException에서 반환된 ErrorCode 및 SQLState 활용하여 오류를 보다 정확하게 만듭니다.
• [SPARK-47871] [SC-162873][sql] Oracle: 타임스탬프타입을 현지 표준 시간대와 함께 TIMESTAMP에 매핑
• [SPARK-50993] [SC-187319][sql] QueryCompilationErrors에서 QueryExecutionErrors로 nullDataSourceOption 이동
• [SPARK-47761] [SC-162288][sql] Oracle: AnsiIntervalTypes 읽기 지원
• [SPARK-51265] [SC-189826][sql] IncrementalExecution이 명령 실행 코드를 올바르게 설정해야 합니다.
• [SPARK-50785] [SC-189722][sql] FOR 문을 리팩터링하여 지역 변수를 제대로 활용합니다.
• [SPARK-51315] [SC-189838][sql] 기본적으로 개체 수준 데이터 정렬 사용
• [SPARK-51312] [SC-189824][sql] RDD[Row]에서 createDataFrame 생성 오류 수정
• [SPARK-51305] [SC-189625][sql][CONNECT] SparkConnectPlanExecution.createObservedMetricsResponse을(를) 개선
• [SPARK-51313] [SC-189816][python] PySparkLogger에 대한 타임스탬프 형식 수정
• [SPARK-51095] [SC-189623][core][SQL] 드라이버에서 발생하는 호출에 대해 hdfs 감사 로그에 호출자 컨텍스트 포함
• [SPARK-51292] [SC-189566][sql] PlanTestBase, ExpressionEvalHelper 및 PlanTest에서 불필요한 상속 제거
• [SPARK-50739] [SC-186903][sql][FOLLOW] dsl을 사용하여 ResolveRecursiveCTESuite 단순화
• [SPARK-51097] [SC-189428] [SS] RocksDB에서 마지막으로 업로드한 스냅샷 버전에 대한 상태 저장소 인스턴스 메트릭 추가
• [SPARK-49912] [SC-189615] 간단한 CASE 문을 리팩터링하여 사례 변수를 한 번만 평가
• [SPARK-50655] [16x][sc-189235][SS] 인코더 대신 db 계층으로 가상 콜 패밀리 관련 매핑 이동
• [SPARK-51177] [SC-188989][python][CONNECT] Spark Connect Python 클라이언트에 InvalidCommandInput 추가
• [SPARK-51278] [SC-189608][python] JSON 형식의 적절한 구조를 사용하여 PySparkLogger
• [SPARK-48530] [SC-189357][sql] SQL Scripting의 지역 변수 지원
• [SPARK-51258] [SC-189551][sql] SQLConfHelper에서 불필요한 상속 제거
• [SPARK-50739] [SC-186818][sql] 재귀 CTE. 재귀 구성 요소를 해명하고 해결하기 위해 분석기가 변경됩니다.
• [SPARK-51284] [SC-189483][sql] 빈 결과에 대한 SQL 스크립트 실행 수정
• [SPARK-50881] [SC-188407][python] connect dataframe.py에서 가능한 경우 캐시된 스키마 사용
• [SPARK-51274] [SC-189516][python] PySparkLogger는 예상 키워드 인수를 준수해야 합니다.
• [SPARK-50636] [SC-184783][sql] 재귀를 인식할 수 있도록 CTESubstitution.scala 확장
• [SPARK-50960] [SC-188821][python][CONNECT] Spark Connect Python 클라이언트에 InvalidPlanInput 추가
• [SPARK-51109] [SC-188394][SQL] 하위 쿼리 표현식에서 CTE를 그룹화 열로 사용하기
• [SPARK-51067] [16.x][sc-188855][SQL] DML 쿼리에 대한 세션 수준 데이터 정렬 되돌리기 및 DDL 쿼리에 대한 개체 수준 데이터 정렬 적용
• [SPARK-50849] [SC-189071][connect] Spark Connect 서버 라이브러리를 보여 주는 예제 프로젝트 추가
• [SPARK-51259] [SC-189344][sql] 자연 및 using 조인 키 계산 리팩토링
• [SPARK-51185] [SC-188832][core] 메모리 요구 사항을 줄이기 위해 PartitionedFileUtil API로 단순화 되돌리기
• [SPARK-51237] [16x][sc-189028][SS] 필요에 따라 새 transformWithState 도우미 API에 대한 API 세부 정보 추가
• [SPARK-51247] [SC-189236][sql] SubstituteExecuteImmediate를 'resolution' 일괄 처리로 이동하고 SQL 스크립팅 지역 변수를 준비합니다.
• [SPARK-50403] [SC-186416][sql] 매개 변수가 있는 EXECUTE IMMEDIATE 수정
• [SPARK-50598] [SC-183992][sql] 재귀 CTE를 나중에 구현할 수 있도록 기존 클래스 UnresolvedWith, CTERelationRef 및 CTERelationDef에 새 매개 변수를 추가하는 초기 no-op PR입니다.
• [SPARK-48114] [SC-189176][sql] CheckAnalysis에서 하위 쿼리 유효성 검사 이동
• [SPARK-50767] [SC-189169][sql] from_json의 코드 생성 제거
• [SPARK-51242] [SC-189200][connect][PYTHON] DQC가 비활성화된 경우 열 성능 향상
• [SPARK-51202] [SC-189208][ml][PYTHON] 메타 알고리즘 파이썬 기록자에서 세션을 전달
• [SPARK-51246] [SC-189175][sql] InTypeCoercion에서 최종적인 캐스트를 생성합니다.
• [SPARK-51192] [SC-189070][연결] processWithoutResponseObserverForTestingSparkConnectPlanner 노출
• [SPARK-51183] [SC-189010][sql] Variant 문서에 Parquet 사양으로의 링크 추가
• [SPARK-51189] [SC-188829][core] JobFailed를 DeveloperApi로 승격시키기
• [SPARK-51184] [SC-188801][core] TaskState.LOST의 TaskSchedulerImpl 논리 제거
• [SPARK-51218] [SC-189012][sql] NondeterministicExpressionCollection에서 map/flatMap 사용하지 않음
• [SPARK-51228] [SC-189022][sql] NormalizePlan에 하위 쿼리 정규화 소개
• [SPARK-51113] [SC-188883][sql] 보기 또는 EXECUTE IMMEDIATE 내에서 UNION/EXCEPT/INTERSECT를 사용하여 정확성 수정
• [SPARK-51209] [SC-188987][core] Java 24+를 처리하도록 getCurrentUserName 개선
• [SPARK-50953] [SC-188409][python][CONNECT] VariantGet에서 리터럴이 아닌 경로에 대한 지원 추가
• [SPARK-51181] [SC-188854] [SQL] 논리 계획에서 비결정적 식을 끌어낼 때 결정성 적용
• [SPARK-50872] [SC-186901][sql][UI] ToPrettyString 식이 UI 프레젠테이션에 영향을 미치지 않도록 합니다.
• [SPARK-51150] [SC-188512][ml] 메타 알고리즘 작성기에서 세션을 명시적으로 전달합니다.
• [SPARK-51008] [SC-188655][sql] AQE용 ResultStage 추가
• [SPARK-51114] [SC-188633] [SQL] PullOutNondeterministic 규칙 리팩터링
• [SPARK-51160] [SC-188666][sql] 리터럴 함수 해결 리팩터링
• [SPARK-51127] [SC-188366][python] 유휴 시간 초과 시 Python 워커 종료시키기
• [SPARK-51099] [SC-188350][python] Python 작업자가 중단된 것처럼 보일 때 로그 추가
• [SPARK-51157] [SC-188536][sql] Scala 함수 API에 대한 누락된 @varargs Scala 주석 추가
• [SPARK-51155] [CORE] 중지 후 SparkContext 총 런타임 표시
• [SPARK-51140] [SC-188487][ml] 저장하기 전에 매개 변수 정렬
• [SPARK-51135] [SC-188392][sql] ANSI 모드용 ViewResolverSuite 수정
• [SPARK-51057] [SC-188191][ss] 값 상태에 대한 scala 옵션 기반 변형 API 제거
• [SPARK-51131] [SC-188359][sql] SQL 스크립트가 EXECUTE IMMEDIATE 명령 내에서 발견되면 예외가 발생함
• [SPARK-51048] [SC-188369][core] 종료 코드를 사용하여 java Spark 컨텍스트 중지 지원
• [SPARK-50234] [SC-181433][python][SQL] 오류 메시지 개선 및 데이터 프레임 API 변환 테스트
• [SPARK-51074] [SC-188153][ss][CONNECT] 스트리밍 foreachBatch에서 init 구성을 통신하기 위한 시간 제한 설정
• [SPARK-48353] [SC-187986][sql] SQL 스크립팅의 예외 처리 메커니즘 소개
• [SPARK-50596] [SC-184060][python] Py4J를 0.10.9.7에서 0.10.9.8로 업그레이드
• [SPARK-51043] [SC-187928][ss][CONNECT] Spark Connect foreachBatch에 대한 세분화된 사용자 로그 기록
• [SPARK-51084] [ES-1336002][sc-188171][SQL] negativeScaleNotAllowedError 적절한 오류 클래스 할당
• [SPARK-51042] [SC-188216][sql] Unsafe* 클래스에서 한 번의 호출로 간격의 월 및 일 필드를 읽고 씁니다.
• [SPARK-51010] [SC-188188][sql] AlterColumnSpec이 해결된 상태를 올바르게 보고하지 않음 수정
• [SPARK-50799] [SC-188169][python] rlike, length, octet_length, bit_length 및 transform의 문서 설명 개선
• [SPARK-51061] [SC-187910][core] REST 제출 API에서 Jetty 정보 숨기기
• [SPARK-51055] [SC-187993][ss][CONNECT] 스트리밍 foreachBatch는 try 내부에서 초기화 로직을 호출해야 합니다.
• [SPARK-50982] [SC-188059][sql] 단일 패스 분석기에서 더 많은 SQL/DataFrame 읽기 경로 기능을 지원합니다.
• [SPARK-51081] [SC-188092][sql] 단일 패스 해석기용 Join.output 리팩터링
• [SPARK-51064] [SC-188039][sql] 기본적으로 spark.sql.sources.v2.bucketing.enabled 사용
• [SPARK-50883] [LC-5998][sc-187120][SQL] 동일한 명령에서 여러 열 변경 지원
• [SPARK-51034] [SC-187985][sql] JSON 통계 사전에 대해 구문 분석 가능하도록 서식 재구성
• [SPARK-51058] [SC-187961][python] jvm을 사용하지 않습니다. SparkSession
• [SPARK-51056] [SC-187871][python] SparkSession.getActiveSession에서 불필요한 개체 생성을 방지합니다.
• [SPARK-50967] [SC-187860][ss] FMGWS 연산자 내에서 초기 상태 키 내보내기를 건너뛰는 옵션 추가
• [SPARK-50813] [SC-186457][sql] SQL 스크립트 내에서 정규화되지 않은 레이블 이름만 허용
• [SPARK-50858] [SC-187399][python] Python UDF 스택 추적을 숨기는 구성 추가
• [SPARK-50853] [SC-187219][core] 임시 셔플 파일 쓰기 채널 닫기
• [SPARK-50663] [SC-187541][sql] IF ELSE 문에 대한 문법 수정(ELSE IF -> ELSEIF)
• [SPARK-51027] [SC-187502][sql] 비 테스트 환경에서 HiveClient.runSqlHive 호출 방지
• [SPARK-50977] [SC-187400][sc-187006][CORE] 누적기 결과 집계를 수행하는 논리의 가용성 향상
• [SPARK-51001] [SC-187442][sql] arrayEquals 구체화
• [SPARK-50962] [SC-187168][sql] AttributeNameParser에서 StringIndexOutOfBoundsException 방지
• [SPARK-50683] [SC-184728][sql] 한 번 사용될 경우 With 절의 공통 표현식을 인라인 처리하기
• [SPARK-50959] [SC-187139][ml][PYTHON] JavaWrapper 예외를 무시한다.델
• [SPARK-50558] [SC-187337][sql] ExpressionSet에 simpleString 소개
• [SPARK-50648] [SC-184706][core] 작업이 취소될 때 실행 중이 아닌 단계의 좀비 작업 정리
• [SPARK-50990] [SC-187316][sql] UpCast에서 Analyzer 해상도를 리팩터링
• [SPARK-49491] [SC-184714][sql] AnyRefMap을 HashMap으로 바꾸기
• [SPARK-50685] [SC-186941][python] getattr을 활용하여 Py4J 성능 향상
• [SPARK-50688] [SC-184666][sql] xml 쓰기 경로에 없는 rowTag에 대한 모호성 제거
• [SPARK-50976] [SC-187265][ml][PYTHON] TargetEncoder 저장/로드 문제 해결
• [SPARK-49639] [SC-187297][sql] INVALID_INTERVAL_WITH_MICROSECONDS_ADDITION에서의 ANSI 구성 제안 제거
• [SPARK-50118] [SC-187110]되돌리기 "[CONNET] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정"
• [SPARK-47579] [16.x][sc-166971][CORE][part3] Spark core: 구조적 로깅 프레임워크에 변수를 사용하여 logInfo 마이그레이션
• [SPARK-50669] [SC-184566][es-1327450][PHOTON][test-only] 긴 형식의 TimestampAdd 식에 대한 광자 단위 테스트 확장
• [SPARK-50909] [SC-187119][python] PythonPlannerRunners에서 장애 처리기 설정
• [SPARK-50774] [SC-186349][sql] 데이터 정렬 이름을 한 곳에서 중앙 집중화
• [SPARK-50804] [SC-186684][sql] to_protobuf()는 MatchError를 throw해서는 안 됩니다.
• [SPARK-50957] [SC-187136][protobuf] protobuf.utils.SchemaConverters private로 만들기
• [SPARK-50900] [SC-186948][ml][CONNECT] ProtoDataTypes에 VectorUDT 및 MatrixUDT 추가
• [SPARK-50895] [SC-186998][sql] 기본 문자열 형식을 생성하는 식에 대한 공통 인터페이스 만들기
• [SPARK-50558] [SC-184216][sql] InSet 및 In의 요소 수에 대한 구성 가능한 로깅 제한 추가
• [SPARK-50875] [SC-186951][sql][16.x] TVF에 RTRIM 데이터 정렬 추가
• [SPARK-50579] [SC-183826][sql] 문제 수정 truncatedString

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

• 운영 체제: Ubuntu 24.04.2 LTS
  • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. Databricks 런타임 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• 델타 레이크: 3.3.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2024-08-04에 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)