Databricks Runtime 16.2(EoS)

다음 릴리스 정보는 Apache Spark 3.5.2에서 제공하는 Databricks Runtime 16.2에 대한 정보를 제공합니다.

Databricks는 2025년 2월에 이 버전을 릴리스했습니다.

동작 변경

이제 ANALYZE에서 지원되지 않는 형식의 열 건너뛰기

ANALYZE TABLE 지원되지 않는 형식(예: ARRAY 또는 MAP.)이 있는 테이블에서 실행할 때 더 이상 오류 메시지가 표시되지 않습니다. 지원되지 않는 열은 이제 자동으로 건너뜁니다. 이러한 오류를 예상하는 논리를 구현한 사용자는 코드를 업데이트해야 합니다.

델타 공유에서 테이블 기록은 기본적으로 사용하도록 설정됩니다.

이제 SQL 명령 ALTER SHARE <share> ADD TABLE <table> 사용하여 만든 공유에는 기본적으로 기록 공유(WITH HISTORY)가 사용하도록 설정됩니다. ALTER SHARE을(를) 참조하세요.

자격 증명 형식이 일치하지 않으면 자격 증명 SQL 문이 오류를 반환합니다.

이 릴리스에서는 자격 증명 관리 SQL 문에 지정된 자격 증명 형식이 자격 증명 인수의 형식과 일치하지 않으면 오류가 반환되고 문이 실행되지 않습니다. 예를 들어 문 DROP STORAGE CREDENTIAL 'credential-name'경우 credential-name 스토리지 자격 증명이 아니면 오류가 발생하여 문이 실패합니다.

이 변경 내용은 사용자 오류를 방지하기 위해 수행됩니다. 이전에는 지정된 자격 증명 형식과 일치하지 않는 자격 증명이 전달된 경우에도 이러한 문이 성공적으로 실행되었습니다. 예를 들어, 다음 문장은 storage-credential를 성공적으로 삭제합니다: DROP SERVICE CREDENTIAL storage-credential.

이 변경 내용은 다음 문에 영향을 줍니다.

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT...ON...자격 증명
• REVOKE...ON...자격 증명
• SHOW GRANTS 자격 증명 관련

새로운 기능 및 향상 기능

• 를 사용하여 사용자 지정 상태 저장 애플리케이션 빌드 transformWithState
• 서비스 자격 증명을 사용하여 클라우드 개체 스토리지에 인증
• Unity 카탈로그가 관리하는 외부 클라우드 서비스에 서비스 자격 증명을 사용하여 접근하는 기능이 이제 공식적으로 출시되었습니다.
• Notebook은 작업 영역 파일로 지원됩니다.
• timestampdiff timestampadd 생성된 열 식 사용
• SQL 파이프라인 구문 지원
• 함수를 사용하여 HTTP 요청 만들기 http_request
• 구조화된 JSON으로 메타데이터를 반환하도록 DESCRIBE TABLE 업데이트
• 후행 빈 둔감한 데이터 정렬
• 버킷 분할을 사용하여 Apache Iceberg 테이블을 분할되지 않은 델타 테이블로 변환
• 표준 액세스 모드(이전의 공유 액세스 모드) 컴퓨팅은 이제 Spark Scala 메서드 foreach를 foreachBatch지원합니다. flatMapGroupsWithState

를 사용하여 사용자 지정 상태 저장 애플리케이션 빌드 transformWithState

이제 API 및 관련 API를 사용하여 transformWithState 구조적 스트리밍 쿼리의 일부로 사용자 지정 상태 저장 애플리케이션을 구현할 수 있습니다. 사용자 지정 상태 저장 애플리케이션 빌드를 참조하세요.

서비스 자격 증명을 사용하여 클라우드 개체 스토리지에 인증

이제 Databricks 서비스 자격 증명을 사용하여 자동 로더를 사용하여 클라우드 개체 스토리지에 인증할 수 있습니다. 파일 알림 모드에서 자동 로더 스트림 구성을 참조하세요.

서비스 자격 증명을 사용하여 외부 클라우드 서비스에 대한 Unity 카탈로그 관리 액세스는 이제 GA입니다.

서비스 자격 증명을 사용하면 Azure Databricks에서 클라우드 테넌트의 서비스를 사용하여 간단하고 안전한 인증을 수행할 수 있습니다. Databricks Runtime 16.2를 사용하면 서비스 자격 증명을 일반적으로 사용할 수 있으며 이제 공개 미리 보기에서 지원된 Python SDK 외에도 Scala SDK를 지원합니다. 서비스 자격 증명 만들기를 참조하세요.

Notebook은 작업 영역 파일로 지원됩니다.

Databricks Runtime 16.2 이상에서는 Notebook이 작업 영역 파일로 지원됩니다. 이제 다른 파일과 같은 전자 필기장 작성, 읽기 및 삭제를 포함하여 작업 영역 파일 시스템을 사용할 수 있는 모든 위치에서 전자 필기장과 프로그래밍 방식으로 상호 작용할 수 있습니다. 자세한 내용은 프로그래밍 방식으로 파일 및 디렉터리 만들기, 업데이트 및 삭제를 참조하세요.

생성된 열 식에서 timestampdiff & timestampadd 사용

Databricks Runtime 16.2 이상에서는 Delta Lake에서 생성된 열 식에서 타임스탬프디프 및 timestampadd 함수를 사용할 수 있습니다. Delta Lake에서 생성된 열을 참조하세요.

SQL 파이프라인 구문 지원

Databricks Runtime 16.2 이상에서는 SQL 파이프라인을 작성할 수 있습니다. SQL 파이프라인은 다음 예제와 같이 SELECT c2 FROM T WHERE c1 = 5같은 표준 쿼리를 단계별 시퀀스로 구성합니다.

FROM T
|> SELECT c2
|> WHERE c1 = 5

SQL 파이프라인에 대해 지원되는 구문에 대해 알아보려면 SQL Pipeline 구문참조하세요.

이 업계를 아우르는 확장에 대한 배경 정보는 "SQL 문제점과 해결 방안: SQL에서의 파이프 문법" (Google Research)을 참조하세요.

http_request 함수를 사용하여 HTTP 요청 만들기

Databricks Runtime 16.2 이상에서는 HTTP 연결을 만들고 이를 통해 http_request 함수를 사용하여 HTTP 요청을 만들 수 있습니다.

DESCRIBE TABLE 업데이트는 메타데이터를 구조적 JSON으로 반환합니다.

Databricks Runtime 16.2 이상에서는 이 명령을 사용하여 DESCRIBE TABLE AS JSON 테이블 메타데이터를 JSON 문서로 반환할 수 있습니다. JSON 출력은 사람이 읽을 수 있는 기본 보고서보다 구조화되어 있으며 테이블의 스키마를 프로그래밍 방식으로 해석하는 데 사용할 수 있습니다. 자세한 내용은 AS JSON DESCRIBE TABLE 참조하세요.

후행 공백을 무시하는 비교 정렬

Databricks Runtime 16.2는 빈 데이터 정렬 후행에 대한 지원을 추가하여 Databricks Runtime 16.1에 추가된 데이터 정렬 지원을 추가합니다. 예를 들어 이러한 정렬 방식은 'Hello'과 'Hello '을 동일하게 간주합니다. 자세한 내용은 RTRIM 데이터 정렬 참조하세요.

버킷 분할을 사용하여 Apache Iceberg 테이블을 분할되지 않은 델타 테이블로 변환

이제 and CONVERT TO DELTA 문은 CREATE TABLE CLONE 버킷 분할을 사용하여 Apache Iceberg 테이블을 분할되지 않은 델타 테이블로 변환하도록 지원합니다.

표준 액세스 모드(이전의 공유 액세스 모드) 컴퓨팅은 이제 Spark Scala 메서드 foreach를 foreachBatch지원합니다. flatMapGroupsWithState

Databricks Runtime 16.2 이상에서 표준 액세스 모드 컴퓨팅은 이제 Scala 메서드 DataStreamWriter.foreachBatch 및 KeyValueGroupedDataset.flatMapGroupsWithState. Databricks Runtime 16.1 이상에서 표준 액세스 모드 컴퓨팅은 이제 Scala 메서드 DataStreamWriter.foreach를 지원합니다.

버그 수정

향상된 증분 클론 처리

이 릴리스에는 증분 CLONE 원본 테이블에서 대상 테이블로 이미 복사한 파일을 다시 복사할 수 있는 에지 사례에 대한 수정 사항이 포함되어 있습니다. Azure Databricks에서 테이블 복제를참조하세요.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리:
  • org.json4s.json4s-ast_2.12부터 3.7.0-M11~ 4.0.7
  • org.json4s.json4s-core_2.12부터 3.7.0-M11~ 4.0.7
  • org.json4s.json4s-jackson_2.12부터 3.7.0-M11~ 4.0.7
  • org.json4s.json4s-scalap_2.12부터 3.7.0-M11~ 4.0.7

Apache Spark

Databricks Runtime 16.2에는 Apache Spark 3.5.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 16.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-49966] 되돌리기 "[SC-179501][sql] 구현Invoke에 사용 JsonToStructs (from_json)"
• [SPARK-50904] [SC-186976][sql] 데이터 정렬 식 워커 쿼리 실행 수정
• [SPARK-49666] [SQL] InSet 식에 대한 트리밍 테스트 사용
• [SPARK-50669] [SC-184566][es-1327450][SQL] TimestampAdd 식의 서명 변경
• [SPARK-50795] [16.x][sc-186719][SQL] LinkedHashMap의 long 형식으로 describe 타임스탬프 저장
• [SPARK-50870] [SC-186950][sql] V2ScanRelationPushDown에서 타임스탬프로 캐스팅할 때 표준 시간대 추가
• [SPARK-50735] [SC-186944][connect] ExecuteResponseObserver에서 실패하면 무한 다시 연결 요청이 발생합니다.
• [SPARK-50522] [SC-186500][sql] 확정되지 않은 데이터 정렬 지원
• [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions 최적화 프로그램 규칙 정의
• [SPARK-50679] [SC-184572][sql] 다른 With의 중복된 공통 식은 한 번만 프로젝트되어야 합니다.
• [SPARK-50847] [SC-186916] [SQL] ApplyCharTypePadding이 특정 In 식에 적용되지 않도록 거부
• [SPARK-50714] [SC-186786][sql][SS] Avro 인코딩을 사용할 때 TransformWithState에 대한 스키마 진화 사용
• [SPARK-50795] [SC-186390][sql] ISO-8601 형식 및 형식으로 모든 DESCRIBE AS JSON 날짜 표시 dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: UNIFORM SQL 함수에 대한 형식 강제 변환 및 경계 검사 개선
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog 매직 값 지원 builtin
• [SPARK-50831] [SC-186736][sql] 기본적으로 트리밍 데이터 정렬 사용
• [SPARK-50263] [SC-186793][connect] 바꾸기 System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [SC-184926][sql] SQL 스칼라 및 테이블 함수용 CreateSQLFunctionCommand 구현
• [SPARK-50830] [SC-186718] [SQL] 이중 실행 분석 결과로 단일 패스 결과 반환
• [SPARK-50707] [SC-186098][sql] char/varchar로/에서 캐스팅 사용
• [SPARK-49490] [SC-182137][sql] initCap에 대한 벤치마크 추가
• [SPARK-50529] [SC-184535][sql] 구성에서 spark.sql.preserveCharVarcharTypeInfo char/varchar 동작 변경
• [SPARK-49632] [SC-184179][sql] CANNOT_PARSE_TIMESTAMP ANSI 구성 제안 제거
• [SPARK-50815] [SC-186487][python][SQL] createDataFrame에서 null Variant를 전달하면 실패하고 Spark Connect의 createDataFrame에서 Variant 지원을 추가하는 버그 수정
• [SPARK-50828] [SC-186493][python][ML][connect] 사용되지 않음 pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] 분석 실패 시 분석된 설정
• [SPARK-50824] [SC-186472][python] 검사를 위해 선택적 Python 패키지를 가져오지 않습니다.
• [SPARK-50755] [SC-185521][sql] InsertIntoHiveTable에 대한 꽤 계획 표시
• [SPARK-50789] [SC-186312][connect] 형식화된 집계에 대한 입력을 분석해야 합니다.
• [SPARK-50791] [SC-185867][sc-186338][SQL] 상태 저장소 오류 처리에서 NPE 수정
• [SPARK-50801] [SC-186365] [SQL] 확인되지 않고 해결된 계획만 표시되도록 개선 PlanLogger.logPlanResolution
• [SPARK-50749] [SC-185925][sql] CommutativeExpression.gatherCommutative 메서드의 정렬 버그 수정
• [SPARK-50783] [SC-186347] DFS에서 JVM 프로파일러 결과 파일 이름 및 레이아웃 정식화
• [SPARK-50790] [SC-186354][python] pyspark에서 구문 분석 json 구현
• [SPARK-50738] [SC-184856][python] 검은색을 23.12.1로 업그레이드
• [SPARK-50764] [SC-185930][python] xpath 관련 메서드의 문서 문자열 구체화
• [SPARK-50798] [SC-186277][sql] 개선 NormalizePlan
• [SPARK-49883] [SC-183787][ss] RocksDB 및 RocksDBFileManager와의 상태 저장소 체크포인트 구조 V2 통합
• [SPARK-50779] [SC-186062][sql] 개체 수준 데이터 정렬에 대한 기능 플래그 추가
• [SPARK-50778] [SC-186183][python] PySpark DataFrame에 metadataColumn 추가
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: 파이프 SQL 연산자를 사용하여 자동 생성 식 별칭 개선
• [SPARK-50541] [16.x][sc-184937] 테이블을 JSON으로 설명
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: 테이블 별칭 유지 후 SET, EXTEND, DROP 연산자
• [SPARK-50769] [SC-185919][sql] HistogramNumeric에서 ClassCastException 수정
• [SPARK-49025] [SC-174667] DBR에 델타 코드 차이 동기화
• [SPARK-50752] [SC-185547][python][SQL] 화살표 없이 Python UDF 튜닝을 위한 구성 소개
• [SPARK-50705] [SC-185944][sql] QueryPlan 잠금 해제
• [SPARK-50690] [16.x][sc-184640][SQL] 따옴표로 묶은 뷰 쿼리 출력 열의 DESCRIBE TABLE 불일치 수정
• [SPARK-50746] [SC-184932][sql] VariantPathSegment로 대체합니다.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder 는 구성을 일괄 처리로 설정합니다.
• [SPARK-50480] [SC-183359][sql] StringType에서 CharType 및 VarcharType 확장
• [SPARK-50675] [SC-184539][sql] 테이블 및 뷰 수준 데이터 정렬 지원
• [SPARK-50409] [SC-184516][sql] 끝부 ;SET; 분에 무시 SET -v; 하도록 set 문을 수정하고SET key;
• [SPARK-50743] [SC-185528][sql] CTERelationDef 및 CTERelationRef ID 정규화
• [SPARK-50693] [SC-184684][connect] TypedScalaUdf에 대한 입력을 분석해야 합니다.
• [SPARK-50744] [SC-184929][sql] 보기/CTE 이름 확인 우선 순위에 대한 테스트 사례 추가
• [SPARK-50710] [SC-184767][connect] 릴리스 후 세션에 대한 선택적 클라이언트 다시 연결에 대한 지원 추가
• [SPARK-50703] [SC-184843][python] regexp_replace, regexp_substr 및 regexp_instr 문서 작성 구체화
• [SPARK-50716] [SC-184823][core] 메서드의 JavaUtils.deleteRecursivelyUsingJavaIO 기호화된 링크에 대한 정리 논리 수정
• [SPARK-50630] [SC-184443][sql] 파이프 SQL AGGREGATE 연산자 서수 지원 수정 GROUP BY
• [SPARK-50614] [SC-184729][sql] Parquet에 대한 변형 파쇄 지원 추가
• [SPARK-50661] [SASP-4936] 이전 클라이언트 FEB에 대한 이전 버전과의 호환성을 추가합니다.
• [SPARK-50676] [SC-184641][sql] 사용되지 private lazy val mapValueContainsNull 않는 항목 제거 ElementAt
• [SPARK-50515] [SC-183813][core] 읽기 전용 인터페이스 추가 SparkConf
• [SPARK-50697] [SC-184702][sql] 가능한 경우 비상 재귀 사용
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]초기 상태가 없는 경우 Spark Connect에서 FlatMapGroupsWithState의 상태 스키마 수정
• [SPARK-50701] [SC-184704][python] 그리기를 수행하려면 최소 플롯 버전이 필요합니다.
• [SPARK-50702] [SC-184727][python] regexp_count, regexp_extract 및 regexp_extract_all 문서 작성 구체화
• [SPARK-50499] [SC-184177][python] BasePythonRunner의 메트릭 노출
• [SPARK-50692] [SC-184705][16.x] RPAD 푸시다운 지원 추가
• [SPARK-50682] [SC-184579][sql] 내부 별칭을 정식화해야 합니다.
• [SPARK-50699] [SC-184695][python] 지정된 세션을 사용하여 DDL 문자열 구문 분석 및 생성
• [SPARK-50573] [SC-184568][ss] 상태 행에 상태 스키마 ID를 스키마 진화에 추가
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Spark Connect Scala foreachBatch impl을 수정합니다. 데이터 세트[T]를 지원합니다.
• [SPARK-50689] [SC-184591][sql] LCA 프로젝트 목록에서 결정적 순서 적용
• [SPARK-50696] [SC-184667][python] DDL 구문 분석 메서드에 대한 Py4J 호출 최적화
• [SPARK-49670] [SC-182902][sql] 모든 통과 식에 트리밍 데이터 정렬 사용
• [SPARK-50673] [SC-184565][ml] 생성자에서 Word2VecModel 모델 계수를 두 번 트래버스하지 않습니다.
• [SPARK-50687] [SC-184588][python] DataFrameQueryContext에 대한 스택 추적을 가져오는 논리 최적화
• [SPARK-50681] [SC-184662][python][CONNECT] MapInXXX 및 ApplyInXXX에 대한 구문 분석된 스키마 캐시
• [SPARK-50674] [SC-184589][python] UDTF 평가에서 'terminate' 메서드 존재에 대한 검사 수정
• [SPARK-50684] [SC-184582][python] DataFrameQueryContext에서 Py4J 성능 향상
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] TransformWithStateInPandas에 대한 새 버전의 상태 메타데이터에 대한 지원 추가
• [SPARK-50602] [SC-184439][sql] 잘못된 인덱스 열을 지정할 때 적절한 오류 메시지를 표시하도록 transpose 수정
• [SPARK-50650] [SC-184532][sql] 단일 패스 분석기에서 로깅 개선
• [SPARK-50665] [SC-184533][sql] NormalizePlan에서 LocalRelation을 ComparableLocalRelation으로 대체
• [SPARK-50644] [SC-184486][sql] Parquet 판독기에서 변형 구조체를 읽습니다.
• [SPARK-49636] [SC-184089][sql] INVALID_ARRAY_INDEX 및 INVALID_ARRAY_INDEX_IN_ELEMENT_AT ANSI 구성 제안 제거
• [SPARK-50659] [SC-184514][sql] 단일 패스 분석기에서 다시 사용할 리팩터링 공용 구조체 출력 계산
• [SPARK-50659] [SC-184512][sql] Union 관련 오류를 QueryCompilationErrors로 이동
• [SPARK-50530] [SC-183419][sql] 잘못된 암시적 문자열 형식 컨텍스트 계산 수정
• [SPARK-50546] [SC-183807][sql] 데이터 정렬 형식 강제 변환에 하위 쿼리 캐스트 지원 추가
• [SPARK-50405] [SC-182889][sql] 복잡한 데이터 형식의 데이터 정렬 형식 강제 변환을 올바르게 처리
• [SPARK-50637] [SC-184434][sql] 단일 패스 분석기 코드 스타일 수정
• [SPARK-50638] [SC-184435][sql] 뷰 해상도를 별도의 파일로 리팩터링하여 단일 패스 분석기에서 다시 사용
• [SPARK-50615] [SC-184298][sql] 변형을 검사에 푸시합니다.
• [SPARK-50619] [SC-184210][sql] VariantGet.cast를 리팩터링하여 캐스트 인수 압축
• [SPARK-50599] [SC-184058][sql] Avro 및 UnsafeRow 인코딩을 허용하는 DataEncoder 특성 만들기
• [SPARK-50076] [SC-183809] 로그 키 수정
• [SPARK-50597] [SC-183972][sql] Optimizer.scala 및 SparkOptimizer.scala에서 일괄 처리 리팩터링 생성
• [SPARK-50339] [SC-183063][spark-50360][SS] 변경 로그를 사용하여 계보 정보 저장
• [SPARK-50526] [SC-183811][ss] 오프셋 로그에 저장소 인코딩 형식 conf를 추가하고 지원되지 않는 상태 저장 연산자가 avro를 사용하지 못하도록 차단
• [SPARK-50540] [SC-183810][python][SS] StatefulProcessorHandle에 대한 문자열 스키마 수정
• [SPARK-50157] [SC-183789][sql] SparkSession에서 제공하는 SQLConf를 먼저 사용합니다.
• [SPARK-48898] [SC-183793][sql] Variant 스키마에서 null 허용 여부가 올바르게 설정됨
• [SPARK-50559] [SC-183814][sql] Store Except, Intersect 및 Union의 출력을 지연 vals로
• [SPARK-48416] [SC-183643][sql] 중첩된 상관 관계 식 지원
• [SPARK-50428] [SC-183566][ss][PYTHON] 일괄 처리 쿼리에서 TransformWithStateInPandas 지원
• [SPARK-50063] [SC-183350][sql][CONNECT] Spark Connect Scala 클라이언트에서 Variant에 대한 지원 추가
• [SPARK-50544] [SC-183569][python][CONNECT] 구현 StructType.toDDL
• [SPARK-50443] [SC-182590][ss] RocksDBStateStoreProvider에서 Guava 캐시에 의해 도입된 Maven 빌드 오류 수정
• [SPARK-50491] [SC-183434][sql] 빈 BEGIN END 블록이 오류를 throw하는 버그 수정
• [SPARK-50536] [SC-183443][core] 다운로드한 보관 파일 크기 및 SparkContextExecutor
• [SPARK-45891] [SC-183439][sql] 조각화된 데이터에서 변형 이진 파일을 다시 작성합니다.
• [SPARK-49565] [SC-183465][sql] FROM 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-50497] [SC-183338][sql] MultiAlias에 비 생성기 함수가 포함된 경우 적절한 메시지로 쿼리 실패
• [SPARK-50460] [SC-183375][python][CONNECT] Connect 예외 처리를 일반화하고 간소화
• [SPARK-50537] [SC-183452][connect][PYTHON] 압축 옵션을 덮어쓰는 수정 df.write.parquet
• [SPARK-50329] [SC-183358][sql] 수정 InSet$toString
• [SPARK-50524] [SC-183364][sql] 디버그 수준에 대한 낮은 RowBasedKeyValueBatch.spill 경고 메시지
• [SPARK-50528] [SC-183385][연결] 일반 모듈로 이동 InvalidCommandInput
• [SPARK-50017] [SC-182438][ss] TransformWithState 연산자에 대한 Avro 인코딩 지원
• [SPARK-50463] [SC-182833][sql] Columnar를 행으로 변환하여 수정 ConstantColumnVector
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec의 모든 행을 처리한 후 ColumnVector 리소스 정리
• [SPARK-50516] [SC-183279][ss][MINOR] StreamManualClock을 사용하도록 init 상태 관련 테스트 수정
• [SPARK-50478] [SC-183188][sql] StringType 일치 수정
• [SPARK-50492] [SC-183177][ss] dropDuplicatesWithinWatermark 이후 이벤트 시간 열이 삭제될 때 java.util.NoSuchElementException 수정
• [SPARK-49566] [SC-182589][sql] 연산자에 SET 대한 SQL 파이프 구문 추가
• [SPARK-50449] [SC-183178][sql] 루프, IF 및 CASE에 빈 본문을 허용하는 SQL 스크립팅 문법 수정
• [SPARK-50251] [SC-180970][python] PySpark에 추가 getSystemPropertySparkContext
• [SPARK-50421] [SC-183091][core] 여러 리소스 프로필이 작동할 때 실행기 관련 메모리 구성이 잘못되었습니다.
• [SPARK-49461] [SC-179572][ss] 영구 검사점 ID를 사용하여 로그를 커밋하고 다시 읽습니다.
• [SPARK-50343] [SC-183119][spark-50344][SQL] DROP 및 AS 연산자의 SQL 파이프 구문 추가
• [SPARK-50481] [SC-182880][core] 체크섬을 사용하지 않도록 설정된 경우 체크섬 파일 논리를 건너뛰도록 개선 SortShuffleManager.unregisterShuffle
• [SPARK-50498] [SC-183090][python] 불필요한 py4j 호출 방지 listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] 다음 자체 조인 수정 applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres의 xor 푸시다운 수정

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

유지 관리 업데이트

Databricks Runtime 16.2 유지 관리 업데이트를 참조하세요.

시스템 환경

• 운영 체제: Ubuntu 24.04.1 LTS
  • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. Databricks 런타임 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• 델타 레이크: 3.3.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2024-08-04 https://packagemanager.posit.co/cran/2024-08-04/의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)