Databricks Runtime 14.2(EoS)

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.2에 대한 정보를 제공합니다.

Databricks는 2023년 11월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• CACHE SELECT 이제 무시됩니다.
• 향상된 캐싱 동작
• DML 명령의 손상된 파일 처리 수정
• 공유 클러스터에서 protobuf 및 Avro 관련 함수에 대한 스키마 레지스트리 지원
• foreachBatch 및 StreamingListener 지원
• 행 수준 동시성은 일반적으로 사용 가능하며 기본적으로 켜집니다.
• 델타 공유: 받는 사람은 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다(공개 미리 보기).
• Unity 카탈로그 외부 테이블에 대한 단순 클론(공개 미리 보기)
• 새 디스크 캐싱 할당 알고리즘
• from_avro 스키마 레지스트리 커넥터를 사용하여 스키마 진화 지원 추가
• 더 빠른 다중 스레드 통계 수집
• 델타 파일의 DeltaSource에 있는 푸시다운 필터
• 공유 클러스터에서 Scala 스칼라 사용자 정의 함수 지원(공개 미리 보기)

CACHE SELECT 이제 무시됩니다.

이제 SQL 명령은 CACHE SELECT 향상된 캐싱 알고리즘을 위해 무시됩니다. Azure Databricks에서 캐싱을 사용하여 성능 최적화를 참조하세요.

향상된 캐싱 동작

Spark 스케줄러에 의한 DiskCache 배치는 이제 더 빠른 파티션 할당, 클러스터 자동 크기 조정 중 더 나은 분산 및 보다 일관된 쿼리 실행을 제공합니다.

DML 명령의 손상된 파일 처리 수정

DML 명령 및 DELETEUPDATEMERGE INTO 더 이상 읽기 옵션 ignoreCorruptFiles 및 .ignoreMissingFiles 테이블에서 읽을 수 없는 파일이 발견되면 이러한 옵션이 지정된 경우에도 이러한 명령이 실패합니다.

공유 클러스터에서 protobuf 및 Avro 관련 함수에 대한 스키마 레지스트리 지원

이제 공유 클러스터에서 from_avro스키마 레지스트리와 함께 , to_avrofrom_protobuf및 to_protobuf Python 함수를 사용할 수 있습니다.

foreachBatch 및 StreamingListener 지원

이제 공유 클러스터에서 foreachBatch() 구조적 스트리밍과 함께 API 및 StreamingListener API를 사용할 수 있습니다. foreachBatch를 사용하여 Azure Databricks의 임의 데이터 싱크 및 모니터링 구조적 스트리밍 쿼리에 쓰기를 참조하세요.

행 수준 동시성은 일반적으로 사용 가능하며 기본적으로 켜집니다.

행 수준 동시성은 행 수준에서 변경 내용을 검색하여 동시 쓰기 작업 간의 충돌을 줄입니다. 행 수준 동시성은 분할 없이 테이블에서만 지원되며, 여기에는 액체 클러스터링이 있는 테이블이 포함됩니다. 행 수준 동시성은 삭제 벡터를 사용하도록 설정된 델타 테이블에서 기본적으로 사용하도록 설정됩니다. 행 수준 동시성과의 쓰기 충돌을 참조하세요.

델타 공유: 받는 사람은 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다(공개 미리 보기).

이제 델타 공유 받는 사람은 삭제 벡터를 사용하는 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다. Databricks Runtime 14.1에서는 일괄 처리 쿼리만 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기를 참조하세요.

Unity 카탈로그 외부 테이블에 대한 단순 클론(공개 미리 보기)

이제 Unity 카탈로그 외부 테이블과 함께 단순 클론을 사용할 수 있습니다. Unity 카탈로그 테이블의 단순 복제본을 참조 하세요.

새 디스크 캐싱 할당 알고리즘

이제 Spark 스케줄러는 새 디스크 캐싱 알고리즘을 사용합니다. 이 알고리즘은 초기 및 클러스터 크기 조정 이벤트 후에 더 빠른 할당을 통해 노드 간에 디스크 사용량 및 파티션 할당을 개선합니다. 스티커 캐시 할당은 실행 간에 일관성을 향상시키고 리밸런싱 작업 중에 이동된 데이터를 줄입니다.

from_avro 스키마 레지스트리 커넥터를 사용하여 스키마 진화 지원 추가

이제 진화된 레코드가 검색되면 파이프라인을 다시 시작하도록 설정할 수 있습니다. 이전에는 커넥터에서 스키마가 from_avro 진화한 경우 새 열이 반환 null됩니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조 하세요.

더 빠른 다중 스레드 통계 수집

작은 클러스터에서 CONVERT TO DELTA 실행하거나 Apache Iceberg 및 Parquet 테이블에서 복제할 때 통계 수집이 최대 10배 더 빠릅니다. Delta Lake 및 Clone Parquet 및 Iceberg 테이블로 변환을 참조하세요.

델타 파일의 DeltaSource에 있는 푸시다운 필터

더 나은 사용률을 위해 델타 테이블 스트리밍 쿼리의 파티션 필터는 이제 속도 제한 전에 델타로 푸시됩니다.

공유 클러스터에서 Scala 스칼라 사용자 정의 함수 지원(공개 미리 보기)

이제 공유 액세스 모드로 구성된 Unity 카탈로그 사용 클러스터에서 Scala 스칼라 사용자 정의 함수를 사용할 수 있습니다. 사용자 정의 스칼라 함수 - Scala를 참조하세요.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • fastjsonschema 2.18.0에서 2.19.0으로
  • filelock를 3.12.3에서 3.12.4로 업데이트
  • googleapis-common-protos 1.60.0에서 1.61.0까지
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리:

Apache Spark

Databricks Runtime 14.2에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-45592] [DBRRM-624] 되돌리기 "[SC-146977][sql] InMemoryTableScanExec를 사용하는 AQE의 정확성 문제"
• [SPARK-45524] [DBRRM-625] “[SC-146319][python][SQL] 초기 지원 되돌리기”
• [SPARK-45433] [DBRRM-621] 복원 "[SC-145163][sql] CSV/JSON 스키마 유추 수정"
• [SPARK-45592] [SC-146977][sql] InMemoryTableScanExec를 사용한 AQE의 정확성 문제
• [SPARK-45354] 되돌리기 "[SC-143991][sql] 함수 하향식 해결"
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] 테스트 수정
• [SPARK-45680] [CONNECT] 릴리스 세션
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro 읽기의 속도 저하 수정
• [SPARK-45649] [SC-146742][sql] 준비 프레임워크 통합 OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Json에서 StructType 만들기
• [SPARK-45620] [SC-146225][python] CamelCase를 사용하도록 Python UDTF와 관련된 사용자 연결 API 수정
• [SPARK-45727] [SC-146978][ss] 워터마크 전파 시뮬레이션에서 사용되지 않는 맵 제거
• [SPARK-45723] [SC-146890][python][CONNECT] 카탈로그 메서드가 pandas 변환을 피합니다.
• [SPARK-45574] [SC-146106][sql] 캐스팅의 약식으로 :: 구문 추가하기
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit는 K8에 배포할 때 지원하지 --total-executor-cores 않습니다.
• [SPARK-45661] [SC-146594][sql][PYTHON] StructType, MapType 및 ArrayType에서 toNullable 추가
• [SPARK-45524] [SC-146319][python][SQL] Python 데이터 원본 읽기 API에 대한 초기 지원
• [SPARK-45542] [SC-145892][core] setSafeMode(HdfsConstants.SafeModeAction, boolean)을(를) setSafeMode(SafeModeAction, boolean)으로 교체하기
• [SPARK-45652] [SC-146641][sql] SPJ: 동적 필터링 후 빈 입력 파티션 처리
• [SPARK-45454] [SC-144846][sql] 테이블의 기본 소유자를 current_user로 설정합니다.
• [SPARK-45554] [SC-146875][python] 유연한 매개변수 도입하기 assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] DataFrame ID를 사용하여 CollectMetrics의 의미 체계 유효성 검사
• [SPARK-45674] [SC-146862][connect][PYTHON] Spark Connect에서 JVM 종속 특성에 대한 오류 메시지를 개선합니다.
• [SPARK-45646] [SC-146276][sql] Hive 2.0 이전의 하드코딩 시간 변수 제거
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro 읽기의 속도 저하 수정
• [SPARK-45545] [SC-146484][core] SparkTransportConf를 만들 때마다 SSLOptions 전달
• [SPARK-45641] [SC-146260][ui] AllJobsPage에 애플리케이션 시작 시간 표시
• [SPARK-40154] [SC-146491][python][Docs] Dataframe.cache docstring의 올바른 스토리지 수준
• [SPARK-45626] [SC-146259][sql] _LEGACY_ERROR_TEMP_1055를 REQUIRES_SINGLE_PART_NAMESPACE로 변환
• [SPARK-45507] [SC-145900][sql] COUNT 집계를 사용하여 중첩된 상관 관계 스칼라 하위 쿼리에 대한 정확성 수정
• [SPARK-45619] [SC-146226][connect][PYTHON] 관찰 개체에 관찰된 메트릭 적용
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] StreamingForeachBatchHelper에 대한 Scaladoc 개선
• [SPARK-45616] [SC-146120][core] ThreadLocals 또는 SparkSession을 전파하지 않는 ParVector 방지
• [SPARK-45604] [SC-146105][sql] INT64에서 LogicalType 검사 추가 -> Parquet 벡터화된 판독기에서 DateTime 변환
• [SPARK-44649] [SC-145891][sql] 런타임 필터는 동등한 생성 쪽 식 전달을 지원합니다.
• [SPARK-41674] [SC-128408][sql] 런타임 필터는 필터 생성 측면으로 다중 수준 순서 섞기 조인 쪽을 지원해야 합니다.
• [SPARK-45547] [SC-146228][ml] 기본 제공 함수를 사용하여 벡터 유효성 검사
• [SPARK-45558] [SC-145890][ss] 상태 저장 연산자를 스트리밍하기 위한 메타데이터 파일 소개
• [SPARK-45618] [SC-146252][core] BaseErrorHandler 제거
• [SPARK-45638] [SC-146251][sql][Avro] 10진수 변환의 테스트 적용 범위 개선
• [SPARK-44837] [SC-146020][sql] ALTER ALTER TABLE 열 변경 PARTITION 오류 메시지
• [SPARK-45561] [SC-146264][sql] MySQLDialect에서 TINYINT에 대한 적절한 변환 추가
• [SPARK-45632] [SC-146255][sql] 테이블 캐시는 AQE를 사용하도록 설정할 때 불필요한 ColumnarToRow를 방지해야 합니다.
• [SPARK-45569] [SC-145932][sql] _LEGACY_ERROR_TEMP_2152 오류에 이름을 할당하다
• [SPARK-44784] [SC-141015][connect] SBT 테스트를 격리합니다.
• [SPARK-45452] [SC-144836][sql] InMemoryFileIndex을/를 사용하여 FileSystem.listFiles API 개선
• [SPARK-44735] [SC-146186][sql] 일치하지 않는 행별로 이름이 같은 열을 삽입할 때 경고 msg 추가
• [SPARK-45351] [SC-144791][core] 기본값을 ROCKSDB로 변경 spark.shuffle.service.db.backend
• [SPARK-45553] [SC-145906][ps] 더 이상 지원하지 않음 assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] DeterministicLevel을 DeveloperApi로 노출
• [SPARK-45549] [SC-145895][core] 사용되지 numExistingExecutors 않는 항목 제거 CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] SparkThrowable proto 메시지에 SqlState 포함
• [SPARK-45595] [SC-146037] 오류 메시지에 sqlstate 노출
• [SPARK-45628] [SC-146123][ml] vector_to_array을(를) 개선하다 .mllib.linalg.SparseVector를 위해
• [SPARK-45009] [SC-145884][sql][후속 작업] AQE InSubquery 테스트에 대한 조인 조건에서 decorrelation 끄기
• [SPARK-45576] [SC-145883][core] ReloadingX509TrustManagerSuite에서 불필요한 디버그 로그 제거
• [SPARK-45485] [SC-145719][연결] 사용자 에이전트 개선 사항: SPARK_CONNECT_USER_AGENT env 변수 사용 및 환경별 특성 포함
• [SPARK-45508] [SC-145513][core] 플랫폼이 Java 9+에서 클리너에 액세스할 수 있도록 "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED"를 추가합니다.
• [SPARK-45595] 되돌리기 "[SC-146037] 오류 메시지에 SQLSTATE 노출"
• [SPARK-45595] [SC-146037] 오류 메시지에 SQLSTATE 노출
• [SPARK-45112] “[SC-143259][sql] UnresolvedFunction ba 사용” 되돌리기
• [SPARK-45257] [SC-143411][core] 기본적으로 사용 spark.eventLog.compress
• [SPARK-45586] [SC-145899][sql] 큰 식 트리가 있는 계획에 대한 컴파일러 대기 시간 줄이기
• [SPARK-45517] [SC-145691][connect][14.x] 오류 프레임워크 매개 변수를 지원하도록 더 많은 예외 생성자를 확장합니다.
• [SPARK-45581] [SC-145896] SQLSTATE를 필수로 만듭니다.
• [SPARK-45427] [SC-145590][core] SSLOptions 및 SparkTransportConf에 RPC SSL 설정 추가
• [SPARK-45261] [SC-143357][core] EventLogFileWriters을(를) none 코덱으로 처리할 수 있도록 수정
• [SPARK-45582] [SC-145897][ss] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인합니다.
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: 'rowTag'를 필수 옵션으로 설정
• [SPARK-45392] [SC-144362][core][SQL][ss] Replace Class.newInstance() with Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추 수정
• [SPARK-45458] [SC-145011][sql] IllegalArgumentException을 bitwiseExpressions의 SparkIllegalArgumentException으로 변환
• [SPARK-45564] [SC-145735][sql] 'BloomFilterAggregate' 식을 사용하여 'DataFrameStatFunctions.bloomFilter' 단순화
• [SPARK-45566] [SC-145777][ps] Spark의 Pandas API에 대한 Pandas와 유사한 테스트 유틸리티 지원
• [SPARK-45498] [SC-145509][core] 후속 작업: 이전 단계에서 작업 완료 무시...
• [SPARK-45483] [SC-145152][connect] connect.functions의 함수 그룹 수정
• [SPARK-45577] [SC-145781][python] UserDefinedPythonTableFunctionAnalyzeRunner를 수정하여 명명된 인수에서 접힌 값을 전달합니다.
• [SPARK-45009] [SC-138223][후속 작업] AetherSQLQuerySuite에 대한 조인 조건에서 decorrelation 끄기
• [SPARK-45415] [SC-145344] RocksDB 상태 저장소에서 "fallocate"를 선택적으로 사용하지 않도록 설정 허용
• [SPARK-45500] [SC-145134][core][WEBUI] MasterPage에서 비정상적으로 완료된 드라이버 수 표시
• [SPARK-44120] [SC-144349][python] Python 3.12 지원
• [SPARK-45439] [SC-145589][sql][UI] LiveStageMetrics.accumIdsToMetricType의 메모리 사용량 줄이기
• [SPARK-45565] [SC-145717][ui] 스테이지 세부 정보에서 작업 목록에 대한 불필요한 JSON.stringify 및 JSON.parse 루프
• [SPARK-45567] [SC-145718][connect] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run에서 중복된 if 조건문 제거
• [SPARK-45112] [SC-143259][sql] SQL 데이터 세트 함수에서 UnresolvedFunction 기반 해상도 사용
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] add_artifact 요청을 idempotent하게 만들기.
• [SPARK-44913] [SC-144326][sql] DS V2는 매직 메서드가 있는 V2 UDF 푸시다운을 지원합니다.
• [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect의 overwrite_partitions 버그
• [SPARK-45491] [SC-145622] 누락된 SQLSTATES 2/2 추가
• [SPARK-45009] [SC-145620][sc-138223][SQL] 조인 조건에서 조건 내 하위 쿼리를 비상관화하다
• [SPARK-45377] [SC-144377][core] NettyLogger에서 InputStream 처리
• [SPARK-45248] [SC-143759][core]spark ui 서버에 대한 시간 제한 설정
• [SPARK-44594] [SC-145611][ss] kafka 커넥터에서 중복 메서드 매개 변수 제거
• [SPARK-45539] [SC-145621][ss] 추가 모드에서 집계 쿼리 스트리밍에 워터마크 정의가 필요함을 나타내는 어설션 및 로그 추가
• [SPARK-44262] [SC-145639][sql] JdbcDialect에 추가 dropTable 및 getInsertStatement 추가
• [SPARK-45516] [SC-145480][connect] SparkThrowable proto 메시지에 QueryContext 포함
• [SPARK-45310] [SC-145127][core] 보고 셔플 블록 상태는 해제 마이그레이션 동안 셔플 서비스를 준수해야 합니다.
• [SPARK-45521] [SC-145487][ml] in에서 nnz의 다시 계산 방지 VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] current_database() 열 별칭을 current_schema()로 변경
• [SPARK-45116] [SC-145142][sql] JdbcDialect의 매개 변수에 대한 주석 추가 createTable
• [SPARK-45495] [SC-145529][core] 동적 할당을 사용하지 않도록 설정한 경우 k8s 클러스터에 대한 단계 수준 작업 리소스 프로필 지원
• [SPARK-45487] [SC-145559] SQLSTATE 및 임시 오류 수정
• [SPARK-45505] [SC-145550][python] refactor analyzeInPython을 다시 사용할 수 있도록
• [SPARK-45132] [SC-145425][sql] 함수 호출 수정 IDENTIFIER
• [SPARK-45213] [SC-145020][sql] 오류에 이름 _LEGACY_ERROR_TEMP_2151 할당
• [SPARK-45416] [SC-145126][연결] 화살표 결과의 온전성 검사 일관성
• [SPARK-45163] [SC-143386][sql] UNSUPPORTED_VIEW_OPERATION과 UNSUPPORTED_TABLE_OPERATION 통합 및 일부 문제 해결
• [SPARK-45421] [SC-144814][sql] "InlineCTE"에서 "AnalysisException"을 포착하기
• [SPARK-43664] [SC-145404][connect][PS] Spark Connect에서 Pandas-on-Spark 객체에 대해 ps.sql 예외를 발생시킵니다.
• [SPARK-45402] [SC-145371][sql][PYTHON] 이전 '분석' 결과를 사용하는 'eval' 및 'terminate' 메서드에 UDTF API 추가
• [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery 프레임워크를 사용하여 상관 관계가 있는 EXISTS 및 IN 하위 쿼리 지원
• [SPARK-45383] [SC-144929][sql] 기존 테이블이 없는 시간 이동 오류 메시지 수정
• [SPARK-43254] [SC-143318][sql] 오류 _LEGACY_ERROR_TEMP_2018 이름 할당
• [SPARK-45204] [SC-145167][connect] SparkConnectPlanner에 선택적 ExecuteHolder 추가
• [SPARK-45451] [SC-145144][sql] 데이터 세트 캐시의 기본 스토리지 수준을 구성할 수 있도록 설정
• [SPARK-45192] [SC-143194][ui] graphviz edge에 대한 지연된 lineInterpolate 매개 변수 수정
• [SPARK-45467] [SC-145146][core] Proxy.getProxyClass()를 Proxy.newProxyInstance().getClass로 교체하기
• [SPARK-45397] [SC-145139][ml][CONNECT] 배열 어셈블러 기능 변환기 추가
• [SPARK-44855] [SC-145226][connect] ExecuteGrpcResponseSender를 ExecuteResponseObserver에 연결하기 위한 작은 조정
• [SPARK-45398] [SC-144796][sql] ESCAPE 안에 sql() 식에 Like 추가
• [SPARK-45494] [SC-145129][core][PYTHON] PythonWorkerUtils에 대한 바이트 배열을 읽고 쓰는 util 함수 소개
• [SPARK-45464] [SC-145125][core] 네트워크-yarn 배포 빌드 수정
• [SPARK-45461] [SC-144851][core][SQL][mllib] StorageLevel에 대한 매퍼 소개
• [SPARK-45450] [SC-145009][python] PEP8에 따라 가져오기 수정: pyspark.pandas 및 pyspark(코어)
• [SPARK-45475] [SC-145018][sql] JdbcUtils의 RDD.foreachPartition 대신 DataFrame.foreachPartition을 사용합니다.
• [SPARK-45271] [SC-143778][sql] _LEGACY_ERROR_TEMP_1113 TABLE_OPERATION 병합하고 QueryCompilationErrors에서 사용되지 않는 메서드를 삭제합니다.
• [SPARK-45449] [SC-145013][sql] JDBC 테이블의 캐시 무효화 문제
• [SPARK-45473] [SC-145017][sql] RoundBase에 대한 잘못된 오류 메시지 수정
• [SPARK-43299] [SC-145022][ss][CONNECT] Scala 클라이언트에서 StreamingQueryException 변환
• [SPARK-45474] [SC-145014][core][WEBUI] MasterPage JSON API에서 최상위 필터링 지원
• [SPARK-45205] [SC-145012][sql] CommandResultExec를 사용하여 반복기 메서드를 재정의하여 여러 작업이 트리거되지 않도록 합니다.
• [SPARK-45472] [SC-145004][ss] RocksDB State Store에서 검사점 경로 존재를 다시 검사할 필요가 없습니다.
• [SPARK-45470] [SC-145010][sql] hive orc 압축 종류의 문자열 값을 붙여넣지 않도록 방지
• [SPARK-45448] [SC-144829][python] PEP8에 따라 가져오기 수정: pyspark.testing, pyspark.mllib, pyspark.resource 및 pyspark.streaming
• [SPARK-45446] [SC-144828][python] PEP8에 따라 가져오기 수정: pyspark.errors 및 pyspark.ml
• [SPARK-45239] [SC-144832][connect] 기본 spark.connect.jvmStacktrace.maxSize 크기 한계를 줄이기
• [SPARK-45436] [SC-144831][python][CONNECT] DataFrame 메서드가 동일한 세션을 확인합니다.
• [SPARK-45413] [SC-144847][core] LevelDB 지원 중단 준비에 대한 경고 추가
• [SPARK-45462] [SC-144848][core][WEBUI] Duration에 ApplicationPage 표시
• [SPARK-44527] [SC-144855][sql] maxRows가 0인 경우 ScalarSubquery를 null로 바꿉니다.
• [SPARK-45401] [SC-144854][python] UDTF 인터페이스에 새 메서드 cleanup 추가
• [SPARK-43704] [SC-144849][connect][PS] MultiIndex에 대한 to_series() 지원
• [SPARK-45424] [SC-144888][sql] 접두사만 일치할 때 TimestampFormatter가 선택적 구문 분석 결과를 반환하도록 수정합니다.
• [SPARK-45441] [SC-144833][python] PythonWorkerUtils에 대한 더 많은 util 함수 소개
• [SPARK-45412] [SC-144803][python][CONNECT] 다음에서 계획 및 세션의 유효성을 검사합니다. DataFrame.__init__
• [SPARK-45408] [SC-144810][core] TransportConf에 RPC SSL 설정 추가
• [SPARK-45432] [SC-144818][core] 사용되지 않는 Hadoop-2 LocatedFileStatus 생성자 제거
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression이 학습 레이블을 확인합니다.
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] DataType.fromDDL을 PySpark에 추가
• [SPARK-45406] [SC-144793][python][CONNECT] DataFrame 생성자에서 삭제 schema
• [SPARK-45404] [SC-144799][core] AWS_ENDPOINT_URL env 변수 지원
• [SPARK-43620] [SC-144792][connect][PS] Pandas API 수정은 지원되지 않는 기능에 따라 달라집니다.
• [SPARK-45354] [SC-143991][sql] 함수 하향식 해결
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] 아티팩트 API에 대한 재시도를 추가합니다. 오류 처리를 개선합니다([SPARK-45093]에 대한 후속 작업).
• [SPARK-45120] [SC-142780][spark-45150][UI] d3을 v3에서 v7(v7.8.5)로 업그레이드하고 UI에서 api 변경 내용을 적용합니다.
• [SPARK-44838] [SC-143983][sql] raise_error 개선
• [SPARK-45312] [SC-143754][sql][UI] 실행 페이지에서 플랜 svg 표시/숨기기 토글 지원
• [SPARK-45378] [SC-144448][core] ManagedBuffer에 convertToNettyForSsl 추가
• [SPARK-44762] [SC-144338][connect][CORE] SparkConnect.addJobTag 및 Connect SparkSession.addTag에 대한 문서
• [SPARK-45383] 해결되지 않은 RelationTimeTravel을 정상적으로 처리
• [SPARK-45347] [SC-144512][sql][CONNECT] FetchErrorDetailsResponse에 SparkThrowable 포함
• [SPARK-45012] [SC-141512][sql] CheckAnalysis는 AnalysisException에서 인라인 계획을 throw해야 합니다.
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} 는 계획이 유효하지 않은 경우 예외를 발생시켜야 합니다.
• [SPARK-45227] [SC-144233][core] CoarseGrainedExecutorBackend를 사용하여 미묘한 스레드 안전 문제 해결
• [SPARK-45266] [SC-144171][python] ResolveFunctions 분석기 규칙을 리팩터링하여 테이블 인수를 사용할 때 횡적 조인을 지연합니다.
• [SPARK-45266] "[SC-144171][python] ResolveFunctions 분석기 규칙을 리팩터링하여 테이블 인수가 사용될 때 횡적 조인을 지연합니다."
• [SPARK-45371] [SC-144389][connect] Spark Connect Scala 클라이언트의 음영 문제 해결
• [SPARK-45057] [SC-144214][core] keepReadLock이 false이면 읽기 잠금을 획득하지 마십시오.
• [SPARK-45385] [SC-144357][sql] 폐기 예정 spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] SQL 구성 제거 spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] ResolveFunctions 분석기 규칙을 리팩터링하여 테이블 인수를 사용할 때 횡적 조인을 지연합니다.
• [SPARK-45362] [SC-144198][python] Python UDTF 'eval' 메서드가 사용되기 전에 BY 식을 제외합니다.
• [SPARK-45346] [SC-143925][sql] Parquet 스키마 유추는 스키마를 병합할 때 대/소문자 구분 플래그를 준수해야 합니다.
• [SPARK-45341] [SC-143933][core] Java 17을 사용하여 성공적으로 실행되도록 sbt doc KVStore.java 주석의 제목 수준을 수정합니다.
• [SPARK-45334] [SC-143914][sql] parquetSchemaConverter에서 잘못된 주석 제거
• [SPARK-45337] [SC-143932][core] Scala 2.12에 대한 검사를 제거하기 위한 리팩터링 AbstractCommandBuilder#getScalaVersion
• [SPARK-45329] [SC-143918][python][CONNECT] DataFrame 메서드가 pandas 변환을 생략합니다.
• [SPARK-43662] [SC-143923][ps][CONNECT] Spark Connect에서 merge_asof 지원
• [SPARK-44126] [SC-143751][core] 대상 실행기가 서비스 해제될 때 마이그레이션 오류 수가 증가하지 않아야 합니다.
• [SPARK-44550] [SC-119768][sql] ANSI에서 null IN (empty list)에 대한 정확성 수정을 활성화합니다.
• [SPARK-45316] [SC-143783][core][SQL] 새 매개 변수 ignoreCorruptFiles/ignoreMissingFiles 추가 및 HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] addArtifacts 쿼리에 대한 오류 보고
• [SPARK-44756] [SC-143787][core] RetryingBlockTransferor가 다시 시도를 시작하지 못하면 실행기가 중단됩니다.
• [SPARK-45333] [SC-143768][core] spark.eventLog.buffer.kb와 관련된 하나의 단위 실수 수정
• [SPARK-45317] [SC-143750][sql][CONNECT] 예외의 스택 추적에서 null 파일 이름 처리
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId 열 형식 정보 추가
• [SPARK-45235] [SC-143314][connect][PYTHON] 맵과 배열 매개변수를 지원하기 위해 sql()
• [SPARK-45138] [SC-143309][ss] DFS에 대한 검사점 상태가 실패할 때 새 오류 클래스를 정의하고 적용합니다.
• [SPARK-45297] [SC-143644][sql] SPARK-31827에 추가된 dateformatter에 대한 해결 방법 제거
• [SPARK-44345] [SC-143593][core] 셔플 마이그레이션이 활성화된 경우 로그 수준을 WARN으로 낮추기
• [SPARK-44463] [SC-143251][ss][CONNECT] 스트리밍 Python 워커에 대한 오류 처리 개선
• [SPARK-45207] [SC-143603][sql][CONNECT] Scala 클라이언트에 대한 오류 보강 구현
• [SPARK-45240] [SC-143602][sql][CONNECT] Python 클라이언트에 대한 오류 보강 구현
• [SPARK-45216] [SC-143288][sql] 비결정적 시드 데이터 세트 API 수정
• [SPARK-45251] [SC-143419][connect] FetchErrorDetails에 대한 client_type 필드 추가
• [SPARK-45137] [SC-143001][connect] 매개 변수화된 맵/배열 매개 변수 지원 sql()
• [SPARK-45224] [SC-143257][python] 맵 및 배열의 매개 변수로 예제 추가 sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] FetchErrorDetails RPC 구현
• [SPARK-45178] [SC-136089] 래퍼를 사용하는 대신 지원되지 않는 원본을 사용하여 Trigger.AvailableNow에 대한 단일 일괄 처리를 실행하도록 대체
• [SPARK-44823] [14.x][sc-142979][PYTHON] Black을 23.9.1로 업데이트하고 잘못된 검사를 수정합니다.
• [SPARK-45078] [SC-142954][sql] ImplicitCastInputTypes가 작동하지 않음 수정 array_insert
• [SPARK-44579] [SC-138428][sql] SQLExecution에서 취소 시 인터럽트를 지원
• [SPARK-45252] [SC-143371][core] 주석 내에서 크거나 작은 기호를 이스케이프하여 sbt doc가 성공적으로 실행되도록 함.
• [SPARK-45189] [SC-142973][sql] TableIdentifier에서 UnresolvedRelation을 만드는 데 카탈로그 필드가 포함되어야 합니다.
• [SPARK-45229] [SC-143254][core][UI] MasterPage에서 SUBMITED 상태로 대기 중인 드라이버 수 표시
• [SPARK-43453] “[SC-143135][ps] names를 MultiIndex의 axis=1에서 concat할 때 무시하도록 했던 변경 내용을 되돌리기”

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 14.2 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• 델타 레이크: 3.0.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)