Databricks Runtime 10.2(EoS)

다음 릴리스 정보는 Apache Spark 3.2.0에서 제공하는 Databricks Runtime 10.2 및 Databricks Runtime 10.2 Photon에 대한 정보를 제공합니다. Databricks는 2021년 12월에 이 버전을 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.

새로운 기능 및 향상 기능

• Spark 스트리밍으로 리포지토리에서 파일 사용
• Databricks 유틸리티가 업데이트 탑재 명령을 추가합니다.
• Delta Lake에서 열 이름 바꾸기를 지원합니다(공개 미리 보기).
• Delta Lake 테이블 기록에 Databricks 런타임 버전 정보가 추가되었습니다.
• Databricks 유틸리티: 디렉터리가 나열된 경우 최신 수정 시간 정보 추가
• Spark SQL: 상위 항목 및 개수를 반환하는 approx_top_k 함수 추가
• 이제 Python과 Scala에서 Trigger.AvailableNow를 사용할 수 있음
• 이제 자동 로더가 Avro에 대한 스키마 진화를 지원합니다(공개 미리 보기).

Spark 스트리밍으로 리포지토리에서 파일 사용

이제 Spark 스트리밍에서 리포지토리에 있는 파일에 액세스할 수 있습니다.

Databricks 유틸리티가 업데이트 탑재 명령을 추가합니다.

새로운 dbutils.fs.updateMount 명령은 dbutils.fs.mount와 비슷하지만, 새로운 명령은 새 탑재 지점을 만드는 대신 기존 탑재 지점을 업데이트합니다. updateMount 명령(dbutils.fs.updateMount)을 참조하세요.

Delta Lake에서 열 이름 바꾸기를 지원합니다(공개 미리 보기).

이제 Delta Lake에서 열 이름 바꾸기를 지원합니다. 델타 테이블의 열 이름을 바꾸려면 Delta 테이블의 버전을 업그레이드한 다음 열 매핑 모드를 이름 매핑으로 설정해야 합니다. Delta Lake 열 매핑을 사용하여 열 이름 바꾸기 및 삭제를 참조하세요.

Delta Lake 테이블 기록에 Databricks 런타임 버전 정보가 추가되었습니다.

이제 델타 테이블에 쓰기를 수행하면 쓰기를 만든 Databricks 런타임 버전에 대한 정보도 기록됩니다. 버전 정보를 얻으려면 테이블에서 명령을 실행 DESCRIBE HISTORY 한 다음 출력의 engineInfo 열을 확인합니다. DESCRIBE HISTORY와 Delta Lake 테이블 기록 작업하기를 살펴보세요.

Databricks 유틸리티: 디렉터리가 나열된 경우 최신 수정 시간 정보 추가

디렉터리의 내용을 나열하는 dbutils.fs.ls 명령이 이제 modificationTime 필드를 출력합니다. 이 필드는 나열된 각 파일 또는 디렉터리의 최신 수정 시간을 포함합니다. ls 명령(dbutils.fs.ls)을 참조하세요.

Spark SQL: 상위 항목 및 개수를 반환하는 approx_top_k 함수 추가

새 approx_top_k 함수는 지정된 식에 대해 가장 자주 발생하는 항목 값과 근사값을 반환합니다. 일부 사례:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

위 두 예제를 실행한 결과는 다음과 같습니다.

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

집계 함수 approx_top_k 참조하세요.

이제 Python과 Scala에서 Trigger.AvailableNow를 사용할 수 있습니다.

이 변경은 Python의 Trigger.AvailableNow 델타 원본 스트리밍 쿼리와 Scala를 지원합니다. Databricks Runtime 10.1에서는 Scala에서 이 트리거에 대한 지원을 도입했습니다. Databricks Runtime 10.2에서는 이제 Python에서도 이 트리거를 지원합니다. Trigger.AvailableNow의 적용 범위를 참조하세요.

이제 자동 로더가 Avro에 대한 스키마 진화를 지원합니다(공개 미리 보기).

자동 로더의 스키마 유추 및 진화 구성을 참조하세요.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • filelock 3.3.1에서 3.4.0으로
  • plotly 5.3.0에서 5.3.1로
• 업그레이드된 R 라이브러리:
  • base 4.1.1에서 4.1.2로
  • compiler 4.1.1에서 4.1.2로
  • datasets 4.1.1에서 4.1.2로
  • graphics 4.1.1에서 4.1.2로
  • grDevices 4.1.1에서 4.1.2로
  • grid 4.1.1에서 4.1.2로
  • methods 4.1.1에서 4.1.2로
  • parallel 4.1.1에서 4.1.2로
  • Rserve 1.8-8에서 1.8-10으로
  • splines 4.1.1에서 4.1.2로
  • stats 4.1.1에서 4.1.2로
  • stats4 4.1.1에서 4.1.2로
  • tcltk 4.1.1에서 4.1.2로
  • tools 4.1.1에서 4.1.2로
  • utils 4.1.1에서 4.1.2로
  • backports 1.2.1에서 1.4.0으로
  • broom 0.7.9에서 0.7.10으로
  • cli 3.0.1에서 3.1.0으로
  • cpp11 0.4.0에서 0.4.1로
  • crayon 1.4.1에서 1.4.2로
  • 1.3.1에서 1.3.2까지의 자격 증명
  • future 1.22.1에서 1.23.0으로
  • gert 1.4.1에서 1.4.3으로
  • glmnet 4.1-2에서 4.1-3으로
  • glue 1.4.2에서 1.5.0으로
  • memoise 2.0.0에서 2.0.1로
  • parallelly 1.28.1에서 1.29.0으로
  • readr 2.0.2에서 2.1.0으로
  • sessioninfo 1.1.1에서 1.2.1로
  • stringi 1.7.5에서 1.7.6으로
  • tibble 3.1.5에서 3.1.6으로
  • tinytex 0.34에서 0.35로
  • tzdb 0.1.2에서 0.2.0으로
  • usethis 2.1.2에서 2.1.3으로
  • uuid 0.1-4에서 1.0-3으로
  • vroom 1.5.5에서 1.5.6으로
  • xfun 0.27에서 0.28로
• 업그레이드된 Java 라이브러리:
  • com.fasterxml.jackson 2.12.2에서 2.12.3으로
  • io.airlift.aircompressor 0.19에서 0.21로
  • io.netty.netty-all 4.1.63.Final에서 4.1.68.Final로
  • joda-time.joda-time 2.10.5에서 2.10.10으로
  • org.apache.commons.commons-compress 1.20에서 1.21로
  • org.apache.orc 1.6.10에서 1.6.12로
  • org.eclipse.jetty 9.4.40.v20210413에서 9.4.43.v20210629로
  • org.scalanlp.breeze-macros_2.12 1.0 에서 1.2로
  • org.scalanlp.breeze_2.12 1.0에서 1.2로
  • org.org.typelevel.algebra_2.12 2.0.0에서 2.0.1로
  • org.typelevel.cats-kernel_2.12 2.0.0에서 2.0.1로

Apache Spark

Databricks Runtime 10.2는 Apache Spark 3.2.0을 포함합니다. 이 릴리스에는 Databricks Runtime 10.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-37447] [SQL] 캐시 LogicalPlan.isStreaming()의 결과로 지연된 값 발생
• [SPARK-37468] [SQL] UnionEstimation에 대한 ANSI 간격 및 TimestampNTZ 지원
• [SPARK-37464] [SQL] SCHEMA DATABASE는 네임스페이스의 별칭일 뿐입니다.
• [SPARK-37452] [SQL] Char 및 Varchar가 v3.1과 v2 사이의 이전 버전과의 호환성을 손상시킴
• [SPARK-36861] [SQL] 파티션 검색에서 날짜 패턴으로 사용 yyyy-MM-dd
• [SPARK-37456] [SQL] CREATE NAMESPACE는 v2 명령의 위치를 한정해야 합니다.
• [SPARK-37357] [SQL] 파티션 리밸런스를 위한 작은 파티션 요소 추가
• [SPARK-37446] [SQL] getWithoutRegisterFns의 리플렉션을 사용하여 빌드를 위한 여러 Hive 버전 허용
• [SPARK-37444] [SQL] 네임스페이스 변경 ... SET LOCATION은 v1 및 v2 명령에서 일관되게 빈 위치를 처리해야 합니다.
• [SPARK-36357] [SQL] orc에 대한 표준 시간대 없이 타임스탬프 푸시다운 지원
• [SPARK-36346] [SQL] Orc 파일 원본에서 TimestampNTZ 형식 지원
• [SPARK-36646] [SQL] 집계를 위해 파티션 열별로 그룹 푸시다운
• [SPARK-34960] [SQL] ORC에 대한 집계 푸시다운
• [SPARK-37386] [SQL] OptimizeSkewedJoin이 비용 계산기를 실행하지 않도록 단순화
• [SPARK-36073] [SQL] EquivalentExpressions 수정 및 개선
• [SPARK-35352] [SQL] 전체 외부 정렬 병합 조인을 위한 코드 생성 추가
• [SPARK-37292] [SQL] 스트리밍 쪽에 별칭과 함께 DISTINCT만 사용되는 경우 외부 조인을 제거합니다.
• [SPARK-37371] [SQL] 모든 자식이 열 형식을 지원하는 경우 UnionExec가 열 형식을 지원해야 함
• [SPARK-36645] [SQL] Parquet에 대한 집계(최소/최대/개수) 푸시다운
• [SPARK-37379] [SQL] CTESubstitution 규칙에 트리 패턴 정리 추가
• [SPARK-37332] [SQL] ALTER TABLE .. ADD COLUMNS에서 ANSI 간격 허용
• [SPARK-37224] [SS] RocksDB 상태 저장소 공급자에서 쓰기 경로 최적화
• [SPARK-37304] [SQL] v2 ALTER TABLE .. REPLACE COLUMNS에서 ANSI 간격 허용
• [SPARK-36924] [SQL] ANSI 간격 및 IntegralType 사이의 CAST
• [SPARK-37289] [SQL] 함수 제거 partitionSchemaOption
• [SPARK-37270] [SQL] elseValue가 비어 있는 경우 CaseWhen으로의 폴드 푸시 수정
• [SPARK-35345] [SQL] BloomFilterBenchmark에 Parquet 테스트 추가
• [SPARK-37341] [SQL] 전체 외부 정렬 병합 조인에서 불필요한 버퍼와 복사를 피하기
• [SPARK-37266] [SQL] 뷰 텍스트는 쿼리만 SELECT 수 있습니다.
• [SPARK-37288] [PYTHON][3.2] 주석 업데이트 이후의 백포트
• [SPARK-37262] [SQL] JDBCScan에서 빈 집계 및 그룹화 결과를 기록하지 않음
• [SPARK-37283] [SQL] ANSI 간격을 Hive 호환 형식으로 포함하는 V1 테이블을 저장하지 마세요.
• [SPARK-37221] [SQL] SparkPlan의 수집과 비슷한 API는 열 형식 출력을 지원해야 함
• [SPARK-37202] [SQL] AnalysisContext를 사용하여 참조된 임시 함수 추적
• [SPARK-37023] [CORE] 재시도 중에 shuffleDependency에 대해 shuffleMergeEnabled가 false인 경우 병합 상태를 가져오지 않음
• [SPARK-37307] [CORE] 빈 파티션에 대한 JDBC 연결을 가져오지 않음
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions는 루트가 아닌 노드 최적화를 지원합니다.
• [SPARK-36799] [SQL] CLI에서 queryExecution 이름 전달
• [SPARK-37261] [SQL] DSv2에서 ANSI 간격을 갖는 파티션 추가 허용
• [SPARK-37203] [SQL] TypedImperativeAggregate를 사용하여 관찰할 때 NotSerializableException 수정
• [SPARK-37199] [SQL] QueryPlan에 결정적 필드 추가
• [SPARK-37253] [PYTHON] try_simplify_traceback가 None인 경우 tb_frame.f_lineno이 실패하지 않아야 함
• [SPARK-37214] [SQL] 유효하지 않은 식별자를 갖는 쿼리 분석을 조기에 실패
• [SPARK-37240] [SQL] ANSI 간격을 ColumnVectorUtils.populate()로 처리
• [SPARK-35437] [SQL] 식을 사용하여 클라이언트 쪽에서 Hive 파티션 필터링
• [SPARK-32940] [SQL] 첫 번째 및 마지막 수집은 결정적 집계 함수여야 함
• [SPARK-37231] [SQL] ANSI 간격 파티션의 동적 쓰기/읽기
• [SPARK-37038] [SQL] DSV2 샘플 푸시다운
• [SPARK-36665] [SQL] 더 많은 Not 연산자 단순화 추가
• [SPARK-37150] [SQL] DESCRIBE NAMESPACE가 기본적으로 V2 명령을 사용하도록 마이그레이션
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale이 실패하고 null을 반환함
• [SPARK-37212] [SQL] 집계 푸시다운의 구현 개선
• [SPARK-37190] [SQL] ANSI 모드의 캐스트에 대한 오류 메시지 개선
• [SPARK-37161] [SQL] RowToColumnConverter가 AnsiIntervalType 지원
• [SPARK-37160] [SQL] 선택적으로 char 형식에 대한 패딩을 사용하지 않도록 설정하는 구성 추가
• [SPARK-36554] [SQL][python] functions.scala에서 make_date 식을 노출합니다.
• [SPARK-37200] [SQL] 데이터 원본 V2에 대한 인덱스 삭제 지원
• [SPARK-37179] [SQL] ANSI 모드: Datetime 및 Numeric 사이의 캐스팅을 허용하는 구성 추가
• [SPARK-37168] [SQL] ANSI 모드의 SQL 함수 및 연산자에 대한 오류 메시지 개선
• [SPARK-36935] [SQL] ParquetSchemaConverter를 계산 Parquet 반복 및 정의 수준으로 확장
• [SPARK-37066] [SQL] 다음 파일을 읽지 못한 경우 파일 경로를 표시하도록 오류 메시지 개선
• [SPARK-32567] [SQL] 전체 외부 셔플 해시 조인을 위한 코드 생성 추가
• [SPARK-37176] [SQL] JsonInferSchema#infer 메서드의 예외 핸들 논리와 JacksonParser#parse 메서드 동기화
• [SPARK-37149] [SQL] ANSI 모드의 산술 오버플로 예외에 대한 오류 메시지 개선
• [SPARK-37136] [SQL] hive buildin 함수에 대한 코드를 제거하지만 spark에서 구현하지 않음
• [SPARK-16280][SPARK-37082] [SQL] 부분 집계를 지원하는 histogram_numeric 집계 함수를 구현합니다.
• [SPARK-36975] [SQL] HiveClientImpl에서 Hive 클라이언트 호출의 메트릭 수정

유지 관리 업데이트

Databricks Runtime 10.2 유지 관리 업데이트를 참조하세요.

시스템 환경

• 운영 체제: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• 델타 레이크: 1.1.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2021-11-30)에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)