Databricks Runtime 13.2(EoS)

다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.2에 대한 정보를 제공합니다.

Databricks는 2023년 7월에 이 버전을 출시했습니다.

새로운 기능 및 향상 기능

• RocksDB 상태 저장소의 체인지로그 체크포인트
• Unity 카탈로그의 단순 클론을 사용하여 VACUUM 대한 향상된 안정성을 제공합니다.
• SQL에서 Python UDF 지원
• Apache Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.
• Delta Lake Liquid 클러스터링이 공개 미리 보기로 제공됩니다.
• Azure Databricks의 보관 지원
• IDENTIFIER 절 지원
• Python 및 Pandas 사용자 정의 함수(UDF)를 위한 Unity 카탈로그 지원
• 델타 공유를 사용하여 스키마 공유
• 버그 수정

RocksDB 상태 저장소에 대한 변경 로그 체크포인트 생성

상태 저장 구조적 스트리밍 워크로드에 대한 검사점 기간 및 엔드 투 엔드 대기 시간을 낮추도록 변경 로그 검사점을 사용하도록 설정할 수 있습니다. Databricks는 모든 구조적 스트리밍 상태 저장 쿼리에 대해 changelog 검사포인트를 사용하도록 설정할 것을 권합니다. 변경 로그 체크포인트 사용을 참조하십시오.

Unity 카탈로그에서 얕은 클론을 사용하는 경우 VACUUM의 안정성이 향상되었습니다.

단순 복제 작업의 원본 및 대상에 Unity 카탈로그 관리 테이블을 사용하는 경우 Unity 카탈로그는 원본 및 복제 작업의 대상에 대한 안정성을 향상시키기 위해 기본 데이터 파일을 관리합니다. 피상적 클론의 소스에서 VACUUM을 실행해도 복제된 테이블이 손상되지 않습니다. 진공 및 Unity 카탈로그 얕은 클론을 참조하세요.

SQL에서 Python UDF 지원

이제 Unity 카탈로그의 SQL CREATE FUNCTION 문 내에서 Python을 사용하여 사용자 정의 함수를 선언할 수 있습니다. Unity 카탈로그에서 사용자 정의 함수(UDF)을 참조하세요.

Apache Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.

Delta Lake Universal Format(UniForm)을 사용하면 Apache Iceberg 클라이언트를 사용하여 델타 테이블을 읽을 수 있습니다. Iceberg 클라이언트를 사용하여 델타 테이블 읽기를참조하세요.

델타 레이크 리퀴드 클러스터링이 공개 프리뷰 중입니다.

Delta Lake Liquid 클러스터링은 테이블 분할 및 ZORDER을 대체하여 데이터 레이아웃 결정을 간소화하고 쿼리 성능을 최적화합니다. 테이블에 대한 액체 클러스터링 사용을 참조하세요.

Azure Databricks의 보관 지원

Azure Databricks의 보관 지원에는 델타 테이블이 포함된 클라우드 개체 스토리지에서 클라우드 기반 수명 주기 정책을 사용하여 파일을 보관 스토리지 계층으로 이동할 수 있는 기능 컬렉션이 도입되었습니다. Azure Databricks의 보관 지원을 참조 하세요.

IDENTIFIER 조항 지원

IDENTIFIER(:mytable) 사용하여 많은 SQL 문에서 테이블, 열, 함수 및 스키마 이름을 안전하게 매개 변수화합니다.

Python 및 Pandas User-Defined Functions(UDF)에 대한 Unity 카탈로그 지원

Databricks Runtime 13.2 이상에서는 Python으로 작성된 UDF(사용자 정의 함수)가 Unity 카탈로그 사용 작업 영역에서 표준 액세스 모드(이전의 공유 액세스 모드)를 사용하는 클러스터에서 지원됩니다. 여기에는 Python 및 Pandas UDF가 포함됩니다. Python UDF에 대한 자세한 내용은 사용자 정의 스칼라 함수 - Python을 참조하세요.

델타 공유를 사용하여 스키마 공유

Databricks Runtime 13.2는 델타 공유를 사용하여 전체 스키마를 공유하는 데 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 사용할 수 있는 기능을 추가하며, 향후 스키마에 추가되는 테이블 및 뷰와 함께 공유되는 현재 스키마의 모든 테이블과 뷰에 대한 액세스 권한을 받는 사람에게 제공합니다. 스키마를 공유 및 에 추가하고 을 참조하세요.

버그 수정

• JSON 판독기에서 PERMISSIVE이 활성화되었을 때 레코드가 failOnUnknownFieldsmode 모드로 구문 분석되는 문제를 수정했습니다. 이제 레코드는 DROPMALFORMEDparser 모드에서 삭제되거나 이러한 옵션이 설정된 경우 badRecordsPath에 기록됩니다. FAILFAST 열 형식이 일치하지 않으면 오류가 발생합니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • nodeenv에서 1.7.0에서 1.8.0으로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리
  • io.delta.delta-sharing-spark_2.12 버전 0.6.7에서 0.7.0으로 변경

Apache Spark

Databricks Runtime 13.2에는 Apache Spark 3.4.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-42750] [SC-133452][dbrrm-273] 이름으로 삽입하는 명령문 지원
• [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
• [SPARK-43663] [SC-134135][connect][PS] 활성화 SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect을 수정합니다 (NullOps|NumOps).(eq|ne).
• [SPARK-44021] [SC-134109][sql] spark.sql.files.maxPartitionNum 추가
• [SPARK-43910] [SC-132936][sql] 오류의 ID에서 __auto_generated_subquery_name 제거
• [SPARK-43976] [SC-133375][core] 이벤트 로그에 modifiedConfigs가 없는 경우 처리
• [SPARK-32559] [SC-133992][sql] ASCII 컨트롤 문자를 올바르게 처리하지 않은 트리밍 논리 수정
• [SPARK-43421] [SC-132930][ss] RocksDB 상태 저장소 공급자에 대한 변경 로그 기반 검사점 구현
• [SPARK-43594] [SC-133851][sql] anyToMicros에 LocalDateTime 추가
• [SPARK-43884] [SC-133867] DDL의 매개 변수 표식
• [SPARK-43398] [SC-133894][core] 실행기 시간 제한은 유휴 셔플 및 RDD 시간 제한 중 최대값이어야 합니다.
• [SPARK-43610] [SC-133892][connect][PS] Spark Connect에서 사용하도록 설정합니다 InternalFrame.attach_distributed_column .
• [SPARK-43971] [SC-133826][connect][PYTHON] 스트리밍 방식으로 Python의 createDataFrame 지원
• [SPARK-44006] [SC-133652][connect][PYTHON] 캐시 아티팩트 지원
• [SPARK-43790] [SC-133468][python][CONNECT][ml] API 추가 copyFromLocalToFs
• [SPARK-43921] [SC-133461][protobuf] 빌드 시 Protobuf 설명자 파일 생성
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] SparkSession.addArtifacts에서 파일 지원 구현
• [SPARK-44010] [SC-133744][python][SS][minor] Python StreamingQueryProgress rowsPerSecond 형식 수정
• [SPARK-43768] [SC-132398][python][CONNECT] Python Spark Connect의 Python 종속성 관리 지원
• [SPARK-43979] [13.X] "[SC-133456][sql] 자체 조인을 위해 CollectedMetrics를 동일한 메트릭으로 처리해야 한다"는 것을 취소합니다.
• [SPARK-42290] [SC-133696][sql] AQE가 켜진 상태에서 OOM 오류가 보고되지 않는 문제를 수정합니다.
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Scala 및 Python에 SQL 수학 함수 추가
• [SPARK-43747] [SC-132047][python][CONNECT] SparkSession.addArtifacts에서 pyfile 지원 구현
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] TimedeltaOps.(sub|rsub) Spark Connect 사용 가능하게 설정하기
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] 패리티 테스트 사용: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] 해결되지 않은 특성에 대해 제안된 후보 개선
• [SPARK-43901] [SC-133454][sql] Avro에서 Long로 지원되는 사용자 정의 소수형 지원
• [SPARK-43267] [SC-133024][jdbc] postgres 알 수 없는 사용자 정의 열을 배열의 문자열로 처리
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Scala 및 Python에 xpath_* 함수 추가
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Scala 및 Python API에 백분위수 추가
• [SPARK-43717] [SC-133455][connect] Scala 클라이언트 reduce agg가 scala 기본 입력에 대해 null 파티션을 처리할 수 없음
• [SPARK-43984] [SC-133469][sql][PROTOBUF] 결과를 생성하지 않을 때 foreach 사용하도록 map 변경
• [SPARK-43612] [SC-132011][connect][PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
• [SPARK-44002] [SC-133606][connect] 아티팩트 상태 처리기 수정
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Scala 및 Python에 선형 회귀 집계 함수 추가
• [SPARK-43920] [SC-133614][sql][CONNECT] sql/api 모듈 만들기
• [SPARK-43979] [SC-133456][sql] CollectedMetrics는 자체 조인에 대해 동일한 메트릭으로 처리되어야 합니다.
• [SPARK-43977] [SC-133373][connect] 예기치 않은 확인 결과 수정 dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: 정수로 취급된 열거형 버그 수정
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Scala 및 Python에 unix_* 함수 추가
• [SPARK-43807] [SC-132545][sql] _LEGACY_ERROR_TEMP_1269를 PARTITION_SCHEMA_IS_EMPTY로 전환하다
• [SPARK-43956] [SC-133123][sql] Percentile[Cont|Disc] 함수 열의 SQL을 표시하지 않는 버그 수정
• [SPARK-42626] [SC-133248][connect] SparkResult에 대한 파괴적인 반복기 추가
• [SPARK-43333] [SC-132898][sql] Avro가 타입과 일관성 있는 필드 이름으로 유니온 타입을 SQL로 변환할 수 있도록 허용
• [SPARK-43953] [SC-133134][연결] 제거 pass
• [SPARK-43970] [SC-133403][python][CONNECT] 자동 완성에서 지원되지 않는 데이터 프레임 메서드 숨기기
• [SPARK-43973] [SC-133272][ss][UI] 구조적 스트리밍 UI가 실패한 쿼리를 올바르게 표시해야 합니다.
• [SPARK-42577] [SC-125445][core] 잠재적인 무한 재시도를 방지하기 위해 스테이지에 대한 최대 시도 제한 추가
• [SPARK-43841] [SC-132699][sql] 접두사 없이 후보 특성 처리 StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][후속 작업]구성 spark.rdd.cache.visibilityTracking.enabled 지원 버전을 3.5.0으로 수정
• [SPARK-37942] [SC-130983][core][SQL] 오류 클래스 마이그레이션
• [SPARK-43898] [SC-132926][core] 자동으로 immutable.ArraySeq$ofRef를 KryoSerializer에 등록하여 Scala 2.13을 사용합니다.
• [SPARK-43775] [SC-132891][sql] DataSource V2: 업데이트를 삭제 및 삽입으로 표시하도록 허용
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] pandas DataFrame 및 toPandas의 createDataFrame에서 UserDefinedType 지원
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] SparkSession.Builder.getOrCreate를 추가하십시오.
• [SPARK-43549] [SC-132383][sql] _LEGACY_ERROR_TEMP_0036을 INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN으로 변환합니다.
• [SPARK-41497] [SC-124644][core] rdd cache를 사용하여 재시도 작업의 경우 누적기 언더카운트 수정
• [SPARK-43892] [SC-133006][python] df[|]에 자동 완성 지원 추가 pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases에 대한 선택적 패턴 추가
• [SPARK-43205] [SC-132623] IDENTIFIER 절
• [SPARK-43545] [SC-132378][sql][PYTHON] 중첩 타임스탬프 유형 지원
• [SPARK-43949] [SC-133048][python] cloudpickle을 2.2.1로 업그레이드
• [SPARK-43760] [SC-132809][sql] 스칼라 하위 쿼리 결과의 Null 허용 여부
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Spark Connect 용 TimedeltaOps 수정
• [SPARK-43895] [SC-132897][connect][GO] 이동 패키지 경로 준비
• [SPARK-43894] [SC-132892][python] df.cache()의 버그 수정
• [SPARK-43509] [SC-131625][connect] 여러 Spark Connect 세션 만들기 지원
• [SPARK-43882] [SC-132888][sql] _LEGACY_ERROR_TEMP_2122에 이름 할당
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Spark Connect에 대한 수정 NumOps
• [SPARK-43604] [SC-132165][sql] 소스 코드에 오류 텍스트를 포함하지 않도록 하기 위한 리팩터링 INVALID_SQL_SYNTAX
• [SPARK-43859] [SC-132883][sql] LateralColumnAliasReference에서 toString 메서드 재정의
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Catalog.listCatalogs에 대한 선택적 패턴 추가
• [SPARK-43353] "[SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션" 되돌리기
• [SPARK-43375] [SC-130309][연결] INVALID_CONNECT_URL 대한 오류 메시지 개선
• [SPARK-43863] [SC-132721][connect] Scala 2.13에서 toSeq 중복 SparkConnectPlanner 제거
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Spark Connect을 위한 수정 DatetimeOps
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Spark Connect을 위한 BinaryOps 수정
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Spark Connect 수정 NullOps
• [SPARK-43782] [SC-132885][core] 정적 Spark conf를 사용하여 로그 수준 구성 지원
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][sql] ExpressionImplUtils에 AES IV 및 AAD 지원 추가
• [SPARK-43795] [SC-132532][connect] SparkConnectPlanner에 사용되지 않는 매개 변수 제거
• [SPARK-42317] [SC-129194][sql] _LEGACY_ERROR_TEMP_2247에 이름 지정: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] 오류 클래스 _LEGACY_ERROR_TEMP_0017에 이름 지정하기
• [SPARK-43834] [SC-132679][sql] 다음의 컴파일 오류에 오류 클래스 사용 ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[4-5]
• [SPARK-43576] [SC-132533][core] Core 모듈에서 사용되지 않는 선언 제거
• [SPARK-43314] [SC-129970][connect][PYTHON] Spark Connect 클라이언트 오류를 오류 클래스로 마이그레이션
• [SPARK-43799] [SC-132715][python] Pyspark Protobuf API에 설명자 이진 옵션 추가
• [SPARK-43837] [SC-132678][sql] 오류 클래스 _LEGACY_ERROR_TEMP_103 이름 할당[1-2]
• [SPARK-43862] [SC-132750][sql] 오류 클래스 LEGACY_ERROR_TEMP(1254 및 1315)에 이름 할당
• [SPARK-43886] [SC-132808][python] Pandas UDF의 입력 힌트로 제네릭 튜플 허용
• [SPARK-43530] [SC-132653][protobuf] 설명자 파일을 한 번만 읽습니다.
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] CategoricalOps을(를) 위한 Spark Connect 수정
• [SPARK-39979] [SC-132685][sql] 화살표 UDF 작업에 큰 변수 너비 벡터를 사용하는 옵션 추가
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Spark Connect을 위한 StringOps 수정
• [SPARK-43353] [SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션
• [SPARK-43815] [SC-132781][sql] to_varcharto_char 별칭을 추가합니다.
• [SPARK-43543] [13.x][sc-131839][PYTHON] Pandas UDF에서 중첩된 MapType 동작 수정
• [SPARK-43361] [SC-131789][protobuf] 열거형 serialization과 관련된 오류에 대한 업데이트 설명서
• [SPARK-43740] [SC-132035][python][CONNECT] 자동 완성에서 지원 session 되지 않는 메서드 숨기기
• [SPARK-43022] [SC-131681][connect] Scala 클라이언트에 대한 protobuf 함수 지원
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] NotImplementedError에서 PySparkNotImplementedError로 이동합니다
• ko-KR: [SPARK-43860] [SC-132713][sql] 가능한 경우 꼬리 재귀를 활용하십시오
• [SPARK-42421] [SC-132695][core] 유틸리티를 사용하여 로컬 검사점에서 사용되는 동적 할당 스위치를 가져옵니다.
• [SPARK-43590] [SC-132012][connect] connect-jvm-client-mima-check 모듈과 함께 mima 검사를 지원하도록 protobuf 만들기
• [SPARK-43315] [13.x][connect][PYTHON][ss] DataFrame 리더|라이터에서 남아 있는 오류를 오류 클래스로 마이그레이션하기
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: ints로 열거형이 있는 serde 허용
• [SPARK-43789] [SC-132397][r] 기본적으로 화살표가 있는 R createDataFrame에서 'spark.sql.execution.arrow.maxRecordsPerBatch'를 사용합니다.
• [SPARK-43596] [SC-126994][sql] rewriteDomainJoins에서 IsNull 조건자 처리
• [SPARK-42249] [SC-122565][sql] 오류 메시지의 설명서에 대한 html 링크 구체화
• [SPARK-43128] [SC-131628][connect][SS] recentProgress 및 lastProgress가 네이티브 Scala Api와 일치하는 StreamingQueryProgress를 반환하도록 조정합니다.
• [SPARK-43387] [SC-130448][sql] _LEGACY_ERROR_TEMP_1168 대해 사람이 읽을 수 있는 오류 코드를 제공합니다.
• [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions를 API 응답으로 serialize하는 동안 오류 수정
• [SPARK-42958] [SC-131475][connect] avro 모듈을 사용하여 mima 검사를 지원하도록 리팩터링 connect-jvm-client-mima-check
• [SPARK-43591] [SC-131977][sql] 오류 클래스 _LEGACY_ERROR_TEMP_0013에 이름을 지정하다
• [SPARK-38464] [SC-132211][core] org.apache.spark.io 오류 클래스 활용
• [SPARK-43759] [SC-132189][sql][PYTHON] timestampNTZType을 pyspark.sql.types로 노출
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[1-3]
• [SPARK-43719] [SC-132016][webui] missing row.excludedInStages 필드 처리
• [SPARK-42956] [SC-127257][connect] Scala 클라이언트에 대한 avro 함수 지원
• [SPARK-43487] [SC-131975][sql] 중첩된 CTE 오류 메시지 수정
• [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
• [SPARK-40912] [SC-131547][core]KryoDeserializationStream의 예외 오버헤드
• [SPARK-43583] [SC-131976][core] SaslRpcHandler 인스턴스 대신 대리자에서 MergedBlockedMetaReqHandler 가져오기
• [SPARK-42996] [SC-131997][connect][PS][ml] 모든 실패한 테스트에 적절한 JIRA 티켓을 만들고 할당합니다.
• [SPARK-38469] [SC-131425][core] org.apache.spark.network에서 오류 클래스 사용
• [SPARK-43718] [SC-132014][sql] USING 조인에서 키의 null 허용 여부를 올바르게 설정합니다.
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop 에서 빈 열을 허용해야 함
• [SPARK-43743] [SC-132038][sql] 포트 HIVE-12188(DoA가 비 kerberos 보안 HS2에서 제대로 작동하지 않음)
• [SPARK-43598] [SC-131929][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2400에 이름 할당
• [SPARK-43138] [SC-131031][core] 마이그레이션 중에 ClassNotFoundException 수정
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala 클라이언트 StreamingQueryManager
• [SPARK-38467] [SC-131025][core] org.apache.spark.memory에서 오류 클래스 사용
• [SPARK-43345] [SC-131790][spark-43346][SQL] 오류 클래스 이름을 LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] 하위 식 제거 지원 바로 가기 식
• [SPARK-38462] [SC-130449][core] 오류 클래스 추가 INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] cannotBroadcastTableOverMaxTableBytesError을(를) bytesToString로 사용하는 것으로 수정하십시오.
• [SPARK-43539] [SC-131830][sql] 오류 클래스 _LEGACY_ERROR_TEMP_0003 이름 할당
• [SPARK-43157] [SC-131688][sql] 복제된 계획이 동일한 개체를 참조하지 못하도록 InMemoryRelation 캐시된 계획 복제
• [SPARK-43309] [SC-129746][spark-38461][CORE] INTERNAL_ERROR를 범주로 확장하고 INTERNAL_ERROR_BROADCAST 오류 클래스를 추가합니다.
• [SPARK-43281] [SC-131370][sql] 동시 작성기가 파일 메트릭을 업데이트하지 않는 수정
• [SPARK-43383] [SC-130660][sql] LocalRelation에 통계 추가 rowCount
• [SPARK-43574] [SC-131739][python][SQL] 런타임 동안 작업자에서 UDF 및 pandas 함수 API에 대한 Python 실행 파일을 설정하도록 지원
• [SPARK-43569] [SC-131694][sql] HADOOP-14067에 대한 해결 방법 제거
• [SPARK-43183] [SC-128938][ss][13.x] StreamingQueryListener에 새 콜백 "onQueryIdle" 소개
• [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복 필드 이름 지원
• [SPARK-43548] [SC-131686][ss] HADOOP-16255에 대한 해결 방법 제거
• [SPARK-43494] [SC-131272][core] replicate()에 대해 리플렉션 대신 HdfsDataOutputStreamBuilder에서 SparkHadoopUtil#createFile를 직접 호출하십시오.
• [SPARK-43471] [SC-131063][core] 누락된 hadoopProperties 및 metricsProperties 처리
• [SPARK-42899] [SC-126456][sql] nullable 필드 내에 null을 허용하지 않는 중첩 필드가 있는 경우를 처리하도록 DataFrame.to(스키마)를 수정했습니다.
• [SPARK-43302] [SC-129747][sql] Python UDAF를 AggregateFunction으로 만들기
• [SPARK-43223] [SC-131270][connect] 집계 및 축소 함수, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] 예외에 있는 경우 오류 클래스를 포함하도록 QueryTerminatedEvent를 확장합니다.
• [SPARK-43359] [SC-131463][sql] Hive 테이블에서 삭제 시 "UNSUPPORTED_FEATURE.TABLE_OPERATION" 오류가 발생해야 합니다.
• [SPARK-43284] [SC-130313] URL로 인코딩된 문자열로 다시 전환
• [SPARK-43492] [SC-131227][sql] 3-args 함수 별칭 추가 DATE_ADD 및 DATE_DIFF
• [SPARK-43473] [SC-131372][python] pandas DataFrame의 createDataFrame에서 구조체 형식 지원
• [SPARK-43386] [SC-131110][sql] 오류 클래스에서 UNRESOLVED_COLUMN.WITH_SUGGESTION 제안된 열/특성 목록 개선
• [SPARK-43443] [SC-131332][sql] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
• [SPARK-43518] [SC-131420][sql] _LEGACY_ERROR_TEMP_2029를 INTERNAL_ERROR로 변환
• [SPARK-42604] [SC-130648][connect] functions.typedlit 함수를 구현하다
• [SPARK-42323] [ES-669513] "[SC-123479][sql] _LEGACY_ERROR_TEMP_2332에 이름 할당" 취소
• [SPARK-43357] [SC-130649][sql] 필터 날짜 유형 견적 날짜
• [SPARK-43410] [SC-130526][sql] Packed skipValues에 대한 벡터화된 루프 개선
• [SPARK-43441] [SC-130995][core] makeDotNode 는 DeterministicLevel이 없을 때 실패하지 않아야 합니다.
• [SPARK-43324] [SC-130455][sql] 델타 기반 원본에 대한 UPDATE 명령 처리
• [SPARK-43272] [SC-131168][core] 리플렉션 대신 직접 호출 createFile
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Spark Connect 세션 오류를 오류 클래스로 마이그레이션
• [SPARK-43405] [SC-130987][sql] 쓸모없는 getRowFormatSQL제거 , inputRowFormatSQLoutputRowFormatSQL 메서드
• [SPARK-43447] [SC-131017][r] R 4.3.0 지원
• [SPARK-43425] [SC-130981][sql] TimestampNTZType를 ColumnarBatchRow에 추가
• [SPARK-41532] [SC-130523][connect][CLIENT] 여러 데이터 프레임을 포함하는 작업에 대한 확인 추가
• [SPARK-43262] [SC-129270][connect][SS][python] Spark Connect 구조적 스트리밍 오류를 오류 클래스로 마이그레이션
• [SPARK-42992] [13.x][sc-129465][PYTHON] PySparkRuntimeError 도입
• [SPARK-43422] [SC-130982][sql] 메타데이터 출력을 사용하여 LogicalRelation에 태그 유지
• [SPARK-43390] [SC-130646][sql] DSv2를 사용하면 CTAS/RTAS에서 스키마 Null 허용을 예약할 수 있습니다.
• [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest는 임의의 요청 옵션을 지원합니다.
• [SPARK-43313] [SC-130254][sql] MERGE INSERT 작업에 대한 누락된 열 DEFAULT 값 추가
• [SPARK-42842] [SC-130438][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2006을 REGEX_GROUP_INDEX로 병합합니다.
• [SPARK-43377] [SC-130405][sql] 기본적으로 사용 spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoader을 core 모듈로 이동하고 Executor#addReplClassLoaderIfNeeded을 간소화하기
• [SPARK-43040] [SC-130310][sql] JDBC 데이터 원본에서 TimestampNTZ 형식 지원 개선
• [SPARK-43343] [SC-130629][ss] FileStreamSource는 DataSource를 만들 때 추가 파일 glob 검사를 사용하지 않도록 설정해야 합니다.
• [SPARK-43312] [SC-130294][protobuf] 모든 필드를 JSON으로 변환하는 옵션
• [SPARK-43404] [SC-130586][ss] ID 불일치 오류를 방지하기 위해 동일한 버전의 RocksDB 상태 저장소에 sst 파일 재사용 건너뛰기
• [SPARK-43397] [SC-130614][core] 메서드의 executorLost 로그 실행기 서비스 해제 기간
• [SPARK-42388] [SC-128568][sql] 벡터화된 판독기에서 parquet 바닥글을 두 번 읽는 것을 방지합니다.
• [SPARK-43306] [13.x][sc-130320][PYTHON] Spark SQL 형식에서 오류 클래스로 ValueError 마이그레이션
• [SPARK-43337] [SC-130353][ui][3.4] 열 정렬을 위한 Asc/desc 화살표 아이콘이 테이블 열에 표시되지 않음
• [SPARK-43279] [SC-130351][core] 사용되지 않는 멤버 정리 SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2014 를 내부 오류로 바꾸기
• [SPARK-43363] [SC-130299][sql][PYTHON] 화살표 형식이 제공되지 않은 경우에만 범주 형식을 호출 astype 합니다.
• [SPARK-43261] [SC-130154][python] Spark SQL 형식에서 오류 클래스로 마이그레이션 TypeError
• [SPARK-41971] [SC-130230][sql][PYTHON] 구조체 형식 처리 방식을 위한 pandas 변환 구성 추가하기
• [SPARK-43381] [SC-130464][connect] 'transformStatCov' 지연 초기화
• [SPARK-43362] [SC-130481][sql] MySQL 커넥터용 JSON 유형의 특수 처리
• [SPARK-42843] [SC-130196][sql] _LEGACY_ERROR_TEMP_2007 오류 클래스를 REGEX_GROUP_INDEX로 업데이트
• [SPARK-42585] [SC-129968][연결] 로컬 관계 스트리밍
• [SPARK-43181] [SC-130476][sql] 셸에서 spark-sql UI WebURL 표시
• [SPARK-43051] [SC-130194][연결] 기본값을 내보내는 옵션 추가
• [SPARK-43204] [SC-129296][sql] MERGE 할당을 테이블 특성과 정렬
• [SPARK-43348] [SC-130082][python] PyPy3에서 Python 3.8 지원
• [SPARK-42845] [SC-130078][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2010 InternalError로 업데이트
• [SPARK-43211] [SC-128978][hive] IsolatedClientLoader에서 Hadoop2 지원 제거

시스템 환경

• 운영 체제: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• 델타 레이크: 2.4.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)