다음을 통해 공유

Databricks Runtime 16.0(EoS)

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 16.0에 대한 정보를 제공합니다.

Databricks는 2024년 11월에 이 버전을 릴리스했습니다.

비고

이 Databricks 런타임 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

동작 변경

중대한 변경: JDK 17이 이제 기본값입니다.

Databricks Runtime 16.0 이상에서는 기본 JDK 버전이 JDK 8에서 JDK 17로 전환됩니다. 이 변경은 JDK 8에 대한 계획된 사용 중단 및 지원 종료로 인해 수행됩니다. 이는 다음 사항에 영향을 줍니다.

  • Azure Databricks 컴퓨팅에서 실행되는 Java 코드는 Java 17과 호환되어야 합니다.
  • Notebook 또는 Azure Databricks 컴퓨팅에서 실행되는 Scala 코드는 Java 17과 호환되어야 합니다.
  • 컴퓨팅에 설치된 Java 및 Scala 라이브러리는 Java 17과 호환되어야 합니다.
  • 2.x 미만의 Apache Hive 메타스토어 클라이언트 버전입니다. Spark 구성 spark.sql.hive.metastore.version 을 2.x보다 낮은 버전으로 설정하면 Java 17과의 호환성 문제 및 Hive 메타스토어에 대한 연결 오류가 발생합니다. Databricks는 Hive를 2.0.0 이상의 버전으로 업그레이드하는 것이 좋습니다.

Java 8로 되돌려야 하는 경우 Azure Databricks 컴퓨팅을 구성할 때 Spark 환경 변수에 다음을 추가합니다.

JNAME=zulu8-ca-amd64

ARM 인스턴스를 사용하는 경우 다음을 사용합니다.

JNAME=zulu8-ca-arm64

Azure Databricks 컴퓨팅을 사용하여 JDK 버전을 지정하는 방법에 대한 자세한 내용은 특정 JDK 버전을 사용하여 클러스터 만들기를 참조하세요.

Java 8에서 코드를 마이그레이션하는 데 도움이 되는 내용은 다음 가이드를 참조하세요.

호환성이 손상되는 변경: 호스팅된 RStudio는 지원 종료가 됩니다.

이 릴리스에서 Databricks 호스팅 RStudio Server는 수명이 종료되며 Databricks Runtime 16.0 이상을 실행하는 모든 Azure Databricks 작업 영역에서 사용할 수 없습니다. 자세한 내용을 알아보고 RStudio에 대한 대안 목록을 보려면 Databricks 호스팅 RStudio Server에 연결을 참조하세요.

호환성 손상: byte, short, int, long 형식을 더 넓은 형식으로 변경하는 지원 제거

Databricks Runtime 15.4.3 이상에서는 형식 확장 기능을 사용하도록 설정된 테이블에 다음 데이터 형식 변경 내용을 더 이상 적용할 수 없습니다.

  • byte, short, int, long에서 decimal까지.
  • byte, short 및 int를 double로.

이러한 변경은 델타 및 Apache Iceberg 테이블에서 일관된 동작을 보장하기 위해 수행됩니다. 형식 확대에 대한 자세한 내용은 형식 확대를 참조 하세요.

중첩 문자 그룹에서 부정을 포함한 정규 표현식 패턴의 올바른 구문 분석

이 릴리스에는 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석을 지원하기 위한 변경 내용이 포함되어 있습니다. 예를 들어 [^[abc]] "'abc' 중 하나가 아닌 문자"로 구문 분석됩니다.

또한 Photon 동작이 중첩된 문자 클래스의 Spark와 일치하지 않았습니다. 중첩된 문자 클래스를 포함하는 Regex 패턴은 더 이상 Photon을 사용하지 않고 대신 Spark를 사용합니다. 중첩 문자 클래스는 대괄호 안에 대괄호를 포함하는 패턴입니다(예: [[a-c][1-3]].).

Delta Lake에서 중복 일치 검색 개선 MERGE

Databricks Runtime 15.4 LTS 및 이전 버전에서, 원본 테이블의 둘 이상의 행이 MERGE 대상 테이블의 동일한 행과 MERGE 절에 지정된 조건에 따라 일치할 경우, ON 작업이 실패하게 됩니다. Databricks Runtime 16.0 이상에서는 MERGE 절에 지정된 조건도 WHEN MATCHED에서 고려합니다. 병합을 사용하여 Delta Lake 테이블에 Upsert를 적용하는 방법을 참조하십시오.

클러스터 라이브러리 설치 방법을 더 이상 재정의할 수 없습니다.

Spark 구성은 spark.databricks.libraries.enableSparkPyPIspark.databricks.libraries.enableMavenResolutionspark.databricks.libraries.enableCRANResolutionnow 기본값 true 이며 재정의할 수 없습니다.

클러스터 범위의 라이브러리 설치에 대해 2시간의 기본 시간 제한

Databricks Runtime 16.0 이상에서 클러스터 범위 라이브러리 설치의 기본 시간 제한은 2시간입니다. 이 시간 제한보다 오래 걸리는 라이브러리 설치가 실패하고 설치가 종료됩니다. 클러스터를 구성할 때 Spark 구성 spark.databricks.driver.clusterLibraryInstallationTimeoutSec을 사용하여 시간 제한 기간을 변경할 수 있습니다.

DBFS에서 라이브러리 설치 및 spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed 설정이 비활성화됨

Databricks Runtime 16.0 이상에서는 DBFS에서 라이브러리를 설치할 수 없습니다. 이 변경 내용은 Databricks 작업 영역에서 라이브러리의 보안을 개선하기 위해 수행됩니다. 또한 Databricks Runtime 16.0 이상에서는 더 이상 Spark 구성 spark.databricks.driver.dbfsLibraryInstallationAllowed을 사용할 수 없습니다.

addArtifact() 이제 컴퓨팅 유형 간에 기능이 일관됩니다.

이 릴리스에서는 addArtifact(archive = True)를 사용하여 공유 또는 서버리스 Azure Databricks 컴퓨팅에 종속성을 추가할 때, 보관 파일이 자동으로 압축 해제됩니다. 이러한 변경으로 인해 이러한 컴퓨팅 형식의 addArtifact(archive = True) 동작이 전용 컴퓨팅(이전의 단일 사용자 컴퓨팅)과 일치하게 되며, 이는 이미 자동으로 압축 풀기를 지원합니다.

특수 문자가 있는 주요 식별자에 대해 역따옴표 규칙이 올바르게 적용됨

이 릴리스에서는 특수 문자가 포함된 보안 주체 식별자가 GRANT, DENY, REVOKE 문에서 백틱으로 묶이지 않으면 오류가 발생합니다.

새로운 기능 및 개선 사항

향상된 기능으로 수정된 Python 모듈을 보다 안정적으로 다시 로드할 수 있습니다 autoreload

Databricks Runtime 16.0 이상에서 확장 업데이트 autoreload 는 작업 영역 파일에서 가져온 수정된 Python 모듈을 다시 로드하는 안전성과 안정성을 향상시킵니다. 이러한 변경 내용으로 autoreload가능한 경우 전체 모듈 대신 변경된 모듈의 부분만 다시 로드합니다. 또한 이제 Azure Databricks는 모듈이 마지막 가져오기 이후 변경된 경우 autoreload 확장을 사용하는 것을 자동으로 제안합니다. Python 모듈에 대한 자동 로드를 참조 하세요.

재귀 스키마에 대한 Avro 지원

이제 recursiveFieldMaxDepth 옵션을 from_avro 함수와 avro 데이터 원본에서 사용할 수 있습니다. 이 옵션은 Avro 데이터 원본의 스키마 재귀에 대한 최대 깊이를 설정합니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조 하세요.

to_avro 및 from_avro 함수

to_avro 및 from_avro 함수를 사용하면 SQL 형식을 Avro 이진 데이터로 변환하고 다시 변환할 수 있습니다.

Avro용 Confluent 스키마 레지스트리에 대한 확장된 지원

이제 Azure Databricks는 Confluent 스키마 레지스트리를 사용하여 Avro 스키마 참조를 지원합니다. 외부 Confluent 스키마 레지스트리에 대한 인증을 참조하세요.

액체 클러스터링을 활용하여 테이블을 강제로 다시 클러스터링하기

Databricks Runtime 16.0 이상에서는 구문을 사용하여 OPTIMIZE FULL 액체 클러스터링을 사용하도록 설정된 테이블의 모든 레코드를 강제로 클러스터링할 수 있습니다. 모든 레코드에 대한 강제 재클러스터링을 참조하십시오.

Python 및 Scala용 델타 API는 이제 ID 열을 지원합니다.

이제 Python 및 Scala용 델타 API를 사용하여 ID 열이 있는 테이블을 만들 수 있습니다. Delta Lake에서 ID 열 사용을 참조하세요.

전용 컴퓨팅(이전의 단일 사용자 컴퓨팅)에 대한 세분화된 액세스 제어를 일반적으로 사용할 수 있습니다.

Databricks Runtime 16.0 이상에서는 전용 컴퓨팅에 대한 세분화된 액세스 제어를 일반적으로 사용할 수 있습니다. 서버리스 컴퓨팅에 사용하도록 설정된 작업 영역에서 전용 컴퓨팅과 같은 지원되는 컴퓨팅에서 쿼리가 실행되고 쿼리가 다음 개체 중 하나로 액세스하는 경우 컴퓨팅 리소스는 쿼리를 서버리스 컴퓨팅에 전달하여 데이터 필터링을 실행합니다.

  • 사용자에게 SELECT 권한이 없는 테이블에 대해 정의된 뷰입니다.
  • 동적 보기.
  • 행 필터 또는 열 차단이 적용된 테이블입니다.
  • 구체화된 뷰 및 스트리밍 테이블

스트리밍 쓰기 중에 액체 클러스터형 테이블 만들기

이제 구조적 스트리밍 쓰기를 사용하여 새 테이블을 만들 때 액체 클러스터링을 사용하도록 clusterBy 설정할 수 있습니다. 액체 클러스터링 사용을 참조하세요.

OPTIMIZE FULL 절에 대한 지원

Databricks Runtime 16.0은 OPTIMIZE FULL 절을 지원합니다. 이 절은 이전에 클러스터링되었을 수 있는 데이터를 포함하여 액체 클러스터링을 사용하는 테이블의 모든 레코드를 최적화합니다.

INSERT 및 테이블 참조에서 WITH 옵션 지정 지원

Databricks Runtime 16.0은 데이터 소스의 동작을 제어하기 위해 사용되는 구문에서 테이블 참조와 테이블 이름에 대한 옵션 사양을 지원합니다.

새 SQL 함수

Databricks Runtime 16.0에 다음 SQL 함수가 추가됩니다.

  • try_url_decode (URL 디코딩 시도)

    이 함수는 오류에 관대한 url_decode 버전입니다. 이 함수는 입력이 유효한 URL로 인코딩된 문자열이 아닌 경우 반환 NULL 합니다.

  • zeroifnull

    함수에 대한 zeroifnull() 입력 식이 NULL있으면 함수는 0을 반환합니다. 그렇지 않으면 입력 식의 값이 반환됩니다.

  • nullifzero

    입력이 0이면 NULL를 반환하고, 0이 아니면 입력된 값을 반환합니다. 함수에 대한 입력 식이 nullifzero() 0이면 함수가 반환됩니다 NULL. 입력 식이 0이 아니면 입력 식의 값이 반환됩니다.

델타 테이블에 데이터를 병합할 때 자동 스키마 진화 사용

이 릴리스는 withSchemaEvolution() 클래스의 DeltaMergeBuilder 멤버에 대한 지원을 추가합니다. withSchemaEvolution()을 사용하여 MERGE 작업 중 자동 스키마 진화를 활성화합니다. 예: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

기타 변경 사항

이제 SparkR이 더 이상 사용되지 않습니다.

Databricks Runtime 16.0 이상에서 Databricks의 SparkR은 향후 Spark 4 릴리스에서 사용 중단에 대비하여 더 이상 사용되지 않습니다. Apache Spark 사용되지 않는 SparkR 스레드를 참조하세요.

Databricks는 대신 sparklyr을 사용할 것을 권장합니다.

Databricks Runtime 16.0은 PVC에서 지원되지 않습니다.

Databricks Runtime 16.0은 Databricks PVC(프라이빗 가상 클라우드)에서 지원되지 않습니다. 모든 PVC 릴리스에서 Databricks Runtime 15.4 이하를 사용해야 합니다.

버그 수정

이제 자동 로더가 빈 스키마를 사용하여 Avro 레코드 형식을 복구합니다.

자동 로더 record 를 사용하여 Avro 파일을 델타 테이블에 로드할 때, 이제 빈 스키마가 있는 파일 형식이 구제된 데이터 열에 추가됩니다. 빈 복합 데이터 형식을 델타 테이블에 수집할 수 없으므로 일부 Avro 파일을 로드하는 문제를 해결합니다. 구조된 데이터에 대한 자세한 내용은 구조된 데이터 열이란?을 참조하세요.

두 번째 오프셋이 포함된 표준 시간대의 타임스탬프 작성 오류 수정.

이 릴리스는 두 번째 오프셋을 포함하는 시간대를 사용할 때 일부 타임스탬프에 영향을 주는 버그를 수정합니다. 이 버그로 인해 JSON, XML 또는 CSV에 쓸 때 초가 생략되어 잘못된 타임스탬프 값이 발생합니다.

이전 동작으로 돌아가려면 영향을 받는 형식 .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")중 하나에 쓸 때 다음 옵션을 사용합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • azure-core 1.30.2에서 1.31.0으로
    • azure-storage-blob 12.19.1에서 12.23.0으로
    • azure-storage-file-datalake 12.14.0에서 12.17.0으로
    • 검정 23.3.0에서 24.4.2로
    • blinker 1.4에서 1.7.0으로
    • boto3에서 1.34.39에서 1.34.69로
    • botocore 버전 1.34.39에서 1.34.69로 업데이트
    • 2023.7.22에서 2024.6.2로 인증
    • cffi 1.15.1에서 1.16.0으로
    • 8.0.4에서 8.1.7로 클릭
    • 0.1.2에서 0.2.1로 커밋
    • 컨투어파이를 1.0.5에서 1.2.0으로
    • 41.0.3에서 42.0.5로 암호화
    • Cython을 0.29.32에서 3.0.11로 업그레이드
    • databricks-sdk 0.20.0에서 0.30.0으로
    • dbus-python 1.2.18에서 1.3.2로 업데이트
    • filelock 버전 3.13.4에서 3.15.4까지
    • fonttools 4.25.0에서 4.51.0으로
    • GitPython 3.1.43에서 3.1.37로
    • google-api-core 2.18.0에서 2.20.0으로
    • google-auth 2.31.0에서 2.35.0으로
    • google-cloud-storage 2.17.0에서 2.18.2로
    • 1.5.0에서 1.6.0까지의 google-crc32c
    • google-resumable-media 2.7.1에서 2.7.2로
    • googleapis-common-protos 1.63.2에서 1.65.0으로
    • httplib2 from 0.20.2 to 0.20.4
    • idna 3.4에서 3.7로
    • ipykernel 6.25.1에서 6.28.0으로
    • ipython 8.15.0에서 8.25.0으로
    • 제다이 0.18.1에서 0.19.1로更新
    • jmespath 0.10.0에서 1.0.1로
    • joblib 1.2.0에서 1.4.2로 업데이트
    • jupyter_client 7.4.9에서 8.6.0으로
    • jupyter_core 5.3.0에서 5.7.2로
    • launchpadlib에서 1.10.16에서 1.11.0으로
    • lazr.restfulclient 0.14.4에서 0.14.6까지
    • matplotlib 3.7.2에서 3.8.4로
    • mlflow-skinny 버전 2.11.4에서 2.15.1로
    • more-itertools 버전 8.10.0에서 10.3.0으로
    • mypy-extensions 버전을 0.4.3에서 1.0.0으로 업데이트
    • nest-asyncio 버전을 1.5.6에서 1.6.0으로 업그레이드하기
    • numpy 1.23.5에서 1.26.4로
    • oauthlib에서 3.2.0에서 3.2.2로
    • 23.2에서 24.1로 패키징
    • patsy 0.5.3에서 0.5.6으로
    • pip을 23.2.1 버전에서 24.2 버전으로 업데이트
    • plotly를 5.9.0에서 5.22.0으로 업데이트
    • prompt-toolkit 3.0.36에서 3.0.43로 업데이트
    • 14.0.1에서 15.0.2까지의 pyarrow
    • pydantic를 1.10.6에서 2.8.2로
    • 3.42.1에서 3.48.2로 PyGObject
    • PyJWT 2.3.0에서 2.7.0으로
    • pyodbc 4.0.38에서 5.0.1까지
    • python-dateutil 버전을 2.8.2에서 2.9.0.post0로 업데이트
    • python-lsp-jsonrpc 1.1.1에서 1.1.2로 업데이트
    • pytz 2022.7부터 2024.1까지
    • 6.0에서 6.0.1까지의 PyYAML
    • pyzmq가 버전 23.2.0에서 25.1.2로 업데이트됨
    • 2.31.0에서 2.32.2로 요청
    • scikit-learn 버전 1.3.0에서 1.4.2까지
    • scipy 1.11.1부터 1.13.1까지
    • seaborn 버전 0.12.2에서 0.13.2로 업데이트
    • setuptools 68.0.0 버전에서 74.0.0 버전으로 변경
    • smmap 5.0.1에서 5.0.0으로
    • sqlparse 버전을 0.5.0에서 0.5.1로 업데이트
    • statsmodels 0.14.0에서 0.14.2로
    • 토네이도 6.3.2에서 6.4.1로
    • traitlets 버전을 5.7.1에서 5.14.3으로 업데이트
    • typing_extensions 4.10.0에서 4.11.0으로
    • ujson을 5.4.0에서 5.10.0으로
    • virtualenv 20.24.2에서 20.26.2로
    • 휠을 0.38.4에서 0.43.0으로
    • zipp 3.11.0에서 3.17.0
  • 업그레이드된 R 라이브러리:
    • 화살표를 14.0.0.2에서 16.1.0으로
    • 1.4.1에서 1.5.0까지의 백포트
    • 기본 버전을 4.3.2에서 4.4.0으로 변경
    • bitops 1.0-7부터 1.0-8까지
    • 1.3-28에서 1.3-30으로 부팅
    • brio 1.1.4에서 1.1.5로 업데이트
    • 브룸 1.0.5에서 1.0.6으로
    • bslib from 0.6.1 to 0.8.0
    • cachem 1.0.8에서 1.1.0으로
    • callr 3.7.3에서 3.7.6으로 업데이트
    • cli 3.6.2에서 3.6.3으로
    • 클럭 0.7.0에서 0.7.1로 업데이트
    • 클러스터를 2.1.4에서 2.1.6으로
    • codetools 버전 0.2-19에서 0.2-20으로 업데이트
    • colorspace 버전 2.1-0에서 2.1-1로 업데이트
    • 컴파일러 4.3.2에서 4.4.0으로
    • 크레용 버전 1.5.2에서 1.5.3로 업데이트
    • curl 5.2.0에서 5.2.1로 업데이트
    • data.table 1.15.0에서 1.15.4까지
    • 4.3.2에서 4.4.0까지의 데이터 세트
    • DBI 1.2.1에서 1.2.3으로
    • dbplyr의 버전이 2.4.0에서 2.5.0으로
    • digest의 버전을 0.6.34에서 0.6.36으로 업데이트
    • 0.4.3에서 0.4.4로 다운라이트
    • 0.23에서 0.24.0으로 평가
    • farver 2.1.1에서 2.1.2로 업데이트
    • fastmap 버전 1.1.1에서 1.2.0으로 업데이트
    • 외화 0.8-85에서 0.8-86으로
    • 버전 1.6.3에서 1.6.4로 fs 업데이트
    • 향후 1.33.1에서 1.34.0으로
    • future.apply 1.11.1 버전에서 1.11.2 버전으로 업데이트
    • gert 2.0.1에서 2.1.0으로
    • ggplot2가 3.4.4 버전에서 3.5.1 버전으로
    • gh에서 1.4.0에서 1.4.1로
    • globals 0.16.2에서 0.16.3로
    • 그래픽 4.3.2에서 4.4.0으로
    • grDevices 4.3.2에서 4.4.0으로
    • 그리드를 4.3.2에서 4.4.0으로
    • gt를 0.10.1에서 0.11.0으로 업데이트
    • gtable 0.3.4에서 0.3.5까지
    • hardhat 버전을 1.3.1에서 1.4.0으로 업데이트
    • 0.10에서 0.11로 높음
    • htmltools 버전이 0.5.7에서 0.5.8.1로 업데이트됨
    • httpuv 1.6.14에서 1.6.15으로
    • httr2 버전 1.0.0에서 1.0.2로 업데이트 되었습니다.
    • ipred 0.9-14에서 0.9-15으로
    • KernSmooth의 2.23-21에서 2.23-22로
    • knitr 1.45에서 1.48까지
    • 격자 0.21-8에서 0.22-5로
    • 용암 1.7.3 ~ 1.8.0
    • markdown 1.12에서 1.13으로
    • 질량 버전 7.3-60에서 7.3-60.0.1로
    • 1.5-4.1에서 1.6-5까지의 행렬
    • 메서드를 4.3.2에서 4.4.0으로
    • mgcv 버전 1.8-42에서 1.9-1로 변경
    • mlflow 버전 2.10.0에서 2.14.1로
    • munsell 0.5.0에서 0.5.1로
    • nlme 버전 3.1-163에서 3.1-165로 업데이트
    • openssl 버전을 2.1.1에서 2.2.0으로 업데이트
    • 4.3.2에서 4.4.0으로 병렬 처리
    • 병렬로 1.36.0에서 1.38.0으로
    • pkgbuild 1.4.3에서 1.4.4로
    • pkgdown 버전 2.0.7에서 2.1.0으로 업데이트
    • pkgload 1.3.4에서 1.4.0로
    • processx 3.8.3에서 3.8.4로
    • prodlim 2023년 08월 28일부터 2024년 06월 25일까지
    • 1.2.1에서 1.3.0으로 약속
    • ps 1.7.6 버전에서 1.7.7 버전으로
    • ragg 1.2.7에서 1.3.2로
    • Rcpp 1.0.12에서 1.0.13으로
    • RcppEigen 0.3.3.9.4에서 0.3.4.0.0으로
    • reactR을 0.5.0에서 0.6.0으로
    • 1.0.9에서 1.1.0까지의 레시피
    • 리모트를 2.4.2.1에서 2.5.0으로
    • reprex 2.1.0에서 2.1.1로
    • 1.1.3에서 1.1.4로의 rlang
    • rmarkdown 2.25에서 2.27로
    • roxygen2의 버전을 7.3.1에서 7.3.2로
    • rpart 버전 4.1.21에서 4.1.23까지
    • RSQLite 2.3.5에서 2.3.7로
    • rstudioapi 0.15.0에서 0.16.0으로
    • rvest 버전 1.0.3에서 1.0.4로
    • sass 0.4.8에서 0.4.9로
    • 도형을 1.4.6에서 1.4.6.1로
    • 1.8.0에서 1.9.1로 반짝입니다.
    • sparklyr 1.8.4에서 1.8.6으로
    • 7.3-15에서 7.3-17까지의 공간
    • 4.3.2에서 4.4.0까지의 스플라인
    • 통계는 4.3.2에서 4.4.0으로
    • stats4가 4.3.2에서 4.4.0으로
    • stringi 버전 1.8.3에서 1.8.4로
    • 3.5-5에서 3.6-4까지의 생존
    • swagger 3.33.1에서 5.17.14.1로
    • systemfonts 1.0.5에서 1.1.0으로
    • tcltk from 4.3.2 to 4.4.0
    • testthat를 3.2.1에서 3.2.1.1로 업데이트
    • 텍스트 쉐이핑 버전 0.3.7에서 0.4.0으로 업데이트
    • tidyselect 1.2.0에서 1.2.1로
    • tinytex 0.49에서 0.52로
    • 4.3.2에서 4.4.0까지의 도구
    • usethis 버전 2.2.2에서 3.0.0으로
    • utils 4.3.2에서 4.4.0으로 업데이트
    • uuid 1.2-0에서 1.2-1로 변화시킴
    • 4.4.1에서 4.4.2로 V8
    • withr 3.0.0에서 3.0.1로
    • xfun 0.41부터 0.46까지
    • xopen 1.0.0에서 1.0.1로 변경
    • yaml 2.3.8에서 2.3.10으로
  • 업그레이드된 Java 라이브러리:
    • com.amazonaws.aws-java-sdk-autoscaling 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-cloudformation 버전 업데이트: 1.12.610에서 1.12.638로 이동
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-cloudhsm 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-cloudsearch 버전이 1.12.610에서 1.12.638로 업데이트되었습니다.
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 버전을 1.12.610에서 1.12.638로 업데이트
    • com.amazonaws.aws-java-sdk-codedeploy 버전을 1.12.610에서 1.12.638으로 변경합니다.
    • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync에서 1.12.610부터 1.12.638까지
    • com.amazonaws.aws-java-sdk-config 1.12.610에서 1.12.638로
    • com.amazonaws.aws-java-sdk-core 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect 1.12.610 버전에서 1.12.638 버전으로
    • com.amazonaws.aws-java-sdk-directory 버전이 1.12.610에서 1.12.638으로 업데이트되었습니다.
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-ec2 버전 1.12.610에서 1.12.638으로
    • com.amazonaws.aws-java-sdk-ecs 버전을 1.12.610에서 1.12.638로 변경
    • com.amazonaws.aws-java-sdk-efs 1.12.610부터 1.12.638까지
    • com.amazonaws.aws-java-sdk-elasticache 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 버전 1.12.610에서 1.12.638로 업데이트
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 버전을 1.12.610에서 1.12.638로 업데이트했습니다.
    • com.amazonaws.aws-java-sdk-elastictranscoder 버전 1.12.610에서 1.12.638로 업데이트
    • com.amazonaws.aws-java-sdk-emr 버전이 1.12.610에서 1.12.638로 변경되었습니다.
    • com.amazonaws.aws-java-sdk-glacier 1.12.610에서 1.12.638으로
    • com.amazonaws.aws-java-sdk-glue 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-iam 1.12.610에서 1.12.638로
    • com.amazonaws.aws-java-sdk-importexport 버전 1.12.610에서 1.12.638로 업그레이드
    • com.amazonaws.aws-java-sdk-kinesis 1.12.610에서 1.12.638로
    • com.amazonaws.aws-java-sdk-kms 1.12.610에서 1.12.638으로
    • com.amazonaws.aws-java-sdk-lambda 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-logs 1.12.610에서 1.12.638로 업데이트
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-rds 1.12.610에서 1.12.638로
    • com.amazonaws.aws-java-sdk-redshift에서 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-route53에서 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-s3 버전 1.12.610에서 1.12.638로
    • com.amazonaws.aws-java-sdk-ses 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-sns 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-sqs 1.12.610부터 1.12.638까지
    • com.amazonaws.aws-java-sdk-ssm 버전 1.12.610에서 1.12.638로 업데이트
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-sts의 버전을 1.12.610에서 1.12.638로 변경합니다.
    • com.amazonaws.aws-java-sdk-support 버전 1.12.610에서 1.12.638로 업데이트됨
    • com.amazonaws.aws-java-sdk-workspaces 1.12.610에서 1.12.638로
    • com.amazonaws.jmespath-java 버전 1.12.610에서 1.12.638로 업데이트
    • com.google.protobuf.protobuf-java 2.6.1에서 3.25.1까지
    • io.airlift.aircompressor 버전을 0.25에서 0.27로 업데이트
    • io.delta.delta-sharing-client_2.12의 버전을 1.1.3에서 1.2.0으로 변경
    • io.netty.netty-all 버전 4.1.96.Final에서 4.1.108.Final로 업데이트
    • io.netty.netty-buffer 4.1.96.Final에서 4.1.108.Final로
    • io.netty.netty-codec 4.1.96.Final에서 4.1.108.Final까지
    • 4.1.96.Final에서 4.1.108.Final까지 io.netty.netty-codec-http
    • io.netty.netty-codec-http2를 4.1.96.Final에서 4.1.108.Final로 변경
    • io.netty.netty-codec-socks 버전을 4.1.96.Final에서 4.1.108.Final로 업데이트
    • io.netty.netty-common이 4.1.96.Final에서 4.1.108.Final로 업데이트되었습니다.
    • io.netty.netty-handler 4.1.96.Final에서 4.1.108.Final까지
    • io.netty.netty-handler-proxy의 버전이 4.1.96.Final에서 4.1.108.Final로 변경되었습니다.
    • io.netty.netty-resolver 4.1.96.Final에서 4.1.108.Final로
    • io.netty.netty-transport 버전 4.1.96.Final에서 4.1.108.Final로 업데이트
    • io.netty.netty-transport-classes-epoll 버전 4.1.96.Final에서 4.1.108.Final로
    • io.netty.netty-transport-classes-kqueue 4.1.96.Final에서 4.1.108.Final로 변경
    • io.netty.netty-transport-native-epoll을 4.1.96.Final-linux-x86_64에서 4.1.108.Final-linux-x86_64로 변경
    • io.netty.netty-transport-native-kqueue에서 4.1.96.Final-osx-x86_64 버전에서 4.1.108.Final-osx-x86_64 버전으로
    • io.netty.netty-transport-native-unix-common 4.1.96.Final에서 4.1.108.Final까지
    • org.apache.ivy.ivy 버전 2.5.1에서 2.5.2로 업데이트
    • org.apache.zookeeper.zookeeper 3.6.3에서 3.9.2로
    • org.apache.zookeeper.zookeeper-jute 버전 3.6.3에서 3.9.2로
    • org.rocksdb.rocksdbjni 8.11.4에서 9.2.1로
    • org.scalactic.scalactic_2.12 3.2.15에서 3.2.16으로 업데이트
    • org.scalatest.scalatest-compatible를 3.2.15 버전에서 3.2.16 버전으로
    • org.scalatest.scalatest-core_2.12 3.2.15부터 3.2.16까지
    • org.scalatest.scalatest-diagrams_2.12에서 3.2.15부터 3.2.16까지
    • org.scalatest.scalatest-featurespec_2.12가 3.2.15에서 3.2.16으로 업데이트됩니다.
    • org.scalatest.scalatest-flatspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-freespec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-funspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-funsuite_2.12가 3.2.15에서 3.2.16로 업데이트됨
    • org.scalatest.scalatest-matchers-core_2.12에서 3.2.15~ 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12의 버전을 3.2.15에서 3.2.16으로 업데이트합니다.
    • org.scalatest.scalatest-propspec_2.12에서 3.2.15부터 3.2.16까지
    • org.scalatest.scalatest-refspec_2.12의 버전을 3.2.15에서 3.2.16으로 변경
    • org.scalatest.scalatest-shouldmatchers_2.12에서 3.2.15부터 3.2.16까지
    • org.scalatest.scalatest-wordspec_2.12를 3.2.15에서 3.2.16으로
    • org.scalatest.scalatest_2.12 버전을 3.2.15에서 3.2.16으로

Apache Spark

Databricks Runtime 16.0에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.4 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-49093] [DBRRM-1371] "[SC-172958][sql] mapType nes를 사용하여 GROUP BY 되돌리기...
  • [SPARK-49898] [DBRRM-1282][sc-178410] SPARK-42204의 이벤트 로그 작업 메트릭 누적기 로깅 플래그에 대한 설명서 및 기본값 수정
  • [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr이 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49816] [SC-177896][sql] 참조된 외부 CTE 관계의 out-going-ref-count만 업데이트해야 합니다.
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] 재귀 스키마 참조를 사용하여 Avro 읽기 지원
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
  • [SPARK-49771] [SC-177466][python] 출력 행이 입력 행을 초과할 때 Pandas Scalar Iter UDF 오류 개선
  • [SPARK-48866] [SC-170772][sql] INVALID_PARAMETER_VALUE.CHARSET 오류 메시지에서 유효한 문자 집합 힌트를 수정합니다.
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] SparkPlan에서 만든 RDD/브로드캐스트 저장 및 재사용
  • [SPARK-49585] [CONNECT] SessionHolder의 실행 맵을 operationID 집합으로 바꾸기
  • [SPARK-49211] [SC-174257][sql] V2 카탈로그도 기본 제공 데이터 원본을 지원할 수 있습니다.
  • [SPARK-49684] 세션 복원 잠금의 수명 최소화
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Java 쪽의 구조적 로그 프레임워크
  • [SPARK-48857] [SC-170661][sql] CSVOptions에서 문자 집합 제한
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog는 V2Command를 사용해야 합니다.
  • [SPARK-42846] [SC-176588][sql] 오류 조건 제거 _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][core] SparkPlan에서 만든 RDD/브로드캐스트 저장 및 재사용
  • [SPARK-49630] [SC-177379][ss] 상태 데이터 원본 판독기를 사용하여 컬렉션 형식을 처리하는 평면 옵션 추가
  • [SPARK-49699] [SC-177154][ss] 스트리밍 워크로드에 대해 PruneFilter 사용 안 함
  • [SPARK-48781] [SC-175282][sql] 저장 프로시저 로드를 위한 카탈로그 API 추가
  • [SPARK-49667] [SC-177068][sql] StringSearch를 사용하는 식으로 CS_AI 데이터 정렬기를 허용하지 않습니다.
  • [SPARK-49737] [SC-177207][sql] 복합 형식의 데이터 정렬된 열에서 버킷팅 사용 안 함
  • [SPARK-48712] [SC-169794][sql] 빈 값 또는 UTF-8 문자 집합으로 인코딩하기 위한 성능 향상
  • [SPARK-49038] [SC-173933][sql] SQLMetric은 누적기 업데이트 이벤트에서 원시 값을 보고해야 합니다.
  • [SPARK-48541] [SC-169066][core] TaskReaper에 의해 종료된 실행기에 대한 새 종료 코드 추가
  • [SPARK-48774] [SC-170138][sql] SQLImplicits에서 SparkSession 사용
  • [SPARK-49719] [SC-177139][sql] UUID와 SHUFFLE가 정수를 받을 수 있도록 수정하십시오 seed
  • [SPARK-49713] [SC-177135][python][CONNECT] 함수가 count_min_sketch 숫자 인수를 수락하도록 수정합니다.
  • [SPARK-47601] [SC-162499][graphx] Graphx: 변수를 사용하여 로그를 구조적 로깅 프레임워크로 마이그레이션
  • [SPARK-49738] [SC-177219][sql] Endswith 버그 수정
  • [SPARK-48623] [SC-170822][core] 구조적 로깅 마이그레이션 [3부]
  • [SPARK-49677] [SC-177148][ss] 변경 로그 파일이 커밋에 기록되고 forceSnapshot 플래그도 다시 설정되었는지 확인합니다.
  • [SPARK-49684] [SC-177040][연결] 세션 및 실행 관리자에서 전역 잠금 제거
  • [SPARK-48302] [SC-168814][python] PyArrow 테이블의 맵 열에서 null값을 유지하다
  • [SPARK-48601] [SC-169025][sql] JDBC 옵션에 대해 null 값을 설정할 때 사용자에게 친숙한 오류 메시지 제공
  • [SPARK-48635] [SC-169263][sql] 조인 유형 오류 및 조인 오류에 클래스를 할당 as-of
  • [SPARK-49673] [SC-177032][connect] CONNECT_GRPC_ARROW_MAX_BATCH_SIZE를 CONNECT_GRPC_MAX_MESSAGE_SIZE의 0.7배로 증가시키기
  • [SPARK-49693] [SC-177071][python][CONNECT] timedelta 문자열 표현 구체화
  • [SPARK-49687] [SC-176901][sql] validateAndMaybeEvolveStateSchema 정렬 지연
  • [SPARK-49718] [SC-177112][ps] 샘플링된 데이터로 Scatter 플롯 전환
  • [SPARK-48472] [SC-169044][sql] 콜레이트된 문자열을 사용하여 리플렉트 식을 사용하도록 설정
  • [SPARK-48484] [SC-167484][sql] 수정: V2Write는 다른 작업 시도에 동일한 TaskAttemptId를 사용합니다.
  • [SPARK-48341] [SC-166560][connect] 플러그 인이 테스트에서 QueryTest를 사용하도록 허용
  • [SPARK-42252] [SC-168723][core] spark.shuffle.localDisk.file.output.buffer 추가 및 사용 중단 spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][ss] Trigger.AvailableNow를 사용하여 FileStreamSource에 대한 파일을 이중 캐시하지 마세요.
  • [SPARK-49567] [SC-176241][python] PySpark 코드 베이스에서 classic 대신 vanilla 사용
  • [SPARK-48374] [SC-167596][python] 추가 PyArrow 테이블 열 형식 지원
  • [SPARK-48300] [SC-166481][sql] from_xml에서 Codegen 지원
  • [SPARK-49412] [SC-177059][ps] 단일 작업에서 모든 상자 그림 메트릭 계산
  • [SPARK-49692] [SC-177031][python][CONNECT] 리터럴 날짜 및 날짜/시간의 문자열 표현 구체화
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] 외부 데이터 소스에 쓰기를 실패한 경우 오류를 포착합니다.
  • [SPARK-48306] [SC-166241][sql] 오류 메시지에서 사용자 정의 유형(UDT)의 개선사항 적용
  • [SPARK-44924] [SC-166379][ss] FileStreamSource 캐시된 파일에 대한 구성 추가
  • [SPARK-48176] [SC-165644][sql] FIELD_ALREADY_EXISTS 오류 조건의 이름 조정
  • [SPARK-49691] [SC-176988][python][CONNECT] 함수 substring 열 이름을 허용해야 합니다.
  • [SPARK-49502] [SC-176077][core] SparkEnv.get.shuffleManager.unregisterShuffle에서 NPE 방지
  • [SPARK-49244] [SC-176703][sql] 파서/인터프리터에 대한 추가 예외 개선
  • [SPARK-48355] [SC-176684][sql] CASE 문 지원
  • [SPARK-49355] [SC-175121][sql] levenshtein 모든 매개 변수 형식의 collation 값이 동일한지 확인해야 합니다.
  • [SPARK-49640] [SC-176953][ps] SampledPlotBase에서 저수지 샘플링 적용
  • [SPARK-49678] [SC-176857][core] spark.test.master 지원 SparkSubmitArguments
  • [SPARK-49680] [SC-176856][python] 빌드 병렬 처리를 기본적으로 4로 Sphinx 제한
  • [SPARK-49396] 되돌리기 "[SC-176030][sql] CaseWhen 식에 대한 null 허용 여부 검사 수정"
  • [SPARK-48419] [SC-167443][sql] 접이식 전파가 접이식 컬럼을 대체해야 합니다…
  • [SPARK-49556] [SC-176757][sql] SELECT 연산자에 대한 SQL 파이프 구문 추가
  • [SPARK-49438] [SC-175237][sql] FromAvro & ToAvro 식의 예쁜 이름 수정
  • [SPARK-49659] [SC-1229924][sql] VALUES 절 내에 스칼라 하위 쿼리를 처리하는 사용자용 오류 추가
  • [SPARK-49646] [SC-176778][sql] collectedChildOuterReferences에 포함되지 않은 참조가 parentOuterReferences에 있을 때, union/set 연산에 대한 하위 쿼리 decorrelation 문제 수정
  • [SPARK-49354] [SC-175034][sql] split_part 모든 매개 변수 형식의 collation 값이 동일한지 확인해야 합니다.
  • [SPARK-49478] [SC-175914][connect] ConnectProgressExecutionListener에서 null 메트릭 처리
  • [SPARK-48358] [SC-176374][sql] REPEAT 문 지원
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable은 PROP_IS_MANAGED_LOCATION을 준수해야 합니다.
  • [SPARK-49611] [SC-176791][sql] TVF 소개 collations() & SHOW COLLATIONS 명령 제거
  • [SPARK-49261] [SC-176589][sql] 집계 식의 리터럴을 그룹별 식으로 대체하지 마세요.
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace는 사용자 지정 세션 카탈로그를 준수해야 합니다.
  • [SPARK-49594] [SC-176569][ss] stateSchemaV3 파일을 쓰기 위해 columnFamilies가 추가되었는지 또는 제거되었는지 확인 추가
  • [SPARK-49578] [SC-176385][sql] CAST_INVALID_INPUT 및 CAST_OVERFLOW에서 ANSI 구성의 권장 사항 제거
  • [SPARK-48882] [SC-174256][ss] 스트리밍 출력 모드 관련 오류 클래스에 이름 할당
  • [SPARK-49155] [SC-176506][sql][SS] 보다 적절한 매개 변수 형식을 사용하여 GenericArrayData
  • [SPARK-49519] [SC-176388][sql] FileScanBuilder를 생성할 때 테이블 및 관계의 병합 옵션
  • [SPARK-49591] [SC-176587][sql] Variant README에 논리 형식 열 추가
  • [SPARK-49596] [SC-176423][sql] FormatString 성능 향상
  • [SPARK-49525] [SC-176044][ss][CONNECT] 서버 측 스트리밍 쿼리 ListenerBus 리스너에 대한 사소한 로그 개선
  • [SPARK-49583] [SC-176272][sql] 잘못된 초 분수 패턴에 대한 오류 하위 조건 SECONDS_FRACTION를 정의하다.
  • [SPARK-49536] [SC-176242] Python 스트리밍 데이터 원본 레코드 프리페치의 오류 처리
  • [SPARK-49443] [SC-176273][sql][PYTHON] to_variant_object 표현식을 구현하고 schema_of_variant 표현식이 Variant 개체의 경우 OBJECT를 출력하도록 합니다.
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] SparkConnectExecutionManager의 거친 잠금을 ConcurrentMap으로 바꾸기
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] SparkConnectSessionManager의 거친 잠금을 ConcurrentMap으로 바꾸기
  • [SPARK-49551] [SC-176218][ss] replayChangelog에 대한 RocksDB 로그 개선
  • [SPARK-49595] [SC-176396][connect][SQL] Spark Connect Scala 클라이언트의 DataFrame.unpivot/melt 수정
  • [SPARK-49006] [SC-176162] OperatorStateMetadataV2 및 StateSchemaV3 파일에 대한 제거 구현
  • [SPARK-49600] [SC-176426][python] Python 3.6 and older에서 try_simplify_traceback관련 논리 제거
  • [SPARK-49303] [SC-176013][ss] transformWithStateInPandas API에서 ValueState용 TTL 구현
  • [SPARK-49191] [SC-176243][ss] 상태 데이터 원본 판독기가 있는 transformWithState 맵 상태 변수 읽기 지원 추가
  • [SPARK-49593] [SC-176371][ss] 오류 발생 시 DB 닫기 시 호출자에게 RocksDB 예외를 throw합니다.
  • [SPARK-49334] [SC-174803][sql] str_to_map 모든 매개 변수 형식의 collation 값이 동일한지 확인해야 합니다.
  • [SPARK-42204] [SC-176126][core] 이벤트 로그에서 TaskMetrics 내부 누적기의 중복 로깅을 사용하지 않도록 설정하는 옵션 추가
  • [SPARK-49575] [SC-176256][ss] acquiredThreadInfo가 null이 아닌 경우에만 잠금 릴리스에 대한 로깅 추가
  • [SPARK-49539] [SC-176250][ss] 내부 col 패밀리 시작 식별자를 다른 것으로 변경
  • [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning이 HashPartitioningLike를 상속해야 합니다.
  • [SPARK-49396] [SC-176030][sql] CaseWhen 식에 대한 null 허용 여부 검사 수정
  • [SPARK-49476] [SC-175700][sql] base64 함수의 null 허용 여부 수정
  • [SPARK-47262] [SC-174829][sql] parquet 변환 오류 조건에 이름을 지정하기
  • [SPARK-47247] [SC-158349][sql] 파티션을 분해 조인과 결합할 때 더 작은 대상 크기 사용
  • [SPARK-49501] [SC-176166][sql] 테이블 위치의 이중 이스케이프 수정
  • [SPARK-49083] [SC-173214][connect] from_xml 및 from_json json 스키마를 기본적으로 사용하도록 허용
  • [SPARK-49043] [SC-174673][sql] 정렬된 문자열이 포함된 맵에서의 인터프리터 코드 경로 그룹화 문제 수정
  • [SPARK-48986] [SC-172265][connect][SQL] ColumnNode 중간 표현 추가
  • [SPARK-49326] [SC-176016][ss] Foreach 싱크 사용자 함수 오류의 오류 클래스를 분류하기
  • [SPARK-48348] [SC-175950][spark-48376][SQL] LEAVE 및 ITERATE 문 소개
  • [SPARK-49523] [SC-175949][connect] 테스트를 위해 연결 서버가 나올 때까지 최대 대기 시간 늘리기
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] DBR 버전 16.x에서 RewriteDistinctAggregates를 확장하여, t가 빈 테이블일 때 "select count(distinct 1) from t" 쿼리를 수정합니다.
  • [SPARK-49311] [SC-175038][sql] 큰 'interval second' 값을 소수로 캐스팅할 수 있도록 합니다.
  • [SPARK-49200] [SC-173699][sql] null 형식 비코드 생성 순서 지정 예외 수정
  • [SPARK-49467] [SC-176051][ss] 상태 데이터 원본 판독기 및 목록 상태에 대한 지원 추가
  • [SPARK-47307] [SC-170891][sql] base64 문자열을 선택적으로 청크하는 옵션 구성 추가
  • [SPARK-49391] [SC-176032][ps] 상자 그림에서 울타리 거리 기준으로 이상값 선택
  • [SPARK-49445] [SC-175845][ui] UI 진행률 표시줄에서 도구 설명 표시 지원
  • [SPARK-49451] [SC-175702] parse_json 중복 키를 허용합니다.
  • [SPARK-49275] [SC-175701][sql] xpath 표현식의 반환 형식 nullness 문제 수정
  • [SPARK-49021] [SC-175578][ss] 상태 데이터 소스 판독기를 사용하여 transformWithState의 값 상태 변수를 읽는 지원 추가
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] FlatMapGroupsWithState 사용자 함수 오류에 대한 오류 클래스 분류
  • [SPARK-49408] [SC-175932][sql] ProjectingInternalRow에서 IndexedSeq 사용
  • [SPARK-49509] [SC-175853][core] Platform.allocateDirectBuffer 대신 ByteBuffer.allocateDirect 사용
  • [SPARK-49382] [SC-175013][ps] 프레임 상자 플롯이 전단지/이상값을 제대로 렌더링합니다.
  • [SPARK-49002] [SC-172846][sql] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY에서 잘못된 위치를 일관되게 처리합니다.
  • [SPARK-49480] [SC-175699][core] SparkThrowableHelper.isInternalError NullPointerException 수정
  • [SPARK-49477] [SC-175828][python] pandas udf 잘못된 반환 형식 오류 메시지 개선
  • [SPARK-48693] [SC-169492][sql] Invoke 및 StaticInvoke의 toString 단순화 및 통합
  • [SPARK-49441] [SC-175716][ml] StringIndexer 배열을 실행기에서 정렬
  • [SPARK-49347] [SC-175004][r] SparkR 사용 중단
  • [SPARK-49357] [SC-175227][connect][PYTHON] 깊이 중첩된 protobuf 메시지를 세로로 자립니다.
  • [SPARK-41982] [SC-120604][sql] 문자열 형식의 파티션은 숫자 형식으로 취급해서는 안 됩니다.
  • [SPARK-48776] [SC-170452][behave-72] json, xml 및 csv에 대한 타임스탬프 서식 수정
  • [SPARK-49223] [SC-174800][ml] 기본 제공 함수를 사용하여 StringIndexer.countByValue 간소화
  • [SPARK-49016] 되돌리기 "[SC-174663][sql] 손상된 레코드 열만 포함하고 이름을 _LEGACY_ERROR_TEMP_1285할당할 때 원시 CSV 파일에서 해당 쿼리가 허용되지 않는 동작 복원"
  • [SPARK-49041] [SC-172392][python][CONNECT] 잘못된 dropDuplicates가 주어졌을 때 subset에 대해 적절한 오류를 발생시킵니다.
  • [SPARK-49050] [SC-175235] 가상 열 패밀리를 사용하여 TWS에서 deleteIfExists 연산자 사용
  • [SPARK-49216] [SC-173919][core]구조적 로깅 구성이 해제될 때 생성된 LogEntry를 사용하여 메시지 컨텍스트를 기록하지 않도록 수정
  • ko-KR: [SPARK-49252] [SC-175596][core]TaskSetExcludeList 및 HeathTracker을 독립적으로 만들기
  • [SPARK-49352] [SC-174971][sql] 동일한 식에 중복 배열 변환 방지
  • [SPARK-42307] [SC-173863][sql] 오류 _LEGACY_ERROR_TEMP_2232에 이름 할당
  • [SPARK-49197] [SC-173732][core] Spark Command 모듈에서 launcher 출력 수정
  • [SPARK-48913] [SC-173934][sql] IndentingXMLStreamWriter 구현
  • [SPARK-49306] [SC-175363][python][SQL] 'zeroifnull' 및 'nullifzero'에 대한 SQL 함수 별칭 만들기
  • [SPARK-48344] [SQL] SQL 스크립팅 실행(Spark Connect 포함)
  • [SPARK-49402] [SC-175122][python] PySpark 설명서에서 바인더 통합 수정
  • [SPARK-49017] [SC-174664][sql] 여러 매개 변수를 사용할 때 Insert 문이 실패함
  • [SPARK-49318] [SC-174733][sql] 오류 경험을 개선하기 위해 검사 분석이 끝날 때까지 LCA에서 우선 순위가 낮은 오류를 보류합니다.
  • [SPARK-49016] [SC-174663][sql] 손상된 레코드 열만 포함하고 이름을 _LEGACY_ERROR_TEMP_1285 할당할 때 원시 CSV 파일의 쿼리가 허용되지 않는 동작을 복원합니다.
  • [SPARK-49387] [SC-175124][python] accuracy 및 percentile_approx의 approx_percentile에 대한 타입 힌트를 수정
  • [SPARK-49131] [SC-174666][ss] TransformWithState는 지연 반복기를 사용하는 경우에도 암시적 그룹화 키를 올바르게 설정해야 합니다.
  • [SPARK-49301] [SC-174795][ss] Python 작업자에게 전달된 청크 화살표 데이터
  • [SPARK-49039] [SC-174651][ui] 실행기 메트릭이 단계 탭에 로드될 때 확인란 재설정
  • [SPARK-48428] [SC-169806][sql]: NestedColumnAliasing에서 IllegalStateException 수정
  • [SPARK-49353] [SC-174830][sql] UTF-32 인코딩/디코딩과 관련된 문서 업데이트
  • [SPARK-48613] [SC-170966][sql] SPJ: 한 쪽 자동 셔플 지원 + 조인 키가 파티션 키보다 적음
  • [SPARK-47473] [SC-160450][behave-127][SQL] postgres INFINITY 타임스탬프 변환의 정확성 문제 해결
  • [SPARK-49142] [SC-173658][connect][PYTHON] proto를 문자열로 변환했을 때의 성능 비용을 되돌리는 후속 작업
  • [SPARK-49300] [SC-175008][core] tokenRenewalInterval이 설정되지 않은 경우 Hadoop 위임 토큰 누수 수정
  • [SPARK-49367] [SC-175012][ps] 여러 열에 대한 KDE 계산 병렬화(플롯리 백엔드)
  • [SPARK-49365] [SC-175011][ps] 히스트 플롯에서 버킷 집계 간소화
  • [SPARK-49372] [SC-175003][ss] 후속 사용을 방지하기 위해 종료 시 latestSnapshot이 빈 상태로 설정되었는지 보장합니다.
  • [SPARK-49341] [SC-174785] connector/docker를 제거하고 Apache Spark Operator를 사용하십시오.
  • [SPARK-49344] [SC-174894][ps] Spark의 Pandas API에 대한 지원 json_normalize
  • [SPARK-49306] [SC-174794][sql] 새 SQL 함수 'zeroifnull' 및 'nullifzero' 만들기
  • [SPARK-48796] [SC-174668][ss] 다시 시작할 때 VCF용 RocksDBCheckpointMetadata에서 Column Family ID 로드
  • [SPARK-49342] [SC-174899][sql] TO_AVRO SQL 함수 'jsonFormatSchema' 인수 선택 사항 만들기
  • [SPARK-48628] [SC-174695][core] 작업 온/오프 힙 메모리 피크 메트릭 추가
  • [SPARK-47407] [SC-159379][behave-126][SQL] Java.sql.Types.NULL을 NullType으로 매핑하는 것을 지원
  • [SPARK-48628] [SC-173407][core] 작업 피크 온/오프 힙 메모리 메트릭 추가
  • [SPARK-49166] [SC-173987][sql] 상관 관계 하위 쿼리의 OFFSET 지원
  • [SPARK-49269] [SC-174676][sql] AstBuilder에서 VALUES() 목록을 열심히 평가합니다.
  • [SPARK-49281] [SC-174782][sql] 복사 비용을 방지하기 위해 getBytesUnsafe와 함께 파케이 바이트 데이터의 getBytes를 최적화하다
  • [SPARK-49113] [SC-174734] 번역 버그에 대해 어설션 하지 않는다. 예외를 조용히 처리한다.
  • [SPARK-49098] [SC-173253][sql] INSERT 쓰기 옵션 추가
  • [SPARK-48638] [SC-174694][팔로우][CONNECT] ExecutionInfo에 대한 설명서 수정
  • [SPARK-49250] [ES-1222826][sql] CheckAnalysis에서 중첩된 UnresolvedWindowExpression에 대한 오류 메시지 개선
  • [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark 기본 구현 및 ValueState 지원
  • [SPARK-48966] [SC-174329][sql] UDTF 호출에서 해결되지 않은 열 참조가 잘못되어 오류 메시지 개선
  • [SPARK-46590] [SC-154115][sql] 예기치 않은 파티션 인덱스로 인해 코얼레스 실패 수정
  • [SPARK-49235] [SC-174159][sql] ResolveInlineTables 규칙을 리팩터링하여 전체 트리를 트래버스하지 않도록 합니다.
  • [SPARK-49060] [SC-173107][connect] SQL-Connect 바이너리 호환성 검사에 대한 Mima 규칙 정리
  • [SPARK-48762] [SC-172525][sql] Python용 clusterBy DataFrameWriter API 소개
  • [SPARK-49207] [SC-173852][sql] SplitPart 및 StringSplitSQL에서 일대다 사례 매핑 수정
  • [SPARK-49204] [SC-173850][sql] StringInstr 및 StringLocate에서 서로게이트 쌍 처리 수정
  • [SPARK-36680] [SC-170640][sql] Spark SQL에 대한 동적 테이블 옵션을 지원합니다.
  • [SPARK-49204] [SC-173849][sql] SubstringIndex에서 서로게이트 쌍의 처리 방식 수정
  • [SPARK-49204] [SC-173848][sql] StringTrim에서 서로게이트 쌍 처리 수정
  • [SPARK-48967] [SC-173993] OPTIMIZE_INSERT_INTO_VALUES_PARSER 관련 SparkConfigOwnershipSuite 테스트 수정하기
  • [SPARK-49204] [SC-173851][sql] StringReplace에서 서로게이트 쌍 처리 수정
  • [SPARK-48967] [SC-173993][sql][16.x] 성능과 메모리 사용량을 개선하는 "INSERT INTO... VALUES" 문서
  • [SPARK-49099] 되돌리기 "[SC-173229][sql] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][sql] WHILE 문 지원
  • [SPARK-49128] [SC-173344][core] 사용자 지정 기록 서버 UI 타이틀 지원
  • [SPARK-49146] [SC-173825][ss] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
  • [SPARK-45787] [SC-172197][sql] 클러스터링된 열에 대한 Catalog.listColumns 기능 지원
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace는 사용자 지정 세션 카탈로그를 준수해야 합니다.
  • [SPARK-49138] [SC-173483][sql] 여러 식의 CollationTypeCast 수정
  • [SPARK-49163] [SC-173666][sql] 끊어진 parquet 파티션 데이터 결과를 기반으로 테이블을 만들려고 시도하면 사용자 관련 오류가 반환됩니다.
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] Spark SQL을 사용하여 hist 플롯 다시 가져오기
  • [SPARK-49188] [SC-173682][sql] 문자열 배열에서 호출된 concat_ws 내부 오류
  • [SPARK-49137] [SC-173677][sql] if statement 부울 조건이 유효하지 않으면 예외가 발생해야 합니다.
  • [SPARK-49193] [SC-173672][sql] RowSetUtils.toColumnBasedSet의 성능 향상
  • [SPARK-49078] [SC-173078][sql] v2 테이블에 열 구문 표시 지원
  • [SPARK-49141] [SC-173388][sql] 변형을 hive 호환되지 않는 데이터 형식으로 표시
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] SessionHolder.forTesting(...) 테스트 패키지로 이동
  • [SPARK-49111] [SC-173661][sql] WithProjectAndFilter를 DataSourceV2Strategy의 도우미 개체로 이동
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Spark SQL을 사용하여 kde 플롯 다시 가져오기
  • [SPARK-49178] [SC-173673][sql] Scala 2.12에서 Spark 3.5를 사용할 때 성능과 일치하도록 Row#getSeq 성능 최적화
  • [SPARK-49093] [SC-172958][sql] 맵타입이 복합 형식 내에 중첩된 GROUP BY
  • [SPARK-49142] [SC-173469][connect][PYTHON] Spark Connect 클라이언트 로그 수준을 디버그로 낮추기
  • [SPARK-48761] [SC-172048][sql] Scala용 clusterBy DataFrameWriter API 소개
  • [SPARK-48346] [SC-173083][sql] SQL 스크립트의 IF ELSE 문 지원
  • [SPARK-48338] [SC-173112][sql] 파서/인터프리터에서 발생하는 예외 개선
  • [SPARK-48658] [SC-169474][sql] 인코딩/디코딩 함수는 매핑할 수 없는 문자에 대한 mojibake 대신 코딩 오류를 보고합니다.
  • [SPARK-49071] [SC-172954][sql] ArraySortLike 특성 제거
  • [SPARK-49107] 되돌리기 "되돌리기 "[SC-173103][sql] ROUTINE_ALREADY_EXISTS RoutineType 지원"
  • [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState가 잘못 작성되어 잘못된 쿼리 계획을 생성합니다.
  • [SPARK-49114] [SC-173217] 하위 범주는 상태 저장소 오류를 로드할 수 없습니다.
  • [SPARK-49107] 되돌리기 "[SC-173103][sql] ROUTINE_ALREADY_EXISTS RoutineType을 지원합니다."
  • [SPARK-49048] [SC-173223][ss] 지정된 일괄 처리 ID에서 관련 연산자 메타데이터 읽기에 대한 지원 추가
  • [SPARK-49094] [SC-173049][sql] mergeSchema를 해제한 상태에서 hive orc impl에 대해 ignoreCorruptFiles가 제대로 작동하지 않는 것을 수정
  • [SPARK-49108] [SC-173102][예제] submit_pi.sh REST API 예제 추가
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS RoutineType을 지원합니다.
  • [SPARK-48997] [SC-172484][ss] 유지 관리 스레드 풀 스레드 오류에 대한 개별 언로드 구현
  • [SPARK-49063] [SC-173094][sql] ScalarSubqueries와 'Between' 관련 문제 수정
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] Variant 사양에서 간격 형식에 대한 지원 추가
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] df.cache() 사용하여 변형 수정
  • [SPARK-49003] [SC-172613][sql] 데이터 정렬을 인식하도록 해석된 코드 경로 해시 수정
  • ko-KR: [SPARK-48740] [SC-172430][sql] 누락된 창 사양 오류를 조기에 포착하기
  • [SPARK-48999] [SC-172245][ss] PythonStreamingDataSourceSimpleSuite 나누기
  • [SPARK-49031] [SC-172602] OperatorStateMetadataV2를 사용하여 TransformWithStateExec 연산자에 대한 유효성 검사 구현
  • [SPARK-49053] [SC-172494][python][ML] 모델 저장/로드 도우미 함수에서 spark 세션을 수락합니다.
  • [SPARK-49032] [Backport][15.x][SS] 메타데이터 테이블 항목에 스키마 경로 추가, 예상 버전 확인 및 연산자 메타데이터 형식 v2에 대한 연산자 메타데이터 관련 테스트 추가
  • [SPARK-49034] [SC-172306][core] REST 제출 API에서 서버 쪽 sparkProperties 교체 지원
  • [SPARK-48931] [SC-171895][ss] 상태 저장 유지 관리 작업에 대한 클라우드 저장소 목록 API 비용 절감
  • [SPARK-48849] [SC-172068][ss]TransformWithStateExec 연산자에 대한 OperatorStateMetadataV2 만들기
  • [SPARK-49013] [SC-172322] scala의 지도 및 배열 형식에 대한 collationsMap의 키 변경
  • [SPARK-48414] [SC-171884][python] python의 변경 사항으로 인한 문제 수정 fromJson
  • [SPARK-48910] [SC-171001][sql] HashSet/HashMap을 사용하여 PreprocessTableCreation에서 선형 검색을 방지합니다.
  • [SPARK-49007] [SC-172204][core] 사용자 지정 타이틀을 지원하도록 MasterPage 개선
  • [SPARK-49009] [SC-172263][sql][PYTHON] 열 API 및 함수가 열거형을 수락하도록 하세요.
  • [SPARK-49033] [SC-172303][core] REST 제출 API에서 서버 측 environmentVariables 대체 기능 지원
  • [SPARK-48363] [SC-166470][sql] from_xml 일부 중복 코드 정리
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] ScalarSubqery가 빈 관계인 경우 접힌 후 버그 수 계산
  • [SPARK-49040] [SC-172351][sql] 문서 sql-ref-syntax-aux-exec-imm.md 수정
  • [SPARK-48998] [SC-172212][ml] Meta 알고리즘은 SparkSession을 사용하여 모델을 저장/로드합니다.
  • [SPARK-48959] [SC-171708][sql] NoSuchNamespaceException 예외 처리를 복원하기 위해 NoSuchDatabaseException 확장하도록 설정
  • [SPARK-48996] [SC-172130][sql][PYTHON] 열의 및, 또는에 대해 단순 리터럴 허용
  • [SPARK-48990] [SC-171936] #101759 대한 후속 작업 - 테스트 수정
  • [SPARK-48338] [SC-171912][sql] 변수 선언 확인
  • [SPARK-48990] [SC-171936][sql] 통합 변수 관련 SQL 구문 키워드
  • [SPARK-48988] [SC-171915][ml] spark 세션으로 메타데이터를 처리하도록 DefaultParamsReader/Writer 합니다.
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] SparkSession.implicits 대신 SQLContext.implicits 사용
  • [SPARK-48760] [SC-170870][sql] CatalogV2Util.applyClusterByChanges 수정
  • [SPARK-48928] [SC-171956] 로컬 검사점 RDD에서 .unpersist() 호출에 대한 로그 경고
  • [SPARK-48760] [SC-170139][sql] ALTER TABLE 소개... 클러스터링 열을 변경하는 SQL 구문 CLUSTER BY
  • [SPARK-48844] 되돌림 "[SC-170669][sql] 경로가 비어 있을 때 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 대신 INVALID_EMPTY_LOCATION 사용"
  • [SPARK-48833] [SC-171914][sql][VARIANT].variant을 지원합니다 InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] ScalaReflectionLock 정의를 protobuf에서 불필요하게 제거
  • [SPARK-48970] [SC-171800][python][ML] Spark ML 판독기/기록기에서 SparkSession.getActiveSession을 사용하지 마세요.
  • [SPARK-48844] [SC-170669][sql] 경로가 비어 있는 경우 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 대신 INVALID_EMPTY_LOCATION 사용
  • [SPARK-48714] [SC-170136] PySpark 및 UC에서 실패한 df.mergeInto 테스트 수정
  • [SPARK-48957] [SC-171797][ss] hdfs 및 rocksdb 공급자에 대한 상태 저장소 부하에 하위 분류 오류 클래스 반환
  • [SPARK-48891] [Backport][15x][SC-171677][ss] 모든 상태 스키마 형식을 통합하도록 StateSchemaCompatibilityChecker 리팩터링
  • [SPARK-48972] [SC-171795][python] 함수에서 리터럴 문자열 처리 통합
  • [SPARK-48388] [SC-171337][sql] SQL 스크립트에 대한 SET 문 동작 수정
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator는 getStruct가 null을 반환할 때 더 잘 처리해야 합니다.
  • [SPARK-48623] [15.x][sc-171322][CORE] FileAppender 로그를 구조적 로깅으로 마이그레이션
  • [SPARK-36680] [DBRRM-1123] 되돌림 "[SC-170640][sql] Spark SQL에 대한 동적 테이블 옵션 지원"
  • [SPARK-48841] [SC-170868][behave-83][SQL] collationName에서 sql()의 Collate 포함
  • [SPARK-48941] [SC-171703][python][ML] RDD 읽기/쓰기 API 호출을 Dataframe 읽기/쓰기 API로 바꾸기
  • [SPARK-48938] [SC-171577][python] Python UDF를 등록할 때 오류 메시지 개선
  • [SPARK-48350] [SC-171040][sql] Sql 스크립팅에 대한 사용자 지정 예외 소개
  • [SPARK-48907] [SC-171158][sql] explicitTypes의 COLLATION_MISMATCH.EXPLICIT 값을 수정
  • [SPARK-48945] [SC-171658][python] lit 사용하여 정규식 함수 간소화
  • [SPARK-48944] [SC-171576][connect] Connect Server에서 JSON 형식 스키마 처리 통합
  • [SPARK-48836] [SC-171569] SQL 스키마를 상태 스키마/메타데이터와 통합
  • [SPARK-48946] [SC-171504][sql] 세션이 null일 때 편집 메서드의 NPE
  • [SPARK-48921] [SC-171412][sql] MergeInto에 대해 하위 쿼리의 ScalaUDF 인코더를 확인해야 합니다.
  • [SPARK-45155] [SC-171048][connect] Spark Connect JVM/Scala Client용 API 문서 추가
  • [SPARK-48900] [SC-171319]의 reason 및 cancelJobGroup에 대한 cancelJobsWithTag 필드 추가
  • [SPARK-48865] [SC-171154][sql] try_url_decode 함수 추가
  • [SPARK-48851] [SC-170767][sql] SCHEMA_NOT_FOUND 값을 namespace에서 catalog.namespace로 변경
  • [SPARK-48510] [SC-170893][2/2] Spark Connect에서 UDAF toColumn API 지원
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] from_xml 지원 StructType 스키마 만들기
  • [SPARK-48930] [SC-171304][core] awsAccessKeyId 패턴을 포함하여 accesskey를 수정함
  • [SPARK-48909] [SC-171080][ml][MLLIB] 메타데이터를 작성할 때 SparkContext를 통해 SparkSession 사용
  • [SPARK-48883] [SC-171133][ml][R] RDD 읽기/쓰기 API 호출을 데이터 프레임 읽기/쓰기 API로 바꾸기
  • [SPARK-48924] [SC-171313][ps] pandas와 유사한 make_interval 도우미 함수 추가
  • [SPARK-48884] [SC-171051][python] 사용되지 않는 도우미 함수 PythonSQLUtils.makeInterval 제거
  • [SPARK-48817] [SC-170636][sql] 통합 다중 명령을 적극적으로 함께 실행
  • [SPARK-48896] [SC-171079][ml][MLLIB] 메타데이터를 작성할 때 다시 분할하지 마세요.
  • [SPARK-48892] [SC-171127][ml] Tokenizer 행 단위별 매개변수 읽기 피하기
  • [SPARK-48927] [SC-171227][core] StoragePage 캐시된 RDD 수 표시
  • [SPARK-48886] [15.x][backport][SC-171039][ss] 더 쉽게 진화할 수 있도록 changelog v2에 버전 정보 추가
  • [SPARK-48903] [SC-171136][ss] 원격 로드 시 RocksDB 마지막 스냅샷 버전을 올바르게 설정
  • [SPARK-48742] [SC-170538][ss] RocksDB용 가상 열 패밀리
  • [SPARK-48726] [15.x][sc-170753][SS] StateSchemaV3 파일 형식을 만들고 TransformWithStateExec 연산자에 대해 작성합니다.
  • [SPARK-48794] [SC-170882][connect][15.x] spark Connect(Scala 및 Python)에 대한 df.mergeInto 지원
  • [SPARK-48714] [SC-170136][python] PySpark에서 DataFrame.mergeInto 구현
  • [SPARK-48772] [SC-170642][ss][SQL] 상태 데이터 원본 변경 피드 판독기 모드
  • [SPARK-48666] [SC-170887][sql] PythonUDF가 포함된 경우 필터를 푸시다운하지 마세요.
  • [SPARK-48845] [SC-170889][sql] GenericUDF가 자식 UDF로부터 예외를 catch합니다.
  • [SPARK-48880] [SC-170974][core] 드라이버 플러그인을 초기화에 실패할 경우 NullPointerException을 던지는 것 방지
  • [SPARK-48888] [Backport][15x][SC-170973][ss] changelog ops 크기에 따라 스냅샷 만들기 제거
  • [SPARK-48871] [SC-170876] 에서 INVALID_NON_DETERMINISTIC_EXPRESSIONS 유효성 검사를 수정합니다.
  • [SPARK-48883] [SC-170894][ml][R] RDD 읽기/쓰기 API 호출을 데이터 프레임 읽기/쓰기 API로 바꾸기
  • [SPARK-36680] [SC-170640][sql] Spark SQL에 대한 동적 테이블 옵션을 지원합니다.
  • [SPARK-48804] [SC-170558][sql] OutputCommitter.isAssignableFrom에서 출력 커밋자 클래스 구성에 대한 classIsLoadable & 추가
  • [SPARK-46738] [SC-170791][python] 문서 테스트 그룹 다시 활성화
  • [SPARK-48858] [SC-170756][python] 사용되지 않는 setDaemon의 메서드 호출을 Thread의 log_communication.py에서 제거합니다.
  • [SPARK-48639] [SC-169801][connect][PYTHON] RelationCommon에 원본 추가
  • [SPARK-48863] [SC-170770][es-1133940][SQL] "spark.sql.json.enablePartialResults"가 사용하도록 설정된 JSON을 구문 분석할 때 ClassCastException 수정
  • [SPARK-48343] [SC-170450][sql] SQL Scripting 인터프리터 소개
  • [SPARK-48529] [SC-170755][sql] SQL 스크립팅의 레이블 소개
  • [SPARK-45292] "[SC-151609][sql][HIVE] IsolatedClientLoader의 공유 클래스에서 Guava를 제거했던 변경 사항 되돌리기"
  • [SPARK-48037] [SC-165330][core][3.5] SortShuffleWriter의 버그 수정: 셔플 쓰기 관련 메트릭의 부족으로 인해 데이터가 잠재적으로 부정확하게 기록될 수 있음
  • [SPARK-48720] [SC-170551][sql] v1 및 v2에서 ALTER TABLE ... UNSET TBLPROPERTIES ... 명령 정렬
  • [SPARK-48485] [SC-167825][connect][SS] streaming 쿼리에서 interruptTag 및 interruptAll 지원
  • [SPARK-45292] [SC-151609][sql][HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거
  • [SPARK-48668] [SC-169815][sql] ALTER NAMESPACE 지원 v2의 "UNSET" 속성
  • [SPARK-47914] [SC-165313][sql] 범위에 분할 매개 변수 표시 안 함
  • [SPARK-48807] [SC-170643][sql] CSV 데이터 소스에 대한 이진 지원
  • [SPARK-48220] [SC-167592][python][15.X] PyArrow 테이블을 createDataFrame()에 전달하도록 허용
  • [SPARK-48545] [SC-169543][sql] DataFrame과 일치하도록 to_avro 및 from_avro SQL 함수 만들기
  • [SPARK-47577] [SC-168875][spark-47579] 오해를 일으킬 수 있는 로그 키 사용 수정 TASK_ID

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • 델타 레이크: 3.2.1

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
주석이 달린 유형 0.7.0 에이에스티토큰 2.0.5 astunparse (파이썬 코드 분석 라이브러리) 1.6.3
자동 명령어 2.2.2 애저 코어 1.31.0 azure-storage-blob (애저 스토리지 블롭) 12.23.0
azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) 12.17.0 backports.tarfile 1.2.0 검정색 24.4.2
깜빡이 1.7.0 boto3 1.34.69 보토코어 1.34.69
캐시툴즈 (cachetools) 5.3.3 서티피 2024년 6월 2일 cffi 1.16.0
챠데트 4.0.0 문자셋 정규화기 2.0.4 클릭하세요 8.1.7
cloudpickle (클라우드피클) 2.2.1 통신 0.2.1 contourpy (컨투어파이) 1.2.0
암호화 42.0.5 자전거 타는 사람 0.11.0 사이톤 (Cython) 3.0.11
데이터브릭스 SDK (소프트웨어 개발 키트) 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
장식자 5.1.1 더 이상 권장되지 않음 1.2.14 distlib (디스트립 라이브러리) 0.3.8
docstring을 Markdown으로 변환하기 0.11 진입 지점 0.4 실행 중 0.8.3
구성 요소 개요 1.1.1 파일 잠금 3.15.4 폰트툴즈 (fonttools) 4.51.0
GitDB (기트 데이터베이스) 4.0.11 GitPython 3.1.37 google-api-core (구글 API 핵심) 2.20.0
구글 인증 (google-auth) 2.35.0 google-cloud-core (구글 클라우드 코어) 2.4.1 구글 클라우드 스토리지 (Google Cloud Storage) 2.18.2
google-crc32c (구글의 CRC32C 알고리즘) 1.6.0 google-resumable-media (구글 재개 가능한 미디어) 2.7.2 googleapis-common-protos 1.65.0
grpcio (Python용 gRPC 패키지) 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
아이드나 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
굴절하다 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils (아이파이썬 젠유틸스) 0.2.0 ipywidgets (아이파이위젯) 7.7.2
아이소데이트 (isodate) 0.6.1 jaraco.context 5.3.0 jaraco.펑크툴즈 4.0.1
jaraco.text 3.12.1 Jedi 0.19.1 jmespath 1.0.1
joblib (잡리브) 1.4.2 주피터 클라이언트 (jupyter_client) 8.6.0 주피터 코어 (jupyter_core) 5.7.2
키위솔버 (kiwisolver) 1.4.4 launchpadlib (런치패드 라이브러리) 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib (매트플롯립) 3.8.4 matplotlib-inline (매트플롯립-인라인) 0.1.6
맥케이브 0.7.0 mlflow-스키니 2.15.1 more-itertools (모어 이터툴즈) 10.3.0
mypy 1.10.0 mypy-extensions (마이파이-익스텐션) 1.0.0 nest-asyncio (파이썬 비동기 I/O 라이브러리) 1.6.0
nodeenv 1.9.1 numpy (파이썬의 수치 계산용 라이브러리) 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk (소프트웨어 개발 키트) 1.27.0 opentelemetry-semantic-conventions (오픈텔레메트리-시맨틱-컨벤션) 0.48b0
패키징 24.1 팬더 1.5.3 파르소 0.8.3
패스스펙 (pathspec) 0.10.3 바보 0.5.6 pexpect (피엑스펙트) 4.8.0
베개 10.3.0 파이썬 패키지 설치 도구 pip 24.2 플랫폼 디렉토리 3.10.0
plotly (데이터 시각화 라이브러리) 5.22.0 플러기 1.0.0 prompt-toolkit (프롬프트 도구 키트) 3.0.43
proto-plus 1.24.0 프로토버프 (protobuf) 4.24.1 psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) 5.9.0
psycopg2 2.9.3 PtyProcess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
피콜로 0.0.52 pycparser 2.21 pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) 2.8.2
pydantic_core 2.20.1 pyflakes (파이플레이크스) 3.2.0 파이그먼츠 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 파이썬 ODBC 라이브러리 pyodbc 5.0.1
pyparsing (파이썬 파싱 라이브러리) 3.0.9 피라이트(Pyright) 1.1.294 python-dateutil (파이썬 날짜 유틸) 2.9.0.post0
파이썬-LSP-JSON-RPC 1.1.2 python-lsp-server (파이썬 LSP 서버) 1.10.0 파이툴콘피그 (pytoolconfig) 1.2.6
pytz (파이썬의 타임존 계산을 위한 라이브러리) 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
요청사항 2.32.2 로프 1.12.0 RSA (암호화 알고리즘) 4.9
s3transfer 0.10.2 scikit-learn (파이썬 머신러닝 라이브러리) 1.4.2 scipy (과학 컴퓨팅 라이브러리) 1.13.1
바다에서 태어난 0.13.2 setuptools (셋업툴즈) 74.0.0 6 1.16.0
스맵 5.0.0 sqlparse 0.5.1 ssh-import-id 명령어 5.11
스택 데이터 0.2.0 statsmodels (파이썬 통계 모형 라이브러리) 0.14.2 끈기 8.2.2
threadpoolctl 2.2.0 토크나이즈-RT 4.2.1 tomli 2.0.1
토네이도 6.4.1 트레잇렛츠 5.14.3 타입가드 (typeguard) 4.3.0
types-protobuf (타입스-프로토버프) 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 요청 유형 2.31.0.0 types-세트업 도구 68.0.0.0
유형-여섯 1.16.0 types-urllib3 1.26.25.14 타이핑_익스텐션 4.11.0
ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) 5.10.0 사용자 개입 없는 자동 업데이트 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth(문자의 너비를 계산하는 함수) 0.2.5
왓더패치 1.0.2 바퀴 0.43.0 감싼 1.14.1
yapf 0.33.0 지프 3.17.0

설치된 R 라이브러리

R 라이브러리는 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 16.1.0 askpass (비밀번호 입력 요청) 1.2.0 assertthat (어설트댓) 0.2.1
백포트 (기존 소프트웨어에 새로운 기능이나 수정을 추가하는 것) 1.5.0 기반 4.4.0 base64enc 0.1-3
빅디 0.2.0 조각 4.0.5 비트64 4.0.5
bitops 1.0-8 덩어리 1.2.4 부츠 1.3-30
양조하다 1.0-10 활기 1.1.5 빗자루 1.0.6
bslib 0.8.0 캐시미어 1.1.0 콜러 3.7.6
캐럿 6.0-94 셀레인저 (cellranger) 1.1.0 크론 2.3-61
수업 7.3-22 커맨드 라인 인터페이스 (CLI) 3.6.3 클리퍼 0.8.0
시계 0.7.1 클러스터 2.1.6 코드 도구 0.2-20
색 공간 2.1-1 코먼마크 1.9.1 컴파일러 4.4.0
환경 설정 0.3.2 갈등을 느끼다 1.2.0 cpp11 0.4.7
크레용 1.5.3 자격 증명 2.0.1 컬 5.2.1
데이터 테이블(data.table) 1.15.4 데이터세트 4.4.0 DBI 1.2.3
dbplyr 2.5.0 설명 1.4.3 개발자 도구 2.4.5
다이어그램 1.6.5 디포브젝트 0.3.5 소화하다 0.6.36
아래로 비추는 조명 0.4.4 dplyr (데이터 조작을 위한 R 패키지) 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 평가하다 0.24.0
팬시 1.0.6 색상 2.1.2 패스트맵 1.2.0
폰트어썸 (fontawesome) 0.5.2 포캣츠 1.0.0 포이치 (foreach) 1.5.2
외국의 0.8-86 구축하다 0.2.0 fs 1.6.4
미래 1.34.0 퓨처.어플라이 1.11.2 가글하다 1.5.2
일반 의약품 0.1.3 거트 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r (Git 관련 소프트웨어 패키지) 0.33.0 gitcreds 0.1.2
glmnet (통계 및 기계 학습 소프트웨어 패키지) 4.1-8 글로벌 0.16.3 접착제 1.7.0
구글 드라이브 2.1.1 구글시트4 1.1.1 고워 (Gower) 1.0.1
그래픽스 4.4.0 grDevices 4.4.0 그리드 4.4.0
gridExtra 2.3 gsubfn 0.7 지티 0.11.0
지테이블 0.3.5 안전모 1.4.0 안식처 2.5.4
더 높다 0.11 에이치엠에스 (HMS) 1.1.3 HTML 도구 0.5.8.1
HTML 위젯 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 아이디 1.0.1 이것 0.3.1
아이프레드 0.9-15 아이소밴드 0.2.7 이터레이터 (반복자) 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 쥬시쥬스 0.1.0
KernSmooth 2.23-22 크니터 1.48 라벨링 0.4.3
나중에 1.3.2 격자 0.22-5 용암 1.8.0
생명주기 1.0.4 listenv (리슨브) 0.9.1 루브리데이트 1.9.3
magrittr 2.0.3 마크다운 1.13 질량 7.3-60.0.1
매트릭스 1.6-5 메모하다 2.0.1 메서드 4.4.0
mgcv 1.9-1 마임 0.12 미니 사용자 인터페이스 (Mini UI) 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 모델러 0.1.11
먼셀 (Munsell) 0.5.1 nlme 3.1-165 엔넷 7.3-19
numDeriv (넘데리브) 2016년 8월부터 1월 1일까지 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 2.2.0 평행 4.4.0
평행하게 1.38.0 기둥 1.9.0 pkgbuild(팩키지 빌드) 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
플로거 0.2.0 plyr (플레이어) 1.8.9 칭찬 1.0.0
프리티유닛 1.2.0 pROC 패키지 1.18.5 프로세스엑스 3.8.4
프로드림 (prodlim) 2024.06.25 profvis 0.3.8 발전 1.2.3
프로그레스알 0.14.0 약속들 1.3.0 프로토 1.0.0
프록시 0.4-27 Ps 1.7.7 고양이의 그르렁거림 1.0.2
R6 2.5.1 라그 1.3.2 랜덤 포레스트 (randomForest) 4.7-1.1
rappdirs (랩디르) 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 반응 가능 0.4.4
리액트R 0.6.0 리더(Reader) 2.1.5 readxl (엑셀 파일 읽기 기능) 1.4.3
레시피 1.1.0 재대결 2.0.0 리매치2 2.1.2
리모컨/원격 2.5.0 레프렉스(문제의 재현 가능한 예시) 2.1.1 reshape2 1.4.4
rlang 1.1.4 r마크다운 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart (의사결정트리 구축을 위한 R 패키지) 4.1.23 rprojroot 2.0.4
Rserve (R서브) 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
알버전즈 2.1.2 rvest (웹 스크래핑을 위한 R 패키지) 1.0.4 sass 0.4.9
저울 1.3.0 선택기 0.4-2 세션정보 1.2.2
형태 1.4.6.1 반짝이는 1.9.1 소스툴스 (sourcetools) 0.1.7-1
sparklyr (스파클리알) 1.8.6 SparkR 3.5.0 공간적 7.3-17
스플라인 4.4.0 sqldf (SQL 데이터프레임 패키지) 0.4-1 스퀘어엠 2021년 1월
통계 4.4.0 통계4 4.4.0 문자열 처리 소프트웨어 "stringi" 1.8.4
stringr 1.5.1 생존 3.6-4 자신만만한 태도 5.17.14.1
시스템 3.4.2 시스템 글꼴 1.1.0 티클티케이 (tcltk) 4.4.0
testthat (테스트댓) 3.2.1.1 텍스트 형태화 0.4.0 tibble (티블) 3.2.1
tidyr 1.3.1 tidyselect (티디셀렉트) 1.2.1 tidyverse (타이디버스) 2.0.0
시간 변경 0.3.0 시간과 날짜 4032.109 tinytex 0.52
도구들 4.4.0 tzdb 0.4.0 URL체커 1.0.1
사용해보세요 3.0.0 utf8 1.2.4 유틸리티 4.4.0
UUID (범용 고유 식별자) 1.2-1 V8 4.4.2 vctrs 0.6.5
비리디스라이트 0.4.2 부르릉 1.6.5 왈도 0.5.2
수염 0.4.1 위드알 3.0.1 xfun 0.46
xml2 1.3.6 엑스오픈 1.0.1 엑스테이블 1.8-4
YAML (야믈) 2.3.10 지얼럿 0.1.0 지퍼 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 아이디 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.12.638
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.12.638
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws AWS Java SDK 구성 1.12.638
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.12.638
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.12.638
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.12.638
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.12.638
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) 1.12.638
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.12.638
com.amazonaws AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) 1.12.638
com.amazonaws aws-java-sdk-glue (AWS 자바 SDK 글루) 1.12.638
com.amazonaws AWS 자바 SDK IAM 1.12.638
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.12.638
com.amazonaws AWS-Java-SDK-머신러닝 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.12.638
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.12.638
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.12.638
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.12.638
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS-Java-SDK-지원 1.12.638
com.amazonaws AWS Java SDK SWF 라이브러리 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 스트림 2.9.6
com.databricks Rserve (R서브) 1.8-3
com.databricks databricks-sdk-java (데이터브릭스 SDK 자바) 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (크리오 쉐이디드) 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 동급생 1.3.4
com.fasterxml.jackson.core 잭슨 애노테이션즈 2.15.2
com.fasterxml.jackson.core 잭슨-코어 2.15.2
com.fasterxml.jackson.core 잭슨 데이터바인드 (jackson-databind) 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.15.2
com.fasterxml.jackson.dataformat 잭슨-데이터포맷-야믈 (jackson-dataformat-yaml) 2.15.2
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.15.2
com.fasterxml.jackson.datatype 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) 2.16.0
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 (자바 스칼라 모듈) 2.15.2
com.github.ben-manes.카페인 카페인 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1-원주민
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1-원주민
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원주민
com.github.fommil.netlib netlib-native_system-linux-x86_64 (넷리브 네이티브 시스템 리눅스-x86_64) 1.1-원주민
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.10.1
com.google.crypto.tink 팅크 1.9.0
com.google.errorprone 오류_발생_가능성_있는_주석 2.10.0
com.google.flatbuffers flatbuffers-java 23년 5월 26일
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger 프로파일러 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.릴리스
com.lihaoyi 소스코드_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.3.9
com.microsoft.sqlserver (마이크로소프트 SQL 서버) mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (압축 알고리즘 LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core (JAXB 코어) 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.12 0.4.12
com.twitter (도메인 이름) chill-java (칠자바) 0.10.0
com.twitter (도메인 이름) chill_2.12 0.10.0
com.twitter (도메인 이름) util-app_2.12 7.1.0
com.twitter (도메인 이름) util-core_2.12 7.1.0
com.twitter (도메인 이름) util-function_2.12 7.1.0
com.twitter (도메인 이름) util-jvm_2.12 7.1.0
com.twitter (도메인 이름) util-lint_2.12 7.1.0
com.twitter (도메인 이름) util-registry_2.12 7.1.0
com.twitter (도메인 이름) util-stats_2.12 7.1.0
com.typesafe 환경 설정 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers (유니보시티-파서스) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (커먼즈 코덱) commons-codec (커먼즈 코덱) 1.16.0
코먼스-컬렉션즈 코먼스-컬렉션즈 3.2.2
커먼즈-DBCP 커먼즈-DBCP 1.4
커먼즈-파일업로드 커먼즈-파일업로드 1.5
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.13.0
커먼즈-랭 커먼즈-랭 2.6
commons-logging (커먼즈 로깅) commons-logging (커먼즈 로깅) 1.1.3
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
dev.ludovic.netlib 아르팩 (ARPACK) 3.0.3
dev.ludovic.netlib 블라스 3.0.3
dev.ludovic.netlib 래팩 (LAPACK) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어컴프레서 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics 지표 주석 4.2.19
io.dropwizard.metrics metrics-core (메트릭스 코어) 4.2.19
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.2.19
io.dropwizard.metrics 메트릭스-헬스체크 4.2.19
io.dropwizard.metrics 메트릭스-젯티9 4.2.19
io.dropwizard.metrics 메트릭스-JMX 4.2.19
io.dropwizard.metrics 메트릭스-JSON 4.2.19
io.dropwizard.metrics metrics-jvm (메트릭스-JVM) 4.2.19
io.dropwizard.metrics 메트릭스-서블릿 4.2.19
io.netty netty-all 4.1.108.최종판
io.netty 네티-버퍼 (Netty-Buffer) 4.1.108.최종판
io.netty netty-codec (넷티 코덱) 4.1.108.최종판
io.netty netty-codec-http (넷티 코덱 HTTP) 4.1.108.최종판
io.netty netty-codec-http2 (넷티 코덱 HTTP2) 4.1.108.최종판
io.netty netty-codec-socks (네티 코덱 양말) 4.1.108.최종판
io.netty 넷티-커먼 4.1.108.최종판
io.netty 넷티 핸들러 4.1.108.최종판
io.netty netty-handler-proxy (네티 핸들러 프록시) 4.1.108.최종판
io.netty netty-resolver (네티 리졸버) 4.1.108.최종판
io.netty netty-tcnative-boringssl-static (소프트웨어 라이브러리) 2.0.61 최종
io.netty netty-tcnative-boringssl-static (소프트웨어 라이브러리) 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static (소프트웨어 라이브러리) 2.0.61.Final-linux-x86_64 (리눅스 64비트용 최종 버전 2.0.61)
io.netty netty-tcnative-boringssl-static (소프트웨어 라이브러리) 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static (소프트웨어 라이브러리) 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static (소프트웨어 라이브러리) 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-클래스 2.0.61 최종
io.netty 넷티-트랜스포트 4.1.108.최종판
io.netty netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) 4.1.108.최종판
io.netty netty-transport-classes-kqueue 4.1.108.최종판
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.108.최종판
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty 네티-트랜스포트-네이티브-유닉스-커먼 (netty-transport-native-unix-common) 4.1.108.최종판
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_커먼 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus 심플클라이언트_푸시게이트웨이 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
자카르타.annotation 자카르타 애노테이션-API (jakarta.annotation-api) 1.3.5
jakarta.servlet jakarta.servlet-api (자카르타 서블릿 API) 4.0.3
jakarta.validation jakarta.validation-api (자카르타 검증 API) 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.transaction 트랜잭션-API 1.1
javax.xml.bind jaxb-api 2.2.11
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna (넷.자바.데브.제이엔에이) 제이엔에이 5.8.0
net.razorvine 피 클 1.3
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.6
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt.remotetea remotetea-oncrpc (리모트티-온씨알피씨) 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 문자열템플릿 3.2.1
org.apache.ant 개미 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant 안트-런처 1.10.11
org.apache.arrow 화살표 형식 15.0.0
org.apache.arrow arrow-memory-core (애로우-메모리-코어) 15.0.0
org.apache.arrow 애로우-메모리-네티 15.0.0
org.apache.arrow 화살표 벡터 15.0.0
org.apache.avro 아브로 1.11.3
org.apache.avro avro-ipc (아브로 IPC) 1.11.3
org.apache.avro avro-mapred (아브로-맵레드) 1.11.3
org.apache.commons (오픈 소스 자바 라이브러리) commons-collections4 (공용 컬렉션4) 4.4
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-컴프레스 1.23.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.1.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.12.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.6.1
org.apache.commons (오픈 소스 자바 라이브러리) commons-text (커먼즈 텍스트) 1.10.0
org.apache.curator 큐레이터-의뢰인 관계 2.13.0
org.apache.curator curator-framework (큐레이터 프레임워크) 2.13.0
org.apache.curator 큐레이터의 레시피 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 데이터스케치 메모리 2.0.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop 하둡 클라이언트 런타임 (hadoop-client-runtime) 3.3.6
org.apache.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 2.3.9
org.apache.hive hive-CLI 2.3.9
org.apache.hive hive-jdbc (하이브 JDBC) 2.3.9
org.apache.hive hive-llap-client (하이브 LLAP 클라이언트) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive 하이브-세르데 2.3.9
org.apache.hive 하이브-심스 2.3.9
org.apache.hive 하이브-스토리지-API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims 하이브-쉼스-커먼 2.3.9
org.apache.hive.shims 하이브-심스-스케줄러 2.3.9
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core (로그4j-코어) 2.22.1
org.apache.logging.log4j log4j-layout-template-json (로그4j 레이아웃 템플릿 JSON) 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core (오크 코어) 1.9.2-셰이디드-프로토버프
org.apache.orc orc-mapreduce (오크-맵리듀스) 1.9.2-셰이디드-프로토버프
org.apache.orc orc-shims (오크-심스) 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9 음영 처리 4.23
org.apache.yetus 관객 주석 0.13.0
org.apache.zookeeper 동물 사육사 3.9.2
org.apache.zookeeper 동물원 관리자-쥬트 3.9.2
org.checkerframework 체커-퀄 3.31.0
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson jackson-mapper-asl (잭슨-매퍼-ASL) 1.9.13
org.codehaus.janino 커먼스-컴파일러 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus 데이터뉴클리어스-코어 4.1.17
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections (이클립스 컬렉션) 11.1.0
org.eclipse.collections eclipse-collections-api (이클립스 컬렉션스 API) 11.1.0
org.eclipse.jetty jetty-client (제티 클라이언트) 9.4.52.v20230823
org.eclipse.jetty 제티-컨티뉴에이션 (Jetty-Continuation) 9.4.52.v20230823
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.4.52.v20230823
org.eclipse.jetty 제티-플러스 (jetty-plus) 9.4.52.v20230823
org.eclipse.jetty jetty-proxy (제티 프록시) 9.4.52.v20230823
org.eclipse.jetty 제티-시큐리티 (jetty-security) 9.4.52.v20230823
org.eclipse.jetty 제티 서버 (Jetty Server) 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.4.52.v20230823
org.eclipse.jetty 제티 유틸 (jetty-util) 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty 제티 웹앱 (jetty-webapp) 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓 API 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓 클라이언트 (websocket-client) 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓-커먼 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓-서버 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓-서블릿 (websocket-servlet) 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 위치 탐색기 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi 자원 탐색기 1.0.3
org.glassfish.hk2.external aopalliance-재패키지 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.40
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.40
org.glassfish.jersey.core 제르시 클라이언트 2.40
org.glassfish.jersey.core 저지-커먼 2.40
org.glassfish.jersey.core 저지 서버 (jersey-server) 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator 하이버네이트 검증기 (hibernate-validator) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.3.2.최종
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis 옵제네시스 (objenesis) 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.6.1
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.9.45-databricks
org.roaringbitmap 간격 조정용 판 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest와 호환 가능 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j 슬프4j-심플 1.7.25
org.threeten threeten-extra (쓰리텐-엑스트라) 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel 스파이어-유틸_2.12 0.17.0
org.typelevel 스파이어_2.12 (spire_2.12) 0.17.0
org.wildfly.openssl 와일드플라이-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml 스네이크야AML (snakeyaml) 2.0
금 금 2.0.8
pl.edu.icm 제이 라지 어레이스 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider (아마존 코레토 크립토 프로바이더) 1.6.2-linux-x86_64
스택스 (Stax) stax-api 1.0.1
  • Last updated on