다음을 통해 공유

Databricks Runtime 14.0(EoS)

참고

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.0에 대한 정보를 제공합니다.

Databricks는 2023년 9월에 이 버전을 출시했습니다.

새로운 기능 및 향상 기능

행 추적은 GA입니다.

이제 Delta Lake에 대한 행 추적 기능이 정식으로 제공됩니다. 델타 테이블에 대한 행 추적 사용을 참조하세요.

업데이트에 대한 예측 I/O가 정식 출시됨

업데이트를 위한 예측 I/O가 이제 일반적으로 사용할 수 있습니다. 예측 I/O란?을 참조하세요.

삭제 벡터가 일반 공급됨

삭제 벡터는 이제 일반적으로 제공됩니다. 삭제 벡터란?을 참조하세요.

Spark 3.5.0은 GA입니다.

Apache Spark 3.5.0이 이제 일반적으로 제공됩니다. Spark 릴리스 3.5.0을 참조하세요.

Python용 사용자 정의 테이블 함수에 대한 공개 미리 보기

UDF(사용자 정의 테이블 함수)를 사용하면 스칼라 값 대신 테이블을 반환하는 함수를 등록할 수 있습니다. Python UDF(사용자 정의 테이블 함수)참조하세요.

행 수준 동시성을 위한 공개 미리 보기

행 수준 동시성은 행 수준에서 변경 내용을 검색하고 동일한 데이터 파일에서 다른 행을 업데이트하거나 삭제하는 동시 쓰기의 경쟁 변경 내용을 자동으로 해결하여 동시 쓰기 작업 간의 충돌을 줄입니다. 행 수준 동시성과의 쓰기 충돌을 참조하세요.

기본 현재 작업 디렉터리가 변경되었습니다.

로컬로 실행되는 코드의 기본 현재 작업 디렉터리(CWD)는 이제 실행 중인 Notebook 또는 스크립트가 포함된 디렉터리입니다. 여기에는 Spark를 사용하지 않는 Python 또는 R 코드와 같은 %sh 코드가 포함됩니다. 기본 현재 작업 디렉터리란?을 참조하세요.

sparklyr의 알려진 문제

설치된 패키지 버전 sparklyr (버전 1.8.1)은 Databricks Runtime 14.0과 호환되지 않습니다. sparklyr를 사용하려면 버전 1.8.3 이상을 설치하세요.

공유 클러스터 아키텍처에서 Spark Connect 소개

Databricks Runtime 14.0 이상을 사용하면 공유 클러스터는 기본적으로 Python REPL의 Spark 드라이버와 함께 Spark Connect를 사용합니다. 내부 Spark API는 더 이상 사용자 코드에서 액세스할 수 없습니다.

이제 Spark Connect는 레거시 REPL 통합 대신 REPL의 Spark 드라이버와 상호 작용합니다.

사용 가능한 Spark 버전 API 업데이트 나열

runtime_engine = PHOTON을 설정하여 Photon을 활성화하고, graviton 인스턴스 유형을 선택하여 aarch64을 활성화합니다. Azure Databricks는 올바른 Databricks 런타임 버전을 설정합니다. 이전에는 Spark 버전 API가 각 버전에 대한 구현별 런타임을 반환했습니다. REST API 참조에서 GET /api/2.0/clusters/spark-version 참조하세요.

호환성을 깨뜨리는 변경사항

Databricks Runtime 14.0 이상에서 표준 액세스 모드(이전의 공유 액세스 모드)가 있는 클러스터는 클라이언트-서버 통신에 Spark Connect를 사용합니다. 여기에는 다음과 같은 변경 내용이 포함됩니다.

표준 액세스 모드 제한 사항에 대한 자세한 내용은 표준 컴퓨팅 요구 사항 및 제한 사항을 참조하세요.

표준 액세스 모드를 사용하는 클러스터의 Python(이전의 공유 액세스 모드)

  • sqlContext를 사용할 수 없는 경우 Azure Databricks는 인스턴스 spark에 대해 변수 SparkSession를 사용하는 것을 권장합니다.
  • Spark 컨텍스트(sc)는 Notebook에서 더 이상 사용할 수 없거나 표준 액세스 모드가 있는 클러스터에서 Databricks Connect를 사용할 때 사용할 수 없습니다. 다음 sc 함수는 더 이상 사용할 수 없습니다.
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, , binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • 데이터 세트 정보 기능은 더 이상 지원되지 않습니다.
  • Apache Spark를 쿼리할 때 JVM에 대한 종속성이 더 이상 없으므로 JVM과 관련된 내부 API(예: _jsc, _jconf, _jvm, _jsparkSession_jreader, _jc, _jseq_jdf_jmap, ) 및 _jcols 더 이상 지원되지 않습니다.
  • spark.conf를 사용하여 구성 값에 액세스할 때는 동적 런타임 구성 값만 액세스할 수 있습니다.
  • Lakeflow Spark 선언적 파이프라인 분석 명령은 공유 클러스터에서 아직 지원되지 않습니다.

표준 액세스 모드가 있는 클러스터의 델타(이전의 공유 액세스 모드)

  • Python에서는 Apache Spark를 쿼리할 때 JVM에 대한 종속성이 더 이상 없습니다. JVM과 관련된 내부 API(예: DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder) 및 DeltaOptimizeBuilder._jbuilder 더 이상 지원되지 않습니다.

표준 액세스 모드가 있는 클러스터의 SQL(이전의 공유 액세스 모드)

  • DBCACHE 및 DBUNCACHE 명령은 더 이상 지원되지 않습니다.
  • 다음과 같은 cache table db as show databases 드문 사용 사례는 더 이상 지원되지 않습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • asttokens 2.2.1에서 2.0.5로
    • attrs 21.4.0에서 22.1.0으로 업데이트
    • botocore 1.27.28에서 1.27.96으로 업데이트
    • 2022.9.14부터 2022.12.7까지 인증서
    • 37.0.1에서 39.0.1까지의 암호화
    • debugpy 1.6.0에서 1.6.7로
    • docstring-to-markdown 0.12에서 0.11로
    • 1.2.0에서 0.8.3으로 실행
    • facets-overview (요약 기능) 1.0.3에서 1.1.1로 업데이트
    • googleapis-common-protos 1.56.4에서 1.60.0으로
    • grpcio 버전 업데이트: 1.48.1에서 1.48.2로
    • idna 버전을 3.3에서 3.4로
    • ipykernel 6.17.1에서 6.25.0으로
    • ipython 8.10.0에서 8.14.0으로
    • Jinja2에서 2.11.3에서 3.1.2로
    • jsonschema 4.16.0부터 4.17.3까지
    • jupyter_core 4.11.2에서 5.2.0으로
    • kiwisolver 1.4.2에서 1.4.4로
    • MarkupSafe 버전 2.0.1에서 2.1.1로 업데이트
    • matplotlib에서 3.5.2에서 3.7.0으로
    • nbconvert 6.4.4에서 6.5.4로
    • nbformat 5.5.0에서 5.7.0으로
    • nest-asyncio의 버전 1.5.5에서 1.5.6으로 업데이트
    • 노트북 6.4.12부터 6.5.2까지
    • numpy 1.21.5 버전에서 1.23.5 버전으로
    • 21.3에서 22.0으로 패키징
    • pandas 1.4.4에서 1.5.3으로
    • pathspec 버전을 0.9.0에서 0.10.3으로 변경.
    • patsy 0.5.2에서 0.5.3으로
    • Pillow 9.2.0에서 9.4.0으로
    • pip 22.2.2에서 22.3.1로
    • protobuf 3.19.4에서 4.24.0으로
    • 1.2.2에서 1.2.5까지의 pytoolconfig
    • pytz 2022.1에서 2022.7로
    • s3transfer 0.6.0에서 0.6.1로
    • seaborn 버전을 0.11.2에서 0.12.2로 업데이트
    • setuptools 63.4.1 버전에서 65.6.3 버전으로
    • soupsieve가 2.3.1에서 2.3.2.post1로
    • 0.6.2에서 0.2.0까지의 스택 데이터
    • statsmodels 0.13.2에서 0.13.5로
    • terminado 0.13.1에서 0.17.1로 업데이트
    • traitlets 5.1.1에서 5.7.1로
    • typing_extensions 4.3.0에서 4.4.0으로
    • urllib3 버전을 1.26.11에서 1.26.14로
    • virtualenv 20.16.3에서 20.16.7로
    • 휠의 버전을 0.37.1에서 0.38.4로 변경
  • 업그레이드된 R 라이브러리:
    • 화살표 10.0.1에서 12.0.1로 이동
    • 버전 4.2.2에서 4.3.1로 업그레이드
    • Blob 버전을 1.2.3에서 1.2.4로 변경합니다.
    • 빗자루 1.0.3에서 1.0.5까지
    • bslib from 0.4.2 to 0.5.0
    • cachem 1.0.6에서 1.0.8로
    • caret 6.0-93에서 6.0-94로 변경
    • 크론 2.3-59부터 2.3-61까지
    • 클래스 7.3-21에서 7.3-22로
    • CLI 버전 3.6.0에서 3.6.1로 업데이트
    • 0.6.1에서 0.7.0까지의 시계
    • commonmark 버전 1.8.1에서 1.9.0으로
    • 컴파일러 4.2.2에서 4.3.1로
    • cpp11 0.4.3에서 0.4.4로
    • curl 5.0.0에서 5.0.1로 업그레이드
    • data.table 1.14.6에서 1.14.8로
    • 4.2.2에서 4.3.1까지의 데이터 세트
    • 2.3.0에서 2.3.3으로 dbplyr 변경
    • 다이제스트를 버전 0.6.31에서 0.6.33으로 변경
    • downlit 버전 0.4.2에서 0.4.3으로 업그레이드
    • dplyr 1.1.0에서 1.1.2로
    • dtplyr의 버전이 1.2.2에서 1.3.1로 업데이트됨
    • 0.20에서 0.21로 평가
    • fastmap 1.1.0에서 1.1.1로
    • fontawesome 0.5.0에서 0.5.1로
    • fs 버전 1.6.1에서 1.6.2로 변경
    • future 1.31.0에서 1.33.0으로
    • future.apply 1.10.0에서 1.11.0으로
    • "gargle 1.3.0에서 1.5.1로"
    • ggplot2 3.4.0에서 3.4.2로
    • gh가 1.3.1에서 1.4.0으로 변경됨
    • glmnet 버전 4.1-6에서 4.1-7로 변경
    • googledrive 2.0.0에서 2.1.1로
    • googlesheets4에서 1.0.1에서 1.1.1로
    • 그래픽 4.2.2에서 4.3.1로
    • grDevices 4.2.2에서 4.3.1로
    • 4.2.2에서 4.3.1로 그리드
    • 0.3.1에서 0.3.3까지 gtable
    • 1.2.0에서 1.3.0으로 하드햇
    • 피난처 2.5.1에서 2.5.3으로
    • hms 1.1.2에서 1.1.3으로
    • htmltools 0.5.4에서 0.5.5로 업데이트
    • 1.6.1에서 1.6.2로의 htmlwidgets
    • httpuv 버전 1.6.8에서 1.6.11로
    • httr 1.4.4에서 1.4.6으로
    • ipred 0.9-13에서 0.9-14로
    • jsonlite 1.8.4에서 1.8.7로
    • KernSmooth에서 2.23-20에서 2.23-21로
    • 니터 1.42에서 1.43까지
    • 이후 1.3.0에서 1.3.1로
    • 0.20-45에서 0.21-8로 격자 변경
    • "Lava 버전 1.7.1에서 1.7.2.1로"
    • 1.9.1에서 1.9.2로 윤활유
    • 마크다운 1.5부터 1.7까지
    • 질량: 7.3-58.2에서 7.3-60으로
    • 1.5-1에서 1.5-4.1까지의 행렬
    • 메서드를 4.2.2에서 4.3.1로
    • mgcv 1.8-41에서 1.8-42로
    • modelr 0.1.10에서 0.1.11로
    • nnet 7.3-18에서 7.3-19로
    • openssl 2.0.5에서 2.0.6으로
    • 4.2.2에서 4.3.1까지 병행
    • 병렬로 1.34.0부터 1.36.0까지
    • 1.8.1에서 1.9.0으로의 기둥
    • pkgbuild 1.4.0에서 1.4.2로
    • pkgload 1.3.2에서 1.3.2.1로
    • pROC 1.18.0에서 1.18.4로
    • processx 3.8.0에서 3.8.2로
    • prodlim from 2019.11.13 to 2023.03.31
    • profvis 0.3.7에서 0.3.8로
    • ps 1.7.2에서 1.7.5로
    • Rcpp 1.0.10에서 1.0.11로
    • readr 버전 2.1.3에서 2.1.4로
    • readxl 버전 1.4.2에서 1.4.3으로 업데이트
    • 1.0.4에서 1.0.6까지의 레시피
    • 1.0.6에서 1.1.1로의 rlang
    • rmarkdown 2.20에서 2.23으로
    • Rserve 1.8-12에서 1.8-11로
    • RSQLite 2.2.20에서 2.3.1로
    • rstudioapi 0.14에서 0.15.0으로
    • sass 0.4.5에서 0.4.6으로
    • 1.7.4에서 1.7.4.1로 반짝입니다.
    • sparklyr 1.7.9에서 1.8.1로
    • 3.4.1에서 3.5.0까지의 SparkR
    • 4.2.2에서 4.3.1까지의 스플라인
    • 통계는 4.2.2에서 4.3.1로
    • stats4를 4.2.2에서 4.3.1로
    • 3.5-3에서 3.5-5까지의 생존
    • sys 버전 3.4.1에서 3.4.2로 업데이트
    • tcltk 버전 4.2.2에서 4.3.1로
    • testthat 버전 3.1.6에서 3.1.10로
    • tibble 3.1.8에서 3.2.1로 업데이트
    • tidyverse 1.3.2에서 2.0.0로 업데이트
    • tinytex 0.44에서 0.45로
    • 4.2.2에서 4.3.1까지의 도구
    • tzdb를 0.3.0에서 0.4.0으로
    • usethis 버전 2.1.6에서 2.2.2로 업데이트
    • utils 버전 4.2.2에서 4.3.1로
    • vctrs 0.5.2에서 0.6.3으로
    • viridisLite 0.4.1에서 0.4.2로
    • vroom 1.6.1에서 1.6.3으로
    • waldo 0.4.0에서 0.5.1로
    • xfun 0.37 버전에서 0.39 버전으로
    • xml2에서 1.3.3부터 1.3.5까지
    • zip을 2.2.2에서 2.3.0으로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-annotations 버전을 2.14.2에서 2.15.2로 변경
    • com.fasterxml.jackson.core.jackson-core 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.core.jackson-databind 버전을 2.14.2에서 2.15.2로 변경
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 버전 업데이트: 2.13.4에서 2.15.1로
    • com.fasterxml.jackson.module.jackson-module-paranamer을 2.14.2에서 2.15.2로 업데이트합니다.
    • com.fasterxml.jackson.module.jackson-module-scala_2.12가 2.14.2부터 2.15.2까지 업데이트됨
    • com.github.luben.zstd-jni 버전 1.5.2-5에서 1.5.5-4로
    • com.google.code.gson.gson 버전 '2.8.9'에서 '2.10.1'로 업데이트
    • com.google.crypto.tink.tink 1.7.0에서 1.9.0으로
    • commons-codec.commons-codec의 버전이 1.15에서 1.16.0으로 업데이트되었습니다.
    • commons-io.commons-io 2.11.0에서 2.13.0으로
    • io.airlift.aircompressor 0.21에서 0.24까지
    • io.dropwizard.metrics.metrics-core 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-graphite 패키지를 버전 4.2.10에서 4.2.19로 업데이트합니다.
    • io.dropwizard.metrics.metrics-healthchecks 버전 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jetty9을 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jmx 버전을 4.2.10에서 4.2.19로 업데이트
    • io.dropwizard.metrics.metrics-json을 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jvm의 버전을 4.2.10에서 4.2.19로 변경합니다.
    • 4.2.10에서 4.2.19까지의 io.dropwizard.metrics.metrics-servlet
    • io.netty.netty-all 버전을 4.1.87.Final에서 4.1.93.Final로 변경
    • io.netty.netty-buffer 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-codec 버전 4.1.87.Final에서 4.1.93.Final로 업데이트
    • io.netty.netty-codec-http 버전이 4.1.87.Final에서 4.1.93.Final로 업데이트되었습니다.
    • io.netty.netty-codec-http2를 4.1.87.Final에서 4.1.93.Final로 변경
    • io.netty.netty-codec-socks가 4.1.87.Final에서 4.1.93.Final로 변경되었습니다.
    • io.netty.netty-common 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-handler이 4.1.87.Final에서 4.1.93.Final로 변경됨
    • io.netty.netty-handler-proxy 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-resolver 버전을 4.1.87.Final에서 4.1.93.Final로 수정
    • io.netty.netty-transport 버전을 4.1.87.Final에서 4.1.93.Final로 변경
    • io.netty.netty-transport-classes-epoll 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-transport-classes-kqueue 버전 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-transport-native-epoll을 4.1.87.Final-linux-x86_64에서 4.1.93.Final-linux-x86_64로
    • io.netty.netty-transport-native-kqueue를 4.1.87.Final-osx-x86_64 버전에서 4.1.93.Final-osx-x86_64 버전으로 업그레이드
    • 4.1.87.Final에서 4.1.93.Final까지 io.netty.netty-transport-native-unix-common
    • org.apache.arrow.arrow-format 11.0.0에서 12.0.1로
    • org.apache.arrow.arrow-memory-core 11.0.0에서 12.0.1로
    • org.apache.arrow.arrow-memory-netty 버전 11.0.0에서 12.0.1로 업데이트.
    • org.apache.arrow.arrow-vector 버전이 11.0.0에서 12.0.1로 업데이트되었습니다.
    • org.apache.avro.avro 1.11.1 ~ 1.11.2
    • org.apache.avro.avro-ipc 1.11.1에서 1.11.2로
    • org.apache.avro.avro-mapred 1.11.1에서 1.11.2로 업데이트
    • org.apache.commons.commons-compress 버전 1.21에서 1.23.0으로
    • org.apache.hadoop.hadoop-client-runtime 3.3.4에서 3.3.6으로
    • org.apache.logging.log4j.log4j-1.2-api 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-api 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-core 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-slf4j2-impl 버전을 2.19.0에서 2.20.0으로 업데이트
    • org.apache.orc.orc-core에서 1.8.4-shaded-protobuf부터 1.9.0-shaded-protobuf까지
    • org.apache.orc.orc-mapreduce를 1.8.4-shaded-protobuf에서 1.9.0-shaded-protobuf로 업데이트
    • org.apache.orc.orc-shims를 1.8.4에서 1.9.0으로
    • org.apache.xbean.xbean-asm9-shaded 4.22에서 4.23으로
    • org.checkerframework.checker-qual을 3.19.0에서 3.31.0으로
    • org.glassfish.jersey.containers.jersey-container-servlet가 2.36에서 2.40으로 업데이트되었습니다.
    • org.glassfish.jersey.containers.jersey-container-servlet-core 버전 2.36에서 2.40까지
    • org.glassfish.jersey.core.jersey-client 2.36에서 2.40으로
    • org.glassfish.jersey.core.jersey-common 버전 2.36에서 2.40으로
    • org.glassfish.jersey.core.jersey-server 버전 2.36에서 2.40까지
    • org.glassfish.jersey.inject.jersey-hk2를 2.36에서 2.40으로
    • org.javassist.javassist 3.25.0-GA에서 3.29.2-GA로
    • org.mariadb.jdbc.mariadb-java-client 2.7.4에서 2.7.9로
    • org.postgresql.postgresql 42.3.8에서 42.6.0으로
    • org.roaringbitmap.RoaringBitmap 0.9.39에서 0.9.45로
    • org.roaringbitmap.shims 0.9.39에서 0.9.45로
    • org.rocksdb.rocksdbjni 7.8.3에서 8.3.2로
    • org.scala-lang.modules.scala-collection-compat_2.12의 2.4.3에서 2.9.0으로
    • org.slf4j.jcl-over-slf4j 2.0.6에서 2.0.7으로
    • org.slf4j.jul-to-slf4j 버전이 2.0.6에서 2.0.7로 업데이트됨.
    • org.slf4j.slf4j-api 업데이트: 2.0.6에서 2.0.7로
    • org.xerial.snappy.snappy-java 버전 1.1.10.1에서 1.1.10.3으로
    • org.yaml.snakeyaml 1.33에서 2.0으로

Apache Spark

Databricks Runtime 14.0. 이 릴리스에는 Databricks Runtime 13.3 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Connect에서 aes_decrypt 및 ln 함수 수정
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] createDataFrame에서 작동하도록 상속받은 namedtuple 수정
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache는 클래스로더별이어야 합니다.
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] 스트리밍 쿼리가 Connect의 아티팩트 관리에서 작동하게 만들기
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] REPL 생성 클래스에서 ArrowDeserializer가 작동하도록 하기
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Spark Connect에서 화살표 최적화 Python UDF 수정
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Spark Connect용 python protobuf 함수 지원
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] PySpark에서 함수 uuid/random/chr 제거
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][팔로우] 아티팩트에 대한 메타데이터 값 수정
  • [SPARK-44822] [DBRRM-464][python][SQL] 기본적으로 비결정적 Python UDF 만들기
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Arrow Python UDTF 리팩터링
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] 호출에 누락된 클라이언트 메타데이터 추가
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' 개체에 'message' 특성이 없습니다.
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager를 사용하여 모든 실행 추적
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Python UDF에 대해 기본적으로 화살표 최적화를 사용하지 않도록 설정
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] 흐름 제어를 수정하기 위해 새 스레드에서 다시 연결할 수 있는 실행에서 ExecuteGrpcResponseSender 실행
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] 모든 반복기를 CloseableIterators로 만들기
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] 초기 요청이 Python 클라이언트의 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] 초기 요청이 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] sq/api로 이동한 오류도 AnalysisException을 사용해야 합니다.
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] 인코더 개체 추가
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Spark Connect에 대한 클라이언트 세션 시간이 초과될 때 스트리밍 쿼리 종료에 대한 후속 작업
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] 서버에서 오류가 발생한 후 ExecutePlanResponseReattachableIterator에서 ReleaseExecute를 실행합니다.
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect 클라이언트 촉매 종속성 제거
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Python 클라이언트에서 반복기를 닫을 때 실행 해제
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] 격리된 세션 캐시가 제거될 때 세션 기반 디렉터리 제거
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] 남아 있는 반복자를 제거합니다.
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Spark Connect에서 기존 실행과 다시 연결하기 위한 Python 클라이언트
  • [SPARK-44637] [SC-138571] ExecuteResponseObserver에 대한 액세스 동기화
  • [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue 및 친구 복원
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect에서 재연결 가능한 실행
  • [SPARK-44418] [SC-136807][python][CONNECT] protobuf를 3.19.5에서 3.20.3으로 업그레이드
  • [SPARK-44587] [SC-138315][sql][CONNECT] protobuf 마샬러 재귀 제한 증가
  • [SPARK-44591] [SC-138292][connect][SQL] SparkListenerSQLExecutionStart에 jobTags 추가
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations는 새 인스턴스를 만들 때 별칭 메타데이터를 유지해야 합니다.
  • [SPARK-44542] [SC-138323][core] 예외 처리기에서 SparkExitCode 클래스를 적극적으로 로드합니다.
  • [SPARK-44264] [SC-138143][python]딥스피드용 E2E 테스트
  • [SPARK-43997] [SC-138347][connect] Java UDF에 대한 지원 추가
  • [SPARK-44507] [SQL][connect][14.x][14.0] AnalysisException을 sql/api로 이동
  • [SPARK-44453] [SC-137013][python] difflib를 사용하여 assertDataFrameEqual에 오류 표시
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Spark Connect용 Spark UI 페이지 추가
  • [SPARK-44611] [SC-138415][connect] scala-xml을 제외하지 마세요.
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] 인코더 유추를 sql/api로 이동
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] 클래스 로딩 문제 해결...
  • [SPARK-44590] [SC-138296][sql][CONNECT] SqlCommandResult에 대한 화살표 일괄 처리 레코드 제한 제거
  • [SPARK-43968] [SC-138115][python] 잘못된 출력 개수가 있는 Python UDTF에 대한 오류 메시지 개선
  • [SPARK-44432] [SC-138293][ss][CONNECT] Spark Connect에서 세션 시간이 초과되면 스트리밍 쿼리 종료
  • [SPARK-44584] [SC-138295][connect] Scala Client에서 AddArtifactsRequest 및 ArtifactStatusesRequest에 대한 client_type 정보 설정
  • [SPARK-44552] [14.0][sc-138176][SQL] private object ParseStateIntervalUtils 정의 제거
  • [SPARK-43660] [SC-136183][connect][PS] Spark Connect로 resample 사용
  • [SPARK-44287] [SC-136223][sql] ColumnarToRowExec SQL 연산자를 & RowToColumnarExec에서 PartitionEvaluator API를 사용합니다.
  • [SPARK-39634] [SC-137566][sql] 행 인덱스 생성과 함께 파일 분할 허용
  • [SPARK-44533] [SC-138058][python] Python UDTF 분석에서 누적기, 브로드캐스트 및 Spark 파일에 대한 지원 추가
  • [SPARK-44479] [SC-138146][python] 열 없는 pandas DataFrame을 허용하도록 ArrowStreamPandasUDFSerializer 수정
  • [SPARK-44425] [SC-138177][connect] 사용자가 제공한 sessionId가 UUID인지 확인
  • [SPARK-44535] [SC-138038][connect][SQL] 필요한 스트리밍 API를 sql/api로 이동
  • [SPARK-44264] [SC-136523][ml][PYTHON] Deepspeed Distributed Learning 클래스 DeepspeedTorchDistributor 작성
  • [SPARK-42098] [SC-138164][sql] ResolveInlineTables가 RuntimeReplaceable 식을 사용하여 처리할 수 없음 해결
  • [SPARK-44060] [SC-135693][sql] 빌드 쪽 외부 순서 섞기 해시 조인을 위한 Code-gen
  • [SPARK-44496] [SC-137682][sql][CONNECT] SCSC에 필요한 인터페이스를 sql/api로 이동
  • [SPARK-44532] [SC-137893][connect][SQL] ArrowUtils를 sql/api로 이동
  • [SPARK-44413] [SC-137019][python] assertDataFrameEqual에서 지원되지 않는 인수 데이터 형식에 대한 오류 명확히
  • [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfo를 common/util로 이동
  • [SPARK-36612] [SC-133071][sql] 섞어 놓은 해시 조인에서 왼쪽 외부 조인의 왼쪽 빌드와 오른쪽 외부 조인의 오른쪽 빌드를 지원
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils가 jar에 대한 잘못된 매개 변수를 생성했습니다.
  • [SPARK-44449] [SC-137818][connect] 직접 화살표 역직렬화를 위한 업캐스팅
  • [SPARK-44131] [SC-136346][sql] Scala API에 대한 call_function 추가 및 사용 중단 call_udf
  • [SPARK-44541] [SQL] 다음에서 쓸모없는 함수 hasRangeExprAgainstEventTimeCol 제거 UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] 조건이 FalseLiteral인 경우 필터의 maxRows/maxRowsPerPartition이 0입니다.
  • [SPARK-44540] [SC-137873][ui] jsonFormatter의 사용되지 않는 스타일시트 및 javascript 파일 제거
  • [SPARK-44466] [SC-137856][sql] modifiedConfigs에서 SPARK_DRIVER_PREFIX 및 SPARK_EXECUTOR_PREFIX 시작하는 구성 제외
  • [SPARK-44477] [SC-137508][sql] TYPE_CHECK_FAILURE_WITH_HINT 오류 하위 클래스로 처리
  • [SPARK-44509] [SC-137855][python][CONNECT] Spark Connect Python 클라이언트에서 작업 취소 API 집합 추가
  • [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
  • [SPARK-38476] [SC-136448][core] org.apache.spark.storage에서 오류 클래스 사용
  • [SPARK-44486] [SC-137817][python][CONNECT] self_destruct 대한 PyArrow toPandas 기능 구현
  • [SPARK-44361] [SC-137200][sql] MapInBatchExec에서 PartitionEvaluator API 사용
  • [SPARK-44510] [SC-137652][ui] dataTables를 1.13.5로 업데이트하고 일부 캐시되지 않은 png 파일을 제거합니다.
  • [SPARK-44503] [SC-137808][sql] TVF 호출 인수 PARTITION 후에 ORDER BY BY 및 TABLE 절에 대한 SQL 문법 추가
  • [SPARK-38477] [SC-136319][core] org.apache.spark.shuffle에서 오류 클래스 사용
  • [SPARK-44299] [SC-136088][sql] 오류 클래스 _LEGACY_ERROR_TEMP_227 이름 할당[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect 세분화된 인터럽트
  • [SPARK-44380] [SC-137415][sql][PYTHON] Python에서 분석할 Python UDTF 지원
  • [SPARK-43923] [SC-137020][connect] Post listenerBus 이벤트 중에...
  • [SPARK-44303] [SC-136108][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2320-2324]
  • [SPARK-44294] [SC-135885][ui] HeapHistogram 열이 select-all-box와 함께 예기치 않게 표시되는 문제 수정
  • [SPARK-44409] [SC-136975][sql] 다른 요소와 일관성을 유지하기 위해 Dataset.to에서 char/varchar를 처리하기
  • [SPARK-44334] [SC-136576][sql][UI] 작업이 없는 실패한 DDL/DML에 대한 REST API 응답의 상태는 완료가 아니라 실패로 표시되어야 합니다.
  • [SPARK-42309] [SC-136703][sql] INCOMPATIBLE_DATA_TO_TABLE 및 하위 클래스를 소개합니다.
  • [SPARK-44367] [SC-137418][sql][UI] 실패한 각 쿼리의 UI에 오류 메시지 표시
  • [SPARK-44474] [SC-137195][connect] SparkConnectServiceSuite에서 "응답 관찰 테스트"를 다시 활성화하기
  • [SPARK-44320] [SC-136446][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] Connect Server 시작 로그에 호스트 이름과 포트가 표시되어야 합니다.
  • [SPARK-44309] [SC-136193][ui] 실행기 탭에서 실행기 추가/제거 시간 표시
  • [SPARK-42898] [SC-137556][sql] 문자열/날짜 캐스트에 표준 시간대 ID가 필요하지 않음을 표시합니다.
  • [SPARK-44475] [SC-137422][sql][CONNECT] DataType 및 Parser를 sql/api로 재배치
  • [SPARK-44484] [SC-137562][ss]StreamingQueryProgress json 메서드에 batchDuration 추가
  • [SPARK-43966] [SC-137559][sql][PYTHON] 비결정적 테이블 값 함수 지원
  • [SPARK-44439] [SC-136973][connect][SS]client에 ID만 다시 보내도록 listListeners 수정
  • [SPARK-44341] [SC-137054][sql][PYTHON] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowExec 및 WindowInPandasExec에서 사용합니다.
  • [SPARK-43839] [SC-132680][sql] _LEGACY_ERROR_TEMP_1337를 UNSUPPORTED_FEATURE.TIME_TRAVEL으로 변환
  • [SPARK-44244] [SC-135703][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Spark Connect용 Scala에서 스트리밍 수신기에 대한 지원 추가
  • [SPARK-44260] [SC-135618][sql] 오류 클래스 LEGACY_ERROR_TEMP에 이름을 할당[1215-1245-2329] & _CharVarchar_Suite의 예외를 확인하기 위해 checkError()를 사용하다
  • [SPARK-42454] [SC-136913][sql] SPJ: BatchScanExec의 모든 SPJ 관련 매개 변수 캡슐화
  • [SPARK-44292] [SC-135844][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2315-2319]
  • [SPARK-44396] [SC-137221][connect] 직접 화살표 역직렬화
  • [SPARK-44324] [SC-137172][sql][CONNECT] CaseInsensitiveMap을 sql/api로 이동
  • [SPARK-44395] [SC-136744][sql] StreamingTableSuite에 다시 테스트 추가
  • [SPARK-44481] [SC-137401][connect][PYTHON] pyspark.sql.is_remote를 API로 만들기
  • [SPARK-44278] [SC-137400][connect] 스레드 로컬 속성을 정리하는 GRPC 서버 인터셉터를 구현합니다.
  • [SPARK-44264] [SC-137211][ml][PYTHON] Deepspeed를 사용하여 함수의 분산 학습 지원
  • [SPARK-44430] [SC-136970][sql] 옵션이 유효하지 않은 경우 AnalysisException 원인 추가
  • [SPARK-44264] [SC-137167][ml][PYTHON] FunctionPickler를 TorchDistributor에 통합
  • [SPARK-44216] [SC-137046] [PYTHON] assertSchemaEqual API를 공개적으로 만들기
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][sql] 모든 Drop Table 케이스를 DataSource V2로 이동
  • [SPARK-43755] [SC-137171][connect][MINOR] AdaptiveSparkPlanHelper.allChildren에서 복사본을 사용하는 대신 MetricGenerator를 열기
  • [SPARK-44264] [SC-137187][ml][PYTHON] 사용자 지정 "run_training_on_file" 함수 포인터를 허용하도록 TorchDistributor 리팩터링
  • [SPARK-43755] [SC-136838][connect] SparkExecutePlanStreamHandler에서 다른 스레드로 실행 이동
  • [SPARK-44411] [SC-137198][sql] ArrowEvalPythonExec 및 BatchEvalPythonExec에서 PartitionEvaluator API 사용
  • [SPARK-44375] [SC-137197][sql] DebugExec에서 PartitionEvaluator API 사용
  • [SPARK-43967] [SC-137057][python] 빈 반환 값이 있는 일반 Python UDF 지원
  • [SPARK-43915] [SC-134766][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Spark Connect에서 Python UDTF 지원
  • [SPARK-44154] [SC-137050][sql] BitmapExpressionUtilsSuite에 더 많은 단위 테스트를 추가하고 비트맵 집계 식을 약간 개선했습니다.
  • [SPARK-44169] [SC-135497][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] StructType.toAttributes 제거
  • [SPARK-43964] [SC-136676][sql][PYTHON] 화살표 최적화 Python UDF 지원
  • [SPARK-44321] [SC-136308][connect] AnalysisException에서 ParseException 분리
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] 관련 변경 사항을 반영하여 test_artifact를 다시 활성화하기
  • 실행 준비가 되면 [SPARK-44145] [SC-136698][sql] 콜백을.
  • [SPARK-43983] [SC-136404][python][ML][connect] 교차 유효성 검증기 추정기 테스트 활성화
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] useArrow가 없음인 경우에만 Python UDF에서 SparkSession 가져오기
  • [SPARK-43631] [SC-135300][connect][PS] Spark Connect로 Series.interpolate 사용
  • [SPARK-44374] [SC-136544][python][ML] Spark Connect용 분산 ML에 대한 예제 코드 추가
  • [SPARK-44282] [SC-135948][connect] Spark Connect Scala 클라이언트에서 사용할 데이터 유형 구문 분석 준비
  • [SPARK-44052] [SC-134469][connect][PS] Spark Connect에 적절한 Column 또는 DataFrame 클래스를 가져오기 위해 유틸리티를 추가합니다.
  • [SPARK-43983] [SC-136404][python][ML][connect] 교차 검증 추정기 구현
  • [SPARK-44290] [SC-136300][connect] Spark Connect의 세션 기반 파일 및 보관 파일
  • [SPARK-43710] [SC-134860][ps][CONNECT] Spark Connect에 대한 지원 functions.date_part
  • [SPARK-44036] [SC-134036][connect][PS] 정리 & 티켓을 통합하여 작업을 간소화합니다.
  • [SPARK-44150] [SC-135790][python][CONNECT] Arrow Python UDF의 일치하지 않는 반환 형식에 대한 명시적 화살표 캐스팅
  • [SPARK-43903] [SC-134754][python][CONNECT] Arrow Python UDF에서 ArrayType 입력 지원 개선
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] 분류 평가기 구현
  • [SPARK-44255] [SC-135704][sql] StorageLevel을 일반/유틸리티로 재배치
  • [SPARK-42169] [SC-135735] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
  • [SPARK-43353] [SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-44133] [SC-134795][python] MyPy를 0.920에서 0.982로 업그레이드
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-43353] “[SC-132734][es-729763][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션” 되돌림
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] 네임스페이스를 pyspark.mlv2에서 pyspark.ml.connect으로 이동
  • [SPARK-44220] [SC-135484][sql] StringConcat을 sql/api로 이동
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Catalog.listFunctions에 대한 선택적 패턴 추가
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Spark Connect에서 ML에 대한 파이프라인 추정기 구현
  • [SPARK-43888] [SC-132893][core] 로깅을 일반/유틸리티로 재배치
  • [SPARK-42941] Revert “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde”
  • [SPARK-43624] [SC-134557][ps][CONNECT] SparkConnectPlanner에 EWM 추가합니다.
  • [SPARK-43981] [SC-134137][python][ML] Spark Connect에서 ML에 대한 기본 저장/로드 구현
  • [SPARK-43205] [SC-133371][sql] 수정 SQLQueryTestSuite
  • [SPARK-43376] "[SC-130433][sql] 테이블 캐시를 사용하여 하위 쿼리 재사용 개선" 되돌리기
  • [SPARK-44040] [SC-134366][sql] AggregateExec 노드가 QueryStageExec 위에 있을 때 컴퓨팅 통계 수정
  • [SPARK-43919] [SC-133374][sql] 행에서 JSON 기능 추출
  • [SPARK-42618] [SC-134433][python][PS] 다음 주요 릴리스에서 pandas 관련 동작 변경에 대한 경고
  • [SPARK-43893] [SC-133381][python][CONNECT] 화살표 최적화 Python UDF의 비원자 데이터 형식 지원
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Spark Connect에서 pyspark.pandas.spark.functions.{kurt, skew} 사용하도록 설정합니다.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Python 사용자 정의 테이블 함수 지원
  • [SPARK-43616] [SC-133849][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.mode 사용
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect에 대한 (NullOps|NumOps).(eq|ne) 수정합니다.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Spark Connect에서 pyspark.pandas.spark.functions.{var, stddev} 사용
  • [SPARK-43617] [SC-133893][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.product 사용
  • [SPARK-43610] [SC-133832][connect][PS] Spark Connect에서 InternalFrame.attach_distributed_column 사용하도록 설정합니다.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.repeat 사용
  • [SPARK-43921] [SC-133461][protobuf] 빌드 시 Protobuf 설명자 파일 생성
  • [SPARK-43613] [SC-133727][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.covar 사용
  • [SPARK-43376] [SC-130433][sql] 테이블 캐시를 사용하여 다시 사용 하위 쿼리 개선
  • [SPARK-43612] [SC-132011][connect][PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
  • [SPARK-43920] [SC-133611][sql][CONNECT] sql/api 모듈 만들기
  • [SPARK-43097] [SC-133372][ml] 배포자를 기반으로 구현된 새로운 pyspark ML 로지스틱 회귀 추정기
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Spark Connect의 MLv2가 pandas를 지원하도록 합니다. >= 2.0
  • [SPARK-43024] [SC-132716][python] pandas를 2.0.0으로 업그레이드
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases에 대한 선택적 패턴 추가
  • [SPARK-39281] [SC-131422][sql] JSON/CSV 데이터 원본에서 레거시 형식으로 타임스탬프 형식 유추 속도 향상
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Catalog.listCatalogs에 대한 선택적 패턴 추가
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] 중첩 타임스탬프 유형 지원
  • [SPARK-43353] [SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43304] [SC-129969][connect][PYTHON] NotImplementedError를 PySparkNotImplementedError로 이전
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] spark3.5용 sparkML의 기본 인터페이스: 추정기/변환기/모델/계산기
  • [SPARK-43128] "[SC-131628][connect][SS] recentProgress 및 lastProgress이 네이티브 Scala Api와 일치하도록 StreamingQueryProgress 반환" 되돌리기
  • [SPARK-43543] [SC-131839][python] Pandas UDF에서 중첩된 MapType 동작 수정
  • [SPARK-38469] [SC-131425][core] org.apache.spark.network에서 오류 클래스 사용
  • [SPARK-43309] [SC-129746][spark-38461][CORE] INTERNAL_ERROR를 범주로 확장하고 INTERNAL_ERROR_BROADCAST 오류 클래스를 추가합니다.
  • [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
  • [SPARK-43440] [SC-131229][python][CONNECT] 화살표 최적화 Python UDF 등록 지원
  • [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복 필드 이름 지원
  • [SPARK-43412] [SC-130990][python][CONNECT] 화살표 최적화 Python UDF용 SQL_ARROW_BATCHED_UDF EvalType 소개
  • [SPARK-40912] [SC-130986][core]KryoDeserializationStream의 예외 처리 오버헤드
  • [SPARK-39280] [SC-131206][sql] JSON/CSV 데이터 원본에서 사용자 제공 형식으로 타임스탬프 형식 유추 속도 향상
  • [SPARK-43473] [SC-131372][python] pandas DataFrame의 createDataFrame에서 구조체 형식 지원
  • [SPARK-43443] [SC-131024][sql] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
  • [SPARK-41532] [SC-130523][connect][CLIENT] 여러 데이터 프레임을 포함하는 작업에 대한 확인 추가
  • [SPARK-43296] [SC-130627][connect][PYTHON] Spark Connect 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43324] [SC-130455][sql] 델타 기반 원본에 대한 UPDATE 명령 처리
  • [SPARK-43347] [SC-130148][python] Python 3.7 지원 제거
  • [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoader을 core 모듈로 이동하고 Executor#addReplClassLoaderIfNeeded을 간소화하기
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark 파티션 데이터에서 데이터를 로드하는 토치 배포자 데이터 로더 추가
  • [SPARK-43331] [SC-130061][connect] Spark Connect의 SparkSession.interruptAll 추가
  • [SPARK-43306] [SC-130320][python] Spark SQL 형식에서 오류 클래스로 ValueError 마이그레이션
  • [SPARK-43261] [SC-129674][python] Spark SQL 형식에서 오류 클래스로 TypeError 마이그레이션합니다.
  • [SPARK-42992] [SC-129465][python] PySparkRuntimeError 도입
  • [SPARK-16484] [SC-129975][sql] Datasketches HllSketch에 대한 지원 추가
  • [SPARK-43165] [SC-128823][sql] CanWrite를 DataTypeUtils로 이동
  • [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect의 화살표 최적화 Python UDF
  • [SPARK-43084] [SC-128654][SS] Spark 연결에 대한 applyInPandasWithState 지원 추가
  • [SPARK-42657] [SC-128621][connect] 클라이언트 쪽 REPL 클래스 파일을 찾아 서버에 아티팩트로 전송하는 지원
  • [SPARK-43098] [SC-77059][sql] 스칼라 하위 쿼리에 group by 절이 있는 경우 COUNT 정확성 버그 수정
  • [SPARK-42884] [SC-126662][connect] Ammonite REPL 통합 추가
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch 배포자 지원 로컬 모드
  • [SPARK-41498] [SC-125343] "Union을 통해 메타데이터 전파" 되돌리기
  • [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch 배포자를 Spark Connect와 호환되도록 만들기
  • [SPARK-42683] [LC-75] 충돌하는 메타데이터 열의 이름을 자동으로 바꿉니다.
  • [SPARK-42874] [SC-126442][sql] 모든 입력 파일에 대한 분석을 위한 새로운 골든 파일 테스트 프레임워크 사용
  • [SPARK-42779] [SC-126042][sql] V2 쓰기가 권장 셔플 파티션 크기를 나타내도록 허용
  • [SPARK-42891] [SC-126458][connect][PYTHON] 공동 그룹화된 맵 API 구현
  • [SPARK-42791] [SC-126134][sql] 분석을 위한 새 골든 파일 테스트 프레임워크 만들기
  • [SPARK-42615] [SC-124237][connect][PYTHON] AnalyzePlan RPC를 리팩터링하고 session.version 추가
  • [SPARK-41302] 되돌리다 “[ALL TESTS][sc-122423][SQL] _LEGACY_ERROR_TEMP_1185에 대한 이름 할당”
  • [SPARK-40770] [SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선
  • [SPARK-40770] 되돌리기 "[ALL TESTS][sc-122652][PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선"
  • [SPARK-42398] [SC-123500][sql] 기본 열 값 DS v2 인터페이스 구체화
  • [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] applyInPandas의 스키마 불일치 오류 메시지 개선
  • [SPARK-40770] 변경 취소 "[SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선"
  • [SPARK-40770] [SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선
  • [SPARK-42038] [ALL TESTS] 되돌리기 "되돌리기 "[SC-122533][sql] SPJ: 부분적으로 클러스터된 배포 지원"
  • [SPARK-42038] 되돌리기 "[SC-122533][sql] SPJ: 부분적으로 클러스터된 배포 지원"
  • [SPARK-42038] [SC-122533][sql] SPJ: 부분적으로 클러스터된 배포 지원
  • [SPARK-40550] [SC-120989][sql] DataSource V2: 델타 기반 원본에 대한 DELETE 명령 처리
  • [SPARK-40770] 변경 취소 "[SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선"
  • [SPARK-40770] [SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선
  • [SPARK-41302] 되돌리기 “[SC-122423][sql] _LEGACY_ERROR_TEMP_1185에 이름 할당”
  • [SPARK-40550] “[SC-120989][sql] DataSource V2: 델타 기반 소스에 대한 DELETE 명령 처리” 되돌리기
  • [SPARK-42123] 되돌리기 "[SC-121453][sql] DESCRIBE 및 SHOW CREATE TABLE 출력에 열 기본값 포함"
  • [SPARK-42146] [SC-121172][core] sql 모듈이 이 메서드를 사용할 때 maven 빌드를 통과하도록 Utils#setStringField 리팩터링
  • [SPARK-42119] 취소 "[SC-121342][sql] 내장 테이블 반환 함수 inline 및 inline_outer 추가"

중요 사항

Spark Connect

Spark SQL

기능

기능

데이터 소스

쿼리 최적화

코드 생성 및 쿼리 실행

기타 주목할 만한 변경 내용

PySpark(파이스파크)

기능

기타 주목할 만한 변경 내용

핵심

구조적 스트리밍

머신러닝

UI (사용자 인터페이스)

빌드 및 기타

제거, 동작 변경 및 사용 중단

예정된 제거

다음 Spark 주 릴리스에서 다음 기능이 제거됩니다.

  • Java 8 및 Java 11에 대한 지원 및 지원되는 최소 Java 버전은 Java 17입니다.
  • Scala 2.12 지원 및 지원되는 최소 Scala 버전은 2.13입니다.

마이그레이션 가이드

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • 델타 레이크: 2.4.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
애니오 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings (아르곤2-CFFI 바인딩) 21.2.0
에이에스티토큰 2.0.5 속성 22.1.0 역호출 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 표백제 4.1.0
깜빡이 1.4 boto3 1.24.28 보토코어 1.27.96
인증서 2022.12.7 cffi 1.15.1 챠데트 4.0.0
문자셋 정규화기 2.0.4 클릭 8.0.4 통신 0.1.2
contourpy (컨투어파이) 1.0.5 암호화 39.0.1 사이클러 0.11.0
사이톤 (Cython) 0.29.32 데이터브릭스 SDK (소프트웨어 개발 키트) 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 장식가 5.1.1 defusedxml (디퓨즈드 XML) 0.7.1
distlib (디스트립 라이브러리) 0.3.7 docstring-to-markdown (문서 문자열을 마크다운으로 변환) 0.11 진입점 0.4
실행 중 0.8.3 측면 개요 1.1.1 fastjsonschema (파스트제이슨스키마) 2.18.0
파일 잠금 3.12.2 폰트툴즈 (fonttools) 4.25.0 GCC 런타임 라이브러리 1.10.0
googleapis-common-protos 1.60.0 grpcio (Python용 gRPC 패키지) 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 아이드나 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils (아이파이썬 젠유틸스) 0.2.0
ipywidgets (아이파이위젯) 7.7.2 Jedi 0.18.1 지프니 (필리핀의 대중교통 차량) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib (잡리브) 1.2.0
JSON 스키마 (jsonschema) 4.17.3 jupyter-클라이언트 7.3.4 쥬피터 서버 (jupyter-server) 1.23.4
주피터 코어 (jupyter_core) 5.2.0 jupyterlab-pygments 0.1.2 주피터랩 위젯 1.0.0
열쇠고리 23.5.0 kiwisolver (키위솔버 소프트웨어) 1.4.4 launchpadlib (런치패드 라이브러리) 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe (마크업세이프) 2.1.1 matplotlib (매트플롯립) 3.7.0 matplotlib-inline (매트플롯립-인라인) 0.1.6
맥케이브 0.7.0 미스튠 (Mistune) 0.8.4 more-itertools (모어 이터툴즈) 8.10.0
mypy-extensions (마이파이-익스텐션) 0.4.3 nbclassic 0.5.2 nb클라이언트 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio (파이썬 비동기 I/O 라이브러리) 1.5.6
nodeenv 1.8.0 노트북 6.5.2 노트북_쉼 0.2.2
numpy (파이썬의 수치 계산용 라이브러리) 1.23.5 oauthlib 3.2.0 패키징 22.0
팬더 1.5.3 pandocfilters 1.5.0 파르소 0.8.3
패스스펙 (pathspec) 0.10.3 희생양 0.5.3 pexpect (피엑스펙트) 4.8.0
픽클쉐어 0.7.5 베개 9.4.0 파이썬 패키지 설치 도구 pip 22.3.1
플랫폼 디렉토리 2.5.2 plotly (데이터 시각화 라이브러리) 5.9.0 플러그 관련 또는 플러기와 관련된 요소 1.0.0
prometheus-client 0.14.1 prompt-toolkit (프롬프트 도구 키트) 3.0.36 프로토버프 (protobuf) 4.24.0
psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) 5.9.0 psycopg2 2.9.3 PtyProcess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) 1.10.6 pyflakes (파이플레이크스) 3.0.1 파이그먼츠 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing (파이썬 파싱 라이브러리) 3.0.9 피라이트(Pyright) 1.1.294 pyrsistent 0.18.0
python-dateutil (파이썬 날짜 유틸) 2.8.2 파이썬-LSP-JSON-RPC 1.0.0 python-lsp-server (파이썬 LSP 서버) 1.7.1
파이툴콘피그 (pytoolconfig) 1.2.5 pytz (파이썬의 타임존 계산을 위한 라이브러리) 2022.07 pyzmq 23.2.0
요청 2.28.1 로프 1.7.0 s3transfer 0.6.1
scikit-learn (파이썬 머신러닝 라이브러리) 1.1.1 바다에서 태어난 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools (셋업툴즈) 65.6.3 6 1.16.0
스니피오 1.2.0 수프 체 2.3.2.post1 ssh-import-id 명령어 5.11
스택 데이터 0.2.0 statsmodels (파이썬 통계 모형 라이브러리) 0.13.5 끈기 8.1.0
완료 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
토크나이즈-RT 4.2.1 tomli 2.0.1 토네이도 6.1
트레잇렛츠 5.7.1 타이핑_익스텐션 4.4.0 ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) 5.4.0
자동 업그레이드 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth(문자의 너비를 계산하는 함수) 0.2.5 웹인코딩 0.5.1
웹소켓 클라이언트 (websocket-client) 0.58.0 왓더패치 1.0.2 바퀴 0.38.4
widgetsnbextension (위젯 확장 프로그램) 3.6.1 yapf 0.31.0 지프 1.0.0

설치된 R 라이브러리

R 라이브러리는 2023-07-13의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 12.0.1 askpass (비밀번호 입력 요청) 1.1 assertthat (어썰트댓) 0.2.1
이전 버전 지원 1.4.1 기초 4.3.1 base64enc 0.1-3
비트 4.0.5 64비트 4.0.5 덩어리 1.2.4
부츠 1.3-28 양조하다 1.0-8 활기 1.1.3
빗자루 1.0.5 bslib 0.5.0 캐시미어 1.0.8
콜러 3.7.3 캐럿 6.0-94 셀레인저 (cellranger) 1.1.0
크론 2.3-61 수업 7.3-22 CLI 3.6.1
클리퍼 0.8.0 시계 0.7.0 클러스터 2.1.4
코드 도구 0.2-19 색 공간 2.1-0 코먼마크 1.9.0
컴파일러 4.3.1 설정 0.3.1 갈등하는 1.2.0
cpp11 0.4.4 크레용 1.5.2 자격 증명 1.3.2
컬 5.0.1 데이터 테이블(data.table) 1.14.8 데이터 세트 4.3.1
DBI 1.1.3 dbplyr 2.3.3 설명 1.4.2
개발자 도구 2.4.5 다이어그램 1.6.5 디포브젝트 0.3.5
소화 0.6.33 아래에서 비추는 조명 0.4.3 dplyr (데이터 조작을 위한 R 패키지) 1.1.2
dtplyr 1.3.1 e1071 1.7-13 줄임표 0.3.2
평가하다 0.21 팬시 1.0.4 색상 2.1.1
패스트맵 1.1.1 폰트어썸 (fontawesome) 0.5.1 포캣츠 1.0.0
포이치 (foreach) 1.5.2 외국의 0.8-82 구축하다 0.2.0
fs 1.6.2 미래 1.33.0 퓨처.어플라이 1.11.0
가글 1.5.1 제네릭 0.1.3 거트 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet (통계 및 기계 학습 소프트웨어 패키지) 4.1-7 글로벌 0.16.2 풀 1.6.2
구글 드라이브 2.1.1 구글시트4 1.1.1 고어 1.0.1
그래픽 4.3.1 grDevices 4.3.1 그리드 4.3.1
gridExtra 2.3 gsubfn 0.7 지테이블 0.3.3
안전모 1.3.0 피난처 2.5.3 하이어 (if interpreted as "higher") 0.10
에이치엠에스 (HMS) 1.1.3 HTML 도구 0.5.5 HTML 위젯 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
아이디 1.0.1 그것 0.3.1 아이프레드 0.9-14
아이소밴드 0.2.7 이터레이터 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 니터 1.43
라벨링 0.4.2 나중에 1.3.1 격자 0.21-8
용암 1.7.2.1 생명 주기 1.0.3 listenv (리슨브) 0.9.0
루브리데이트 1.9.2 magrittr 2.0.3 마크다운 1.7
매스 7.3-60 행렬 1.5-4.1 메모하다 2.0.1
메서드 4.3.1 mgcv 1.8-42 마임 0.12
미니 사용자 인터페이스 (Mini UI) 0.1.1.1 ModelMetrics 1.2.2.2 모델러 0.1.11
먼셀 (Munsell) 0.5.0 nlme 3.1-162 엔넷 7.3-19
numDeriv (넘데리브) 2016년 8월부터 1월 1일까지 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 2.0.6 평행 4.3.1
병행하여 1.36.0 기둥 1.9.0 pkgbuild(팩키지 빌드) 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
플로거 0.2.0 plyr (플레이어) 1.8.8 칭찬 1.0.0
프리티유닛 1.1.1 pROC 패키지 1.18.4 프로세스엑스 3.8.2
프로드림 (prodlim) 2023년 03월 31일 profvis 0.3.8 진행률 1.2.2
프로그레스알 0.13.0 약속들 1.2.0.1 프로토 1.0.0
프록시 0.4-27 Ps 1.7.5 고양이의 그르렁거림 1.0.1
r2d3 0.2.6 R6 2.5.1 라그 1.2.5
randomForest (랜덤 포레스트) 4.7-1.1 rappdirs (랩디르) 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
리더(Reader) 2.1.4 readxl (엑셀 파일 읽기 기능) 1.4.3 레시피 1.0.6
재경기 1.0.1 재경기2 2.1.2 리모컨 2.4.2
재현 가능한 예제 2.0.2 reshape2 1.4.4 rlang 1.1.1
r마크다운 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart (의사결정트리 구축을 위한 R 패키지) 4.1.19 rprojroot 2.0.3 Rserve (R서브) 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 알버전즈 2.1.2
rvest (웹 스크래핑을 위한 R 패키지) 1.0.3 sass 0.4.6 저울 1.2.1
셀렉터 0.4-2 세션 정보 1.2.2 모양 1.4.6
반짝이는 1.7.4.1 소스툴스 (sourcetools) 0.1.7-1 sparklyr (스파클리알) 1.8.1
SparkR 3.5.0 공간의 7.3-15 스플라인 4.3.1
sqldf (SQL 데이터프레임 패키지) 0.4–11 스퀘어엠 2021년 1월 통계 4.3.1
통계4 4.3.1 스트링기 1.7.12 stringr 1.5.0
생존 3.5-5 시스템 3.4.2 시스템 글꼴 1.0.4
티클티케이 (tcltk) 4.3.1 testthat (테스트댓) 3.1.10 텍스트 형성 0.3.6
tibble (티블) 3.2.1 tidyr 1.3.0 tidyselect (티디셀렉트) 1.2.0
tidyverse (타이디버스) 2.0.0 시간 변경 0.2.0 timeDate (타임데이터) 4022.108
tinytex 0.45 도구 4.3.1 tzdb 0.4.0
URL체커 1.0.1 사용하세요 2.2.2 utf8 1.2.3
유틸 4.3.1 UUID (범용 고유 식별자) 1.1-0 vctrs 0.6.3
비리디스라이트 0.4.2 부르릉 1.6.3 왈도 0.5.1
수염 0.4.1 위드알 2.5.0 xfun 0.39
xml2 1.3.5 엑스오픈 1.0.0 엑스테이블 1.8-4
YAML (야믈) 2.3.7 지퍼 2.3.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.12.390
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.12.390
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws AWS Java SDK 구성 1.12.390
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.12.390
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.12.390
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.12.390
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.12.390
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱트랜스코더) 1.12.390
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.12.390
com.amazonaws AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) 1.12.390
com.amazonaws aws-java-sdk-glue (AWS 자바 SDK 글루) 1.12.390
com.amazonaws AWS 자바 SDK IAM 1.12.390
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.12.390
com.amazonaws AWS-Java-SDK-머신러닝 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.12.390
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.12.390
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.12.390
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.12.390
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS-Java-SDK-지원 1.12.390
com.amazonaws AWS Java SDK SWF 라이브러리 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 스트림 2.9.6
com.databricks Rserve (R서브) 1.8-3
com.databricks databricks-sdk-java (데이터브릭스 SDK 자바) 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (크리오 쉐이디드) 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 반 친구 1.3.4
com.fasterxml.jackson.core 잭슨 애노테이션즈 2.15.2
com.fasterxml.jackson.core 잭슨-코어 (Jackson-core 라이브러리) 2.15.2
com.fasterxml.jackson.core 잭슨 데이터바인드 (jackson-databind) 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.15.2
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.15.2
com.fasterxml.jackson.datatype 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) 2.15.1
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 (자바 스칼라 모듈) 2.15.2
com.github.ben-manes.카페인 카페인 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1-원주민
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1-원주민
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원주민
com.github.fommil.netlib netlib-native_system-linux-x86_64 (넷리브 네이티브 시스템 리눅스-x86_64) 1.1-원주민
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.10.1
com.google.crypto.tink 팅크 1.9.0
com.google.errorprone 오류 발생 가능 주석 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.릴리스
com.lihaoyi 소스코드_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.3.9
com.microsoft.sqlserver (마이크로소프트 SQL 서버) mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (압축 알고리즘 LZF) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core (JAXB 코어) 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.12 0.4.12
com.twitter (도메인 이름) chill-java (칠자바) 0.10.0
com.twitter (도메인 이름) chill_2.12 0.10.0
com.twitter (도메인 이름) util-app_2.12 7.1.0
com.twitter (도메인 이름) util-core_2.12 7.1.0
com.twitter (도메인 이름) util-function_2.12 7.1.0
com.twitter (도메인 이름) util-jvm_2.12 7.1.0
com.twitter (도메인 이름) util-lint_2.12 7.1.0
com.twitter (도메인 이름) util-registry_2.12 7.1.0
com.twitter (도메인 이름) util-stats_2.12 7.1.0
com.typesafe 설정 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers (유니보시티-파서스) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (커먼즈 코덱) commons-codec (커먼즈 코덱) 1.16.0
커먼즈 컬렉션 커먼즈 컬렉션 3.2.2
커먼즈-DBCP 커먼즈-DBCP 1.4
공용 파일 업로드 공용 파일 업로드 1.5
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.13.0
커먼즈-랭 커먼즈-랭 2.6
commons-로깅 commons-로깅 1.1.3
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
dev.ludovic.netlib 아르팩 (ARPACK) 3.0.3
dev.ludovic.netlib 블라스 3.0.3
dev.ludovic.netlib 래팩 (LAPACK) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어 컴프레서 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics 측정기준 주석 4.2.19
io.dropwizard.metrics metrics-core (메트릭스 코어) 4.2.19
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.2.19
io.dropwizard.metrics 지표-건강검사 4.2.19
io.dropwizard.metrics 메트릭스-젯티9 4.2.19
io.dropwizard.metrics 메트릭스-JMX 4.2.19
io.dropwizard.metrics 메트릭스-JSON 4.2.19
io.dropwizard.metrics 메트릭스-JVM 4.2.19
io.dropwizard.metrics 메트릭스-서블릿 4.2.19
io.netty netty-all 4.1.93.Final
io.netty 네티-버퍼 (Netty-Buffer) 4.1.93.Final
io.netty netty-codec (넷티 코덱) 4.1.93.Final
io.netty 네티 코덱 HTTP 4.1.93.Final
io.netty netty-codec-http2 (넷티 코덱 HTTP2) 4.1.93.Final
io.netty netty-codec-socks (네티 코덱 양말) 4.1.93.Final
io.netty 넷티-커먼 4.1.93.Final
io.netty 넷티 핸들러 4.1.93.Final
io.netty netty-handler-proxy (네티 핸들러 프록시) 4.1.93.Final
io.netty netty-resolver (네티 리졸버) 4.1.93.Final
io.netty 넷티-트랜스포트 4.1.93.Final
io.netty netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.93.Final
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll (네티-트랜스포트-네이티브-에폴) 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty 네티-트랜스포트-네이티브-유닉스-커먼 (netty-transport-native-unix-common) 4.1.93.Final
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_커먼 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus 심플클라이언트_푸시게이트웨이 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
자카르타.annotation 자카르타 애노테이션-API (jakarta.annotation-api) 1.3.5
jakarta.servlet jakarta.servlet-api (자카르타 서블릿 API) 4.0.3
jakarta.validation jakarta.validation-api (자카르타 검증 API) 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.transaction 트랜잭션 API 1.1
javax.xml.bind jaxb-api 2.2.11
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna (넷.자바.데브.제이엔에이) 제이엔에이 5.8.0
net.razorvine 피클 1.3
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.6
네트.스노우플레이크 snowflake-jdbc (스노우플레이크 JDBC) 3.13.29
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt.remotetea remotetea-oncrpc (리모트티-온씨알피씨) 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 문자열 템플릿 3.2.1
org.apache.ant 개미 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant 안트-런처 1.9.16
org.apache.arrow 화살표 형식 12.0.1
org.apache.arrow 애로우-메모리-코어 12.0.1
org.apache.arrow arrow-memory-Netty 12.0.1
org.apache.arrow 화살표-벡터 12.0.1
org.apache.avro Avro (아브로) 1.11.2
org.apache.avro avro-ipc (아브로 IPC) 1.11.2
org.apache.avro avro-mapred (아브로-맵레드) 1.11.2
org.apache.commons (오픈 소스 자바 라이브러리) commons-collections4 (공용 컬렉션4) 4.4
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-컴프레스 1.23.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.1.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.12.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.6.1
org.apache.commons (오픈 소스 자바 라이브러리) commons-text (커먼즈 텍스트) 1.10.0
org.apache.curator 큐레이터-클라이언트 2.13.0
org.apache.curator 큐레이터 프레임워크 2.13.0
org.apache.curator 큐레이터 레시피 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 데이터스케치 메모리 2.0.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop hadoop-client-runtime (하둡 클라이언트 런타임) 3.3.6
org.apache.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 2.3.9
org.apache.hive hive-CLI 2.3.9
org.apache.hive hive-jdbc (하이브 JDBC) 2.3.9
org.apache.hive hive-llap-client (하이브 LLAP 클라이언트) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive 하이브-세르데 2.3.9
org.apache.hive 하이브-쉼즈 2.3.9
org.apache.hive 하이브-스토리지-API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims 하이브-쉼스-커먼 2.3.9
org.apache.hive.shims 하이브-심스-스케줄러 2.3.9
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core (로그4j-코어) 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-음영 처리된 프로토부프
org.apache.orc orc-core (오크 코어) 1.9.0-셰이드-프로토부프
org.apache.orc orc-mapreduce (오크-맵리듀스) 1.9.0-셰이드-프로토부프
org.apache.orc orc-shims (구체적인 설명이나 용도가 있다면 추가 설명 포함) 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9 음영 처리 4.23
org.apache.yetus 청중 주석 0.13.0
org.apache.zookeeper 사육사 3.6.3
org.apache.zookeeper 동물원 관리자-쥬트 3.6.3
org.checkerframework 체커-퀄 3.31.0
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson 잭슨-매퍼-ASL 1.9.13
org.codehaus.janino 커먼스-컴파일러 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus 데이터뉴클리어스-코어 4.1.17
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client (제티 클라이언트) 9.4.51.v20230217
org.eclipse.jetty 제티-컨티뉴에이션 (Jetty-Continuation) 9.4.51.v20230217
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.4.51.v20230217
org.eclipse.jetty 제티-플러스 9.4.51.v20230217
org.eclipse.jetty jetty-proxy (제티 프록시) 9.4.51.v20230217
org.eclipse.jetty 제티 보안 9.4.51.v20230217
org.eclipse.jetty jetty-server (제티 서버) 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.4.51.v20230217
org.eclipse.jetty 제티 유틸 (jetty-util) 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty 제티-웹앱 (Jetty 웹 애플리케이션) 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓 API 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓 클라이언트 (websocket-client) 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓-커먼 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓 서버 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓-서블릿 (websocket-servlet) 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 위치 탐색기 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi 자원 탐색기 1.0.3
org.glassfish.hk2.external aopalliance-다시 패키지된 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.40
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.40
org.glassfish.jersey.core 제르시 클라이언트 2.40
org.glassfish.jersey.core 코먼저지 2.40
org.glassfish.jersey.core 저지 서버 (jersey-server) 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator 하이버네이트 검증기 (hibernate-validator) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.3.2.최종
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB 자바 클라이언트 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis 옵제네시스 (objenesis) 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.6.0
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.9.45
org.roaringbitmap 간격 조절판 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest와 호환되는 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra (쓰리텐-엑스트라) 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel 스파이어-유틸_2.12 0.17.0
org.typelevel 스파이어_2.12 (spire_2.12) 0.17.0
org.wildfly.openssl 와일드플라이-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm 제이 라지 어레이스 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider (아마존 코레토 크립토 프로바이더) 1.6.1-linux-x86_64
software.amazon.ion ion-java (아이온-자바) 1.0.2
스타크스 stax-api 1.0.1
  • Last updated on