다음을 통해 공유

Databricks Runtime 12.0(EoS)

참고 항목

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.3.1에서 제공하는 Databricks Runtime 12.0에 대한 정보를 제공합니다.

Databricks는 2022년 12월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

예측 I/O는 GA입니다.

이제 예측 I/O를 일반적으로 사용할 수 있습니다. 자세한 내용은 예측 I/O란?을 참조하세요.

광자 작성기가 zstd 압축을 지원합니다.

이제 Photon 네이티브 작성기가 zstd를 사용하도록 설정 spark.sql.parquet.compression.codec 하여 zstd 압축 코덱을 지원합니다 zstd.

독립 실행형 클러스터에 대한 단계 수준 작업 리소스 프로필 지원

이제 동적 할당을 사용하지 않도록 설정한 경우 독립 실행형 클러스터에서 단계 수준 예약을 사용할 수 있습니다. 이 기능을 사용하려면 각 단계에 대해 ResourceProfileBuilder로 작업 리소스를 지정합니다.

REPLACE WHERE를 사용하여 선택적 덮어쓰기를 위한 SQL 지원

이제 다음 패턴을 사용하여 Delta 테이블의 임의 식과 일치하는 데이터를 선택적으로 덮어쓸 수 있습니다.

INSERT INTO table_name REPLACE WHERE predicate append_relation

임의의 선택적 덮어쓰기replaceWhere를 참조하세요.

이제 SQL에서 워터마크가 지원됩니다.

이제 DLT SQL 인터페이스를 사용하고 스트리밍 DataFrames에 대한 SQL 쿼리에서 워터마크를 지정할 수 있습니다. WATERMARK 절참조하세요.

PySpark 메모리 프로파일링

이제 PySpark 사용자 정의 함수에 대해 메모리 프로파일링을 사용하도록 설정되었습니다. 이렇게 하면 사용자 정의 함수의 각 코드 줄에 대한 메모리 증가, 메모리 사용량 및 발생 횟수에 대한 정보가 제공됩니다.

DELETE 및 UPDATE 대한 동적 정리

Photon 지원 컴퓨팅 DELETEUPDATE 을 사용하는 경우 이제 동적 파일 및 파티션 정리를 사용하여 성능을 향상시킵니다. 예를 들어 더 작은 원본 테이블을 사용하여 더 큰 테이블의 행을 업데이트하거나 삭제할 때 동적 정리를 사용할 수 있습니다.

분할된 데이터 조작 언어 작업에 대한 행 수준 삭제 메트릭

분할된 조건자를 사용하여 사용자는 이제 DELETE, TRUNCATE 및 replaceWhere와 같은 DML(데이터 조작 언어) 작업을 실행할 때 삭제되는 행 수를 감사할 수 있습니다.

버그 수정

모든 열이 문자열로 남아 있는 자동 로더의 JSON 구문 분석 문제를 해결했습니다. 이전에는 cloudFiles.inferColumnTypes가 설정되거나 false로 설정되지 않았으며 JSON에 중첩된 개체가 포함되어 있었습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • argon2-cffi를 20.1.0에서 21.3.0으로
    • attrs를 21.2.0에서 21.4.0으로
    • backports.entry-points-selectable을 1.1.1에서 1.2.0으로
    • bleach를 4.0.0에서 4.1.0으로
    • boto3을 1.21.18에서 1.21.32로
    • botocore를 1.24.18에서 1.24.32로
    • cffi를 1.14.6에서 1.15.0으로
    • click을 8.0.3에서 8.0.4로 클릭
    • cycler를 0.10.0에서 0.11.0으로
    • Cython을 0.29.24에서 0.29.28로
    • debugpy를 1.4.1에서 1.5.1로
    • decorator를 5.1.0에서 5.1.1로
    • entrypoints를 0.3에서 0.4로
    • idna를 3.2에서 3.3으로
    • ipykernel을 6.12.1에서 6.15.3으로
    • ipython을 7.32.0에서 8.5.0으로
    • ipywidgets를 7.7.0에서 7.7.2로
    • jedi를 0.18.0에서 0.18.1로
    • joblib을 1.0.1에서 1.1.0으로
    • jsonschema를 3.2.0에서 4.4.0으로
    • kiwisolver를 1.3.1에서 1.3.2로
    • matplotlib를 3.4.3에서 3.5.1로
    • nbclient를 0.5.3에서 0.5.13으로
    • nbconvert를 6.1.0에서 6.4.4로
    • nbformat을 5.1.3에서 5.3.0으로
    • nest-asyncio를 1.5.1에서 1.5.5로
    • Notebook을 6.4.5에서 6.4.8로
    • numpy를 1.20.3에서 1.21.5로
    • packaging을 21.0에서 21.3으로
    • pandas를 1.3.4에서 1.4.2로
    • pandocfilters를 1.4.3에서 1.5.0로
    • parso를 0.8.2에서 0.8.3으로
    • Pillow를 8.4.0에서 9.0.1로
    • platformdirs를 2.5.2에서 2.5.4로
    • plotly를 5.9.0에서 5.6.0으로
    • prometheus-client를 0.11.0에서 0.13.1로
    • protobuf를 4.21.5에서 3.19.4로
    • pycparser를 2.20에서 2.21로
    • Pygments를 2.10.0에서 2.11.2로
    • pyodbc를 4.0.31에서 4.0.32로
    • pyzmq를 22.2.1에서 22.3.0으로
    • requests를 2.260에서 2.27.1로
    • s3transfer를 0.5.2에서 0.5.0으로
    • scikit-learn을 0.24.2에서 1.0.2로
    • scipy을 1.7.1에서 1.7.3으로
    • statsmodels를 0.12.2에서 0.13.2로
    • terminado를 0.9.4에서 0.13.1로
    • tomli를 2.0.1에서 1.2.2로
    • traitlet을 5.1.0에서 5.1.1로
    • urllib3을 1.26.7에서 1.26.9로
    • widgetsnbextension을 3.6.0에서 3.6.1로
  • 업그레이드된 R 라이브러리:
    • base를 4.1.3에서 4.2.2로
    • brew를 1.0-7에서 1.0-8로
    • bslib를 0.4.0에서 0.4.1로
    • callr를 3.7.2에서 3.7.3으로
    • chron을 2.3-57에서 2.3-58로
    • cli를 3.3.0에서 3.4.1로
    • cluster를 2.1.3에서 2.1.4로
    • commonmark를 1.8.0에서 1.8.1로
    • compiler를 4.1.3에서 4.2.2로
    • cpp11을 0.4.2에서 0.4.3로
    • crayon을 1.5.1에서 1.5.2로
    • curl을 4.3.2에서 4.3.3으로
    • data.table을 1.14.2에서 1.14.4로
    • datasets를 4.1.3에서 4.2.2로
    • desc를 1.4.1에서 1.4.2로
    • devtools를 2.4.4에서 2.4.5로
    • digest를 0.6.29에서 0.6.30로
    • e1071을 1.7-11에서 1.7-12로
    • evaluate를 0.16에서 0.18로
    • fontawesome을 0.3.0에서 0.4.0으로
    • future를 1.28.0에서 1.29.0으로
    • future.apply를 1.9.1에서 1.10.0으로
    • gargle을 1.2.0에서 1.2.1로
    • gert를 1.8.0에서 1.9.1로
    • ggplot2를 3.3.6에서 3.4.0으로
    • gh를 1.3.0에서 1.3.1로
    • gitcreds를 0.1.1에서 0.1.2로
    • graphics를 4.1.3에서 4.2.2로
    • grDevices를 4.1.3에서 4.2.2로
    • grid를 4.1.3에서 4.2.2로
    • httpuv를 1.6.5에서 1.6.6으로
    • isoband를 0.2.5에서 0.2.6으로
    • jsonlite를 1.8.0에서 1.8.3으로
    • lava를 1.6.10에서 1.7.0으로
    • lifecycle을 1.0.1에서 1.0.3으로
    • lubridate를 1.8.0에서 1.9.0으로
    • markdown을 1.1에서 1.3으로
    • MASS를 7.3-56에서 7.3-58로
    • Matrix를 1.4-1에서 1.5-1로
    • methods를 4.1.3에서 4.2.2로
    • mgcv를 1.8-40에서 1.8-41로
    • nlme를 3.1-157에서 3.1-160으로
    • nnet를 7.3-17에서 7.3-18로
    • openssl을 2.0.2에서 2.0.4로
    • parallel을 4.1.3에서 4.2.2로
    • pkgload를 1.3.0에서 1.3.1로
    • processx를 3.7.0에서 3.8.0으로
    • ps를 1.7.1에서 1.7.2로
    • purrr를 0.3.4에서 0.3.5로
    • ragg를 1.2.2에서 1.2.4로
    • RcppEigen을 0.3.3.9.2에서 0.3.3.9.3으로
    • readr를 2.1.2에서 2.1.3으로
    • recipes를 1.0.1에서 1.0.3로
    • rlang을 1.0.5에서 1.0.6으로
    • rmarkdown을 2.16에서 2.18로
    • rpart를 4.1.16에서 4.1.19로
    • RSQLite를 2.2.16에서 2.2.18로
    • shiny를 1.7.2에서 1.7.3으로
    • SparkR 3.3.0에서 3.3.1로
    • splines를 4.1.3에서 4.2.2로
    • stats를 4.1.3에서 4.2.2으로
    • stats4를 4.1.3에서 4.2.2로
    • sys를 3.4에서 3.4.1로
    • tcltk를 4.1.3에서 4.2.2로
    • testthat을 3.1.4에서 3.1.5로
    • tidyr을 1.2.0에서 1.2.1로
    • tidyselect를 1.1.2에서 1.2.0으로
    • timeDate를 4021.104에서 4021.106으로
    • tinytex를 0.41에서 0.42으로
    • tools를 4.1.3에서 4.2.2로
    • utils를 4.1.3에서 4.2.2로
    • vctrs를 0.4.1에서 0.5.0으로
    • vroom을 1.5.7에서 1.6.0으로
    • xfun을 0.32에서 0.34로
    • yaml을 2.3.5에서 2.3.6으로
    • zip을 2.2.0에서 2.2.2로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-databind를 2.13.4에서 2.13.4.2로
    • org.apache.parquet.parquet-column을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-common을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-encoding을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-format-structures를 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-hadoop을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.parquet.parquet-jackson을 1.12.0-databricks-0007에서 1.12.3-databricks-0001로
    • org.apache.yetus.audience-annotations를 0.5.0에서 0.13.0으로

Apache Spark

Databricks Runtime 12.0에는 Apache Spark 3.3.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 11.3 LTS(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] “[SC-113542][ss] Kafka 오프셋 페치 구성의 기본값 반전” 되돌리기
  • [SPARK-40646] [SC-116061] 되돌리기 "[SC-113379][sql] JSON 데이터 원본 및 JSON 함수의 부분 결과 반환 수정"
  • [SPARK-41195] [SC-116305][sql] PIVOT 및 UNPIVOT 조인 자식과 함께 사용 지원
  • [SPARK-41178] [SC-116139][sql] 파서 규칙에서 JOIN와 쉼표 사이의 우선 순위를 수정합니다.
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] 오류 클래스 STREAM_FAILED 를 StreamingQueryException
  • [SPARK-40921] "[SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY SOURCE 절 추가를 되돌리기 MERGE INTO"
  • [SPARK-37980] [SC-115758] [SQL] Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장
  • [SPARK-41055] [SC-115582][sql] 이름 바꾸기 _LEGACY_ERROR_TEMP_2424GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] PYSPARK-PROTOBUF 대한 메시지 클래스 이름 지원
  • [SPARK-40956] [SC-115867] 데이터 프레임 덮어쓰기 명령에 해당하는 SQL
  • [SPARK-41095] [SC-115659][sql] 해결되지 않은 연산자를 내부 오류로 변환
  • [SPARK-41144] [SC-115866][sql] 해결되지 않은 힌트는 쿼리 오류를 일으키지 않아야 합니다.
  • [SPARK-41137] [SC-115858][sql] 이름 바꾸기 LATERAL_JOIN_OF_TYPEINVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] 오류 클래스 _LEGACY_ERROR_TEMP_0040 이름을 로 바꿉니다. INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] 데이터 생성기에 대한 UnitTest null 검사
  • [SPARK-40769] [SC-114923][core][SQL] 집계 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41043] [SC-115183][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2429 이름을 로 바꿉니다. NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf 가져오기 지원 및 이동 오류 클래스.
  • [SPARK-41019] [SC-114987][sql] 쿼리 컨텍스트 제공 failAnalysis()
  • [SPARK-41027] [SC-115131][sql] 대신 사용 UNEXPECTED_INPUT_TYPEMAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] ALS의 셔플 크기 줄이기
  • [SPARK-41134] [SC-115851][sql] 내부 오류의 오류 메시지 개선
  • [SPARK-37980] 되돌리기 ” [SQL] Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장
  • [SPARK-41109] [SC-115788][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1216의 이름을 INVALID_LIKE_PATTERN으로 바꾸다
  • [SPARK-40984] [SC-115844][core][SQL] 대신 사용 NON_FOLDABLE_INPUTFRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Scala 2.13에 대한 생성자 사용 GenericArrayData 최적화
  • [SPARK-40697] [SC-113648][sql] 외부 데이터 파일을 포함하는 읽기 쪽 문자 패딩 추가
  • [SPARK-40978] [SC-114574][sql] 컨텍스트 없이 오류 클래스로 마이그레이션 failAnalysis()
  • [SPARK-40663] [SC-114586][sql] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: 행 수준 명령에서 런타임 그룹 필터링 지원
  • [SPARK-40372] [SC-115668][sql] 배열 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41038] [SC-115371][sql] 이름 바꾸기 MULTI_VALUE_SUBQUERY_ERRORSCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1208 의 이름을 FIELD_NOT_FOUND로 변경
  • [SPARK-40748] [SC-114696][sql] 조건의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40371] [SC-114557][sql] NthValue 및 NTile의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41092] [SC-115547][sql] 식별자를 사용하여 간격 단위를 일치시키지 않음
  • [SPARK-41009] [SC-115360][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1070 이름을 LOCATION_ALREADY_EXISTS로 변경
  • [SPARK-37980] [SQL] Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장
  • [SPARK-40967] [SC-114448][sql] 오류 클래스로 마이그레이션 failAnalysis()
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] SQL 메트릭을 사용하여 Python UDF 계측
  • [SPARK-41012] [SC-114873][sql] 이름 바꾸기 _LEGACY_ERROR_TEMP_1022ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] 이름 바꾸기 PARSE_CHAR_MISSING_LENGTHDATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] 다양한 표현식의 타입 검사 실패를 오류 클래스에 통합하기
  • [SPARK-37945] [SC-115534][sql][CORE] 산술 연산의 실행 오류에 오류 클래스 사용
  • [SPARK-40374] [SC-114705][sql] 형식 작성자의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-41056] [SC-115354][r] R 4.2에 도입된 새로운 R_LIBS_SITE 동작 수정
  • [SPARK-41041] [SC-115357][sql] _LEGACY_ERROR_TEMP_1279를 TABLE_OR_VIEW_ALREADY_EXISTS로 통합하다
  • [SPARK-40663] [SC-114852][sql] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1019 이름을 로 바꿉니다. STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] 집계 함수의 접을 수 있는 자식 요소를 패치하지 마십시오 RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] 오류 클래스 및 메시지 개선
  • [SPARK-40798] [SC-113782][sql] 파티션 변경은 값이 storeAssignmentPolicy에 맞게 설정되었는지 확인해야 합니다.
  • [SPARK-40810] [SC-113533][sql] CreateDatabaseCommand 및 AlterDatabaseSetLocationCommand에서 IllegalArgumentException 대신 SparkIllegalArgumentException 사용
  • [SPARK-40921] [SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY SOURCE 절을 MERGE INTO에 추가
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS 및 NOT_FOUND 예외
  • [SPARK-41007] [SC-115085][sql] java.math.BigInteger에 대한 누락된 serializer 추가
  • [SPARK-40751] [SC-114254][sql] 높은 순서 함수의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40248] [SC-114704][sql] 더 많은 수의 비트를 사용하여 블룸 필터 빌드
  • [SPARK-41040] [SC-115145][ss] readStream.table을 사용할 때 자체 통합 스트리밍 쿼리 오류 수정
  • [SPARK-32380] [SC-114966][sql] Spark에서 Hive를 통해 HBase 테이블에 대한 액세스 수정
  • [SPARK-40749] [SC-114860][sql] 생성기의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] 상태 저장 연산자 지연 수정...
  • [SPARK-40654] [SC-112783] 임시 로그 줄 제거
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] 제네릭 형식과 관련된 Java 컴파일 경고 수정
  • [SPARK-40657] [SC-113642][cherry-pick] Protob에서 Java 클래스에 대한 지원 추가...
  • [SPARK-40898] [SC-113932][sql] 데이터 형식 불일치 오류에서 함수 이름을 인용하십시오
  • [SPARK-40760] [SC-113750][sql] 간격 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-36114] [SC-113771][sql] 상관 관계가 있는 비평등 조건자를 사용하는 하위 쿼리 지원
  • [SPARK-40856] [SC-113738][sql] WRONG_NUM_PARAMS 오류 템플릿 업데이트
  • [SPARK-40759] [SC-114251][sql] 시간 창의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40750] [SC-113812][sql] 수학 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40756] [SC-113749][sql] 문자열 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40768] [SC-113640][sql] bloom_filter_agg()의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40369] [SC-113402][core][SQL] 리플렉션을 통해 호출의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-39445] [SQL] 열 정리에서 windowExpressions가 비어 있는 경우 창을 제거합니다.
  • [SPARK-40761] [SC-113245][sql] 백분위수 식의 형식 검사 실패를 오류 클래스로 마이그레이션
  • [SPARK-40361] [SC-112789][sql] 산술 유형 검사 오류를 오류 클래스로 마이그레이션
  • [SPARK-40714] [SC-112576][sql] 제거 PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] 에서 파티션 사양 수정 PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] 컬렉션 유형 검사 오류를 오류 클래스로 마이그레이션
  • [SPARK-40910] [SC-114259][sql] UnsupportedOperationException을 SparkUnsupportedOperationException으로 바꾸기
  • [SPARK-39876] [SC-112429][sql] SQL 구문에 추가 UNPIVOT
  • [SPARK-39783] [SC-113389][sql] 오류 메시지에서 열 후보의 백틱 문제를 수정하기 위해 qualifiedName을 인용합니다.
  • [SPARK-40663] [SC-112520][sql] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] 오류 클래스 _LEGACY_ERROR_TEMP_0021 이름을 로 바꿉니다. UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] 별도의 오류 하위 클래스 필드 제거
  • [SPARK-40944] [SC-114530][sql] 열 옵션에 대한 CREATE TABLE 정렬 제약 조건 완화
  • [SPARK-40815] [SC-114528][sql] DelegateSymlinkTextInputFormat 버그를 우회하기 위해 SymlinkTextInputSplit 추가
  • [SPARK-40933] [SC-114441][sql] 기본 제공 sql 함수를 사용하여 df.stat.{cov, corr}를 재구현하다.
  • [SPARK-40932] [SC-114439][core] allGather에 대한 문제 메시지 수정
  • [SPARK-39312] [SQL] parquet 네이티브 사용 필터 푸시다운에 대한 조건자
  • [SPARK-40862] [SC-114352][sql] RewriteCorrelatedScalarSubquery에서 집계되지 않은 하위 쿼리 지원
  • [SPARK-40963] [SC-114446][sql] 만든 프로젝트에서 nullable을 올바르게 설정 ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] 실행 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] window_time 규칙의 요구 사항 완화 - 여러 window_time 호출 허용
  • [SPARK-40540] [SC-111639][sql] 컴파일 오류를 오류 클래스로 마이그레이션: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] 입력에 홀수의 기호가 있는 경우 Unhex에 대한 수정
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] 창 열에서 이벤트 시간을 추출하는 window_time 함수 소개
  • [SPARK-40800] [SC-113772][sql] OptimizeOneRowRelationSubquery에서 표현식을 항상 인라인으로 최적화하다
  • [SPARK-40900] [SC-114006][sql] 데이터 프레임 작업으로 다시 구현 frequentItems
  • [SPARK-40735] [SC-114022][sc-112657] 코드를 더 이식 가능하도록 스크립트에서 /usr/bin/env bash를 사용하여 bash를 일관되게 호출
  • [SPARK-40773] [SC-113091][sql] CheckCorrelationsInSubquery 리팩토링
  • [SPARK-40615] [SC-113400][sql] 하위 쿼리를 디코레이트할 때 지원되지 않는 데이터 형식 확인
  • [SPARK-40660] [SC-112293][core][SQL] XORShiftRandom으로 전환하여 요소 배포
  • [SPARK-40540] [SC-113926][sc-111331][SQL] 컴파일 오류를 오류 클래스로 마이그레이션
  • [SPARK-40551] [SC-113135][sql] DataSource V2: 델타 기반 행 수준 작업에 대한 API 추가
  • [SPARK-39391] [SC-110676][core] 파티셔너 클래스 다시 사용
  • [SPARK-40368] [SC-113396][sql] 블룸 필터 유형 검사 실패를 오류 클래스로 이동합니다.
  • [SPARK-39146] [SC-111814][core][SQL] 다시 사용할 수 있는 로컬 싱글톤 ObjectMapper 소개
  • [SPARK-40357] [SC-113786][sc-111352][SQL] 오류 클래스로 창 유형 검사 오류 마이그레이션
  • [SPARK-40874] [SC-113756][python] 암호화를 사용할 때 Python UDF에서 브로드캐스트 수정
  • [SPARK-40359] [SC-113770][sc-111146][SQL] CSV/JSON 식에서 오류 클래스로 형식 검사 마이그레이션 실패
  • [SPARK-40880] [SC-113764][sql] 데이터 프레임 작업으로 다시 구현 summary
  • [SPARK-40877] [SC-113763][sql] 데이터 프레임 작업으로 다시 구현 crosstab
  • [SPARK-40382] [SC-113098][sql] RewriteDistinctAggregates SQL에서 의미적으로 동일한 자식들에 의해 구별되는 집계 표현식 그룹화
  • [SPARK-40826] [SC-113532][ss] 추가적인 체크포인트 파일 이름 변경 검사 추가
  • [SPARK-40829] [SC-113426][sql] 뷰에 CREATE TABLE LIKE 저장된 AS serde가 작동하지 않음
  • [SPARK-40844] [SC-113542][ss] Kafka 오프셋 페치 구성의 기본값을 반전시킵니다
  • [SPARK-40488] [SC-113568][sc-111160] 데이터 원본 쓰기가 실패할 때 throw된 예외를 래핑하지 마세요.
  • [SPARK-40560] [SC-113631][sc-111335][SQL] 오류 형식에서 message를 messageTemplate로 이름 변경하기 위한 STANDARD
  • [SPARK-40618] [SC-113096][sql] 참조 추적을 사용하여 중첩된 하위 쿼리를 사용하여 MergeScalarSubqueries 규칙의 버그 수정
  • [SPARK-40530] [SC-113528][sc-111332][SQL] 오류 관련 개발자 API 추가
  • [SPARK-40806] [SC-113250][sql] 오타 수정: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] JSON 데이터 원본 및 JSON 함수에서 부분 결과 반환 수정
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Spark에 대한 Protobuf 지원 - from…
  • [SPARK-40753] [SC-113539][sql] 카탈로그 디렉터리 작업에 대한 테스트 사례에서 버그 수정
  • [SPARK-40765] [SC-113056][sql] 메서드에서 CommandUtils#calculateSingleLocationSize#getPathSize 중복 fs 작업 최적화
  • [SPARK-40114] [ES-479282][r][11.X] 화살표 9.0.0 SparkR 지원
  • [SPARK-40479] [SC-110935][sql] 예기치 않은 입력 형식 오류를 오류 클래스로 마이그레이션
  • [SPARK-40473] [SC-113388][sc-1111141][SQL] 구문 분석 오류를 오류 클래스로 마이그레이션
  • [SPARK-39853] [SC-111867][core] 동적 할당이 비활성화된 경우 독립 실행형 클러스터에 대한 단계 수준 작업 리소스 프로필 지원(PR-47157의 백 포트)
  • [SPARK-40407] [SC-1111161][sql] df.repartition으로 인한 잠재적인 데이터 기울이기 수정
  • [SPARK-40425] [SC-110840][sql] DROP TABLE 은 테이블 조회를 수행할 필요가 없습니다.
  • [SPARK-40703] [SC-113242][sql] 병렬 처리를 개선하기 위해 SinglePartition에 순서 섞기 도입
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil을 사용하여 hadoop/hive 구성 옵션의 원본 설정
  • [SPARK-39062] [11.x][core] 독립 실행형 클러스터에 대한 단계 수준 리소스 예약 지원 추가
  • [SPARK-33861] [SC-109877]“[SQL] 조건자에서 조건부 단순화” 되돌리기
  • [SPARK-40667] [SC-113136][sql] 파일 데이터 원본 옵션 리팩터링
  • [SPARK-40370] [SC-110677][sql] CAST에서 오류 클래스로의 형식 검사 실패를 이동함
  • [SPARK-40611] [SC-113105][sql] setInterval의 getInterval 및 UnsafeRow 성능 향상
  • [SPARK-40733] [SC-113126][sql] SERDEPROPERTIES의 결과에서 ShowCreateTableAsSerdeCommand의 내용이 고정된 순서로 설정되도록 함
  • [SPARK-40585] [SC-112180][sql] 큰따옴표 붙은 식별자 지원
  • [SPARK-40772] [SC-112992][sql] spark.sql.adaptive.skewJoin.skewedPartitionFactor을(를) Double 값을 지원하도록 개선.
  • [SPARK-40565] [SC-112417][sql] 비결정적 필터를 V2 파일 원본에 푸시하지 마세요.
  • [SPARK-8731] [SC-112784] 백그라운드에서 시작할 때 Beeline이 -e 옵션에서 작동하지 않음
  • [SPARK-35242] [SC-111398][sql] 세션 카탈로그의 기본 데이터베이스 변경 지원
  • [SPARK-40426] [SC-110672][sql] SparkThrowable.getMessageParameters에서 맵 반환
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] 코드 패턴의 keys.zipWithIndex.toMap 성능 최적화
  • [SPARK-40521] [SC-112430][sql] Hive의 파티션 만들기에서 존재하는 파티션만 반환
  • [SPARK-40705] [SC-112567][sql] Scala 2.13용 행을 JSON으로 변환할 때 변경 가능한 배열 사용 사례 처리
  • [SPARK-39895] [SC-112590][sql][PYTHON] 여러 열 삭제 지원
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] 중복 문자열 보간기 작업 제거
  • [SPARK-40420] [SC-112604][sc-110569][SQL] JSON 형식의 이름으로 오류 메시지 매개 변수 정렬
  • [SPARK-40403] [SC-110564][sql] 오류 메시지에서 음수 크기를 방지하기 위해 longs를 사용하여 안전하지 않은 배열 크기를 계산합니다.
  • [SPARK-40482] [SC-110831][sql] 되돌리기 SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] 오류 메시지 매개 변수를 맵으로 예외에 전달
  • [SPARK-40628] [SC-112414][sql] 프로젝트를 통해 복잡한 왼쪽 세미/안티 조인 조건을 푸시하지 마세요.
  • [SPARK-40562] [SC-111455][sql] 추가 spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Optimizer용 PushProjectionThroughLimit 추가
  • [SPARK-39200] [SC-111244][core] 콘텐츠를 완전히 읽을 수 있도록 대체 스토리지를 구성하기
  • [SPARK-38717] [SC-111241][sql] Hive의 버킷 지정 케이스를 유지하는 동작 처리
  • [SPARK-40385] [SC-1111123][sql] 도우미 개체 생성자에 대해 해석된 경로 수정
  • [SPARK-40216] [SC-112413][sql] ParquetUtils.prepareWrite 코드의 중복을 제거하기 위해 공통 ParquetFileFormat 메서드를 추출ParquetWrite
  • [SPARK-40636] [SC-112160][core] BlockManagerDecommissioner에서 잘못된 남은 셔플 로그 수정
  • [SPARK-40617] [SC-112009] ExecutorMetricsPoller의 stageTCMP 항목 처리 시 경합 상태 수정
  • [SPARK-40618] [SC-112046][sql] 중첩된 하위 쿼리를 사용하여 MergeScalarSubqueries 규칙의 버그 수정
  • [SPARK-40612] [SC-111933][core] YARN이 아닌 리소스 관리자에서 위임 토큰 갱신에 사용되는 주체를 수정합니다.
  • [SPARK-40595] [SC-111662][sql] 사용되지 않는 CTE 관계에 대한 오류 메시지 개선
  • [SPARK-40314] [SC-111879][sql][PYTHON] 인라인 및 inline_outer 대한 scala 및 python 바인딩 추가
  • [SPARK-40416] [SC-110945][sql] 하위 쿼리 식 CheckAnalysis 오류 메시지를 이동하여 새 오류 프레임워크 사용
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg()는 자식에서 예외를 throw해야 합니다.
  • [SPARK-40509] [SC-111644][ss][PYTHON] applyInPandasWithState에 대한 예제 추가
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum()는 자식에서 예외를 발생시켜야 합니다.
  • [SPARK-40016] [SQL] try_sum()의 구현에서 불필요한 TryEval 제거
  • [SPARK-40527] [SC-111224][sql] CreateStruct에서 구조체 필드 이름 또는 맵 키 유지
  • [SPARK-38098] [SC-1111178][python] 화살표 기반 변환에 중첩된 StructType의 ArrayType에 대한 지원 추가
  • [SPARK-40324] [SC-111359][sc-110293][SQL] AnalysisException에서 쿼리 컨텍스트 제공
  • [SPARK-40492] [SC-111324][ss] StateStore 언로드를 스트리밍하기 전에 유지 관리 수행
  • [SPARK-40487] [SC-1111124][sql] BroadcastNestedLoopJoinExec에서 defaultJoin을 병렬로 실행
  • [SPARK-40474] [SC-111273][sql] 날짜 및 타임스탬프가 혼합된 열에서 CSV 스키마 유추 및 데이터 구문 분석 동작 수정
  • [SPARK-40508] [SC-111066][sql] 알 수 없는 분할을 UnknownPartitioning으로 처리
  • [SPARK-40496] [SC-111234][sc-111013][SQL] "enableDateTimeParsingFallback"을 제어하도록 구성 수정
  • [SPARK-40435] [SC-111214][ss][PYTHON] PySpark에서 applyInPandasWithState에 대한 테스트 도구 모음 추가
  • [SPARK-40434] [SC-111125][ss][PYTHON] PySpark에서 applyInPandasWithState 구현

유지 관리 업데이트

Databricks Runtime 12.0 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • 델타 레이크: 2.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
argon2-cffi 21.3.0 argon2-cffi-bindings (아르곤2-CFFI 바인딩) 21.2.0 에이에스티토큰 2.0.5
속성들 21.4.0 역호출 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 검정색 22.3.0 표백제 4.1.0
boto3 1.21.32 보토코어 1.24.32 서티피 2021.10.8
cffi 1.15.0 챠데트 4.0.0 문자셋 정규화기 2.0.4
에서 8.0.4 암호화 3.4.8 자전거 타는 사람 0.11.0
사이톤 (Cython) 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
장식자 5.1.1 defusedxml (디퓨즈드 XML) 0.7.1 distlib (디스트립 라이브러리) 0.3.6
진입 지점 0.4 실행 중 0.8.3 구성 요소 개요 1.0.0
fastjsonschema (파스트제이슨스키마) 2.16.2 파일 잠금 3.8.0 폰트툴즈 (fonttools) 4.25.0
아이드나 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils (아이파이썬 젠유틸스) 0.2.0 ipywidgets (아이파이위젯) 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib (잡리브) 1.1.0
JSON 스키마 4.4.0 주피터-클라이언트 (jupyter-client) 6.1.12 주피터 코어 (jupyter_core) 4.11.2
jupyterlab-pygments 0.1.2 주피터랩 위젯 1.0.0 키위솔버 (kiwisolver) 1.3.2
MarkupSafe (마크업세이프) 2.0.1 matplotlib (매트플롯립) 3.5.1 matplotlib-inline (매트플롯립-인라인) 0.1.2
미스튠 (Mistune) 0.8.4 mypy-extensions (마이파이-익스텐션) 0.4.3 nb클라이언트 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio (파이썬 비동기 I/O 라이브러리) 1.5.5
Notebook 6.4.8 numpy (파이썬의 수치 계산용 라이브러리) 1.21.5 패키징 21.3
팬더 1.4.2 pandocfilters 1.5.0 파르소 0.8.3
패스스펙 (pathspec) 0.9.0 바보 0.5.2 pexpect (피엑스펙트) 4.8.0
픽클쉐어 0.7.5 베개 9.0.1 파이썬 패키지 설치 도구 pip 21.2.4
플랫폼 디렉토리 2.5.4 plotly (데이터 시각화 라이브러리) 5.6.0 prometheus-client 0.13.1
prompt-toolkit (프롬프트 도구 키트) 3.0.20 프로토버프 (protobuf) 3.19.4 psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) 5.8.0
psycopg2 2.9.3 PtyProcess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 파이그먼츠 2.11.2
PyGObject 3.36.0 파이썬 ODBC 라이브러리 pyodbc 4.0.32 pyparsing (파이썬 파싱 라이브러리) 3.0.4
pyrsistent 0.18.0 python-dateutil (파이썬 날짜 유틸) 2.8.2 pytz (파이썬의 타임존 계산을 위한 라이브러리) 2021.3
pyzmq 22.3.0 요청사항 2.27.1 requests-unixsocket (요청-유닉스소켓) 0.2.0
s3transfer 0.5.0 scikit-learn (파이썬 머신러닝 라이브러리) 1.0.2 scipy (과학 컴퓨팅 라이브러리) 1.7.3
바다에서 태어난 0.11.2 Send2Trash 1.8.0 setuptools (셋업툴즈) 58.0.4
6 1.16.0 수프시브 2.3.1 ssh-import-id 명령어 5.10
스택 데이터 0.2.0 statsmodels (파이썬 통계 모형 라이브러리) 0.13.2 끈기 8.0.1
끝났다 0.13.1 테스트 경로 0.5.0 threadpoolctl 2.2.0
토크나이즈-RT 4.2.1 tomli 1.2.2 토네이도 6.1
트레잇렛츠 5.1.1 타이핑_익스텐션 4.1.1 사용자 개입 없는 자동 업데이트 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth(문자의 너비를 계산하는 함수) 0.2.5
웹인코딩 0.5.1 바퀴 0.37.0 widgetsnbextension (위젯 확장 프로그램) 3.6.1

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-11-11)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.0 askpass (비밀번호 입력 요청) 1.1 assertthat (어설트댓) 0.2.1
백포트 (기존 소프트웨어에 새로운 기능이나 수정을 추가하는 것) 1.4.1 기반 4.2.2 base64enc 0.1-3
조각 4.0.4 비트64 4.0.5 덩어리 1.2.3
부츠 1.3-28 양조하다 1.0-8 활기 1.1.3
빗자루 1.0.1 bslib 0.4.1 캐시미어 1.0.6
콜러 3.7.3 캐럿 6.0-93 셀레인저 (cellranger) 1.1.0
크론 2.3-58 수업 7.3-20 커맨드 라인 인터페이스 (CLI) 3.4.1
클리퍼 0.8.0 시계 0.6.1 클러스터 2.1.4
코드 도구 0.2-18 색 공간 2.0-3 코먼마크 1.8.1
컴파일러 4.2.2 환경 설정 0.3.1 cpp11 0.4.3
크레용 1.5.2 자격 증명 1.3.2 컬 4.3.3
데이터 테이블(data.table) 1.14.4 데이터세트 4.2.2 DBI 1.1.3
dbplyr 2.2.1 설명 1.4.2 개발자 도구 2.4.5
디포브젝트 0.3.5 소화하다 0.6.30 아래로 비추는 조명 0.4.2
dplyr (데이터 조작을 위한 R 패키지) 1.0.10 dtplyr 1.2.2 e1071 1.7-12
줄임표 0.3.2 평가하다 0.18 팬시 1.0.3
색상 2.1.1 패스트맵 1.1.0 폰트어썸 (fontawesome) 0.4.0
포캣츠 0.5.2 포이치 (foreach) 1.5.2 외국의 0.8-82
구축하다 0.2.0 fs 1.5.2 미래 1.29.0
퓨처.어플라이 1.10.0 가글하다 1.2.1 제네릭(generics) 0.1.3
거트 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet (통계 및 기계 학습 소프트웨어 패키지) 4.1-4 글로벌 0.16.1
접착제 1.6.2 구글 드라이브 2.0.0 구글시트4 1.0.1
고워 (Gower) 1.0.0 그래픽스 4.2.2 grDevices 4.2.2
그리드 4.2.2 gridExtra 2.3 gsubfn 0.7
지테이블 0.3.1 안전모 1.2.0 안식처 2.5.1
더 높다 0.9 에이치엠에스 (HMS) 1.1.2 HTML 도구 0.5.3
HTML 위젯 1.5.4 httpuv 1.6.6 httr 1.4.4
아이디 1.0.1 이것 0.3.1 아이프레드 0.9-13
아이소밴드 0.2.6 이터레이터 (반복자) 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 니터 1.40
라벨링 0.4.2 나중에 1.3.0 격자 0.20-45
용암 1.7.0 주기 1.0.3 listenv (리슨브) 0.8.0
루브리데이트 1.9.0 magrittr 2.0.3 마크다운 1.3
질량 7.3-58 행렬 1.5-1 메모하다 2.0.1
메서드 4.2.2 mgcv 1.8-41 마임 0.12
미니 사용자 인터페이스 (Mini UI) 0.1.1.1 ModelMetrics 1.2.2.2 모델러 0.1.9
먼셀 (Munsell) 0.5.0 nlme 3.1-160 엔넷 7.3-18
numDeriv (넘데리브) 2016년 8월부터 1월 1일까지 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 2.0.4 평행 4.2.2
평행하게 1.32.1 기둥 1.8.1 pkgbuild(팩키지 빌드) 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
플로거 0.2.0 plyr (플레이어) 1.8.7 칭찬 1.0.0
프리티유닛 1.1.1 pROC 패키지 1.18.0 프로세스엑스 3.8.0
프로드림 (prodlim) 2019.11.13 profvis 0.3.7 진행률 1.2.2
프로그레스알 0.11.0 약속들 1.2.0.1 프로토 1.0.0
프록시 0.4-27 Ps 1.7.2 고양이의 그르렁거림 0.3.5
r2d3 0.2.6 R6 2.5.1 라그 1.2.4
랜덤 포레스트 (randomForest) 4.7-1.1 rappdirs (랩디르) 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
리더(Reader) 2.1.3 readxl (엑셀 파일 읽기 기능) 1.4.1 레시피 1.0.3
재대결 1.0.1 리매치2 2.1.2 리모컨/원격 2.4.2
레프렉스(문제의 재현 가능한 예시) 2.0.2 reshape2 1.4.4 rlang 1.0.6
r마크다운 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart (의사결정트리 구축을 위한 R 패키지) 4.1.19 rprojroot 2.0.3 Rserve (R서브) 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 알버전즈 2.1.2
rvest (웹 스크래핑을 위한 R 패키지) 1.0.3 sass 0.4.2 저울 1.2.1
선택기 0.4-2 세션정보 1.2.2 형태 1.4.6
반짝이는 1.7.3 소스툴스 (sourcetools) 0.1.7 sparklyr (스파클리알) 1.7.8
SparkR 3.3.1 공간적 7.3-11 스플라인 4.2.2
sqldf (SQL 데이터프레임 패키지) 0.4–11 스퀘어엠 2021년 1월 통계 4.2.2
통계4 4.2.2 문자열 처리 소프트웨어 "stringi" 1.7.8 stringr 1.4.1
생존 3.4-0 시스템 3.4.1 시스템 글꼴 1.0.4
티클티케이 (tcltk) 4.2.2 testthat (테스트댓) 3.1.5 텍스트 형태화 0.3.6
tibble (티블) 3.1.8 tidyr 1.2.1 tidyselect (티디셀렉트) 1.2.0
tidyverse (타이디버스) 1.3.2 시간 변경 0.1.1 시간과 날짜 4021.106
tinytex 0.42 도구들 4.2.2 tzdb 0.3.0
URL체커 1.0.1 사용해보세요 2.1.6 utf8 1.2.2
유틸리티 4.2.2 UUID (범용 고유 식별자) 1.1-0 vctrs 0.5.0
비리디스라이트 0.4.1 부르릉 1.6.0 왈도 0.4.0
수염 0.4 위드알 2.5.0 xfun 0.34
xml2 1.3.3 엑스오픈 1.0.0 엑스테이블 1.8-4
YAML (야믈) 2.3.6 지퍼 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.12.189
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws AWS Java SDK 구성 1.12.189
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.12.189
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.12.189
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.12.189
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) 1.12.189
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.12.189
com.amazonaws AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (AWS 자바 SDK 글루) 1.12.189
com.amazonaws AWS 자바 SDK IAM 1.12.189
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.12.189
com.amazonaws AWS-Java-SDK-머신러닝 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.12.189
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.12.189
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.12.189
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.12.189
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS-Java-SDK-지원 1.12.189
com.amazonaws AWS Java SDK SWF 라이브러리 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 스트림 2.9.6
com.databricks Rserve (R서브) 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (크리오 쉐이디드) 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 동급생 1.3.4
com.fasterxml.jackson.core 잭슨 애노테이션즈 2.13.4
com.fasterxml.jackson.core 잭슨-코어 2.13.4
com.fasterxml.jackson.core 잭슨 데이터바인드 (jackson-databind) 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.13.4
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.13.4
com.fasterxml.jackson.datatype 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) 2.13.4
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 (자바 스칼라 모듈) 2.13.4
com.github.ben-manes.카페인 카페인 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바-네이티브스 1.1
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1
com.github.fommil.netlib 네이티브 시스템-자바-네이티브스 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.8.6
com.google.crypto.tink 팅크 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.릴리스
com.lihaoyi 소스코드_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.3.9
com.ning compress-lzf (압축 알고리즘 LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.12 0.4.12
com.twitter (도메인 이름) chill-java (칠자바) 0.10.0
com.twitter (도메인 이름) chill_2.12 0.10.0
com.twitter (도메인 이름) util-app_2.12 7.1.0
com.twitter (도메인 이름) util-core_2.12 7.1.0
com.twitter (도메인 이름) util-function_2.12 7.1.0
com.twitter (도메인 이름) util-jvm_2.12 7.1.0
com.twitter (도메인 이름) util-lint_2.12 7.1.0
com.twitter (도메인 이름) util-registry_2.12 7.1.0
com.twitter (도메인 이름) util-stats_2.12 7.1.0
com.typesafe 환경 설정 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers (유니보시티-파서스) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (커먼즈 코덱) commons-codec (커먼즈 코덱) 1.15
코먼스-컬렉션즈 코먼스-컬렉션즈 3.2.2
커먼즈-DBCP 커먼즈-DBCP 1.4
커먼즈-파일업로드 커먼즈-파일업로드 1.3.3
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.11.0
커먼즈-랭 커먼즈-랭 2.6
commons-logging (커먼즈 로깅) commons-logging (커먼즈 로깅) 1.1.3
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
dev.ludovic.netlib 아르팩 (ARPACK) 2.2.1
dev.ludovic.netlib 블라스 2.2.1
dev.ludovic.netlib 래팩 (LAPACK) 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어컴프레서 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core (메트릭스 코어) 4.1.1
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.1.1
io.dropwizard.metrics 메트릭스-헬스체크 4.1.1
io.dropwizard.metrics 메트릭스-젯티9 4.1.1
io.dropwizard.metrics 메트릭스-JMX 4.1.1
io.dropwizard.metrics 메트릭스-JSON 4.1.1
io.dropwizard.metrics metrics-jvm (메트릭스-JVM) 4.1.1
io.dropwizard.metrics 메트릭스-서블릿 4.1.1
io.netty netty-all 4.1.74.Final
io.netty 네티-버퍼 (Netty-Buffer) 4.1.74.Final
io.netty netty-codec (넷티 코덱) 4.1.74.Final
io.netty 넷티-커먼 4.1.74.Final
io.netty 넷티 핸들러 4.1.74.Final
io.netty netty-resolver (네티 리졸버) 4.1.74.Final
io.netty netty-tcnative-클래스 2.0.48.Final
io.netty 넷티-트랜스포트 4.1.74.Final
io.netty netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 (리눅스용 소프트웨어 패키지 이름) 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty 네티-트랜스포트-네이티브-유닉스-커먼 (netty-transport-native-unix-common) 4.1.74.Final
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_커먼 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus 심플클라이언트_푸시게이트웨이 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
자카르타.annotation 자카르타 애노테이션-API (jakarta.annotation-api) 1.3.5
jakarta.servlet jakarta.servlet-api (자카르타 서블릿 API) 4.0.3
jakarta.validation jakarta.validation-api (자카르타 검증 API) 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.transaction 트랜잭션-API 1.1
javax.xml.bind jaxb-api 2.2.11
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna (넷.자바.데브.제이엔에이) 제이엔에이 5.8.0
net.razorvine 피 클 1.2
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.6
네트.스노우플레이크 snowflake-jdbc (스노우플레이크 JDBC) 3.13.22
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt.remotetea remotetea-oncrpc (리모트티-온씨알피씨) 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr 문자열템플릿 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant 안트-런처 1.9.2
org.apache.arrow 화살표 형식 7.0.0
org.apache.arrow arrow-memory-core (애로우-메모리-코어) 7.0.0
org.apache.arrow 애로우-메모리-네티 7.0.0
org.apache.arrow 화살표 벡터 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc (아브로 IPC) 1.11.0
org.apache.avro avro-mapred (아브로-맵레드) 1.11.0
org.apache.commons (오픈 소스 자바 라이브러리) commons-collections4 (공용 컬렉션4) 4.4
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-컴프레스 1.21
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.1.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.12.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.6.1
org.apache.commons (오픈 소스 자바 라이브러리) commons-text (커먼즈 텍스트) 1.10.0
org.apache.curator 큐레이터-의뢰인 관계 2.13.0
org.apache.curator curator-framework (큐레이터 프레임워크) 2.13.0
org.apache.curator 큐레이터의 레시피 2.13.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop hadoop-client-api (하둡 클라이언트 API) 3.3.4-databricks
org.apache.hadoop 하둡 클라이언트 런타임 (hadoop-client-runtime) 3.3.4
org.apache.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 2.3.9
org.apache.hive hive-CLI 2.3.9
org.apache.hive hive-jdbc (하이브 JDBC) 2.3.9
org.apache.hive hive-llap-client (하이브 LLAP 클라이언트) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive 하이브-세르데 2.3.9
org.apache.hive 하이브-심스 2.3.9
org.apache.hive 하이브-스토리지-API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims 하이브-쉼스-커먼 2.3.9
org.apache.hive.shims 하이브-심스-스케줄러 2.3.9
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 아이비 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core (로그4j-코어) 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos 메소스-쉐이디드-프로토버프 (mesos-shaded-protobuf) 1.4.0
org.apache.orc orc-core (오크 코어) 1.76
org.apache.orc orc-mapreduce (오크-맵리듀스) 1.76
org.apache.orc orc-shims (오크-심스) 1.76
org.apache.parquet 파케트 컬럼 1.12.3-databricks-0001
org.apache.parquet 파케-커먼 (parquet-common) 1.12.3-databricks-0001
org.apache.parquet 파케트 인코딩 1.12.3-databricks-0001
org.apache.parquet 파켓 형식 구조 1.12.3-databricks-0001
org.apache.parquet 파켓-하둡 (parquet-hadoop) 1.12.3-databricks-0001
org.apache.parquet 파케-잭슨 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9 음영 처리 4.20
org.apache.yetus 관객 주석 0.13.0
org.apache.zookeeper 동물 사육사 3.6.2
org.apache.zookeeper 동물원 관리자-쥬트 3.6.2
org.checkerframework 체커-퀄 3.5.0
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson jackson-mapper-asl (잭슨-매퍼-ASL) 1.9.13
org.codehaus.janino 커먼스-컴파일러 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus 데이터뉴클리어스-코어 4.1.17
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client (제티 클라이언트) 9.4.46.v20220331
org.eclipse.jetty 제티-컨티뉴에이션 (Jetty-Continuation) 9.4.46.v20220331
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.4.46.v20220331
org.eclipse.jetty 제티-플러스 (jetty-plus) 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (제티 프록시) 9.4.46.v20220331
org.eclipse.jetty 제티-시큐리티 (jetty-security) 9.4.46.v20220331
org.eclipse.jetty 제티 서버 (Jetty Server) 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty 제티 유틸 (jetty-util) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty 제티 웹앱 (jetty-webapp) 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓 API 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓 클라이언트 (websocket-client) 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-커먼 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-서버 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-서블릿 (websocket-servlet) 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 위치 탐색기 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi 자원 탐색기 1.0.3
org.glassfish.hk2.external aopalliance-재패키지 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.36
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.36
org.glassfish.jersey.core 제르시 클라이언트 2.36
org.glassfish.jersey.core 저지-커먼 2.36
org.glassfish.jersey.core 저지 서버 (jersey-server) 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator 하이버네이트 검증기 (hibernate-validator) 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.3.2.최종
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB 자바 클라이언트 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis 옵제네시스 (objenesis) 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.3.3
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.9.25
org.roaringbitmap 간격 조정용 판 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 사용하지 않음 1.0.0
org.threeten threeten-extra (쓰리텐-엑스트라) 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel 스파이어-유틸_2.12 0.17.0
org.typelevel 스파이어_2.12 (spire_2.12) 0.17.0
org.wildfly.openssl 와일드플라이-OpenSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 스네이크야AML (snakeyaml) 1.24
금 금 2.0.8
pl.edu.icm 제이 라지 어레이스 1.5
software.amazon.ion ion-java (아이온-자바) 1.0.2
스택스 (Stax) stax-api 1.0.1
  • Last updated on