다음을 통해 공유


Databricks Runtime 8.3(EoS)

참고

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음은 Apache Spark 3.1.1에서 제공하는 Databricks Runtime 8.3 및 Databricks Runtime 8.3 Photon에 대한 릴리스 정보를 제공합니다. Databricks는 2021년 6월에 이 버전을 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.

새로운 기능 및 향상 기능

델타 테이블에서 생성된 열(공개 미리 보기)

이제 Delta Lake는 생성된 열지원합니다. 이 열은 델타 테이블의 다른 열에 대해 사용자가 지정한 함수에 따라 값이 자동으로 생성되는 특수한 유형의 열입니다. 대부분의 기본 제공 SQL 함수를 사용하여 생성된 열의 값을 생성할 수 있습니다. 예를 들어 타임스탬프 열에서 날짜별 테이블을 분할하기 위해 날짜 열을 자동으로 생성할 수 있습니다. 테이블에 대한 쓰기는 타임스탬프 열에 대한 데이터만 지정하면 됩니다. SQL, Scala, Java 또는 Python API를 사용하여 생성된 열이 있는 델타 테이블을 만들 수 있습니다.

자세한 내용은 Delta Lake에서 생성된 열참조하세요.

자동 로더 기능 및 향상된 기능

자동 로더의 CSV 파일에 대한 스키마 유추

이제 자동 로더는 CSV 파일에서 스키마 유추 및 진화를 지원합니다. 자동 로더는 Apache Spark의 기존 CSV 파서 외에 다음과 같은 기능을 제공합니다.

  • 스키마 병합: 자동 로더는 여러 파일에서 스키마가 다른 CSV 파일(열 수, 열 순서가 다른)을 수집할 수 있습니다.
  • 복구된 데이터 열: 구조된 데이터 열을 사용하여 CSV 파일에 나타날 수 있는 예기치 않은 데이터를 복구할 수 있습니다. 여기에는 예상되는 데이터 형식에서 구문 분석할 수 없는 데이터, 헤더의 대소문자가 다르거나 null 값이 포함된 열, 또는 기대했던 스키마에 포함되지 않은 추가 열이 포함됩니다.

자세한 내용은 자동 로더스키마 유추 및 진화 구성을 참조하세요.

자동 로더 스트림의 시작 시간 향상

이제 자동 로더 스트림은 처음 시작할 때 스트림에 대한 초기 백필을 비동기적으로 수행하므로 스트림의 시작 시간이 훨씬 단축됩니다. 따라서 특히 수백만 또는 수십억 개의 파일이 포함된 디렉터리에서 데이터를 수집해야 하는 경우 프로덕션 데이터로 코드를 신속하게 반복할 수 있습니다.

또한 자동 로더가 정확히 한 번 의미 체계를 제공하는 데 활용하는 RocksDB 파일의 다운로드 및 업로드를 병렬화했기 때문에 다시 시작되는 스트림의 부트스트랩 시간도 향상되었습니다.

자동 로더의 디렉터리 나열 시간 단축

자동 로더의 디렉터리 나열 효율이 크게 향상되었습니다. 이 성능 향상의 부작용은 처리할 새 데이터가 없을 때 스트림이 스토리지 시스템에 더 많은 목록 요청을 내보낼 수 있으므로 목록 요청 요금이 급증할 수 있습니다. 일반적으로 Databricks는 프로덕션 스트리밍 파이프라인에 대해 적절한 트리거 간격을 설정하는 것이 좋습니다. 구조적 스트리밍에 대한 프로덕션 고려 사항을 참조하세요.

자동 로더 검사점의 스토리지 오버헤드 감소

이제 자동 로더 스트림은 검사점 디렉터리의 부실 파일을 비동기적으로 자동으로 정리하여 검사점 디렉터리 크기가 무기한 증가하지 않도록 하고 스토리지 비용을 절감합니다.

자동 로더는 사용 가능한 경우 복구된 데이터 열에 파일 경로를 포함합니다.

구조된 데이터 열은 _file_ path열에 적용할 수 있는 경우 구조된 데이터의 파일 경로를 자동으로 제공합니다. 이는 데이터 품질 문제의 근본 원인을 추적하는 데 도움이 될 수 있습니다. 데이터 스키마에 _file_path열이 포함되어 있으면 열이 포함되지 않습니다. 필요한 경우 SQL 구성 spark.databricks.sql.rescuedDataColumn.filePath.name 사용하여 열 이름을 바꿀 수 있습니다.

자동 로더는 파일 알림 모드에서 Azure Data Lake Storage에서 파일 이름 바꾸기를 지원합니다.

이제 자동 로더는 파일 알림 모드에서 실행할 때 Azure Data Lake Storage에 대한 BlobRenamed 이벤트를 지원합니다. 파일 알림이 있는 이름 바꾸기 작업을 통해 Azure Data Lake Storage 컨테이너에 업로드된 파일을 처리하려면 Databricks Runtime 8.3을 사용하여 자동 로더를 사용하여 새 스트림을 시작합니다. 파일이 정확히 한 번 처리되도록 하려면 파일 이름을 바꿀 원본 디렉터리를 자동 로더에서 감시하지 않는지 확인합니다.

새 프로그래밍 API를 사용하여 델타 테이블 만들기(공개 미리 보기)

이제 DataFrame API를 사용하지 않고 프로그래밍 방식으로(Scala, Java 및 Python 사용) 새 델타 테이블을 만들 수 있습니다. 새 DeltaTableBuilderDeltaColumnBuilder API를 사용하면 SQL CREATE TABLE사용하여 지정할 수 있는 모든 테이블 세부 정보를 지정할 수 있습니다.

자세한 내용은 테이블 만들기를 참조하세요.

SQL ANALYZE 델타 테이블 크기를 올바르게 계산합니다.

기존 분석 논리는 델타 테이블의 테이블 크기를 잘못 계산하고 카탈로그를 잘못된 크기로 업데이트합니다. 델타 로그에서 델타 테이블의 크기를 가져오는 것이 수정되었습니다.

RocksDBStateStore를 사용할 때의 RocksDB 성능에 대한 자세한 메트릭

RocksDB를 상태 저장소사용하도록 구조적 스트리밍 쿼리를 구성한 경우 이제 Get/put 대기 시간, 압축 대기 시간, 캐시 적중 횟수 등에 대한 자세한 메트릭을 사용하여 RocksDB의 성능을 더 잘 파악할 수 있습니다. 이러한 메트릭은 StreamingQueryProgress을 위해 StreamingQueryListener API를 통해 사용할 수 있습니다.

자세한 내용은 Azure Databricks에서 RocksDB 상태 저장소 구성을 참조하세요.

자동 최적화 쓰기

분할된 델타 테이블의 최적화된 쓰기는 이제 하위 쿼리를 포함하는 업데이트 및 삭제 쿼리에 대해 자동으로 사용하도록 설정됩니다.

한쪽 조인만 버킷화된 경우 버킷 조인을 사용하도록 설정합니다.

새로운 구성 spark.databricks.sql.minBucketsForBucketedJoin는 한쪽 조인만 버킷화되었고, 버킷 수가 이 구성 값보다 적지 않을 경우에 버킷 조인을 활성화합니다. 기본적으로 이 구성 값은 기본 순서 섞기 파티션 번호(200)와 동일합니다.

Spark UDF를 정의할 때 보안 향상(공개 미리 보기)

사용자 정보 함수 current_useris_member는 더 이상 Python spark.udf.register 또는 SQL create or replace temp function을 포함한 임시 함수에 의해 재정의될 수 없습니다.

from_avro 사용하여 쿼리에 대한 스키마 레지스트리에 대한 요청 수 감소

스키마 레지스트리를 지원하는 from_avro 있는 쿼리는 더 이상 스키마 레지스트리 서비스에 대한 많은 요청을 생성하지 않아 운영 비용이 절감됩니다.

ListResults가 있는 R의 여러 결과(공개 미리 보기)

이제 Databricks R Notebook은 각 셀에서 여러 결과를 지원합니다. 이전에는 각 Notebook 셀에 대해 단일 결과만 렌더링되었습니다. 현재 R Notebook의 단일 셀 결과는 다음 순서로 표시됩니다.

  1. RShiny URL
  2. 줄거리
  3. displayHTML 결과 출력
  4. 테이블
  5. stdout

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • koalas가 1.7.0에서 1.8.0으로 업그레이드되었습니다.
    • pandas가 1.1.3에서 1.1.5로 업그레이드되었습니다.
    • s3transfer가 0.3.4에서 0.3.6으로 업그레이드되었습니다.
  • 업그레이드된 R 라이브러리:
    • SparkR이 3.1.1에서 3.1.2로 업그레이드되었습니다.
  • 업그레이드된 Java 라이브러리:
    • mariadb-java-client를 2.1.2에서 2.2.5로
    • parquet-column의 버전이 1.10.1-databricks6에서 1.10.1-databricks9로 변경되었습니다.
    • parquet-common을 1.10.1-databricks6에서 1.10.1-databricks9로
    • parquet-encoding을 1.10.1-databricks6에서 1.10.1-databricks9로
    • parquet-hadoop을 1.10.1-databricks6에서 1.10.1-databricks9로
    • parquet-jackson을 1.10.1-databricks6에서 1.10.1-databricks9로 변경

Apache Spark

Databricks Runtime 8.3에는 Apache Spark 3.1.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 8.2(EoS)포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-34614] [SQL] ANSI 모드: 문자열을 부울로 캐스팅하면 구문 분석 오류에서 예외가 발생되어야 합니다.
  • [SPARK-34246] [후속 작업] 정의 변경: 'findTightestCommonT...
  • [SPARK-35213] [SQL] 연결된 withField 작업에서 중첩된 구조체의 올바른 순서 유지
  • [SPARK-35096] [SQL] SchemaPruning은 spark.sql.caseSensitive 구성을 준수해야 함
  • [SPARK-35227] [BUILD] SparkSubmit에서 spark-packages에 대한 리졸버 업데이트
  • [SPARK-35224] [SQL] MutableProjectionSuite에서 버퍼 오버플로 수정
  • [SPARK-34245] [CORE] 마스터가 완료 상태를 전송하지 못한 실행기를 제거하는지 확인합니다.
  • [SPARK-34856] [SQL] ANSI 모드: 복잡한 형식을 문자열 형식으로 캐스팅을 허용합니다.
  • [SPARK-34946] [SQL] 집계에서 지원되지 않는 상호 관련된 스칼라 하위 쿼리 차단
  • [SPARK-35014] 폴딩 가능 식을 다시 쓰지 않도록 PhysicalAggregation 패턴이 수정되었습니다.
  • [SPARK-34769] [SQL] AnsiTypeCoercion: 가장 가까운 값을 반환...

시스템 환경

  • 운영 체제: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (빌드 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R 버전 4.0.4(2021-02-15)
  • Delta Lake 1.0.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
애플리케이션 디렉토리 1.4.4 asn1crypto 1.4.0 백콜 (backcall) 0.2.0
boto3 1.16.7 보토코어 1.19.7 브로틀리피 0.7.0
인증 2020.12.5 cffi 1.14.3 챠데트 3.0.4
암호화 3.1.1 사이클러 0.10.0 사이톤 (Cython) 0.29.21
데코레이터 4.4.2 distlib (디스트립 라이브러리) 0.3.1 docutils (도큐멘트 유틸리티) 0.15.2
진입점 0.3 측면 개요 1.0.0 파일 잠금 3.0.12
아이드나 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils (아이파이썬 젠유틸스) 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib (잡리브) 0.17.0 주피터-클라이언트 (jupyter-client) 6.1.7 jupyter-core (주피터 핵심) 4.6.3
키위솔버 (kiwisolver) 1.3.0 코알라 1.8.0 matplotlib (매트플롯립) 3.2.2
numpy (파이썬의 수치 계산용 라이브러리) 1.19.2 팬더 1.1.5 파르소 0.7.0
희생양 0.5.1 pexpect (피엑스펙트) 4.8.0 픽클쉐어 0.7.5
파이썬 패키지 설치 도구 pip 20.2.4 plotly (데이터 시각화 라이브러리) 4.14.3 프롬프트 툴킷 3.0.8
프로토콜 버퍼 (프로토콜 버퍼는 구조화된 데이터를 직렬화하는 메커니즘입니다) 3.17.0 psycopg2 2.8.5 PtyProcess 0.6.0
pyarrow 1.0.1 pycparser 2.20 파이그먼츠 2.7.2
pyOpenSSL 19.1.0 pyparsing (파이썬 파싱 라이브러리) 2.4.7 PySocks 1.7.1
python-dateutil (파이썬 날짜 유틸) 2.8.1 pytz (파이썬의 타임존 계산을 위한 라이브러리) 2020.5 pyzmq 19.0.2
요청 2.24.0 다시 시도 중 1.3.3 s3transfer 0.3.6
scikit-learn (파이썬 머신러닝 라이브러리) 0.23.2 scipy (과학 컴퓨팅 라이브러리) 1.5.2 seaborn (Python 데이터 시각화 라이브러리) 0.10.0
setuptools (셋업툴즈) 50.3.1 6 1.15.0 statsmodels (파이썬 통계 모형 라이브러리) 0.12.0
threadpoolctl 2.1.0 토네이도 6.0.4 트레잇렛츠 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth(문자의 너비를 계산하는 함수) 0.2.5
바퀴 0.35.1

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2020-11-02)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass (비밀번호 입력 요청) 1.1 assertthat (어설트댓) 0.2.1 구 버전 기능 이식 1.2.1
기초 4.0.4 base64enc 0.1-3 브에이치(BH) 1.72.0-3
조금 4.0.4 64비트 4.0.5 블롭 1.2.1
부츠 1.3-27 우려내다 1.0-6 활기 1.1.0
빗자루 0.7.2 콜러 3.5.1 캐럿 6.0-86
셀레인저 (cellranger) 1.1.0 크론 2.3-56 수업 7.3-18
커맨드 라인 인터페이스 (CLI) 2.2.0 클리퍼 0.7.1 클러스터 2.1.1
코드 도구 0.2-18 색공간 2.0-0 코먼마크 1.7
컴파일러 4.0.4 설정 0.3 코브르 3.5.1
cpp11 0.2.4 크레용 1.3.4 자격 증명 1.3.0
혼선 1.1.0.1 4.3 데이터 테이블(data.table) 1.13.4
데이터셋 4.0.4 DBI 1.1.0 dbplyr 2.0.0
설명 1.2.0 개발자 도구 2.3.2 디포브젝트 0.3.2
요약 0.6.27 dplyr (데이터 조작을 위한 R 패키지) 1.0.2 디지털 기술 0.16
줄임표 0.3.1 평가하다 0.14 팬시 0.4.1
색상 2.0.3 패스트맵 1.0.1 포캣츠 0.5.0
프로그래밍에서 'foreach'는 특별한 번역 없이 사용됩니다. 1.5.1 외국의 0.8-81 대장간 0.2.0
fs 1.5.0 미래 1.21.0 제네릭 0.1.0
거트 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet (통계 및 기계 학습 소프트웨어 패키지) 4.0-2 글로벌 0.14.0
접착제 1.4.2 고어 0.2.2 그래픽 4.0.4
grDevices 4.0.4 그리드 4.0.4 gridExtra 2.3
gsubfn 0.7 지테이블 0.3.0 안식처 2.3.1
더 높은 0.8 에이치엠에스 (HMS) 0.5.3 HTML 도구 0.5.0
HTML 위젯 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter (에이치라이터) 1.3.2 hwriterPlus 1.0-3 이니 0.3.1
아이프레드 0.9-9 아이소밴드 0.2.3 이터레이터 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 니터 1.30
라벨링 0.4.2 나중에 1.1.0.1 격자 0.20-41
용암 1.6.8.1 lazyeval 0.2.2 생명 주기 0.2.0
리스텐브 0.8.0 루브리데이트 1.7.9.2 magrittr 2.0.1
마크다운 1.1 대량 7.3-53.1 행렬 1.3-2
메모이제이션 1.1.0 메서드 4.0.4 mgcv 1.8-33
마임 0.9 ModelMetrics 1.2.2.2 모델러 0.1.8
먼셀 (Munsell) 0.5.0 nlme 3.1-152 엔넷 7.3-15
numDeriv (넘데리브) 2016년 8월-1월 1일 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 1.4.3 평행 4.0.4
병행하여 1.22.0 기둥 1.4.7 pkgbuild(팩키지 빌드) 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 플로거 0.2.0
plyr (플레이어) 1.8.6 칭찬 1.0.0 프리티유닛 1.1.1
pROC 패키지 1.16.2 프로세스엑스 3.4.5 프로드림 (prodlim) 2019.11.13
진행률 1.2.2 약속 1.1.1 프로토 1.0.0
Ps 1.5.0 고양이의 그르렁거림 0.3.4 r2d3 0.2.3
R6 2.5.0 랜덤 포레스트 4.6-14 rappdirs (랩디르) 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
리더(Reader) 1.4.0 readxl (엑셀 파일 읽기 기능) 1.3.1 요리법 0.1.15
재대결 1.0.1 재대결 2 2.1.2 리모컨 2.2.0
예제 재현 0.3.0 reshape2 1.4.4 렉스 1.2.0
rlang 0.4.9 r마크다운 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart (의사결정트리 구축을 위한 R 패키지) 4.1-15 rprojroot 2.0.2
Rserve (R서브) 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
알버전즈 2.0.2 rvest (웹 스크래핑을 위한 R 패키지) 0.3.6 저울 1.1.1
셀렉터 0.4-2 세션 정보 1.1.1 모양 1.4.5
빛나는 1.5.0 소스툴스 (sourcetools) 0.1.7 sparklyr (스파클리알) 1.5.2
SparkR 3.1.2 공간의 7.3-11 스플라인 곡선 4.0.4
sqldf (SQL 데이터프레임 패키지) 0.4–11 스퀘어엠 2020.5 통계 4.0.4
통계4 4.0.4 문자열 처리 소프트웨어 "stringi" 1.5.3 stringr 1.4.0
생존 3.2-7 시스템 3.4 Tcl/Tk (티클/티케이 스크립팅 언어) 4.0.4
티칭데모스 2.10 testthat (테스트댓) 3.0.0 tibble (티블: R 프로그래밍에서 사용되는 데이터 프레임의 일종) 3.0.4
tidyr 1.1.2 tidyselect (티디셀렉트) 1.1.0 tidyverse (타이디버스) 1.3.0
타임데이트 3043.102 tinytex 0.28 도구 4.0.4
유즈디스 2.0.0 utf8 1.1.4 유틸리티 4.0.4
UUID (범용 고유 식별자) 0.1-4 vctrs 0.3.5 비리디스라이트 0.3.0
왈도 0.2.3 수염 0.4 위드알 2.3.0
xfun 0.19 xml2 1.3.2 엑스오픈 1.0.0
엑스테이블 1.8-4 YAML (야믈) 2.2.1 지퍼 2.1.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.11.655
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.11.655
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws AWS Java SDK 구성 1.11.655
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.11.655
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.11.655
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.11.655
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.11.655
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS 자바 SDK 엘라스틱로드밸런싱 패키지) 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) 1.11.655
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.11.655
com.amazonaws AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) 1.11.655
com.amazonaws AWS 자바 SDK IAM 1.11.655
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.11.655
com.amazonaws AWS-Java-SDK-머신러닝 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.11.655
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.11.655
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.11.655
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.11.655
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws AWS-Java-SDK-지원 1.11.655
com.amazonaws AWS Java SDK SWF 라이브러리 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 스트리밍 2.9.6
com.databricks Rserve (R서브) 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (크리오 쉐이디드) 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 반친구 1.3.4
com.fasterxml.jackson.core 잭슨 애노테이션즈 2.10.0
com.fasterxml.jackson.core 잭슨-코어 2.10.0
com.fasterxml.jackson.core 잭슨 데이터 바인딩 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.10.0
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.10.0
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 (자바 스칼라 모듈) 2.10.0
com.github.ben-manes.카페인 카페인 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바-네이티브스 1.1
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1
com.github.fommil.netlib 네이티브_시스템-자바-네이티브 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter (드롭위저드 메트릭스 하둡 메트릭스2 리포터) 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.릴리스
com.lihaoyi 소스코드_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.3.9
com.microsoft.sqlserver (마이크로소프트 SQL 서버) mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (압축 알고리즘 LZF) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.12 0.4.12
com.twitter (도메인 이름) chill-java (칠자바) 0.9.5
com.twitter (도메인 이름) chill_2.12 0.9.5
com.twitter (도메인 이름) util-app_2.12 7.1.0
com.twitter (도메인 이름) util-core_2.12 7.1.0
com.twitter (도메인 이름) util-function_2.12 7.1.0
com.twitter (도메인 이름) util-jvm_2.12 7.1.0
com.twitter (도메인 이름) util-lint_2.12 7.1.0
com.twitter (도메인 이름) util-registry_2.12 7.1.0
com.twitter (도메인 이름) util-stats_2.12 7.1.0
com.typesafe 설정 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers (유니보시티-파서스) 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec (커먼즈 코덱) commons-codec (커먼즈 코덱) 1.10
코먼스-컬렉션즈 코먼스-컬렉션즈 3.2.2
커먼즈-구성 설정 커먼즈-구성 설정 1.6
커먼즈-DBCP 커먼즈-DBCP 1.4
commons-digester (커먼스-다이제스터) commons-digester (커먼스-다이제스터) 1.8
공용 파일 업로드 공용 파일 업로드 1.3.3
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.4
커먼즈-랭 커먼즈-랭 2.6
commons-logging (커먼즈 로깅) commons-logging (커먼즈 로깅) 1.1.3
commons-net commons-net 3.1
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어 컴프레서 0.10
io.dropwizard.metrics 메트릭스-코어 4.1.1
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.1.1
io.dropwizard.metrics 측정 지표-상태 확인 4.1.1
io.dropwizard.metrics 메트릭스-젯티9 4.1.1
io.dropwizard.metrics 메트릭스-JMX 4.1.1
io.dropwizard.metrics 메트릭스-JSON 4.1.1
io.dropwizard.metrics metrics-jvm (메트릭스-JVM) 4.1.1
io.dropwizard.metrics 메트릭스-서블릿 4.1.1
io.netty netty-all 4.1.51.최종
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_공통 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus 심플클라이언트_푸시게이트웨이 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
자카르타.annotation 자카르타 애노테이션-API (jakarta.annotation-api) 1.3.5
jakarta.validation jakarta.validation-api (자카르타 검증 API) 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.transaction 트랜잭션-API 1.1
javax.xml.bind jaxb-api 2.2.2
.stream javax.xml stax-api 1.0-2
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees (메이번 트리즈) hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine 파이롤라이트 4.30
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.6
네트.스노우플레이크 snowflake-jdbc (스노우플레이크 JDBC) 3.13.3
네트.스노우플레이크 spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt.remotetea remotetea-oncrpc (리모트티-온씨알피씨) 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr 문자열 템플릿 3.2.1
org.apache.ant 개미 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant 안트-런처 1.9.2
org.apache.arrow 화살표 형식 2.0.0
org.apache.arrow 화살표-메모리-코어 2.0.0
org.apache.arrow 애로우-메모리-네티 2.0.0
org.apache.arrow 화살표 벡터 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc (아브로 IPC) 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-컴프레스 1.20
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.1.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.10
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.4.1
org.apache.commons (오픈 소스 자바 라이브러리) commons-text (커먼즈 텍스트) 1.6
org.apache.curator 큐레이터-클라이언트 2.7.1
org.apache.curator 큐레이터-프레임워크 2.7.1
org.apache.curator 큐레이터 레시피 2.7.1
org.apache.derby 더비 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api 애피-유틸 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop 하둡 어노테이션 (hadoop-annotations) 2.7.4
org.apache.hadoop 하둡 인증 (hadoop-auth) 2.7.4
org.apache.hadoop 하둡 클라이언트 (hadoop-client) 2.7.4
org.apache.hadoop hadoop-common (하둡-커먼) 2.7.4
org.apache.hadoop hadoop-hdfs (하둡 파일 시스템) 2.7.4
org.apache.hadoop Hadoop MapReduce 클라이언트 애플리케이션 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (해둡-맵리듀스-클라이언트-커먼) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core (하둡 맵리듀스 클라이언트 코어) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient (하둡 맵리듀스 클라이언트 잡클라이언트) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop 하둡 야른 클라이언트 (hadoop-yarn-client) 2.7.4
org.apache.hadoop hadoop-yarn-common (하둡-야른-커먼) 2.7.4
org.apache.hadoop hadoop-yarn-server-common (하둡 야른 서버 공통) 2.7.4
org.apache.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 2.3.7
org.apache.hive hive-CLI 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive 하이브-이그젝-코어 2.3.7
org.apache.hive hive-jdbc (하이브 JDBC) 2.3.7
org.apache.hive hive-llap-client (하이브 LLAP 클라이언트) 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore (하이브-메타스토어) 2.3.7
org.apache.hive 하이브-세르데 2.3.7
org.apache.hive 하이브-심스 2.3.7
org.apache.hive 하이브-스토리지-API 2.7.2
org.apache.hive 하이브 벡터 코드 생성기 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims 하이브-쉼스-커먼 2.3.7
org.apache.hive.shims 하이브-심스-스케줄러 2.3.7
org.apache.htrace htrace-core 3.1.0-인큐베이팅
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 아이비 2.4.0
org.apache.mesos 메소스-쉐이디드-프로토버프 (mesos-shaded-protobuf) 1.4.0
org.apache.orc 오크-코어 1.5.12
org.apache.orc orc-mapreduce (오크-맵리듀스) 1.5.12
org.apache.orc orc-shims (오크-심스) 1.5.12
org.apache.parquet 파케-컬럼 1.10.1-databricks9
org.apache.parquet 파케-커먼 (parquet-common) 1.10.1-databricks9
org.apache.parquet Parquet 인코딩 1.10.1-databricks9
org.apache.parquet 파케 형식 2.4.0
org.apache.parquet 파켓-하둡 (parquet-hadoop) 1.10.1-databricks9
org.apache.parquet 파케-잭슨 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 속도 1.5
org.apache.xbean xbean-asm7 음영 처리 4.15
org.apache.yetus 청중 주석 0.5.0
org.apache.zookeeper 동물원 사육사 3.4.14
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson 잭슨 잭서스 1.9.13
org.codehaus.jackson jackson-mapper-asl (잭슨-매퍼-ASL) 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler (컴몬즈 컴파일러) 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus 데이터뉴클리어스-코어 4.1.17
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client (제티 클라이언트) 9.4.36.v20210114
org.eclipse.jetty 제티-컨티뉴에이션 (Jetty-Continuation) 9.4.36.v20210114
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.4.36.v20210114
org.eclipse.jetty 제티-플러스 (jetty-plus) 9.4.36.v20210114
org.eclipse.jetty 제티-프록시 9.4.36.v20210114
org.eclipse.jetty 제티-시큐리티 (jetty-security) 9.4.36.v20210114
org.eclipse.jetty 제티 서버 (Jetty Server) 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.4.36.v20210114
org.eclipse.jetty 제티 유틸 (jetty-util) 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty 제티-웹앱 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 위치 탐색기 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi 자원 탐색기 1.0.3
org.glassfish.hk2.external aopalliance-재패키지 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.30
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.30
org.glassfish.jersey.core 제르시 클라이언트 2.30
org.glassfish.jersey.core 저지-커먼 2.30
org.glassfish.jersey.core jersey-server (제시 서버) 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media 저지-미디어-JAXB (그대로 사용할 경우 'Jersey Media JAXB') 2.30
org.hibernate.validator 하이버네이트 검증기 (hibernate-validator) 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.3.2.최종
org.jdbi jdbi 2.63.1
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc MariaDB 자바 클라이언트 2.2.5
org.objenesis 오브제네시스 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.1.4
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.9.0
org.roaringbitmap 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 미사용 1.0.0
org.springframework 스프링-코어 4.1.4.RELEASE
org.springframework 스프링 테스트 4.1.4.RELEASE
org.threeten threeten-extra (쓰리텐-엑스트라) 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel 기계공_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel 스파이어-유틸_2.12 0.17.0-M1
org.typelevel 스파이어_2.12 (spire_2.12) 0.17.0-M1
org.wildfly.openssl 와일드플라이-OpenSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml 스네이크야AML (snakeyaml) 1.24
2.0.8
pl.edu.icm 제이 라지 어레이스 1.5
software.amazon.ion ion-java (아이온-자바) 1.0.2
스택스 (Stax) stax-api 1.0.1
xmlenc xmlenc 0.52