다음을 통해 공유


Databricks Runtime 5.5 LTS(EoS)

참고

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

Databricks는 2019년 7월에 이 버전을 릴리스했습니다. 2019년 8월에 LTS(장기 지원)로 선언되었습니다. 지원이 2021년 7월 27일에 종료되었습니다. Databricks Runtime 5.5 EoS(확장 지원) 는 2021년 7월 8일에 릴리스되었으며 2021년 12월까지 5.5 지원을 확장합니다. 원래 Databricks Runtime 5.5 LTS에서 사용되는 더 이상 사용되지 않는 Ubuntu 16.04.6 LTS 배포 대신 Ubuntu 18.04.5 LTS를 사용합니다. Ubuntu 16.04.6 LTS 지원은 2021년 4월 1일에 중단되었습니다.

다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 5.5에 대한 정보를 제공합니다.

새로운 기능

Azure Databricks의 Delta Lake 자동 최적화 기능

현재 클라우드 스토리지에 데이터를 쓸 때 최적의 I/O 성능을 위해 파일을 압축해야 합니다. 적절한 파일 크기, 파일 압축 빈도, 사용할 클러스터 크기 등에 대해 신경을 써야 합니다. 이 문제 클래스를 해결하기 위해 Azure Databricks에서 Delta Lake를 사용하여 자동 최적화의 일반 공급에 대해 발표하게 되어 기쁩니다. 델타 테이블에 쓸 때마다 스토리지 레이아웃 최적화에 대해 걱정할 필요가 없도록 적절한 파일 크기와 압축 파일을 자동으로 파악합니다. 쓰기 중에 auto-optimize 옵션이 true경우 Azure Databricks는 최적화가 필요한지 자동으로 결정하고 작은 파일을 최적화합니다. 자세한 내용은 데이터 파일 크기를 제어하도록 Delta Lake 구성을 참조 하세요.

Azure Databricks의 Delta Lake는 최소, 최대 및 개수 집계 쿼리 성능을 개선했습니다.

Azure Databricks의 Delta Lake에 대한 최소, 최대 및 개수 집계 쿼리의 성능은 읽는 데이터의 양을 줄임으로써 크게 향상되었습니다. 이러한 쿼리는 이제 데이터를 스캔하는 대신 메타데이터의 통계 및 파티션 값을 사용하여 실행됩니다.

개선된 이진 파일 데이터 소스 및 스칼라 반복자 Pandas UDF를 통해 더 빠른 모델 추론 파이프라인(공개 미리보기)

특히 이미지 및 동영상 영역에서 기계 학습 작업은 종종 많은 수의 파일에서 작동해야 합니다. Databricks Runtime 5.4에서는 이미지와 같은 임의 파일을 Spark 테이블로 ETL할 수 있도록 이진 파일 데이터 원본을 이미 제공했습니다. Databricks Runtime 5.5에서는 중첩된 입력 디렉터리에서 파일을 재귀적으로 로드하는 옵션 recursiveFileLookup을 추가했습니다. 이진 파일을 참조하세요.

이진 파일 데이터 원본을 사용하면 스칼라 pandas UDF를 사용하여 Spark 테이블에서 병렬로 모델 유추 작업을 실행할 수 있습니다. 그러나 모든 레코드 일괄 처리에 대해 모델을 초기화해야 할 수 있으므로 오버헤드가 발생합니다. Databricks Runtime 5.5에서는 Apache Spark 마스터의 "스칼라 반복기"라는 새로운 pandas UDF 형식을 백포트했습니다. 이를 통해 모델을 한 번만 초기화하고 많은 입력 일괄 처리에 모델을 적용할 수 있으므로 ResNet50과 같은 모델의 경우 속도가 2-3배 빨라질 수 있습니다. 스칼라 UDF에 대한 계열을 참조하세요.

R Notebook의 비밀 API

비밀 API를 사용하면 하드코딩하지 않고도 Notebooks에 비밀을 삽입할 수 있습니다. 이 API는 이제 Python 및 Scala Notebooks에 대한 기존 지원 외에도 R Notebooks에서 사용할 수 있습니다. dbutils.secrets.get 함수를 사용하여 비밀을 얻을 수 있습니다. Notebook 셀에 출력하기 전에 비밀 정보가 편집됩니다.

향상된 기능

  • Delta Lake SQL 작업을 Python foreachBatch에서 실행하는 지원: Python에 정의된 구조적 스트리밍 쿼리의 foreachBatch 내부에서 Delta 테이블에 쓸 수 없다는 알려진 제한 사항을 수정했습니다. 이는 일반적인 Python 스트리밍 워크로드에서 유용합니다. 예를 들어, 업데이트 모드에서 MERGE 및 foreachBatch를 사용하여 스트리밍 집계를 작성하는 경우입니다.
  • Azure Data Lake Gen2에 저장된 델타 테이블의 성능: ADLS에서 최신 버전의 Delta 테이블 확인은 이제 사용 가능한 모든 버전을 나열하는 대신 트랜잭션 로그의 끝만 확인합니다. 이 최적화는 UPDATE를 일정한 시간 작업으로 만들어 대기 시간을 크게 개선합니다.
  • 최적화 ZORDER BY의 확장성: 대규모 델타 테이블의 Z-정렬은 이제 고급 승인 제어에 의해 관리되는 보다 작은 단위의 작업을 사용합니다. 이 기능은 클러스터 사용률을 저하시키지 않으면서 이 작업의 안정성을 개선시킵니다.
  • 열 수가 많은 테이블에서 DML 명령의 성능 향상: 이제 UPDATE, DELETEMERGE 명령에서 일치하는 데이터를 검색할 때 더 나은 열 정리를 수행합니다.
  • Spark - Synapse Analytics 커넥터에서 VNet + 서비스 엔드포인트 설정 지원: ADL Gen2 경로를 임시 데이터 위치로 허용 목록에 추가했습니다(). 또한, 관리 ID를 통해 V2 스토리지 계정에 인증되도록 Synapse Analytics가 구성된 경우 대신 사용할 수 있는 새 옵션 을 추가했습니다.
  • 디스크 캐싱 자동 무효화: 디스크 캐싱은 이제 캐시된 후 수정되거나 덮어쓴 파일을 자동으로 검색합니다. 부실 항목은 자동으로 무효화되고 캐시에서 제거됩니다. Azure Databricks에서 캐싱을 사용하여 성능을 최적화하는 방법을 참조하세요.
  • Python 라이브러리 wheel이 0.33.3에서 0.33.4로 업그레이드되었습니다.
  • R 라이브러리 nlme가 3.1-139에서 3.1-140으로 업그레이드되었습니다.

버그 수정

  • Spark 작업을 실행하지 않는 R 명령에 대한 취소가 수정되었습니다. 이전에는 Spark 작업을 실행하지 않는 R 명령을 취소할 수 있었지만 Notebook의 상태가 손실되었습니다. 이제 Notebook 상태를 잃지 않고 명령을 취소할 수 있습니다.
  • 관리되는 테이블을 삭제하거나 이동하면 캐시된 Delta Lake 로그가 무효화됩니다.
  • Delta Lake 검사점 쓰기가 FileAlreadyExistsException으로 인해 실패할 수 있는 버그가 수정되었습니다.
  • Scala REPL은 이제 적절한 -target:jvm-1.8 플래그를 설정하여 Java 8 기능을 사용하는 Java 메서드 호출을 지원합니다.

Apache Spark

Databricks Runtime 5.5에는 Apache Spark 2.4.3이 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 5.4(EoS)포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-24695] UDF가 CalendarInterval을 반환하도록 허용합니다.
  • [SPARK-28056] SCALAR_ITER pandas UDF에 대한 docstring/doctest 추가
  • [SPARK-28185] Python UDF가 일찍 중지되면 생성기를 닫습니다.
  • [SPARK-24703] 간격 곱하기가 지원됩니다.
  • [SPARK-27018][CORE] PeriodicCheckpointer에서 검사점 파일의 잘못된 제거가 수정되었습니다.
  • [SPARK-28127][SQL] TreeNode의 mapChildren 메서드에 대한 마이크로 최적화
  • [SPARK-26038] long 타입에 맞지 않는 소수를 위한 toScalaBigInt/toJavaBigInteger 메서드 추가.
  • [SPARK-26555][SQL] ScalaReflection 하위 형식 검사 스레드를 안전하게 만듭니다.
  • [SPARK-28081][ML] word2vec에서 큰 어휘 수 처리
  • [SPARK-21882][CORE] OutputMetrics가 saveAsHadoopDataset 함수에 기록된 바이트를 올바르게 계산하지 않습니다.
  • [SPARK-28030] 이진 파일 데이터 원본에서 filePath를 URI로 변환합니다.
  • [SPARK-27803][SQL][PYTHON] Python UDF에 대한 열 정리 수정
  • [SPARK-27917][SQL] CaseWhen 객체의 규격화된 형태가 잘못되었습니다.
  • [SPARK-27798][SQL] from_avro 로컬 관계로 변환할 때 동일한 값을 생성해서는 안 됩니다.
  • [SPARK-27873][SQL] enforceSchema를 비활성화할 때 CSV 헤더의 열 이름과 columnNameOfCorruptRecord를 대조해서는 안 됩니다.
  • [SPARK-27907][SQL] HiveUDAF는 행이 0인 경우 NULL을 반환해야 합니다.
  • [SPARK-27699][SQL] Parquet/ORC에서 이접 술어를 부분적으로 푸시다운합니다.
  • [SPARK-27868][CORE] 소켓 서버 백로그에 대한 더 나은 기본값 및 설명서입니다.
  • [SPARK-27869][CORE] UI에서 시스템 속성의 중요한 정보가 수정되었습니다.
  • [SPARK-27863][SQL][BACKPORT-2.4] 메타데이터 파일 및 임시 파일은 데이터 파일로 계산하면 안 됩니다.
  • [SPARK-27657][ML] ml.util.Instrumentation.logFai…의 로그 형식이 수정되었습니다.
  • [SPARK-27858][SQL] null이 아닌 여러 형식이 있는 통합 형식의 Avro 역직렬화가 수정되었습니다.
  • [SPARK-27711][CORE] 작업 종료 시 InputFileBlockHolder 설정을 해제합니다.
  • [SPARK-27351][SQL] Null 값 열만 있는 AggregateEstimation 후산출된 행 추정치 잘못됨
  • [SPARK-27539][SQL] null 값을 포함하는 열에서 집계 출력 행 추정의 부정확성 수정
  • [SPARK-27800][SQL] BitwiseXor 테스트 사례의 오답이 수정되었습니다.
  • [SPARK-27639][SQL] InMemoryTableScan은 가능한 경우 UI에 테이블 이름을 표시합니다.
  • [SPARK-27726][CORE] 부하가 높은 상태에서 InMemoryStore를 사용할 때 ElementTrackingStore 삭제 성능이 수정되었습니다.
  • [SPARK-27771][SQL] 그룹화 함수에 대한 SQL 설명이 추가(cube, rollup, grouping 및 grouping_id)되었습니다.
  • [SPARK-27735][SS] 구문 분석 간격 문자열은 SS에서 대소문자를 구분하지 않아야 합니다.
  • [SPARK-26856][PYSPARK] from_avro 및 to_avro API에 대한 Python이 지원됩니다.
  • [SPARK-26870][SQL] Java 호환성으로 인해 to_avro/from_avro를 함수 개체로 이동합니다.
  • [SPARK-26812][SQL] Union의 복잡한 데이터 형식에 대한 올바른 null 허용 여부를 보고합니다.
  • [SPARK-27671][SQL] 구조체의 중첩된 null에서 캐스팅할 때 오류가 수정되었습니다.
  • [SPARK-27673][SQL] 임의, 정규식, null 식에 since 정보가 추가되었습니다.
  • [SPARK-27672][SQL] 문자열 식에 since 정보가 추가되었습니다.
  • [SPARK-25139][SPARK-18406][CORE] PythonRunner에서 실행기를 종료하는 데 NonFatals를 사용하지 않도록 합니다.
  • [SPARK-27624][CORE] 빈 간격을 올바르게 표시하도록 CalenderInterval이 수정되었습니다.
  • [SPARK-27577][MLLIB] BinaryClassificationMetrics에서 다운샘플링된 임계값 수정함.
  • [SPARK-27621][ML] 선형 회귀 - 맞춤 단계에서만 손실과 같은 학습 관련 매개 변수의 유효성을 검사합니다.
  • [SPARK-26048][SPARK-24530] 누락된 모든 커밋을 2.4 릴리스 스크립트에 Cherrypick합니다.
  • [SPARK-24935][SQL] 지원 INIT ->UPDATE -> MERGE - Hive UDAF 어댑터의> FINISH

유지 관리 업데이트

Databricks Runtime 5.5 유지 관리 업데이트를 참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_252
  • Scala: 2.11.12
  • Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
  • R: R 버전 3.6.0(2019-04-26)
  • GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
    • Tesla 드라이버 375.66
    • CUDA 9.0
    • cuDNN 7.0

참고

Scala 2.12는 Apache Spark 2.4에서 지원되지만 Databricks Runtime 5.5에서는 지원되지 않습니다.

이 구역의 내용:

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
ansi2html 1.1.1 argparse (명령어 인수 파싱 모듈) 1.2.1 backports-abc 0.5
보토 2.42.0 boto3 1.4.1 보토코어 1.4.70
brewer2mpl 1.4.1 서티피 2016.2.28 cffi 1.7.0
챠데트 2.3.0 colorama 0.3.7 configobj 5.0.6
암호화 1.5 자전거 타는 사람 (if referring to a bicyclist) 0.10.0 사이톤 (Cython) 0.24.1
데코레이터 4.0.10 docutils (도큐멘트 유틸리티) 0.14 enum34 1.1.6
et-xml 파일 1.0.1 freetype-py (파이썬용 프리타입 라이브러리) 1.0.2 funcsigs (펑크시그) 1.0.2
퓨즈파이 (fusepy) 2.0.4 미래 3.2.0 ggplot 0.6.8
html5lib 0.999 아이드나 2.1 IP 주소 1.0.16
ipython 2.2.0 ipython-genutils (아이파이썬 젠유틸스) 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe (마크업세이프) 0.23 matplotlib (매트플롯립) 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
넘바 0.28.1 numpy (파이썬의 수치 계산용 라이브러리) 1.11.1 openpyxl 2.3.2
팬더 0.19.2 pathlib2 2.1.0 희생양 0.4.1
pexpect (피엑스펙트) 4.0.1 픽클쉐어 0.7.4 베개 3.3.1
파이썬 패키지 설치 도구 pip 19.1.1 3.9 프롬프트 툴킷 (prompt-toolkit) 1.0.7
psycopg2 2.6.2 PtyProcess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
파이그먼츠 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing (파이썬 파싱 라이브러리) 2.2.0 pypng 0.0.18 파이썬 2.7.12
python-dateutil (파이썬 날짜 유틸) 2.5.3 python-geohash (파이썬-지오해시) 0.8.5 pytz (파이썬의 타임존 계산을 위한 라이브러리) 2016년 6월 1일
요청 2.11.1 s3transfer 0.1.9 머신 러닝 라이브러리 scikit-learn 0.18.1
scipy (과학 컴퓨팅 라이브러리) 0.18.1 스카우어 (if used as a loanword in a technical sense) or 문질러 닦다 / 구석구석 뒤지다 (for context-specific meaning). 0.32 바다에서 태어난 0.7.1
setuptools (셋업툴즈) 41.0.1 simplejson 3.8.2 simples3 1.0
싱글디스패치 3.4.0.3 6 1.10.0 statsmodels (파이썬 통계 모형 라이브러리) 0.6.1
토네이도 5.1.1 트레잇렛츠 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth(문자의 너비를 계산하는 함수) 0.1.7 바퀴 0.33.4
wsgiref 0.1.2

설치된 R 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
에이바인드 1.4-5 askpass (비밀번호 입력 요청) 1.1 assertthat (어설트댓) 0.2.1
백포트 (이전 버전으로의 기능 이식) 1.1.3 기초 3.6.0 base64enc 0.1-3
브에이치(BH) 1.69.0-1 비트 1.1-14 64비트 0.9-7
bitops 1.0-6 블롭 1.1.1 부팅 1.3-20
양조하다 1.0-6 콜러 3.2.0 차량 3.0-2
자동차데이터 3.0-2 캐럿 6.0-82 셀레인저 (cellranger) 1.1.0
크론 2.3-53 클래스 7.3-15 명령 줄 인터페이스 (CLI) 1.1.0
클리퍼 0.5.0 클리심볼 1.2.0 무리 2.0.8
코드 도구 0.2-16 색 공간 1.4-1 코먼마크 1.7
컴파일러 3.6.0 설정 0.3 크레용 1.3.4
3.3 데이터 테이블(data.table) 1.12.0 데이터셋 3.6.0
DBI 1.0.0 dbplyr 1.3.0 설명 1.2.0
개발자 도구 2.0.1 다이제스트 0.6.18 doMC 1.3.5
dplyr (데이터 조작을 위한 R 패키지) 0.8.0.1 줄임표 0.1.0 팬시 0.4.0
포캣츠 0.4.0 포이치 (foreach) 1.4.4 외국의 0.8-71
대장간 0.2.0 fs 1.2.7 gbm (지엠비엠) 2.1.5
제네릭 0.0.2 ggplot2 3.1.0 gh 1.0.1
git2r (Git 관련 소프트웨어 패키지) 0.25.2 glmnet (통계 및 기계 학습 소프트웨어 패키지) 2.0에서 16까지 1.3.1
Gower 0.2.0 그래픽 3.6.0 grDevices 3.6.0
그리드 3.6.0 gridExtra 2.3 gsubfn 0.7
지테이블 0.3.0 H₂O 3.22.1.1 안식처 2.1.0
에이치엠에스 (HMS) 0.4.2 HTML 도구 0.3.6 HTML 위젯 1.3
httr 1.4.0 hwriter (에이치라이터) 1.3.2 hwriterPlus 1.0-3
이것 0.3.1 아이프레드 0.9-8 이터레이터 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 레이블링 0.3
격자 0.20-38 용암 1.6.5 lazyeval 0.2.2
더 작은 0.3.7 lme4 1.1-21 루브리데이트 1.7.4
magrittr 1.5 맵프로젝트 1.2.6 3.3.0
maptools 0.9-5 질량 7.3-51.1 행렬 1.2-17
MatrixModels 0.4-1 메모이즈 1.1.0 메서드 3.6.0
mgcv 1.8-28 마임 0.6 민카 1.2.4
ModelMetrics 1.2.2 먼셀 (Munsell) 0.5.0 mvtnorm 1.0-10
nlme 3.1-140 nloptr 1.2.1 엔넷 7.3-12
numDeriv (넘데리브) 2016.8-1 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 1.3 openxlsx 4.1.0
평행 3.6.0 pbkrtest 0.4-7 기둥 1.3.1
pkgbuild(팩키지 빌드) 1.0.3 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 플로거 0.2.0 플라이어 1.8.4
칭찬 1.0.0 프리티유닛 1.0.2 pROC 패키지 1.14.0
프로세스엑스 3.3.0 프로드림 (prodlim) 2018.04.18 진행률 1.2.0
프로토 1.0.0 Ps 1.3.0 고양이의 그르렁거림 0.3.2
퀀트레그 (quantreg) 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils (R 패키지의 유틸리티 라이브러리) 2.8.0 r2d3 0.2.3 R6 2.4.0
랜덤 포레스트 (randomForest) 4.6-14 rappdirs (랩디르) 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.1 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.12 리더(Reader) 1.3.1
readxl (엑셀 파일 읽기 기능) 1.3.1 레시피 0.1.5 재대결 1.0.1
리모컨 2.0.2 reshape2 1.4.3 리오 0.5.16
rlang 0.3.3 RODBC 1.3-15 roxygen2 6.1.1
rpart (의사결정트리 구축을 위한 R 패키지) 4.1-15 rprojroot 1.3-2 Rserve (R서브) 1.8-6
RSQLite 2.1.1 rstudioapi 0.10 저울 1.0.0
세션정보 1.1.1 sp 1.3-1 sparklyr (스파클리알) 1.0.0
SparkR 2.4.4 SparseM 1.77 공간의 7.3-11
스플라인 3.6.0 sqldf (SQL 데이터프레임 패키지) 0.4–11 스퀘어엠 2017년 10월-1
스탯모드 1.4.30 통계 3.6.0 통계4 3.6.0
문자열 처리 소프트웨어 "stringi" 1.4.3 stringr 1.4.0 생존 2.43-3
시스템 3.1 Tcl/Tk 프로그래밍 언어 및 툴킷 3.6.0 티칭데모스 2.10
testthat (테스트댓) 2.0.1 티블 2.1.1 tidyr 0.8.3
tidyselect (티디셀렉트) 0.2.5 시간날짜 3043.102 도구 3.6.0
사용하세요 1.4.0 utf8 1.1.4 유틸리티 도구 3.6.0
비리디스라이트 0.3.0 수염 0.3-2 위드알 2.1.2
xml2 1.2.0 엑스오픈 1.0.0 YAML (야믈) 2.2.0
지퍼 2.0.1

설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.8.10
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.11.313
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.11.313
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws AWS Java SDK 구성 1.11.313
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.11.313
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.11.313
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.11.313
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.11.313
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS의 탄력적 로드 밸런싱을 위한 자바 소프트웨어 개발 키트) 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) 1.11.313
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.11.313
com.amazonaws AWS Java SDK 글래이셔 1.11.313
com.amazonaws aws-java-sdk-glue 라이브러리 1.11.313
com.amazonaws AWS 자바 SDK IAM 1.11.313
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.11.313
com.amazonaws AWS-Java-SDK-머신러닝 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.11.313
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.11.313
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.11.313
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.11.313
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws AWS-Java-SDK-지원 1.11.313
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWF 라이브러리) 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics 스트림 2.7.0
com.databricks Rserve (R서브) 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-테스트 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware 크리오-쉐이디드 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 급우 1.0.0
com.fasterxml.jackson.core jackson-annotations (자바의 JSON 처리 라이브러리 중 하나) 2.6.7
com.fasterxml.jackson.core 잭슨-코어 2.6.7
com.fasterxml.jackson.core 잭슨 데이터바인드 (jackson-databind) 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.6.7
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.6.7
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 (자바 스칼라 모듈) 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_참조-자바-네이티브 1.1
com.github.fommil.netlib 네이티브_시스템-Java 1.1
com.github.fommil.netlib 네이티브 시스템-자바-네이티브스 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.2.4
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.릴리스
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.2.8
com.microsoft.azure Azure 스토리지 5.2.0
com.microsoft.sqlserver (마이크로소프트 SQL 서버) mssql-jdbc 6.2.2.jre8
com.ning compress-lzf (압축 알고리즘 LZF) 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.11 0.3
com.twitter (도메인 이름) chill-java (칠자바) 0.9.3
com.twitter (도메인 이름) 추운_2.11 0.9.3
com.twitter (도메인 이름) parquet-hadoop-bundle (파케-하둡 번들) 1.6.0
com.twitter (도메인 이름) util-app_2.11 6.23.0
com.twitter (도메인 이름) util-core_2.11 6.23.0
com.twitter (도메인 이름) util-jvm_2.11 6.23.0
com.typesafe 설정 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 (기술 관련 설명이 필요할 경우 추가) 2.1.2
com.univocity univocity-parsers (유니보시티-파서스) 2.7.3
com.vlkan 플랫버퍼스 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.3
commons-cli commons-cli 1.2
commons-codec (공통 코드 라이브러리) commons-codec (공통 코드 라이브러리) 1.10
코먼스-컬렉션즈 코먼스-컬렉션즈 3.2.2
커먼즈-구성 설정 커먼즈-구성 설정 1.6
커먼즈-DBCP 커먼즈-DBCP 1.4
commons-digester (커먼스-다이제스터) commons-digester (커먼스-다이제스터) 1.8
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.4
커먼즈-랭 커먼즈-랭 2.6
commons-logging (커먼즈 로깅) commons-logging (커먼즈 로깅) 1.1.3
commons-net commons-net 3.1
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift 에어 컴프레서 0.10
io.dropwizard.metrics metrics-core (메트릭스 코어) 3.1.5
io.dropwizard.metrics 메트릭스-갱글리아 (metrics-ganglia) 3.1.5
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 3.1.5
io.dropwizard.metrics 메트릭-헬스체크 3.1.5
io.dropwizard.metrics 메트릭스-젯티9 3.1.5
io.dropwizard.metrics 메트릭스-JSON 3.1.5
io.dropwizard.metrics metrics-jvm (메트릭스-JVM) 3.1.5
io.dropwizard.metrics 메트릭스-로그4j 3.1.5
io.dropwizard.metrics 메트릭스-서블릿 3.1.5
io.netty netty (네티) 3.9.9.Final
io.netty netty-all 4.1.17.Final
javax.activation 활성화 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.validation (자바 프로그래밍 패키지) validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
.stream javax.xml stax-api 1.0-2
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees (메이번 트리즈) 하이브-엑섹-위드-글루 hive-12679-patch_deploy
maven-trees (메이번 트리즈) 하이브-엑섹-위드-글루 hive-exec_shaded
net.hydromatic 아이겐베이스 속성 1.1.5
net.razorvine 파이롤라이트 4.13
net.sf.jpam 제이팸 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.5
네트.스노우플레이크 snowflake-jdbc (스노우플레이크 JDBC) 3.6.15
네트.스노우플레이크 spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.4
org.antlr antlr4-runtime 4.7
org.antlr 문자열 템플릿 3.2.1
org.apache.ant 개미 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant 앤트 런처 1.9.2
org.apache.arrow 화살표 형식 0.10.0
org.apache.arrow 어로우-메모리 0.10.0
org.apache.arrow 화살표 벡터 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc (아브로 IPC) 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-인큐베이팅 중
org.apache.calcite 칼사이트-코어 1.2.0-인큐베이팅 중
org.apache.calcite calcite-linq4j 1.2.0-인큐베이팅 중
org.apache.commons (오픈 소스 자바 라이브러리) 공통 압축 1.8.1
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.0.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.5
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.4.1
org.apache.curator 큐레이터-클라이언트 2.7.1
org.apache.curator 큐레이터-프레임워크 2.7.1
org.apache.curator 큐레이터-레시피 2.7.1
org.apache.derby 더비 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api 애피-유틸 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop 하둡 어노테이션 (hadoop-annotations) 2.7.3
org.apache.hadoop 하둡 인증 (hadoop-auth) 2.7.3
org.apache.hadoop 하둡 클라이언트 2.7.3
org.apache.hadoop hadoop-common (하둡-커먼) 2.7.3
org.apache.hadoop hadoop-hdfs (하둡 파일 시스템) 2.7.3
org.apache.hadoop Hadoop MapReduce 클라이언트 애플리케이션 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common (해둡-맵리듀스-클라이언트-커먼) 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core (하둡 맵리듀스 클라이언트 코어) 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient (하둡 맵리듀스 클라이언트 잡클라이언트) 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop 하둡-YARN-클라이언트 2.7.3
org.apache.hadoop hadoop-yarn-common (하둡-야른-커먼) 2.7.3
org.apache.hadoop hadoop-yarn-server-common (하둡 야른 서버 공통) 2.7.3
org.apache.htrace htrace-core 3.1.0-인큐베이팅
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 아이비 2.4.0
org.apache.orc 오크 코어 노하이브 1.5.2
org.apache.orc orc-mapreduce-nohive (오크-맵리듀스-노하이브) 1.5.2
org.apache.orc orc-shims (오크-심스) 1.5.2
org.apache.parquet 파케-열 1.10.1.1-databricks3
org.apache.parquet 파케-커먼 (parquet-common) 1.10.1.1-databricks3
org.apache.parquet 파켓 인코딩 1.10.1.1-databricks3
org.apache.parquet parquet 포맷 (데이터 저장 포맷) 2.4.0
org.apache.parquet 파켓-하둡 (parquet-hadoop) 1.10.1.1-databricks3
org.apache.parquet 파케-잭슨 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6 음영 처리 4.8
org.apache.zookeeper 동물원 사육사 3.4.6
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson 잭슨 잭서스 1.9.13
org.codehaus.jackson jackson-mapper-asl (잭슨-매퍼-ASL) 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino 커먼스-컴파일러 3.0.10
org.codehaus.janino 자니노 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus 데이터뉴클리어스-코어 3.2.10
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 3.2.9
org.eclipse.jetty jetty-client (제티 클라이언트) 9.3.20.v20170531
org.eclipse.jetty 제티-컨티뉴에이션 9.3.20.v20170531
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.3.20.v20170531
org.eclipse.jetty 제티-플러스 9.3.20.v20170531
org.eclipse.jetty jetty-proxy (제티 프록시) 9.3.20.v20170531
org.eclipse.jetty 제티-시큐리티 (jetty-security) 9.3.20.v20170531
org.eclipse.jetty 제티 서버 (Jetty Server) 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.3.20.v20170531
org.eclipse.jetty 제티 유틸 (jetty-util) 9.3.20.v20170531
org.eclipse.jetty 제티 웹앱 (jetty-webapp) 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2 위치 탐색기 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 OSGi 자원 탐색기 1.0.1
org.glassfish.hk2.external aopalliance 재포장 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged 저지 과바 2.22.2
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.22.2
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.22.2
org.glassfish.jersey.core 제르시 클라이언트 2.22.2
org.glassfish.jersey.core 저지 커먼 2.22.2
org.glassfish.jersey.core 저지 서버 (jersey-server) 2.22.2
org.glassfish.jersey.media 저지-미디어-JAXB (그대로 사용할 경우 'Jersey Media JAXB') 2.22.2
org.hibernate 하이버네이트 검증기 (hibernate-validator) 5.1.1.Final
org.iq80.snappy 재빠른 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc MariaDB 자바 클라이언트 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis 옵제네시스 (objenesis) 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.1.4
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.7.45
org.roaringbitmap 쉬임 0.7.45
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-라이브러리_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 1.2.1.spark2
org.spark-project.hive hive-CLI 1.2.1.spark2
org.spark-project.hive hive-jdbc (하이브 JDBC) 1.2.1.spark2
org.spark-project.hive 하이브 메타스토어 1.2.1.spark2
org.spark-project.spark 사용하지 않음 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework 스프링-코어 4.1.4.RELEASE
org.springframework 봄-테스트 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel 기계공_2.11 0.6.1
org.typelevel macro-compat_2.11 (매크로 호환_2.11) 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.3
org.yaml 스네이크야AML (snakeyaml) 1.16
2.0.8
software.amazon.ion ion-java (아이온-자바) 1.0.2
스택스 (Stax) stax-api 1.0.1
xmlenc xmlenc 0.52