참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2020년 1월에 이 버전을 릴리스했습니다.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 6.3에 대한 정보를 제공합니다.
새로운 기능
Delta Lake
이 릴리스에는 개선된 동시성이 도입되었습니다. 주요 기능은 다음과 같습니다.
모든 Delta Lake 작업에 대한 개선된 동시성 - 이제 더 많은 Delta Lake 작업을 동시에 실행할 수 있습니다. Delta Lake의 낙관적 동시성 제어는 충돌 감지를 보다 세분화하여 개선되었습니다. 이렇게 하면 Delta 테이블에서 복잡한 워크플로를 더 쉽게 실행할 수 있습니다. 예시:
- 새 파티션이 추가되는 동안 이전 파티션에서 동시에 삭제(예: GDPR 준수)를 실행합니다.
- 분리된 파티션 집합에서 동시에 업데이트 및 병합을 실행합니다.
- 추가와 동시에 파일 압축 실행.
Azure Databricks의 격리 수준 및 쓰기 충돌을 참조하세요.
파일 압축 지원 개선 - 이제
DataFrameWriter옵션dataChange를false로 설정하여 파일을 다시 작성하여 파일을 압축할 수 있습니다. 이 옵션을 사용하면 압축 작업을 다른 일괄 처리 및 스트리밍 작업과 동시에 실행할 수 있습니다. 자세한 내용은 압축 파일을 참조하세요.삽입 전용 병합에 대한 개선된 성능 - Delta Lake는 이제 삽입 절만 있고 업데이트 절이 없는 병합 작업에 대해 더 최적화된 성능을 제공합니다. 또한 Delta Lake는 이러한 삽입 전용 병합의 쓰기가 테이블에 새 데이터만 추가하도록 합니다. 따라서 이제 구조적 스트리밍 및 삽입 전용 병합을 사용하여 데이터(예: 로그)의 지속적인 중복 제거를 수행할 수 있습니다. 자세한 내용은 Delta 테이블에 쓸 때 데이터 중복 제거를 참조하세요.
프로세스 격리가 사용하도록 설정된 경우 허용 목록에 추가 포트 추가
참고 항목
이 문서에는 Azure Databricks에서 사용하지 않는 용어인 허용 목록에 대한 참조가 포함되어 있습니다. 소프트웨어에서 용어가 제거되면 이 문서에서 해당 용어가 제거됩니다.
클러스터에서 테이블 ACL 또는 자격 증명 통과와 같은 보안 기능을 사용하도록 설정하면 이제 Spark 구성하여 Python 프로세스에 액세스할 수 있는 추가 아웃바운드 포트를 지정할 수 있습니다. 지원되는 구성 값 형식은 [port[:port][,port[:port]]...]입니다(예: 21,22,9000:9999). 포트는 유효한 범위(예: 0-65535) 내에 있어야 합니다.
Scala 작업에 대한 작업 출력 사용 안 함
stdout으로 내보내진 로그 출력과 같은 작업 출력에는 20MB 크기 제한이 적용됩니다.
spark.databricks.driver.disableScalaOutput Spark 구성을 true로 설정하여 stdout이 드라이버에서 Azure Databricks로 반환되는 것을 방지할 수 있습니다. 플래그는 Scala JAR 작업 및 Scala Notebook에 대한 셀 출력을 제어합니다.
Azure Databricks 호환 JAR 만들기를 참조하세요.
이제 Azure Databricks Notebooks에서 지원되는 인라인 Matplotlib 수치(공개 미리 보기)
이제 그림을 display 메서드에 전달할 필요 없이 Matplotlib 그림을 자동으로 표시할 수 있습니다. 자세한 내용은 Matplotlib를 참조하세요.
Azure Synapse Analytics에 추가된 새 매개 변수
매개 변수 applicationName은 기본적으로 Databricks-User-Query로 설정됩니다. 기본값은 Azure DB 모니터링 도구가 쿼리에 대해 가짜 SQL 삽입 경고를 발생시키는 것을 방지합니다. 지정하지 않거나 값이 빈 문자열인 경우 태그의 기본값이 JDBC URL에 추가됩니다.
Azure Databricks Synapse 커넥터 옵션 참조를 참조하세요.
향상된 기능
-
shutil.copytree가 이제/dbfs에 대해 작업합니다. - 높은 동시성 모드 클러스터에서 구조적 스트리밍 프로덕션 작업을 실행할 때 이전에 실행한 작업이 제대로 종료되지 않았기 때문에 작업의 다시 시작이 실패하는 경우가 있습니다. 이전 실행이 중지되도록 하려면 클러스터에서 SQL 구성
spark.sql.streaming.stopActiveRunOnRestart true를 설정합니다. 스트림을 제대로 중지할 수 없는 경우 15초 후에 시간 제한 예외가 throw됩니다. 이 경우 클러스터를 다시 시작하는 것이 좋습니다. - 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
Apache Spark
Databricks Runtime 6.3에는 Apache Spark 2.4.4가 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 6.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-30198][CORE] BytesToBytesMap이 예상대로 내부 긴 배열을 늘리지 않습니다.
- [SPARK-29918][SQL] RecordBinaryComparator는 long으로 비교할 때 Endian을 확인해야 합니다.
- [SPARK-30274][CORE] 최대 용량에 도달한 키를 누르고 있을 때 BytesToBytesMap 조회가 영원히 중단되는 것을 방지합니다.
- [SPARK-25392][CORE][WEBUI] 기록 서버에서 풀 페이지에 액세스할 때 오류 페이지를 방지합니다.
- [SPARK-30263][CORE] spark-submit에서 무시된 Spark가 아닌 속성의 잠재적으로 중요한 값을 기록하지 마세요.
- [SPARK-28637][SQL] Thriftserver 지원 간격 형식
- [SPARK-30238][SQL] 하이브 파티션 정리는 문자열 및 정수 형식만 지원할 수 있습니다.
- [SPARK-30198][CORE] BytesToBytesMap이 예상대로 내부 긴 배열을 늘리지 않습니다.
- [SPARK-24666][ML] numIterations가 클 때 Word2Vec에서 생성되는 무한대 벡터가 수정되었습니다.
- [SPARK-30129][CORE] 인증 성공 후 TransportClient에서 클라이언트 ID 설정
- [SPARK-30050][SQL] 테이블 분석 및 테이블 이름 변경은 하이브 테이블 버킷팅 정보를 지우지 않아야 합니다.
- [SPARK-28152][SQL] MsSqlServerDialect에 대해 ShortType을 SMALLINT로 매핑하고 FloatType을 REAL로 매핑합니다.
-
[SPARK-29971][CORE]
TransportFrameDecoder/TransportCipher의 버퍼 누수가 수정되었습니다. - [SPARK-29970][WEBUI] Timelineview의 보존기 열기/닫기 상태
- [SPARK-29949][SQL] JSON/CSV 데이터 원본에 의한 타임스탬프 형식이 수정되었습니다.
- [SPARK-27558][CORE] OOM 예외와 함께 실패할 때 작업을 정상적으로 정리합니다.
-
[SPARK-29758][SQL]
json_tuple에서 요청된 문자열 필드 잘림이 수정되었습니다. - [SPARK-29949][SQL] JSON/CSV 데이터 원본에 의한 타임스탬프 형식이 수정되었습니다.
- [SPARK-29936][R] SparkR 린트 오류 수정 및 lint-r GitHub 작업이 추가되었습니다.
- [SPARK-29904][SQL] JSON/CSV 데이터 원본으로 타임스탬프를 마이크로초 단위로 구문 분석합니다.
- [SPARK-29904][SQL] JSON/CSV 데이터 원본으로 타임스탬프를 마이크로초 단위로 구문 분석합니다.
- [SPARK-26499][SQL] JdbcUtils.makeGetter가 ByteType을 처리하지 않습니다.
- [SPARK-29682][SQL] 확장에서 충돌하는 특성을 올바르게 해결합니다.
- [SPARK-29875][PYTHON][SQL] Spark 2.4.x에서 더 이상 사용되지 않는 pyarrow.open_stream API를 사용하지 않도록 합니다.
- [SPARK-29850][SQL] sort-merge-join 빈 테이블은 메모리 누수가 없어야 합니다.
- [SPARK-28939][SQL] toRdd에서 실행한 계획에 대해 SQLConf 전파합니다.
유지 관리 업데이트
Databricks Runtime 6.3 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 3.7.3
- R: R 버전 3.6.2 (2019-12-12)
- 델타 레이크: 0.5.0
참고 항목
Scala 2.12는 Apache Spark 2.4에서 실험 기능으로 사용할 수 있지만 Databricks Runtime 6.3에서는 지원되지 않습니다.
이 구역의 내용:
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | 역호출 | 0.1.0 | 보토 | 2.49.0 |
| boto3 | 1.9.162 | 보토코어 | 1.12.163 | 서티피 | 2019년 3월 9일 |
| cffi | 1.12.2 | 챠데트 | 3.0.4 | 암호화 | 2.6.1 |
| 자전거 타는 사람 | 0.10.0 | 사이톤 (Cython) | 0.29.6 | 장식자 | 4.4.0 |
| docutils (도큐멘트 유틸리티) | 0.14 | 아이드나 | 2.8 | ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | Jedi | 0.13.3 |
| jmespath | 0.9.4 | 주피터-클라이언트 (jupyter-client) | 5.2.4 | jupyter-core (주피터 핵심) | 4.4.0 |
| 키위솔버 (kiwisolver) | 1.1.0 | matplotlib (매트플롯립) | 3.0.3 | numpy (파이썬의 수치 계산용 라이브러리) | 1.16.2 |
| 팬더 | 0.24.2 | 파르소 | 0.3.4 | 바보 | 0.5.1 |
| pexpect (피엑스펙트) | 4.6.0 | 픽클쉐어 | 0.7.5 | 파이썬 패키지 설치 도구 pip | 19.0.3 |
| prompt-toolkit (프롬프트 도구 키트) | 2.0.9 | psycopg2 | 2.7.6.1 | PtyProcess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | pycurl | 7.43.0 |
| 파이그먼츠 | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing (파이썬 파싱 라이브러리) | 2.4.6 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil (파이썬 날짜 유틸) | 2.8.0 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2018.9 | pyzmq | 18.0.0 |
| 요청사항 | 2.21.0 | s3transfer | 0.2.1 | scikit-learn (파이썬 머신러닝 라이브러리) | 0.20.3 |
| scipy (과학 컴퓨팅 라이브러리) | 1.2.1 | 바다에서 태어난 | 0.9.0 | setuptools (셋업툴즈) | 40.8.0 |
| 6 | 1.12.0 | ssh-import-id 명령어 | 5.5 | statsmodels (파이썬 통계 모형 라이브러리) | 0.9.0 |
| 토네이도 | 6.0.2 | 트레잇렛츠 | 4.3.2 | 사용자 개입 없는 자동 업데이트 | 0.1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | wcwidth(문자의 너비를 계산하는 함수) | 0.1.7 |
| 바퀴 | 0.33.1 |
설치된 R 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 에이바인드 | 1.4-5 | askpass (비밀번호 입력 요청) | 1.1 | assertthat (어설트댓) | 0.2.1 |
| 백포트 (기존 소프트웨어에 새로운 기능이나 수정을 추가하는 것) | 1.1.5 | 기반 | 3.6.2 | base64enc | 0.1-3 |
| 브에이치(BH) | 1.69.0-1 | 조각 | 1.1-14 | 비트64 | 0.9-7 |
| bitops | 1.0-6 | 덩어리 | 1.2.0 | 부츠 | 1.3-23 |
| 양조하다 | 1.0-6 | 콜러 | 3.3.2 | 차량 | 3.0-4 |
| 자동차데이터 | 3.0-2 | 캐럿 | 6.0-84 | 셀레인저 (cellranger) | 1.1.0 |
| 크론 | 2.3-54 | 수업 | 7.3-15 | 커맨드 라인 인터페이스 (CLI) | 1.1.0 |
| 클리퍼 | 0.7.0 | 클리심볼즈 | 1.2.0 | 클러스터 | 2.1.0 |
| 코드 도구 | 0.2-16 | 색 공간 | 1.4-1 | 코먼마크 | 1.7 |
| 컴파일러 | 3.6.2 | 환경 설정 | 0.3 | 코브르 | 3.3.2 |
| 크레용 | 1.3.4 | 혼선 | 1.0.0 | 컬 | 4.2 |
| 데이터 테이블(data.table) | 1.12.6 | 데이터세트 | 3.6.2 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | 설명 | 1.2.0 | 개발자 도구 | 2.2.1 |
| 소화하다 | 0.6.22 | doMC | 1.3.6 | dplyr (데이터 조작을 위한 R 패키지) | 0.8.3 |
| 디지털 기술 | 0.9 | 줄임표 | 0.3.0 | 평가하다 | 0.14 |
| 팬시 | 0.4.0 | 패스트맵 | 1.0.1 | 포캣츠 | 0.4.0 |
| 포이치 (foreach) | 1.4.7 | 외국의 | 0.8-74 | 구축하다 | 0.2.0 |
| fs | 1.3.1 | gbm (지엠비엠) | 2.1.5 | 제네릭(generics) | 0.0.2 |
| ggplot2 | 3.2.1 | gh | 1.0.1 | git2r (Git 관련 소프트웨어 패키지) | 0.26.1 |
| glmnet (통계 및 기계 학습 소프트웨어 패키지) | 2.0-18 | 접착제 | 1.3.1 | 고워 (Gower) | 0.2.1 |
| 그래픽스 | 3.6.2 | grDevices | 3.6.2 | 그리드 | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | 지테이블 | 0.3.0 |
| 물 (H₂O) | 3.26.0.2 | 안식처 | 2.1.1 | 에이치엠에스 (HMS) | 0.5.1 |
| HTML 도구 | 0.4.0 | HTML 위젯 | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter (에이치라이터) | 1.3.2 | hwriterPlus | 1.0-3 |
| 이것 | 0.3.1 | 아이프레드 | 0.9-9 | 이터레이터 (반복자) | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | 라벨링 | 0.3 |
| 나중에 | 1.0.0 | 격자 | 0.20-38 | 용암 | 1.6.6 |
| lazyeval | 0.2.2 | 주기 | 0.1.0 | 더 작다 | 0.3.9 |
| lme4 | 1.1-21 | 루브리데이트 | 1.7.4 | magrittr | 1.5 |
| 맵프로젝트 | 1.2.6 | 맵 | 3.3.0 | maptools | 0.9-8 |
| 질량 | 7.3-51.5 | 행렬 | 1.2-18 | MatrixModels | 0.4-1 |
| 메모하다 | 1.1.0 | 메서드 | 3.6.2 | mgcv | 1.8-31 |
| 마임 | 0.7 | 민카 | 1.2.4 | ModelMetrics | 1.2.2 |
| 먼셀 (Munsell) | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-143 |
| nloptr | 1.2.1 | 엔넷 | 7.3-12 | numDeriv (넘데리브) | 2016년 8월부터 1월 1일까지 |
| 오픈SSL (OpenSSL은 암호화 라이브러리입니다) | 1.4.1 | openxlsx | 4.1.2 | 평행 | 3.6.2 |
| pbkrtest | 0.4-7 | 기둥 | 1.4.2 | pkgbuild(팩키지 빌드) | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| 플로거 | 0.2.0 | plyr (플레이어) | 1.8.4 | 칭찬 | 1.0.0 |
| 프리티유닛 | 1.0.2 | pROC 패키지 | 1.15.3 | 프로세스엑스 | 3.4.1 |
| 프로드림 (prodlim) | 2018.04.18 | 진행률 | 1.2.2 | 약속들 | 1.1.0 |
| 프로토 | 1.0.0 | Ps | 1.3.0 | 고양이의 그르렁거림 | 0.3.3 |
| 퀀트레그 (quantreg) | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils (R 패키지의 유틸리티 라이브러리) | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| 랜덤 포레스트 (randomForest) | 4.6-14 | rappdirs (랩디르) | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | 리더(Reader) | 1.3.1 | readxl (엑셀 파일 읽기 기능) | 1.3.1 |
| 레시피 | 0.1.7 | 재대결 | 1.0.1 | 리모컨/원격 | 2.1.0 |
| reshape2 | 1.4.3 | 렉스 | 1.1.2 | 리오 | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart (의사결정트리 구축을 위한 R 패키지) | 4.1-15 | rprojroot | 1.3-2 | Rserve (R서브) | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | 알버전즈 | 2.0.0 |
| 저울 | 1.0.0 | 세션정보 | 1.1.1 | 반짝이는 | 1.4.0 |
| 소스툴스 (sourcetools) | 0.1.7 | sp | 1.3-1 | sparklyr (스파클리알) | 1.0.4 |
| SparkR | 2.4.5 | SparseM | 1.77 | 공간적 | 7.3-11 |
| 스플라인 | 3.6.2 | sqldf (SQL 데이터프레임 패키지) | 0.4–11 | 스퀘어엠 | 2017년 10월-1 |
| 스탯모드 | 1.4.32 | 통계 | 3.6.2 | 통계4 | 3.6.2 |
| 문자열 처리 소프트웨어 "stringi" | 1.4.3 | stringr | 1.4.0 | 생존 | 2.44-1.1 |
| 시스템 | 3.3 | 티클티케이 (tcltk) | 3.6.2 | 티칭데모스 | 2.10 |
| testthat (테스트댓) | 2.2.1 | tibble (티블) | 2.1.3 | tidyr | 1.0.0 |
| tidyselect (티디셀렉트) | 0.2.5 | 시간과 날짜 | 3043.102 | 도구들 | 3.6.2 |
| 사용해보세요 | 1.5.1 | utf8 | 1.1.4 | 유틸리티 | 3.6.2 |
| vctrs | 0.2.0 | 비리디스라이트 | 0.3.0 | 수염 | 0.4 |
| 위드알 | 2.1.2 | xml2 | 1.2.2 | 엑스오픈 | 1.0.0 |
| 엑스테이블 | 1.8-4 | YAML (야믈) | 2.2.0 | 지얼럿 | 0.1.0 |
| 지퍼 | 2.0.4 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr (구문 분석 도구) | antlr (구문 분석 도구) | 2.7.7 |
| com.amazonaws | 아마존 키네시스 클라이언트 (amazon-kinesis-client) | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | AWS Java SDK 구성 | 1.11.595 |
| com.amazonaws | aws-java-sdk-core (AWS 자바 SDK 코어) | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr (아우스-자바-sdk-emr) | 1.11.595 |
| com.amazonaws | AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue (AWS 자바 SDK 글루) | 1.11.595 |
| com.amazonaws | AWS 자바 SDK IAM | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms (AWS 자바 SDK KMS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs (AWS 자바 SDK 로그) | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-머신러닝 | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-지원 | 1.11.595 |
| com.amazonaws | AWS Java SDK SWF 라이브러리 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces (AWS Java SDK 작업 공간) | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 스트림 | 2.7.0 |
| com.databricks | Rserve (R서브) | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-테스트 | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded (크리오 쉐이디드) | 4.0.2 |
| com.esotericsoftware | 민로그 | 1.3.0 |
| com.fasterxml | 동급생 | 1.0.0 |
| com.fasterxml.jackson.core | 잭슨 애노테이션즈 | 2.6.7 |
| com.fasterxml.jackson.core | 잭슨-코어 | 2.6.7 |
| com.fasterxml.jackson.core | 잭슨 데이터바인드 (jackson-databind) | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) | 2.6.7 |
| com.fasterxml.jackson.datatype | 잭슨 데이터타입 조다 (jackson-datatype-joda) | 2.6.7 |
| com.fasterxml.jackson.module | 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 (자바 스칼라 모듈) | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | 네이티브_레퍼런스-자바 | 1.1 |
| com.github.fommil.netlib | 네이티브_레퍼런스-자바-네이티브스 | 1.1 |
| com.github.fommil.netlib | native_system-java (네이티브 시스템 자바) | 1.1 |
| com.github.fommil.netlib | 네이티브 시스템-자바-네이티브스 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson (JSON 처리를 위한 자바 라이브러리) | 2.2.4 |
| com.google.guava | 구아바 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.릴리스 |
| com.microsoft.azure | azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) | 2.2.8 |
| com.microsoft.azure | Azure 스토리지 | 7.0.0 |
| com.microsoft.sqlserver (마이크로소프트 SQL 서버) | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf (압축 알고리즘 LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | 파라네이머 | 2.8 |
| com.trueaccord.lenses | 렌즈_2.11 | 0.3 |
| com.twitter (도메인 이름) | chill-java (칠자바) | 0.9.3 |
| com.twitter (도메인 이름) | 추운_2.11 | 0.9.3 |
| com.twitter (도메인 이름) | parquet-hadoop-bundle (파케-하둡 번들) | 1.6.0 |
| com.twitter (도메인 이름) | util-app_2.11 | 6.23.0 |
| com.twitter (도메인 이름) | util-core_2.11 | 6.23.0 |
| com.twitter (도메인 이름) | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 환경 설정 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 (기술 관련 설명이 필요할 경우 추가) | 2.1.2 |
| com.univocity | univocity-parsers (유니보시티-파서스) | 2.7.3 |
| com.vlkan | 플랫버퍼스 | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec (커먼즈 코덱) | commons-codec (커먼즈 코덱) | 1.10 |
| 코먼스-컬렉션즈 | 코먼스-컬렉션즈 | 3.2.2 |
| 커먼즈-구성 설정 | 커먼즈-구성 설정 | 1.6 |
| 커먼즈-DBCP | 커먼즈-DBCP | 1.4 |
| commons-digester (커먼스-다이제스터) | commons-digester (커먼스-다이제스터) | 1.8 |
| 커먼즈-HTTP 클라이언트 | 커먼즈-HTTP 클라이언트 | 3.1 |
| commons-io | commons-io | 2.4 |
| 커먼즈-랭 | 커먼즈-랭 | 2.6 |
| commons-logging (커먼즈 로깅) | commons-logging (커먼즈 로깅) | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool (커먼즈 풀) | commons-pool (커먼즈 풀) | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | 에어컴프레서 | 0.10 |
| io.dropwizard.metrics | metrics-core (메트릭스 코어) | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-갱글리아 (metrics-ganglia) | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-그래파이트 (metrics-graphite) | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-헬스체크 | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-젯티9 | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-JSON | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm (메트릭스-JVM) | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-로그4j | 3.1.5 |
| io.dropwizard.metrics | 메트릭스-서블릿 | 3.1.5 |
| io.netty | netty (네티) | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | 활성화 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api (자바 API) | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta (자바 트랜잭션 API) | 1.1 |
| javax.validation (자바 프로그래밍 패키지) | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| .stream javax.xml | stax-api | 1.0-2 |
| 자볼루션 | 자볼루션 | 5.5.1 |
| 제이라인 | 제이라인 | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | 아이겐베이스 속성 | 1.1.5 |
| net.razorvine | 파이라이트 (pyrolite) | 4.13 |
| net.sf.jpam | 제이팜 | 1.1 |
| net.sf.opencsv | opencsv (오픈CSV 라이브러리) | 2.3 |
| net.sf.supercsv | 슈퍼-CSV | 2.2.0 |
| 네트.스노우플레이크 | snowflake-ingest SDK (소프트웨어 개발 키트) | 0.9.6 |
| 네트.스노우플레이크 | snowflake-jdbc (스노우플레이크 JDBC) | 3.12.0 |
| 네트.스노우플레이크 | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_전체_결합 | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR 런타임 | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | 문자열템플릿 | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | 안트-런처 | 1.9.2 |
| org.apache.arrow | 화살표 형식 | 0.10.0 |
| org.apache.arrow | 어로우-메모리 | 0.10.0 |
| org.apache.arrow | 화살표 벡터 | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc (아브로 IPC) | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-인큐베이팅 중 |
| org.apache.calcite | 칼사이트-코어 | 1.2.0-인큐베이팅 중 |
| org.apache.calcite | calcite-linq4j | 1.2.0-인큐베이팅 중 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-컴프레스 | 1.8.1 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-크립토 | 1.0.0 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-랭3 (commons-lang3) | 3.5 |
| org.apache.commons (오픈 소스 자바 라이브러리) | 커먼즈-매쓰3 | 3.4.1 |
| org.apache.curator | 큐레이터-의뢰인 관계 | 2.7.1 |
| org.apache.curator | curator-framework (큐레이터 프레임워크) | 2.7.1 |
| org.apache.curator | 큐레이터의 레시피 | 2.7.1 |
| org.apache.derby | 더비 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | 애피-유틸 | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | 하둡 어노테이션 (hadoop-annotations) | 2.7.3 |
| org.apache.hadoop | 하둡 인증 (hadoop-auth) | 2.7.3 |
| org.apache.hadoop | 하둡 클라이언트 (hadoop-client) | 2.7.3 |
| org.apache.hadoop | hadoop-common (하둡-커먼) | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs (하둡 파일 시스템) | 2.7.3 |
| org.apache.hadoop | Hadoop MapReduce 클라이언트 애플리케이션 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common (해둡-맵리듀스-클라이언트-커먼) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core (하둡 맵리듀스 클라이언트 코어) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient (하둡 맵리듀스 클라이언트 잡클라이언트) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | 하둡 야른 클라이언트 (hadoop-yarn-client) | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common (하둡-야른-커먼) | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common (하둡 야른 서버 공통) | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-인큐베이팅 |
| org.apache.httpcomponents | HTTP 클라이언트 (httpclient) | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | 아이비 | 2.4.0 |
| org.apache.orc | 오크 코어 노하이브 | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive (오크-맵리듀스-노하이브) | 1.5.5 |
| org.apache.orc | orc-shims (오크-심스) | 1.5.5 |
| org.apache.parquet | 파케트 컬럼 | 1.10.1.2-databricks4 |
| org.apache.parquet | 파케-커먼 (parquet-common) | 1.10.1.2-databricks4 |
| org.apache.parquet | 파케트 인코딩 | 1.10.1.2-databricks4 |
| org.apache.parquet | 파케 형식 (parquet-format) | 2.4.0 |
| org.apache.parquet | 파켓-하둡 (parquet-hadoop) | 1.10.1.2-databricks4 |
| org.apache.parquet | 파케-잭슨 | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6 음영 처리 | 4.8 |
| org.apache.zookeeper | 동물 사육사 | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl (자바 라이브러리) | 1.9.13 |
| org.codehaus.jackson | 잭슨 잭서스 | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl (잭슨-매퍼-ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | 커먼스-컴파일러 | 3.0.10 |
| org.codehaus.janino | 자니노 | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | 데이터뉴클리어스-코어 | 3.2.10 |
| org.datanucleus | datanucleus-rdbms (데이터누클리어스-알디비엠에스) | 3.2.9 |
| org.eclipse.jetty | jetty-client (제티 클라이언트) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티-컨티뉴에이션 (Jetty-Continuation) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티-HTTP (Jetty-HTTP) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi (제티-JNDI) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티-플러스 (jetty-plus) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy (제티 프록시) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티-시큐리티 (jetty-security) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티 서버 (Jetty Server) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티 서블릿(jetty-servlets) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티 유틸 (jetty-util) | 9.3.27.v20190418 |
| org.eclipse.jetty | 제티 웹앱 (jetty-webapp) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2 위치 탐색기 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | OSGi 자원 탐색기 | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-재패키지 | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | 저지 과바 | 2.22.2 |
| org.glassfish.jersey.containers | Jersey 컨테이너 서블릿 (jersey-container-servlet) | 2.22.2 |
| org.glassfish.jersey.containers | 저지-컨테이너-서블릿-코어 | 2.22.2 |
| org.glassfish.jersey.core | 제르시 클라이언트 | 2.22.2 |
| org.glassfish.jersey.core | 저지-커먼 | 2.22.2 |
| org.glassfish.jersey.core | 저지 서버 (jersey-server) | 2.22.2 |
| org.glassfish.jersey.media | 저지-미디어-JAXB (그대로 사용할 경우 'Jersey Media JAXB') | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | Hamcrest 라이브러리 | 1.3 |
| org.hibernate | 하이버네이트 검증기 (hibernate-validator) | 5.1.1.Final |
| org.iq80.snappy | 경쾌한 | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging(로그 관리 시스템) | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert (조다 변환 라이브러리) | 1.7 |
| org.jodd | jodd-core (조드 코어 라이브러리) | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | MariaDB 자바 클라이언트 | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | 옵제네시스 (objenesis) | 2.5.1 |
| org.postgresql | PostgreSQL (포스트그레에스큐엘) | 42.1.4 |
| org.roaringbitmap | 로어링비트맵 (RoaringBitmap) | 0.7.45 |
| org.roaringbitmap | 간격 조정용 판 | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-라이브러리_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | 테스트 인터페이스 | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) | 1.2.1.spark2 |
| org.spark-project.hive | hive-CLI | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc (하이브 JDBC) | 1.2.1.spark2 |
| org.spark-project.hive | 하이브 메타스토어 (hive-metastore) | 1.2.1.spark2 |
| org.spark-project.spark | 사용하지 않음 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | 스프링-코어 | 4.1.4.RELEASE |
| org.springframework | 스프링 테스트 | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | 기계공_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 (매크로 호환_2.11) | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | 스네이크야AML (snakeyaml) | 1.16 |
| 금 | 금 | 2.0.8 |
| software.amazon.ion | ion-java (아이온-자바) | 1.0.2 |
| 스택스 (Stax) | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |