비고
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Machine Learning용 Databricks Runtime 11.3 LTS는 Databricks Runtime 11.3 LTS(EoS)를 기반으로 머신 러닝 및 데이터 과학을 위한 사용 준비가 된 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 비롯한 많은 인기 있는 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
비고
LTS 는 이 버전이 장기적인 지원을 받고 있다는 것을 의미합니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.
Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks의 AI 및 기계 학습을 참조하세요.
새로운 기능 및 개선 사항
Databricks Runtime 11.3 LTS ML은 Databricks Runtime 11.3 LTS를 기반으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 11.3 LTS의 새로운 기능과 관련된 자세한 내용은 Databricks Runtime 11.3 LTS(EoS) 릴리스 정보를 참조하세요.
AutoML의 향상된 기능
이제 AutoML은 AutoML 실험에서 기존 기능 저장소 기능 테이블의 사용을 지원합니다. 자세한 내용은 AutoML 기능 저장소 통합을 참조하세요.
이제 AutoML에서 생성된 평가판 Notebook에는 사용자가 하이퍼 매개 변수 튜닝을 다시 실행할 수 있는 코드 조각이 포함되어 있습니다.
이제 AutoML에서 DecimalType 기능을 지원합니다.
버그 수정
Databricks Runtime 11.3 LTS ML에는 업그레이드된 버전의 sparkdl.xgboost. 이전 버전 sparkdl.xgboost 에는 이 릴리스에서 수정된 버그가 포함되어 있으므로 Databricks는 라이브러리 사용자가 Databricks Runtime 11.3 LTS ML로 업그레이드하는 것이 좋습니다.
향후 릴리스 준비
Databricks 런타임 ML의 예정된 릴리스에는 sklearn 버전 1.0이 포함될 것입니다.
sklearn 이 변경에 대비하는 방법에 대한 자세한 내용은 설명서를 참조하세요.
Databricks Runtime ML에는 두 개의 openblas 패키지가 포함되어 있습니다. 이 /opt/OpenBLAS 패키지는 Databricks Runtime 11.3 LTS ML에서 더 이상 사용되지 않으며 향후 릴리스에서 제거될 예정입니다.
시스템 환경
Databricks Runtime 11.3 LTS ML의 시스템 환경은 다음과 같이 Databricks Runtime 11.3 LTS와 다릅니다.
-
DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
대신
%pip명령을 사용합니다. 노트북 범위의 파이썬 라이브러리를 참조하세요. - GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML에는 컴퓨팅 기능이 5.2 이하인 GPU 클러스터를 지원하지 않는 XGBoost 1.6.1이 포함되어 있습니다.
Libraries
다음 섹션에서는 Databricks Runtime 11.3 LTS에 포함된 라이브러리와 다른 Databricks Runtime 11.3 LTS ML에 포함된 라이브러리를 나열합니다.
이 섹션에서는 다음을 수행합니다.
최상위 계층 라이브러리
Databricks Runtime 11.3 LTS ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- 호로보드 및 호로보드러너
- MLflow
- PyTorch
- spark-tensorflow-connector (스파크-텐서플로우-커넥터)
- Tensorflow
- TensorBoard
- Scikit-learn
Python 라이브러리
Databricks Runtime 11.3 LTS ML은 Python 패키지 관리를 위해 Virtualenv를 사용하며 널리 사용되는 많은 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 11.3 LTS ML에는 다음 패키지가 포함되어 있습니다.
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-11.3.txt 파일을 다운로드하고 실행 pip install -r requirements-11.3.txt합니다. 이 명령은 Databricks Runtime ML이 사용하는 모든 오픈 소스 라이브러리를 설치하지만 databricks-automl, databricks-feature-store 또는 hyperopt의 Databricks 포크와 같은 Databricks에서 개발한 라이브러리는 설치하지 않습니다.
CPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | 아스토르 | 0.8.1 |
| astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 비동기 제너레이터 (async-generator) | 1.10 | 속성들 | 21.2.0 |
| 애저 코어 | 1.22.1 | azure-cosmos | 4.2.0 | 역호출 | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt (비크립트) | 4.0.0 | 검정색 | 22.3.0 |
| 표백제 | 4.0.0 | 블리스 | 0.7.8 | boto3 | 1.21.18 |
| 보토코어 | 1.24.18 | 캐시툴즈 (cachetools) | 5.2.0 | 카탈로그 | 2.0.8 |
| 서티피 | 2021.10.8 | cffi | 1.14.6 | 챠데트 | 4.0.0 |
| 문자셋 정규화기 | 2.0.4 | 클릭하세요 | 8.0.3 | cloudpickle (클라우드피클) | 2.0.0 |
| cmdstanpy | 0.9.68 | 과자 | 0.0.1 | 컨피그파서 | 5.2.0 |
| 변환날짜 | 2.4.0 | 암호화 | 3.4.8 | 자전거 타는 사람 | 0.10.0 |
| 사이멤 | 2.0.6 | 사이톤 (Cython) | 0.29.24 | 데이터브릭스-오토ML-런타임 | 0.2.11 |
| databricks-cli (데이터브릭스 명령줄 인터페이스) | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | 장식자 | 5.1.0 | defusedxml (디퓨즈드 XML) | 0.7.1 |
| 딜 | 0.3.4 | 디스크 캐시 (disk cache) | 5.4.0 | distlib (디스트립 라이브러리) | 0.3.6 |
| 진입 지점 | 0.3 | 에펨 | 4.1.3 | 구성 요소 개요 | 1.0.0 |
| 패스트텍스트 (fasttext) | 0.9.2 | 파일 잠금 | 3.3.1 | 플라스크 (Flask) | 1.1.2 |
| 플랫버퍼스 | 1.12 | fsspec | 2021년 8월 1일 | 미래 | 0.18.2 |
| 가스트 | 0.4.0 | GitDB (기트 데이터베이스) | 4.0.9 | GitPython | 3.1.27 |
| 구글 인증 (google-auth) | 2.6.0 | google-auth-oauthlib (구글 인증 OAuth 라이브러리) | 0.4.6 | 구글-파스타 | 0.2.0 |
| grpcio (Python용 gRPC 패키지) | 1.44.0 | gunicorn (구니콘) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | 히지리 변환기 | 2.2.4 | 휴일 | 0.15 |
| 호로보드 (Horovod) | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub (허깅페이스 허브) | 0.9.1 |
| 아이드나 | 3.2 | 이미지해시 | 4.3.0 | imbalanced-learn (불균형 데이터 학습 도구) | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.7.0 | 아이소데이트 (isodate) | 0.6.1 |
| 위험하다 | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib (잡리브) | 1.0.1 | joblibspark | 0.5.0 |
| JSON 스키마 | 3.2.0 | 주피터-클라이언트 (jupyter-client) | 6.1.12 | jupyter-core (주피터 핵심) | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | 주피터랩 위젯 | 1.0.0 | 케라스 | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | 키위솔버 (kiwisolver) | 1.3.1 | 한국 음력 달력 | 0.3.1 |
| 언어 코드 | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | 음력 달력 | 0.0.9 | 마코 (Mako) | 1.2.0 |
| 마크다운 | 3.3.6 | MarkupSafe (마크업세이프) | 2.0.1 | matplotlib (매트플롯립) | 3.4.3 |
| matplotlib-inline (매트플롯립-인라인) | 0.1.2 | 미싱노 (missingno) | 0.5.1 | 미스튠 (Mistune) | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | 멀티메소드 | 1.9 |
| 머머해시 (murmurhash) | 1.0.8 | mypy-extensions (마이파이-익스텐션) | 0.4.3 | nb클라이언트 | 0.5.3 |
| nbconvert | 6.1.0 | nb포맷 (nbformat) | 5.1.3 | nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.1 |
| 네트워크엑스 | 2.6.3 | nltk (자연언어처리 도구) | 3.6.5 | notebook | 6.4.5 |
| 넘바 | 0.54.1 | numpy (파이썬의 수치 계산용 라이브러리) | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | 패키징 | 21.0 | 팬더 | 1.3.4 |
| 팬더스 프로파일링 | 3.1.0 | pandocfilters | 1.4.3 | 판미코 (Paramiko라는 Python 라이브러리) | 2.9.2 |
| 파르소 | 0.8.2 | 패스스펙 (pathspec) | 0.9.0 | 병 | 0.6.2 |
| 바보 | 0.5.2 | 페타스톰 | 0.11.4 | pexpect (피엑스펙트) | 4.8.0 |
| 피크 (phik) | 0.12.2 | 픽클쉐어 | 0.7.5 | 베개 | 8.4.0 |
| 파이썬 패키지 설치 도구 pip | 21.2.4 | 플랫폼 디렉토리 | 2.5.2 | plotly (데이터 시각화 라이브러리) | 5.9.0 |
| pmdarima | 1.8.5 | 프레쉐드 | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit (프롬프트 도구 키트) | 3.0.20 | 예언자 | 1.0.1 | 프로토버프 (protobuf) | 3.19.4 |
| psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) | 5.8.0 | psycopg2 | 2.9.3 | PtyProcess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2.20 | pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) | 1.9.2 |
| 파이그먼츠 | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing (파이썬 파싱 라이브러리) | 3.0.4 | pyrsistent | 0.18.0 | 피스탄 | 2.19.1.1 |
| python-dateutil (파이썬 날짜 유틸) | 2.8.2 | 파이썬 편집기 | 1.0.4 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6.0 | pyzmq | 22.2.1 |
| 정규식 | 2021년 8월 3일 | 요청사항 | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket (요청-유닉스소켓) | 0.2.0 | RSA (암호화 알고리즘) | 4.9 | s3transfer | 0.5.2 |
| scikit-learn (파이썬 머신러닝 라이브러리) | 0.24.2 | scipy (과학 컴퓨팅 라이브러리) | 1.7.1 | 바다에서 태어난 | 0.11.3 |
| Send2Trash | 1.8.0 | setuptools (셋업툴즈) | 58.0.4 | setuptools-git | 1.2 |
| 샤프 | 0.41.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| 절단기 | 0.0.7 | 스마트-오픈 | 5.2.1 | 스맵 | 5.0.0 |
| 스페이시 | 3.4.1 | 스페이시-레거시 | 3.0.10 | 스페이시 로거즈 | 1.0.3 |
| 스파크-텐서플로-디스트리뷰터 | 1.0.0 | sqlparse | 0.4.2 | 진심? | 2.4.4 |
| ssh-import-id 명령어 | 5.10 | statsmodels (파이썬 통계 모형 라이브러리) | 0.12.2 | 표로 정리하다 | 0.8.9 |
| 유니코드에 얽히다 | 0.1.0 | 끈기 | 8.0.1 | 텐서보드 | 2.9.1 |
| tensorboard-data-server (텐서보드 데이터 서버) | 0.6.1 | tensorboard-plugin-profile (텐서보드 플러그인 프로파일) | 2.8.0 | tensorboard-plugin-wit (텐서보드 플러그인 위트) | 1.8.1 |
| 텐서플로-CPU | 2.9.1 | 텐서플로우 에스티메이터 (tensorflow-estimator) | 2.9.0 | tensorflow-io-gcs-filesystem (텐서플로우 입출력-GCS 파일 시스템) | 0.27.0 |
| 터칼라 (termcolor) | 2.0.1 | 끝났다 | 0.9.4 | 테스트 경로 | 0.5.0 |
| 띵크 | 8.1.2 | threadpoolctl | 2.2.0 | 토크나이즈-RT | 4.2.1 |
| 토크나이저 | 0.12.1 | tomli | 2.0.1 | 횃불 | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | 토네이도 | 6.1 | tqdm | 4.62.3 |
| 트레잇렛츠 | 5.1.0 | 변압기 | 4.21.2 | 타이퍼 | 0.4.2 |
| 타이핑 확장 모듈 (typing-extensions) | 3.10.0.2 | ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) | 4.0.2 | 사용자 개입 없는 자동 업데이트 | 0.1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | 비전 | 0.7.4 |
| 와사비 | 0.10.1 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | 웹인코딩 | 0.5.1 |
| 웹소켓 클라이언트 (websocket-client) | 1.3.1 | 도구 | 2.0.2 | 바퀴 | 0.37.0 |
| widgetsnbextension (위젯 확장 프로그램) | 3.6.0 | 감싼 | 1.12.1 | xgboost | 1.6.2 |
| 지프 | 3.6.0 |
GPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | 아스토르 | 0.8.1 |
| astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 비동기 제너레이터 (async-generator) | 1.10 | 속성들 | 21.2.0 |
| 애저 코어 | 1.22.1 | azure-cosmos | 4.2.0 | 역호출 | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | bcrypt (비크립트) | 4.0.0 | 검정색 | 22.3.0 |
| 표백제 | 4.0.0 | 블리스 | 0.7.8 | boto3 | 1.21.18 |
| 보토코어 | 1.24.18 | 캐시툴즈 (cachetools) | 5.2.0 | 카탈로그 | 2.0.8 |
| 서티피 | 2021.10.8 | cffi | 1.14.6 | 챠데트 | 4.0.0 |
| 문자셋 정규화기 | 2.0.4 | 클릭하세요 | 8.0.3 | cloudpickle (클라우드피클) | 2.0.0 |
| cmdstanpy | 0.9.68 | 과자 | 0.0.1 | 컨피그파서 | 5.2.0 |
| 변환날짜 | 2.4.0 | 암호화 | 3.4.8 | 자전거 타는 사람 | 0.10.0 |
| 사이멤 | 2.0.6 | 사이톤 (Cython) | 0.29.24 | 데이터브릭스-오토ML-런타임 | 0.2.11 |
| databricks-cli (데이터브릭스 명령줄 인터페이스) | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | 장식자 | 5.1.0 | defusedxml (디퓨즈드 XML) | 0.7.1 |
| 딜 | 0.3.4 | 디스크 캐시 (disk cache) | 5.4.0 | distlib (디스트립 라이브러리) | 0.3.6 |
| 진입 지점 | 0.3 | 에펨 | 4.1.3 | 구성 요소 개요 | 1.0.0 |
| 패스트텍스트 (fasttext) | 0.9.2 | 파일 잠금 | 3.3.1 | 플라스크 (Flask) | 1.1.2 |
| 플랫버퍼스 | 1.12 | fsspec | 2021년 8월 1일 | 미래 | 0.18.2 |
| 가스트 | 0.4.0 | GitDB (기트 데이터베이스) | 4.0.9 | GitPython | 3.1.27 |
| 구글 인증 (google-auth) | 2.6.0 | google-auth-oauthlib (구글 인증 OAuth 라이브러리) | 0.4.6 | 구글-파스타 | 0.2.0 |
| grpcio (Python용 gRPC 패키지) | 1.44.0 | gunicorn (구니콘) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | 히지리 변환기 | 2.2.4 | 휴일 | 0.15 |
| 호로보드 (Horovod) | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub (허깅페이스 허브) | 0.9.1 |
| 아이드나 | 3.2 | 이미지해시 | 4.3.0 | imbalanced-learn (불균형 데이터 학습 도구) | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.7.0 | 아이소데이트 (isodate) | 0.6.1 |
| 위험하다 | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib (잡리브) | 1.0.1 | joblibspark | 0.5.0 |
| JSON 스키마 | 3.2.0 | 주피터-클라이언트 (jupyter-client) | 6.1.12 | jupyter-core (주피터 핵심) | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | 주피터랩 위젯 | 1.0.0 | 케라스 | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | 키위솔버 (kiwisolver) | 1.3.1 | 한국 음력 달력 | 0.3.1 |
| 언어 코드 | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | 음력 달력 | 0.0.9 | 마코 (Mako) | 1.2.0 |
| 마크다운 | 3.3.6 | MarkupSafe (마크업세이프) | 2.0.1 | matplotlib (매트플롯립) | 3.4.3 |
| matplotlib-inline (매트플롯립-인라인) | 0.1.2 | 미싱노 (missingno) | 0.5.1 | 미스튠 (Mistune) | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | 멀티메소드 | 1.9 |
| 머머해시 (murmurhash) | 1.0.8 | mypy-extensions (마이파이-익스텐션) | 0.4.3 | nb클라이언트 | 0.5.3 |
| nbconvert | 6.1.0 | nb포맷 (nbformat) | 5.1.3 | nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.1 |
| 네트워크엑스 | 2.6.3 | nltk (자연언어처리 도구) | 3.6.5 | notebook | 6.4.5 |
| 넘바 | 0.54.1 | numpy (파이썬의 수치 계산용 라이브러리) | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | 패키징 | 21.0 | 팬더 | 1.3.4 |
| 팬더스 프로파일링 | 3.1.0 | pandocfilters | 1.4.3 | 판미코 (Paramiko라는 Python 라이브러리) | 2.9.2 |
| 파르소 | 0.8.2 | 패스스펙 (pathspec) | 0.9.0 | 병 | 0.6.2 |
| 바보 | 0.5.2 | 페타스톰 | 0.11.4 | pexpect (피엑스펙트) | 4.8.0 |
| 피크 (phik) | 0.12.2 | 픽클쉐어 | 0.7.5 | 베개 | 8.4.0 |
| 파이썬 패키지 설치 도구 pip | 21.2.4 | 플랫폼 디렉토리 | 2.5.2 | plotly (데이터 시각화 라이브러리) | 5.9.0 |
| pmdarima | 1.8.5 | 프레쉐드 | 3.0.7 | prompt-toolkit (프롬프트 도구 키트) | 3.0.20 |
| 예언자 | 1.0.1 | 프로토버프 (protobuf) | 3.19.4 | psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) | 5.8.0 |
| psycopg2 | 2.9.3 | PtyProcess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2.20 | pydantic (파이썬 데이터 검증 및 설정 관리 라이브러리) | 1.9.2 | 파이그먼츠 | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | pyparsing (파이썬 파싱 라이브러리) | 3.0.4 |
| pyrsistent | 0.18.0 | 피스탄 | 2.19.1.1 | python-dateutil (파이썬 날짜 유틸) | 2.8.2 |
| 파이썬 편집기 | 1.0.4 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | 정규식 | 2021년 8월 3일 |
| 요청사항 | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket (요청-유닉스소켓) | 0.2.0 |
| RSA (암호화 알고리즘) | 4.9 | s3transfer | 0.5.2 | scikit-learn (파이썬 머신러닝 라이브러리) | 0.24.2 |
| scipy (과학 컴퓨팅 라이브러리) | 1.7.1 | 바다에서 태어난 | 0.11.3 | Send2Trash | 1.8.0 |
| setuptools (셋업툴즈) | 58.0.4 | setuptools-git | 1.2 | 샤프 | 0.41.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | 절단기 | 0.0.7 |
| 스마트-오픈 | 5.2.1 | 스맵 | 5.0.0 | 스페이시 | 3.4.1 |
| 스페이시-레거시 | 3.0.10 | 스페이시 로거즈 | 1.0.3 | 스파크-텐서플로-디스트리뷰터 | 1.0.0 |
| sqlparse | 0.4.2 | 진심? | 2.4.4 | ssh-import-id 명령어 | 5.10 |
| statsmodels (파이썬 통계 모형 라이브러리) | 0.12.2 | 표로 정리하다 | 0.8.9 | 유니코드에 얽히다 | 0.1.0 |
| 끈기 | 8.0.1 | 텐서보드 | 2.9.1 | tensorboard-data-server (텐서보드 데이터 서버) | 0.6.1 |
| tensorboard-plugin-profile (텐서보드 플러그인 프로파일) | 2.8.0 | tensorboard-plugin-wit (텐서보드 플러그인 위트) | 1.8.1 | tensorflow | 2.9.1 |
| 텐서플로우 에스티메이터 (tensorflow-estimator) | 2.9.0 | tensorflow-io-gcs-filesystem (텐서플로우 입출력-GCS 파일 시스템) | 0.27.0 | 터칼라 (termcolor) | 2.0.1 |
| 끝났다 | 0.9.4 | 테스트 경로 | 0.5.0 | 띵크 | 8.1.2 |
| threadpoolctl | 2.2.0 | 토크나이즈-RT | 4.2.1 | 토크나이저 | 0.12.1 |
| tomli | 2.0.1 | 횃불 | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| 토네이도 | 6.1 | tqdm | 4.62.3 | 트레잇렛츠 | 5.1.0 |
| 변압기 | 4.21.2 | 타이퍼 | 0.4.2 | 타이핑 확장 모듈 (typing-extensions) | 3.10.0.2 |
| ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) | 4.0.2 | 사용자 개입 없는 자동 업데이트 | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | 비전 | 0.7.4 | 와사비 | 0.10.1 |
| wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 1.3.1 |
| 도구 | 2.0.2 | 바퀴 | 0.37.0 | widgetsnbextension (위젯 확장 프로그램) | 3.6.0 |
| 감싼 | 1.12.1 | xgboost | 1.6.2 | 지프 | 3.6.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 11.3 LTS의 R 라이브러리 와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 11.3 LTS의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 11.3 LTS ML에는 다음 JAR이 포함됩니다.
CPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | Spark 텐서플로우 커넥터_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | Spark 텐서플로우 커넥터_2.12 | 1.15.0 |