共用方式為


Databricks Runtime 10.4 LTS for Machine Learning (EoS)

備註

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期,請參閱終止支援歷程記錄。 如需查看所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本說明和相容性

Databricks Runtime 10.4 LTS for Machine Learning 提供以 Databricks Runtime 10.4 LTS (EoS) 為基礎的機器學習和數據科學就緒to-go 環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫,包括 TensorFlow、PyTorch 以及 XGBoost。 Databricks Runtime ML 包含 AutoML,這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。

如需詳細資訊,包括建立 Databricks Runtime ML 叢集的指示,請參閱 Databricks 上的 AI 和機器學習

新功能和改善

Databricks Runtime 10.4 LTS ML 是以 Databricks Runtime 10.4 LTS 為基礎而建置。 如需 Databricks Runtime 10.4 LTS 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 10.4 LTS (EoS) 版本資訊。

AutoML 的增強功能

已對AutoML進行下列增強。

AutoML 正式推出

從 Databricks Runtime 10.4 LTS ML 開始,AutoML 已正式推出。

遺漏值的插補

您現在可以指定 Null 值插補的方式。 根據預設,AutoML 會根據數據行類型和內容選取插補方法。 如需詳細資訊,請參閱插補遺漏值。)。

從 UI 選取資料欄

針對分類和迴歸問題,您現在除了 API 之外,還可以使用 UI 來指定 AutoML 在計算期間應該略過的資料欄。 請參閱資料欄選取

新資料類型

AutoML 現在支援數值陣列類型。

產生的筆記本和實驗的自訂位置

您現在可以在工作區中指定 AutoML 應該儲存產生的筆記本和實驗的位置。 請使用 experiment_dir 參數。 請參閱 AutoML Python API 參考

Databricks 功能庫的強化

我們已對 Databricks 功能存放區進行下列增強。

系統環境

Databricks Runtime 10.4 LTS ML 中的系統環境與 Databricks Runtime 10.4 LTS 有所不同,如下所示:

圖書館

下列各節列出 Databricks Runtime 10.4 LTS ML 中包括的程式庫,與 Databricks Runtime 10.4 LTS 中包括的程式庫不同。

本節內容:

頂級圖書館

Databricks Runtime 10.4 LTS ML 包括下列頂層程式庫

Python 程式庫

Databricks Runtime 10.4 LTS ML 使用 Virtualenv 進行 Python 套件管理,且包括許多熱門 ML 套件。

除了下列各章節中指定的套件之外,Databricks Runtime 10.4 LTS ML 也包括下列套件:

  • Hyperopt 0.2.7.db1
  • SparkDL 2.2.0-DB5
  • feature_store 0.3.8
  • AutoML 1.7.2

CPU 叢集上的 Python 函式庫

若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-10.4.txt 檔案並執行 pip install -r requirements-10.4.txt。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼程式庫,但不會安裝 Azure Databricks 所開發的程式庫,例如 databricks-automldatabricks-feature-storehyperopt 的 Databricks 派生。

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 0.11.0 Antergos Linux 2015年10月 (ISO-Rolling) 應用程式目錄 (appdirs) 1.4.4
argon2-cffi 20.1.0 阿斯托 0.8.1 astunparse 1.6.3
非同步生成器 1.10 屬性 (attrs) 20.3.0 backcall(回呼) 0.2.0
bcrypt(密碼加密算法) 3.2.0 雙向字典 (bidict) 0.21.4 漂白劑 3.3.0
極樂 0.7.4 boto3 1.16.7 botocore(AWS的Python程式庫) 1.19.7
cachetools(緩存工具) 4.2.4 目錄 2.0.6 certifi 2020.12.5
cffi 1.14.5 chardet 4.0.0 點選 7.1.2
cloudpickle(Python 程式庫) 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
轉換日期 2.3.2 加密 3.4.7 騎車者 0.10.0
cymem 2.0.5 Cython 0.29.23 databricks-automl-runtime 0.2.6
databricks-cli 0.16.3 dbl-tempo 0.1.2 dbus-python 1.2.16
裝飾項目 5.0.6 defusedxml(安全解析XML的Python函式庫) 0.7.1 蒔蘿 0.3.2
磁碟緩存 5.2.1 distlib 0.3.4 distro-info 0.23ubuntu1
入口點 0.3 ephem 4.1.3 facets概覽 1.0.0
fasttext 0.9.2 文件鎖 3.0.12 Flask 1.1.2
FlatBuffers 2.0 fsspec 0.9.0 未來 0.18.2
gast 0.4.0 gitdb (Git分散式版本控制資料庫) 4.0.7 GitPython 3.1.12
google-auth(谷歌身份驗證) 1.22.1 google-auth-oauthlib 0.4.2 google-pasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 希吉里轉換器 2.2.3 假期 0.12
Horovod 0.23.0 htmlmin(HTML最小化工具) 0.1.12 HuggingFace-Hub 平台 0.1.2
IDNA 2.10 圖像哈希 (ImageHash) 4.2.1 不平衡學習(imbalanced-learn) 0.8.1
importlib-metadata (匯入庫-元資料) 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 7.6.3 isodate 0.6.0
這很危險 1.1.0 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.3.0
jsonschema 3.2.0 Jupyter 客戶端 6.1.12 jupyter-core核心模組 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets(JupyterLab 元件) 1.0.0 keras 2.8.0
Keras-Preprocessing(Keras 預處理) 1.1.2 kiwisolver(開源程式庫) 1.3.1 考拉 1.8.2
韓國陰曆 0.2.1 語言代碼 3.3.0 libclang 13.0.0
lightgbm 3.3.2 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 迷失號 (missingno) 0.5.1 米斯圖恩 0.8.4
mleap 0.18.1 mlflow-skinny 1.24.0 多元方法 1.7
MurmurHash(穆默爾哈希) 1.0.5 「nbclient」 0.5.3 nbconvert(文件轉換工具) 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx(網路結構處理工具庫) 2.5
自然語言工具包 (NLTK) 3.6.1 筆記本 6.3.0 Numba(Python效能提升函式庫) 0.55.1
numpy(數值計算套件) 1.20.1 oauthlib (OAuth程式庫) 3.1.0 opt-einsum 3.3.0
包裝 21.3 熊貓 1.2.4 pandas-profiling 3.1.0
pandocfilters (潘多克過濾器) 1.4.3 paramiko 2.7.2 帕爾索 0.7.0
病變 0.6.0 替罪羊 0.5.1 Petastorm 0.11.4
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.0 皮克爾共享 (Pickleshare) 0.7.5
枕頭 8.2.0 pip(Python 軟體包管理工具) 21.0.1 plotly(數據可視化工具) 5.5.0
pmdarima 1.8.4 預處理 3.0.5 prometheus-client 0.10.1
prompt-toolkit(提示工具組) 3.0.17 先知 1.0.1 協議緩衝區 (Protocol Buffers) 3.17.2
psutil 5.8.0 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.9.1 pycparser(Python 的 C 語法分析器) 2.20 pydantic(Python 數據驗證工具) 1.8.2
Pygments 2.8.1 PyGObject 3.36.0 PyMeeus 0.5.11
PyNaCl 1.4.0 pyodbc 4.0.30 pyparsing(Python 字符串解析库) 2.4.7
pyrsistent(持續性資料庫的Python函式庫) 0.17.3 pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7
python-dateutil 2.8.1 Python 編輯器 (python-editor) 1.0.4 python-engineio 4.3.0
python-socketio 5.4.1 pytz(Python 的時區計算函式庫) 2020.5 PyWavelets 1.1.1
PyYAML 5.4.1 pyzmq 20.0.0 Regex 2021.4.4
要求 2.25.1 requests-oauthlib 1.3.0 requests-unixsocket 0.2.0
RSA加密算法 4.7.2 s3transfer 0.3.7 sacremoses 0.0.46
scikit-learn(機器學習套件) 0.24.1 scipy科學計算庫 1.6.2 海上出生 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 setuptools-git 1.2
沙普 0.40.0 simplejson 3.17.2 1.15.0
交叉分析篩選器 0.0.7 smart-open 5.2.0 smmap 3.0.5
寬敞 3.2.1 spacy-legacy 3.0.8 spacy-loggers 1.0.1
spark-tensorflow-distributor (Spark TensorFlow 分發工具) 1.0.0 sqlparse(資料庫語法解析器) 0.4.1 認真? 2.4.1
ssh-import-id(匯入 SSH ID) 5.10 statsmodels (統計模型庫) 0.12.2 整理成表格 0.8.7
困在Unicode裡 0.1.0 堅韌性 6.2.0 TensorBoard(張量計算板) 2.8.0
TensorBoard資料伺服器 0.6.1 TensorBoard-插件-配置文件 2.5.0 tensorboard-plugin-wit(TensorBoard 插件 WIT) 1.8.1
tensorflow-cpu 2.8.0 TensorFlow 估計器 2.8.0 tensorflow-io-gcs-filesystem 0.24.0
termcolor 1.1.0 結束了 0.9.4 測試路徑 0.4.4
tf-estimator-nightly 2.8.0.dev2021122109 thinc 8.0.12 threadpoolctl 2.1.0
分詞器 (tokenizers) 0.10.3 手電筒 1.10.2+cpu torchvision 視覺工具庫 0.11.3+cpu
龍捲風 6.1 tqdm 4.59.0 Traitlets 5.0.5
變壓器 4.16.2 打字員 0.3.2 typing-extensions(插入擴充) 3.7.4.3
ujson(超快速 JSON 解析庫) 4.0.2 無人看管自動升級 0.1 urllib3 1.25.11
virtualenv 20.4.1 願景 0.7.4 山葵 0.8.2
wcwidth(字符寬度函數) 0.2.5 網路編碼 0.5.1 WebSocket 客戶端 0.57.0
Werkzeug 1.0.1 Wheel 0.36.2 widgetsnbextension 3.5.1
包裹著 1.12.1 xgboost 1.5.2 拉鏈 3.4.1

GPU 叢集上的 Python 程式庫

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 0.11.0 Antergos Linux 2015年10月 (ISO-Rolling) 應用程式目錄 (appdirs) 1.4.4
argon2-cffi 20.1.0 阿斯托 0.8.1 astunparse 1.6.3
非同步生成器 1.10 屬性 (attrs) 20.3.0 backcall(回呼) 0.2.0
bcrypt(密碼加密算法) 3.2.0 雙向字典 (bidict) 0.21.4 漂白劑 3.3.0
極樂 0.7.4 boto3 1.16.7 botocore(AWS的Python程式庫) 1.19.7
cachetools(緩存工具) 4.2.4 目錄 2.0.6 certifi 2020.12.5
cffi 1.14.5 chardet 4.0.0 點選 7.1.2
cloudpickle(Python 程式庫) 1.6.0 cmdstanpy 0.9.68 configparser 5.0.1
轉換日期 2.3.2 加密 3.4.7 騎車者 0.10.0
cymem 2.0.5 Cython 0.29.23 databricks-automl-runtime 0.2.6
databricks-cli 0.16.3 dbl-tempo 0.1.2 dbus-python 1.2.16
裝飾項目 5.0.6 defusedxml(安全解析XML的Python函式庫) 0.7.1 蒔蘿 0.3.2
磁碟緩存 5.2.1 distlib 0.3.4 distro-info 0.23ubuntu1
入口點 0.3 ephem 4.1.3 facets概覽 1.0.0
fasttext 0.9.2 文件鎖 3.0.12 Flask 1.1.2
FlatBuffers 2.0 fsspec 0.9.0 未來 0.18.2
gast 0.4.0 gitdb (Git分散式版本控制資料庫) 4.0.7 GitPython 3.1.12
google-auth(谷歌身份驗證) 1.22.1 google-auth-oauthlib 0.4.2 google-pasta 0.2.0
grpcio 1.39.0 gunicorn 20.0.4 gviz-api 1.10.0
h5py 3.1.0 希吉里轉換器 2.2.3 假期 0.12
Horovod 0.23.0 htmlmin(HTML最小化工具) 0.1.12 HuggingFace-Hub 平台 0.1.2
IDNA 2.10 圖像哈希 (ImageHash) 4.2.1 不平衡學習(imbalanced-learn) 0.8.1
importlib-metadata (匯入庫-元資料) 3.10.0 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 7.6.3 isodate 0.6.0
這很危險 1.1.0 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 joblibspark 0.3.0
jsonschema 3.2.0 Jupyter 客戶端 6.1.12 jupyter-core核心模組 4.7.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets(JupyterLab 元件) 1.0.0 keras 2.8.0
Keras-Preprocessing(Keras 預處理) 1.1.2 kiwisolver(開源程式庫) 1.3.1 考拉 1.8.2
韓國陰曆 0.2.1 語言代碼 3.3.0 libclang 13.0.0
lightgbm 3.3.2 llvmlite 0.38.0 LunarCalendar 0.0.9
Mako 1.1.3 Markdown 3.3.3 MarkupSafe 2.0.1
matplotlib 3.4.2 迷失號 (missingno) 0.5.1 米斯圖恩 0.8.4
mleap 0.18.1 mlflow-skinny 1.24.0 多元方法 1.7
MurmurHash(穆默爾哈希) 1.0.5 「nbclient」 0.5.3 nbconvert(文件轉換工具) 6.0.7
nbformat 5.1.3 nest-asyncio 1.5.1 networkx(網路結構處理工具庫) 2.5
自然語言工具包 (NLTK) 3.6.1 筆記本 6.3.0 Numba(Python效能提升函式庫) 0.55.1
numpy(數值計算套件) 1.20.1 oauthlib (OAuth程式庫) 3.1.0 opt-einsum 3.3.0
包裝 21.3 熊貓 1.2.4 pandas-profiling 3.1.0
pandocfilters (潘多克過濾器) 1.4.3 paramiko 2.7.2 帕爾索 0.7.0
病變 0.6.0 替罪羊 0.5.1 Petastorm 0.11.4
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.0 皮克爾共享 (Pickleshare) 0.7.5
枕頭 8.2.0 pip(Python 軟體包管理工具) 21.0.1 plotly(數據可視化工具) 5.5.0
pmdarima 1.8.4 預處理 3.0.5 prompt-toolkit(提示工具組) 3.0.17
先知 1.0.1 協議緩衝區 (Protocol Buffers) 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.1
pycparser(Python 的 C 語法分析器) 2.20 pydantic(Python 數據驗證工具) 1.8.2 Pygments 2.8.1
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.4.0
pyodbc 4.0.30 pyparsing(Python 字符串解析库) 2.4.7 pyrsistent(持續性資料庫的Python函式庫) 0.17.3
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1
Python 編輯器 (python-editor) 1.0.4 python-engineio 4.3.0 python-socketio 5.4.1
pytz(Python 的時區計算函式庫) 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 Regex 2021.4.4 要求 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 RSA加密算法 4.7.2
s3transfer 0.3.7 sacremoses 0.0.46 scikit-learn(機器學習套件) 0.24.1
scipy科學計算庫 1.6.2 海上出生 0.11.1 Send2Trash 1.5.0
setuptools 52.0.0 setuptools-git 1.2 沙普 0.40.0
simplejson 3.17.2 1.15.0 交叉分析篩選器 0.0.7
smart-open 5.2.0 smmap 3.0.5 寬敞 3.2.1
spacy-legacy 3.0.8 spacy-loggers 1.0.1 spark-tensorflow-distributor (Spark TensorFlow 分發工具) 1.0.0
sqlparse(資料庫語法解析器) 0.4.1 認真? 2.4.1 ssh-import-id(匯入 SSH ID) 5.10
statsmodels (統計模型庫) 0.12.2 整理成表格 0.8.7 困在Unicode裡 0.1.0
堅韌性 6.2.0 TensorBoard(張量計算板) 2.8.0 TensorBoard資料伺服器 0.6.1
TensorBoard-插件-配置文件 2.5.0 tensorboard-plugin-wit(TensorBoard 插件 WIT) 1.8.1 TensorFlow 2.8.0
TensorFlow 估計器 2.8.0 tensorflow-io-gcs-filesystem 0.24.0 termcolor 1.1.0
結束了 0.9.4 測試路徑 0.4.4 tf-estimator-nightly 2.8.0.dev2021122109
thinc 8.0.12 threadpoolctl 2.1.0 分詞器 (tokenizers) 0.10.3
手電筒 1.10.2+cu111 torchvision 視覺工具庫 0.11.3+cu111 龍捲風 6.1
tqdm 4.59.0 Traitlets 5.0.5 變壓器 4.16.2
打字員 0.3.2 typing-extensions(插入擴充) 3.7.4.3 ujson(超快速 JSON 解析庫) 4.0.2
無人看管自動升級 0.1 urllib3 1.25.11 virtualenv 20.4.1
願景 0.7.4 山葵 0.8.2 wcwidth(字符寬度函數) 0.2.5
網路編碼 0.5.1 WebSocket 客戶端 0.57.0 Werkzeug 1.0.1
Wheel 0.36.2 widgetsnbextension 3.5.1 包裹著 1.12.1
xgboost 1.5.2 拉鏈 3.4.1

包含 Python 模組的 Spark 套件

Spark 套件 Python 模組 版本
graphframes graphframes 0.8.2-db1-spark3.2

R 程式庫

R 程式庫與 Databricks Runtime 10.4 LTS 中的 R 程式庫相同。

Java 和 Scala 函式庫(Scala 2.12 集群)

除了 Databricks Runtime 10.4 LTS 中的 JAVA 和 Scala 程式庫之外,Databricks Runtime 10.4 LTS ML 還包括下列 JAR:

CPU 叢集

群組識別碼 文物識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.24.0
org.mlflow mlflow-spark 1.24.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0

圖形處理器集群

群組識別碼 文物識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.24.0
org.mlflow mlflow-spark 1.24.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0