Freigeben über

Databricks Runtime 14.2 für Maschinelles Lernen (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Databricks Runtime 14.2 für Machine Learning bietet eine einsatzbereite Umgebung für maschinelles Lernen und Data Science basierend auf Databricks Runtime 14.2 (EoS). Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Neue Features und Verbesserungen

Databricks Runtime 14.2 ML basiert auf Databricks Runtime 14.2. Informationen zu den Neuerungen in Databricks Runtime 14.2, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Versionshinweisen zur Databricks Runtime 14.2 (EoS).

Systemumgebung

Die Systemumgebung in Databricks Runtime 14.2 ML unterscheidet sich wie folgt von Databricks Runtime 14.2:

Databricks Runtime 14.2 ML enthält XGBoost 1.7.6, das keine GPU-Cluster mit Computefunktionalität 5.2 und niedriger unterstützt.

Bibliotheken

In den folgenden Abschnitten werden die in Databricks Runtime 14.2 ML enthaltenen Bibliotheken aufgeführt, die sich von denen unterscheiden, die in Databricks Runtime 14.2 enthalten sind.

Inhalt dieses Abschnitts:

Bibliotheken der obersten Ebene

Databricks Runtime 14.2 ML enthält die folgenden Bibliotheken der obersten Ebene:

Python-Bibliotheken

Databricks Runtime 14.2 ML verwendet virtualenv für die Python-Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 14.2 ML auch die folgenden Pakete:

  • hyperopt 0.2.7.db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

Um die Databricks Runtime ML Python-Umgebung in Ihrer lokalen virtuellen Python-Umgebung zu reproduzieren, müssen Sie die Datei requirements-14.2.txt herunterladen und pip install -r requirements-14.2.txt ausführen. Dieser Befehl installiert alle Open-Source-Bibliotheken, die Databricks Runtime ML verwendet, installiert aber keine von Databricks entwickelten Bibliotheken wie databricks-automl, databricks-feature-store oder den Databricks-Fork von hyperopt.

Python-Bibliotheken in CPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 Beschleunigen 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 Appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout 4.0.3
Attrs 22.1.0 Audio lesen 3.0.1 Azure Core 1.29.1
Azure-Cosmos 4.3.1 Azure-Speicher-Blob 12.18.3 Azure-Speicher-Datei-Datensee 12.13.2
Backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
schwarz 22.6.0 Bleichmittel 4.1.0 Blinker 1.4
blis 0.7.11 Boto3 1.24.28 Botocore 1.27.96
CacheWerkzeuge 5.3.2 Katalog 2.0.10 Kategorie-Kodierer 2.6.2
Zertifizieren 2022.12.7 CFFI 1.15.1 Chardet 4.0.0
Charset-Normalizer 2.0.4 Klicken 8.0.4 cloudpathlib 0.16.0
Wolkengurke 2.0.0 cmdstanpy 1.2.0 Kommunikation 0.1.2
Konfekt 0.1.3 configparser 5.2.0 Contourpy 1.0.5
Kryptographie 39.0.1 Fahrradfahrer 0.11.0 Cymem 2.0.8
Cython 0.29.32 Dazit 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 Databricks Feature Engineering 0.1.2 databricks-feature-store 0.16.1
Databricks-SDK 0.1.6 dataclasses-json 0.6.1 Datensätze 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
Dekorateur 5.1.1 Deepspeed 0.11.1 defusedxml 0.7.1
Dill 0.3.6 Festplatten-Cache 5.6.3 Distlib 0.3.7
Docstring zu Markdown 0,11 Einstiegspunkte 0,4 Evaluieren 0.4.1
wird ausgeführt 0.8.3 Übersicht der Facetten 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 Dateisperrung 3.9.0 Flasche 2.2.5
FlatBuffers 26.05.23 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 Zukunft 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
Google-Authentifizierung 2.21.0 google-auth-oauthlib 1.0.0 Google-Cloud-Core 2.3.3
Google Cloud-Speicher 2.11.0 google-crc32c 1.5.0 Google-Pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 Greenlet 2.0.1
GRPCIO 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Feiertage 0,35 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 Ungleichgewichte lernen 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Isodate 0.6.1
es ist gefährlich 2.0.1 Jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 JsonPointer 2.4
jsonschema 4.17.3 Jupyter-Client 7.3.4 Jupyter-Server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keras 2.14.0 Schlüsselring 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 Sprachcodes 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Abschlag 3.4.1 MarkupSafe 2.1.1
Marshmallow 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 verstimmen 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 Multidict 6.0.4 Multimethod 1.10
Multiprozessor 0.70.14 Murmurhash 1.0.10 mypy-Erweiterungen 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3,7 nodeenv 1.8.0
Notebook 6.5.2 Notebook-Shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 Packen 22.0 Pandas 1.5.3
Pandocfilter 1.5.0 paramiko 2.9.2 Parso 0.8.3
Pfadangabe 0.10.3 pathie 0.10.3 Sündenbock 0.5.3
Petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
Pickleshare 0.7.5 Kissen 9.4.0 Kern 22.3.1
platformdirs 2.5.2 Handlung 5.9.0 plugin-fähig 1.0.0
pmdarima 2.0.3 Hündchen 1.4.0 vorgehäckselt 3.0.9
prometheus-client 0.14.1 Prompt-Toolkit 3.0.36 Prophet 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
Pyarrow 8.0.0 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
Pybind11 2.11.1 Pycparser 2.21 Pydantisch 1.10.6
Pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 Pyodbc 4.0.32
Pyparsing 3.0.9 Pyright 1.1.294 Pyristent 0.18.0
pytesseract 0.3.10 Python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 Python-LSP-Server 1.8.0 pytoolconfig 1.2.5
Pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 Anforderungen 2.28.1
requests-oauthlib 1.3.1 Antworten 0.18.0 Seil 1.7.0
rsa 4,9 s3transfer 0.6.2 Safetensors 0.4.0
scikit-lernen 1.1.1 SciPy 1.10.0 Seegeboren 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Satztransformatoren 2.2.2
Satzstück 0.1.99 setuptools 65.6.3 Schattierung 0.43.0
simplejson 3.17.6 sechs 1.16.0 Schneidemaschine 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
Sounddatei 0.12.1 Sieb für Suppe 2.3.2.post1 Soxr 0.3.7
Geräumig 3.7.1 Spacy-Legacy 3.0.12 Spacy-Logger 1.0.5
Spark-Tensorflow-Distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 Stapeldaten 0.2.0
stanio 0.3.0 StatistikModelle 0.13.5 sympy 1.11.1
tabellarisieren 0.8.10 tangled-up-in-unicode 0.2.0 Hartnäckigkeit 8.1.0
TensorBoard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 TensorFlow-Estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
Termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
Threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 Tokenizer 0.14.0 tomli 2.0.1
Fackel 2.0.1+cpu Fackelvision 0.15.2+cpu Tornado 6.1
tqdm 4.64.1 Traitlets 5.7.1 Transformatoren 4.34.0
Typwächter 2.13.3 Typer 0.9.0 Eingabeprüfung 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1
urllib3 1.26.14 virtualenv 20.16.7 Visionen 0.7.5
Wadllib 1.3.6 Wasabi 1.1.2 wcwidth 0.2.5
Wiesel 0.3.3 Webkodierungen 0.5.1 WebSocket-Client 0.58.0
Werkzeug 2.2.2 Was ist neu im Patch 1.0.2 Rad 0.38.4
widgetsnbextension 3.6.1 Wortwolke 1.9.2 Eingehüllt 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.2 ydata-profiling 4.2.0 ZIPP 3.11.0

Python-Bibliotheken für GPU-Cluster

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 Beschleunigen 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 Appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout 4.0.3
Attrs 22.1.0 Audio lesen 3.0.1 Azure Core 1.29.1
Azure-Cosmos 4.3.1 Azure-Speicher-Blob 12.18.3 Azure-Speicher-Datei-Datensee 12.13.2
Backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
schwarz 22.6.0 Bleichmittel 4.1.0 Blinker 1.4
blis 0.7.11 Boto3 1.24.28 Botocore 1.27.96
CacheWerkzeuge 5.3.2 Katalog 2.0.10 Kategorie-Kodierer 2.6.2
Zertifizieren 2022.12.7 CFFI 1.15.1 Chardet 4.0.0
Charset-Normalizer 2.0.4 Klicken 8.0.4 cloudpathlib 0.16.0
Wolkengurke 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
Kommunikation 0.1.2 Konfekt 0.1.3 configparser 5.2.0
Contourpy 1.0.5 Kryptographie 39.0.1 Fahrradfahrer 0.11.0
Cymem 2.0.8 Cython 0.29.32 Dazit 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 Databricks Feature Engineering 0.1.2
databricks-feature-store 0.16.1 Databricks-SDK 0.1.6 dataclasses-json 0.6.1
Datensätze 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
debugpy 1.6.7 Dekorateur 5.1.1 Deepspeed 0.11.1
defusedxml 0.7.1 Dill 0.3.6 Festplatten-Cache 5.6.3
Distlib 0.3.7 Docstring zu Markdown 0,11 einops 0.7.0
Einstiegspunkte 0,4 Evaluieren 0.4.1 wird ausgeführt 0.8.3
Übersicht der Facetten 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
Dateisperrung 3.9.0 flash-attn 2.3.2 Flasche 2.2.5
FlatBuffers 26.05.23 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2023.6.0 Zukunft 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
Google-Authentifizierung 2.21.0 google-auth-oauthlib 1.0.0 Google-Cloud-Core 2.3.3
Google Cloud-Speicher 2.11.0 google-crc32c 1.5.0 Google-Pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 Greenlet 2.0.1
GRPCIO 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Feiertage 0,35 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 Ungleichgewichte lernen 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Isodate 0.6.1
es ist gefährlich 2.0.1 Jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 JsonPointer 2.4
jsonschema 4.17.3 Jupyter-Client 7.3.4 Jupyter-Server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keras 2.14.0 Schlüsselring 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 Sprachcodes 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 angezündet 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Abschlag 3.4.1
MarkupSafe 2.1.1 Marshmallow 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 verstimmen 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 Multidict 6.0.4
Multimethod 1.10 Multiprozessor 0.70.14 Murmurhash 1.0.10
mypy-Erweiterungen 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3,7
nodeenv 1.8.0 Notebook 6.5.2 Notebook-Shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 Packen 22.0
Pandas 1.5.3 Pandocfilter 1.5.0 paramiko 2.9.2
Parso 0.8.3 Pfadangabe 0.10.3 pathie 0.10.3
Sündenbock 0.5.3 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 Pickleshare 0.7.5 Kissen 9.4.0
Kern 22.3.1 platformdirs 2.5.2 Handlung 5.9.0
plugin-fähig 1.0.0 pmdarima 2.0.3 Hündchen 1.4.0
vorgehäckselt 3.0.9 Prompt-Toolkit 3.0.36 Prophet 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
Pyarrow 8.0.0 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
Pybind11 2.11.1 Pycparser 2.21 Pydantisch 1.10.6
Pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 Pyodbc 4.0.32
Pyparsing 3.0.9 Pyright 1.1.294 Pyristent 0.18.0
pytesseract 0.3.10 Python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 Python-LSP-Server 1.8.0 pytoolconfig 1.2.5
Pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 Anforderungen 2.28.1
requests-oauthlib 1.3.1 Antworten 0.18.0 Seil 1.7.0
rsa 4,9 s3transfer 0.6.2 Safetensors 0.4.0
scikit-lernen 1.1.1 SciPy 1.10.0 Seegeboren 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Satztransformatoren 2.2.2
Satzstück 0.1.99 setuptools 65.6.3 Schattierung 0.43.0
simplejson 3.17.6 sechs 1.16.0 Schneidemaschine 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
Sounddatei 0.12.1 Sieb für Suppe 2.3.2.post1 Soxr 0.3.7
Geräumig 3.7.1 Spacy-Legacy 3.0.12 Spacy-Logger 1.0.5
Spark-Tensorflow-Distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 Stapeldaten 0.2.0
stanio 0.3.0 StatistikModelle 0.13.5 sympy 1.11.1
tabellarisieren 0.8.10 tangled-up-in-unicode 0.2.0 Hartnäckigkeit 8.1.0
TensorBoard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
TensorFlow 2.14.0 TensorFlow-Estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
Termcolor 2.3.0 terminado 0.17.1 thinc 8.2.1
Threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 Tokenizer 0.14.0 tomli 2.0.1
Fackel 2.0.1+cu118 Fackelvision 0.15.2+cu118 Tornado 6.1
tqdm 4.64.1 Traitlets 5.7.1 Transformatoren 4.34.0
Triton 2.0.0 Typwächter 2.13.3 Typer 0.9.0
Eingabeprüfung 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.14 virtualenv 20.16.7
Visionen 0.7.5 Wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 Wiesel 0.3.3 Webkodierungen 0.5.1
WebSocket-Client 0.58.0 Werkzeug 2.2.2 Was ist neu im Patch 1.0.2
Rad 0.38.4 widgetsnbextension 3.6.1 Wortwolke 1.9.2
Eingehüllt 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.2 ydata-profiling 4.2.0
ZIPP 3.11.0

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 14.2.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu den Java- und Scala-Bibliotheken in Databricks Runtime 14.2 enthält Databricks Runtime 14.2 ML die folgenden JARs:

CPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on