Partager via

Databricks Runtime 14.2 pour Machine Learning (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks Runtime 14.2 pour Machine Learning fournit un environnement prêt à l’utilisation pour le Machine Learning et la science des données basée sur Databricks Runtime 14.2 (EoS). Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Améliorations et nouvelles fonctionnalités

Databricks Runtime 14.2 ML est basé sur Databricks Runtime 14.2. Pour plus d’informations sur les nouveautés de Databricks Runtime 14.2, notamment Apache Spark MLlib et SparkR, consultez les notes de publication de Databricks Runtime 14.2 (EoS).

Environnement du système

L’environnement système dans Databricks Runtime 14.2 ML diffère de celui de Databricks Runtime 14.2 comme suit :

Databricks Runtime 14.2 ML inclut XGBoost 1.7.6, qui ne prend pas en charge les clusters GPU avec une capacité de calcul 5.2 et inférieure.

Bibliothèques

Les sections suivantes listent les bibliothèques comprises dans Databricks Runtime 14.2 ML qui diffèrent de celles comprises dans Databricks Runtime 14.2.

Dans cette section :

Bibliothèques de niveau supérieur

Databricks Runtime 14.2 ML comprend les bibliothèques de premier niveau suivantes :

Bibliothèques Python

Databricks Runtime 14.2 ML utilise virtualenv pour la gestion des packages Python et comprend de nombreux packages ML populaires.

En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 14.2 ML comprend également les packages suivants :

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

Pour reproduire l’environnement Databricks Runtime ML Python dans votre environnement virtuel Python local, téléchargez le fichier requirements-14.2.txt et exécutez pip install -r requirements-14.2.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées Azure Databricks, telles que databricks-automl, databricks-feature-store ou la duplication Databricks de hyperopt.

Bibliothèques Python sur les clusters UC

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.23.0 AIOHTTP 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
cfp2-cffi 21.3.0 cfc2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attributs 22.1.0 lecture audio 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob (service de stockage de blobs Azure) 12.18.3 Azure Storage File Data Lake 12.13.2
appel de retour 0.2.0 bcrypt 3.2.0 bellesoupe4 4.11.1
noir 22.6.0 blanchir 4.1.0 clignotant 1.4
félicité 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catalogue 2.0.10 encodeurs de catégorie 2.6.2
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Communication 0.1.2
confiserie 0.1.3 configparser 5.2.0 contourpy 1.0.5
chiffrement 39.0.1 cycliste 0.11.0 cymem 2.0.8
Cython 0.29.32 dacite (type de roche volcanique) 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-feature-engineering 0.1.2 databricks-feature-store (magasin de fonctionnalités databricks) 0.16.1
Kit de développement logiciel Databricks (SDK) 0.1.6 dataclasses-json 0.6.1 jeux de données 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
décorateur 5.1.1 deepspeed 0.11.1 defusedxml 0.7.1
aneth 0.3.6 cache de disque 5.6.3 distlib 0.3.7
Conversion de docstring en markdown 0.11 points d’entrée 0,4 évaluer 0.4.1
exécuter 0.8.3 aperçu des facettes 1.1.1 validation rapide des schémas JSON (fastjsonschema) 2.18.1
fasttext 0.9.2 verrou de fichier 3.9.0 Fiole 2.2.5
flatbuffers 26/05/2023 outils de police 4.25.0 liste figée 1.4.0
fsspec 2023.6.0 futur 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
google-cloud-storage (Stockage dans le cloud de Google) 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-reprise-media 2.6.0 googleapis-common-protos 1.61.0 Greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
vacances 0,35 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 déséquilibré-learn 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 Jedi 0.18.1 Jeepney (véhicule de transport public philippin) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-client 7.3.4 serveur Jupyter 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0
keras 2.14.0 porte-clés 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 codes de langue 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
guimauve 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 désaccorder 0.8.4 ml-dtypes 0.2.0
mlflow-skinny (version légère de mlflow) 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 Multidict 6.0.4 multiméthode 1,10
multiprocessus 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
carnet de notes 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 empaquetage 22.0 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
spécification de chemin 0.10.3 Pathy 0.10.3 dupe 0.5.3
Petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Oreiller 9.4.0 pépin 22.3.1
platformdirs 2.5.2 tracé 5.9.0 enfiché 1.0.0
pmdarima 2.0.3 toutou 1.4.0 prétraité 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 prophète 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 éditeur de Python 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 requêtes 2.28.1
requests-oauthlib 1.3.1 réponses 0.18.0 corde 1.7.0
Rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy (bibliothèque Python pour le calcul scientifique) 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformateurs de phrases 2.2.2
phrase de phrase 0.1.99 setuptools 65.6.3 forme 0.43.0
simplejson 3.17.6 Six 1.16.0 segment 0.0.7
ouverture intelligente 5.2.1 smmap 5.0.0 sniffio 1.2.0
fichier audio 0.12.1 Soupsieve 2.3.2.post1 soxr 0.3.7
Spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchimie 1.4.39 sqlparse 0.4.2
sérieusement 2.4.8 ssh-import-id 5.11 données en pile 0.2.0
stanio 0.3.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5 Sympy 1.11.1
tabuler 0.8.10 emmêlé-up-in-unicode 0.2.0 ténacité 8.1.0
TensorBoard (outil de visualisation pour le machine learning) 2.14.0 serveur de données TensorBoard 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 estimateur TensorFlow 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminé 0.17.1 Thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 générateurs de jetons 0.14.0 tomli 2.0.1
torche 2.0.1+ processeur Torchvision 0.15.2+unité centrale de traitement tornade 6.1
tqdm 4.64.1 Traitlets 5.7.1 transformateurs 4.34.0
typeguard 2.13.3 Typer 0.9.0 saisie-inspection 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 mises à niveau automatiques 0.1
urllib3 1.26.14 virtualenv 20.16.7 Visions 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth 0.2.5
belette 0.3.3 webencodings 0.5.1 websocket-client 0.58.0
Outil 2.2.2 c’est quoi le patch 1.0.2 roue 0.38.4
widgetsnbextension 3.6.1 nuage de mots 1.9.2 enveloppé 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
Yarl 1.9.2 Ydata profilage 4.2.0 zipp 3.11.0

Bibliothèques Python sur les clusters GPU

Bibliothèque Version Bibliothèque Version Bibliothèque Version
absl-py 1.0.0 accélérer 0.23.0 AIOHTTP 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
cfp2-cffi 21.3.0 cfc2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attributs 22.1.0 lecture audio 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob (service de stockage de blobs Azure) 12.18.3 Azure Storage File Data Lake 12.13.2
appel de retour 0.2.0 bcrypt 3.2.0 bellesoupe4 4.11.1
noir 22.6.0 blanchir 4.1.0 clignotant 1.4
félicité 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 catalogue 2.0.10 encodeurs de catégorie 2.6.2
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 cliquez 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
Communication 0.1.2 confiserie 0.1.3 configparser 5.2.0
contourpy 1.0.5 chiffrement 39.0.1 cycliste 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite (type de roche volcanique) 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-feature-engineering 0.1.2
databricks-feature-store (magasin de fonctionnalités databricks) 0.16.1 Kit de développement logiciel Databricks (SDK) 0.1.6 dataclasses-json 0.6.1
jeux de données 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
debugpy 1.6.7 décorateur 5.1.1 deepspeed 0.11.1
defusedxml 0.7.1 aneth 0.3.6 cache de disque 5.6.3
distlib 0.3.7 Conversion de docstring en markdown 0.11 einops 0.7.0
points d’entrée 0,4 évaluer 0.4.1 exécuter 0.8.3
aperçu des facettes 1.1.1 validation rapide des schémas JSON (fastjsonschema) 2.18.1 fasttext 0.9.2
verrou de fichier 3.9.0 flash-attn 2.3.2 Fiole 2.2.5
flatbuffers 26/05/2023 outils de police 4.25.0 liste figée 1.4.0
fsspec 2023.6.0 futur 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
google-cloud-storage (Stockage dans le cloud de Google) 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-reprise-media 2.6.0 googleapis-common-protos 1.61.0 Greenlet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
vacances 0,35 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 déséquilibré-learn 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.2 isodate 0.6.1
itsdangerous 2.0.1 Jedi 0.18.1 Jeepney (véhicule de transport public philippin) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-client 7.3.4 serveur Jupyter 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0
keras 2.14.0 porte-clés 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 codes de langue 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 allumé 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 guimauve 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 désaccorder 0.8.4
ml-dtypes 0.2.0 mlflow-skinny (version légère de mlflow) 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 Multidict 6.0.4
multiméthode 1,10 multiprocessus 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 Ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 carnet de notes 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 empaquetage 22.0
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 spécification de chemin 0.10.3 Pathy 0.10.3
dupe 0.5.3 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Oreiller 9.4.0
pépin 22.3.1 platformdirs 2.5.2 tracé 5.9.0
enfiché 1.0.0 pmdarima 2.0.3 toutou 1.4.0
prétraité 3.0.9 prompt-toolkit 3.0.36 prophète 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 éditeur de Python 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 requêtes 2.28.1
requests-oauthlib 1.3.1 réponses 0.18.0 corde 1.7.0
Rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy (bibliothèque Python pour le calcul scientifique) 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformateurs de phrases 2.2.2
phrase de phrase 0.1.99 setuptools 65.6.3 forme 0.43.0
simplejson 3.17.6 Six 1.16.0 segment 0.0.7
ouverture intelligente 5.2.1 smmap 5.0.0 sniffio 1.2.0
fichier audio 0.12.1 Soupsieve 2.3.2.post1 soxr 0.3.7
Spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchimie 1.4.39 sqlparse 0.4.2
sérieusement 2.4.8 ssh-import-id 5.11 données en pile 0.2.0
stanio 0.3.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.5 Sympy 1.11.1
tabuler 0.8.10 emmêlé-up-in-unicode 0.2.0 ténacité 8.1.0
TensorBoard (outil de visualisation pour le machine learning) 2.14.0 serveur de données TensorBoard 0.7.2 tensorboard-plugin-profile 2.14.0
Tensorflow 2.14.0 estimateur TensorFlow 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminé 0.17.1 Thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 générateurs de jetons 0.14.0 tomli 2.0.1
torche 2.0.1+cu118 Torchvision 0.15.2+cu118 tornade 6.1
tqdm 4.64.1 Traitlets 5.7.1 transformateurs 4.34.0
Triton 2.0.0 typeguard 2.13.3 Typer 0.9.0
saisie-inspection 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
mises à niveau automatiques 0.1 urllib3 1.26.14 virtualenv 20.16.7
Visions 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 belette 0.3.3 webencodings 0.5.1
websocket-client 0.58.0 Outil 2.2.2 c’est quoi le patch 1.0.2
roue 0.38.4 widgetsnbextension 3.6.1 nuage de mots 1.9.2
enveloppé 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 Yarl 1.9.2 Ydata profilage 4.2.0
zipp 3.11.0

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 14.2.

Bibliothèques Java et Scala (cluster Scala 2.12)

En plus des bibliothèques Java et Scala dans Databricks Runtime 14.2, Databricks Runtime 14.2 ML contient les fichiers JAR suivants :

Clusters UC

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters GPU

ID de groupe ID d’artefact Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on