Delen via

Databricks Runtime 5.0 ML (EoS)

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

Databricks heeft deze versie uitgebracht in november 2018.

Databricks Runtime 5.0 ML biedt een kant-en-klare omgeving voor machine learning en data science. Het bevat veel populaire bibliotheken, waaronder TensorFlow, Keras en XGBoost. Het ondersteunt ook gedistribueerde TensorFlow-training met behulp van Horovod.

Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.

Nieuwe functies

Databricks Runtime 5.0 ML is gebouwd op Databricks Runtime 5.0. Zie de releaseopmerkingen van Databricks Runtime 5.0 voor informatie over wat er nieuw is in Databricks Runtime 5.0 (EoS ). Naast de nieuwe functies in Databricks Runtime 5.0 bevat Databricks Runtime 5.0 ML de volgende nieuwe functies:

Notitie

Databricks Runtime ML-releases halen alle onderhoudsupdates op voor de databricks Runtime-basisrelease. Zie Onderhoudsupdates voor Databricks Runtime (gearchiveerd) voor een lijst met alle onderhoudsupdates.

Systeemomgeving

Het verschil in de systeemomgeving in Databricks Runtime 5.0 en dat in Databricks Runtime 5.0 ML is:

  • Python: 2.7.15 voor Python 2-clusters en 3.6.5 voor Python 3-clusters.
  • Voor GPU-clusters zijn de volgende NVIDIA GPU-bibliotheken:
    • Tesla bestuurder 396.44
    • CUDA 9.2
    • CUDNN 7.2.1

Bibliotheken

De verschillen in de bibliotheken die zijn opgenomen in Databricks Runtime 5.0 en de bibliotheken die zijn opgenomen in Databricks Runtime 5.0 ML, worden in deze sectie vermeld.

Python-bibliotheken

Databricks Runtime 5.0 ML maakt gebruik van Conda voor Python-pakketbeheer. Hieronder volgt de volledige lijst met opgegeven Python-pakketten en -versies die zijn geïnstalleerd met Conda-pakketbeheer.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 0.6.1 argparse (een Python-module voor het aanmaken van commandoregelopties) 1.4.0 asn1crypto 0.24.0
Astor 0.7.1 backports-abc 0,5 backports.functools-lru-cache 1.5
backports.weakref 1.0.post1 bcrypt 3.1.4 bleken 2.1.3
boto 2.48.0 boto3 1.7.62 botocore 1.10.62
certificaat 2018.04.16 cffiffi 1.11.5 chardet 3.0.4
cloudpickle 0.5.3 colorama 0.3.9 configparser 3.5.0
cryptografie 2.2.2 wielrijder 0.10.0 Cython 0.28.2
decorateur 4.3.0 docutils 0,14 invoerpunten 0.2.3
enum34 1.1.6 et-xmlfile (XML-bestand) 1.0.1 funcsigs 1.0.2
functools32 3.2.3-2 fusepy 2.0.4 Futures 3.2.0
gast 0.2.0 grpcio 1.12.1 h5py 2.8.0
horovod (Russische volksdans) 0.15.0 html5lib 1.0.1 IDNA 2.6
ipaddress 1.0.22 ipython 5.7.0 ipython_genutils 0.2.0
jdcal 1.4 Jinja2 2.10 jmespath 0.9.3
jsonschema 2.6.0 jupyter-client (softwarepakket voor Jupyter-notebooks) 5.2.3 jupyter-core 4.4.0
Keras 2.2.4 Keras-Applications 1.0.6 Keras-Preprocessing 1.0.5
kiwisolver 1.0.1 linecache2 1.0.0 llvmlite 0.23.1
lxml 4.2.1 Markdown 3.0.1 MarkupSafe 1.0
matplotlib 2.2.2 onstemmen 0.8.3 mleap 0.8.1
bespotten 2.0.0 msgpack 0.5.6 nbconvert 5.3.1
nbformat 4.4.0 neus 1.3.7 neus-uitsluiten 0.5.0
numba 0.38.0+0.g2a2b772fc.dirty numpy 1.14.3 olefile 0.45.1
openpyxl 2.5.3 Pandas 0.23.0 pandocfilters 1.4.2
paramiko 2.4.1 pathlib2 2.3.2 Patsy 0.5.0
pbr 5.1.0 pexpect 4.5.0 pickleshare 0.7.4
Kussen 5.1.0 pit 10.0.1 Ply 3.11
prompt-hulpmiddelenpakket 1.0.15 protocolbuffers 3.6.1 psycopg2 2.7.5
ptyprocess 0.5.2 pyarrow 0.8.0 pyasn1 0.4.4
pycparser 2.18 Pygments 2.2.0 PyNaCl 1.3.0
pyOpenSSL 18.0.0 pyparsing 2.2.0 PySocks 1.6.8
Python 2.7.15 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.7.3 pytz 2018.4
PyYAML 3.12 pyzmq 17.0.0 Verzoeken 2.18.4
s3transfer 0.1.13 scandir 1,7 scikit-learn 0.19.1
Scipy (een wetenschappelijke bibliotheek voor Python) 1.1.0 geboren op zee 0.8.1 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 39.1.0
simplegeneric 0.8.1 singledispatch (enkelvoudig dispatch) 3.4.0.3 Zes 1.11.0
statsmodels 0.9.0 subproces32 3.5.3 Tensorbord 1.10.0
TensorFlow 1.10.0 termcolor 1.1.0 testpath 0.3.1
tornado 5.0.2 traceback2 1.4.0 Traitlets (Python library voor het configureren van Python-objecten) 4.3.2
unittest2 1.1.0 urllib3 1,22 virtualenv 16.0.0
wcwidth 0.1.7 Webencoderingen 0.5.1 gereedschap 0.14.1
wiel 0.31.1 omsloten 1.10.11 wsgiref 0.1.2

Daarnaast bevatten de volgende Spark-pakketten Python-modules:

Spark-pakket Python-module Versie
tensorframes tensorframes 0.5.0-s_2.11
graphframes graphframes 0.6.0-db3-spark2.4
spark-deep learning sparkdl 1.3.0-db2-spark2.4

R-bibliotheken

De R-bibliotheken zijn identiek aan R-bibliotheken in Databricks Runtime 5.0.

Java- en Scala-bibliotheken (Scala 2.11-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 5.0 bevat Databricks Runtime 5.0 ML de volgende JAR's:

Groeps-id Artefact-id Versie
com.databricks spark-deep learning 1.3.0-db2-spark2.4
org.tensorframes tensorframes 0.5.0-s_2.11
org.graphframes graphframes_2.11 0.6.0-db3-spark2.4
org.tensorflow libtensorflow 1.10.0
org.tensorflow libtensorflow_jni 1.10.0
org.tensorflow spark-tensorflow-connector_2.11 1.10.0-spark2.4-001
org.tensorflow TensorFlow 1.10.0
ml.dmlc xgboost4j 0.80
ml.dmlc xgboost4j-spark 0.80
ml.combust.mleap mleap-databricks-runtime_2.11 0.13.0-SNAPSHOT
  • Last updated on