Databricks Runtime 9.1 LTS für Machine Learning

Databricks hat dieses Image veröffentlicht und es im September 2021 als Long Term Support (LTS) deklariert.

Databricks Runtime 9.1 LTS für Machine Learning bietet eine sofortto-go Umgebung für Machine Learning und Data Science, die auf Databricks Runtime 9.1 LTS basiert. Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.

Neue Features und Verbesserungen

Automatisiertes maschinelles Lernen (AutoML)

Die folgenden Verbesserungen sind in Databricks Runtime 9.1 LTS ML und höher verfügbar.

AutoML unterstützt größere Datasets durch Stichprobenerstellung

AutoML führt jetzt Stichproben von Datasets durch, die möglicherweise Speichereinschränkungen überschreiten, sodass es für größere Datasets mit geringerem Risiko von Fehlern aufgrund von unzureichendem Arbeitsspeicher ausgeführt werden kann. Ausführliche Informationen finden Sie unter Stichprobenentnahme großer Datasets.

AutoML verarbeitet Spalten basierend auf dem semantischen Typ vor.

AutoML erkennt bestimmte Spalten mit einem semantischen Typ, der sich von ihrem Spark- oder Pandas-Datentyp unterscheidet. AutoML konvertiert dann Datenvorverarbeitungsschritte basierend auf dem erkannten semantischen Typ und wendet sie an. Insbesondere führt AutoML die folgenden Konvertierungen aus:

• Zeichenfolgen- und Ganzzahlspalten, die Datums- oder Zeitstempeldaten darstellen, werden in einen Zeitstempeltyp konvertiert.
• Zeichenfolgenspalten, die numerische Daten darstellen, werden in einen numerischen Typ konvertiert.

Verbesserungen an AutoML-generierten Notebooks

Vorverarbeitungsschritte für Datums- und Zeitstempelspalten sind jetzt im databricks-automl-runtime Paket enthalten, wodurch die durch das AutoML-Training generierten Notebooks vereinfacht werden. databricks-automl-runtime ist in Databricks Runtime 9.1 LTS ML und höher enthalten und auch in PyPI verfügbar.

Featurespeicher

Die folgenden Verbesserungen sind in Databricks Runtime 9.1 LTS ML und höher verfügbar.

• Wenn Sie ein TrainingSet erstellen, können Sie jetzt label=None festlegen, dass Anwendungen für nicht überwachtes Lernen unterstützt werden.
• Sie können jetzt mehr als ein Feature in einer einzigen FeatureLookup.
• Sie können jetzt einen benutzerdefinierten Pfad für Feature-Tabellen angeben. Verwenden Sie den path Parameter in create_feature_table(). Der Standardwert ist der Speicherort der Datenbank.
• Neue unterstützte PySpark-Datentypen: ArrayType und ShortType.

Mlflow

Die folgenden Verbesserungen sind ab MLflow Version 1.20.2 verfügbar, die in Databricks Runtime 9.1 LTS ML enthalten ist.

• Die automatische Protokollierung für scikit-learn zeichnet jetzt Metriken nach dem Training auf, wenn eine scikit-learn-Auswertungs-API, z. B sklearn.metrics.mean_squared_error. , aufgerufen wird.
• Die automatische Protokollierung für PySpark ML zeichnet jetzt Metriken nach dem Training auf, wenn eine Modellauswertungs-API, z. B Evaluator.evaluate(). aufgerufen wird.
• mlflow.*.log_model und mlflow.*.save_model verfügen nun über pip_requirements and-Argumente extra_pip_requirements , sodass Sie die Pip-Anforderungen des Modells, das protokolliert oder gespeichert werden soll, direkt angeben können.
• mlflow.*.log_model und mlflow.*.save_model leiten Sie nun automatisch die PIP-Anforderungen des Modells ab, das basierend auf der aktuellen Softwareumgebung protokolliert oder gespeichert werden soll.
• stdMetrics Einträge werden jetzt während der automatischen Protokollierung von PySpark CrossValidator als Trainingsmetriken aufgezeichnet.
• Die automatische Protokollierung von PyTorch Lightning unterstützt jetzt die verteilte Ausführung.

Automatische Databricks-Protokollierung (Public Preview)

Die Databricks Autologging Public Preview wurde auf neue Regionen ausgeweitet. Die automatische Databricks-Protokollierung ist eine Lösung ohne Programmieraufwand, die eine automatische Nachverfolgung von Experimenten für Machine Learning-Trainingssitzungen in Azure Databricks ermöglicht. Mithilfe der automatischen Databricks-Protokollierung werden Modellparameter, Metriken, Dateien und Informationen zur Herkunft automatisch erfasst, wenn Sie Modelle anhand einer Vielzahl beliebter Machine Learning-Bibliotheken trainieren. Trainingssitzungen werden als MLflow-Tracking-Läufe aufgezeichnet. Modelldateien werden auch nachverfolgt, sodass Sie sie problemlos in der MLflow-Modellregistrierung protokollieren und für die Bewertung in Echtzeit mithilfe der MLflow-Modellbereitstellung bereitstellen können.

Weitere Informationen zur automatischen Protokollierung in Databricks finden Sie unter Automatische Databricks-Protokollierung.

Wichtige Änderungen an der Databricks Runtime ML Python-Umgebung

Python-Pakete, die ein Upgrade erhalten haben

• automl 1.1.1 => 1.2.1
• feature_store 0,3,3 => 0,3,4,1
• Feiertage 0.10.5.2 => 0.11.2
• Keras 2.5.0 => 2.6.0
• mlflow 1.19.0 => 1.20.2
• Petastorm 0.11.1 => 0.11.2
• Plotly 4.14.3 => 5.1.0
• Funken-Tensorflow-Verteiler 0.1.0 => 1.0.0
• Sparkdl 2.2.0_db1 => 2.2.0_db3
• Tensorboard 2.5.0 => 2.6.0
• Tensorflow 2.5.0 => 2.6.0

Hinzugefügte Python-Pakete

• databricks-automl-runtime 0.1.0

Systemumgebung

Die Systemumgebung in Databricks Runtime 9.1 LTS ML unterscheidet sich von Databricks Runtime 9.1 LTS wie folgt:

• DBUtils: Databricks Runtime ML enthält kein Bibliothekshilfsprogramm (dbutils.library) (veraltet). Verwenden Sie stattdessen %pip-Befehle. Siehe Notebook-spezifische Python-Bibliotheken.
• Für GPU-Cluster umfasst Databricks Runtime ML die folgenden NVIDIA-GPU-Bibliotheken:
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotheken

In den folgenden Abschnitten werden die in Databricks Runtime 9.1 LTS ML enthaltenen Bibliotheken aufgeführt, die sich von denen unterscheiden, die in Databricks Runtime 9.1 LTS enthalten sind.

Inhalt dieses Abschnitts:

• Bibliotheken der obersten Ebene
• Python-Bibliotheken
• R-Bibliotheken
• Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Bibliotheken der obersten Ebene

Databricks Runtime 9.1 LTS ML enthält die folgenden Bibliotheken der obersten Ebene:

• AutoML
• GraphFrames
• Horovod und HorovodRunner
• MLflow
• PyTorch
• Spark-Tensorflow-Verbinder
• TensorFlow
• TensorBoard

Python-Bibliotheken

Databricks Runtime 9.1 LTS ML verwendet Virtualenv für die Python-Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten angegeben sind, enthält Databricks Runtime 9.1 LTS ML auch die folgenden Pakete:

• Hyperopt 0.2.5.db2
• Sparkdl 2.2.0_db3
• feature_store 0.3.4.1
• AutoML 1.2.1

Python-Bibliotheken in CPU-Clustern

Python-Bibliotheken für GPU-Cluster

Spark-Pakete mit Python-Modulen

R-Bibliotheken

Die R-Bibliotheken sind identisch mit den R-Bibliotheken in Databricks Runtime 9.1 LTS.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu den Java- und Scala-Bibliotheken in Databricks Runtime 9.1 LTS enthält Databricks Runtime 9.1 LTS ML die folgenden JARs:

Rechencluster

GPU-Cluster