Databricks Runtime 9.1 LTS pour l’apprentissage automatique

Databricks a publié cette image et l’a déclarée support à long terme (LTS) en septembre 2021.

Databricks Runtime 9.1 LTS pour le machine learning fournit un environnement prêt à l’emploito-go pour le machine learning et la science des données basé sur Databricks Runtime 9.1 LTS. Databricks Runtime ML contient de nombreuses bibliothèques populaires de Machine Learning, notamment TensorFlow, PyTorch et XGBoost. Databricks Runtime ML comprend AutoML, un outil permettant d’effectuer l’apprentissage automatique des pipelines Machine Learning. Databricks Runtime ML prend également en charge l'apprentissage profond distribué à l'aide d'Horovod.

Pour plus d’informations, y compris les instructions relatives à la création d’un cluster Databricks Runtime ML, consultez IA et machine learning sur Databricks.

Nouvelles fonctionnalités et améliorations

AutoML (Apprentissage automatique automatisé)

Les améliorations suivantes sont disponibles dans Databricks Runtime 9.1 LTS ML et versions ultérieures.

AutoML prend en charge des jeux de données plus volumineux par échantillonnage

AutoML échantillonne désormais les jeux de données susceptibles de dépasser les contraintes de mémoire, ce qui lui permet de s’exécuter sur des jeux de données plus volumineux avec moins de risque d’erreurs de mémoire insuffisante. Pour plus d’informations, consultez Échantillonnage de jeux de données volumineux.

AutoML prétraite les colonnes en fonction du type sémantique

AutoML détecte certaines colonnes dont le type sémantique diffère de leur type de données Spark ou pandas. AutoML convertit et applique ensuite les étapes de prétraitement des données en fonction du type sémantique détecté. Plus précisément, AutoML effectue les conversions suivantes :

• Les colonnes de chaîne et d’entier qui représentent des données de date ou d’horodatage sont converties en un type d’horodatage.
• Les colonnes de chaîne qui représentent des données numériques sont converties en un type numérique.

Améliorations apportées aux notebooks générés par AutoML

Les étapes de prétraitement des colonnes de date et d’horodatage sont désormais incorporées dans le databricks-automl-runtime package, ce qui simplifie les blocs-notes générés par l’entraînement AutoML. databricks-automl-runtimeest inclus dans Databricks Runtime 9.1 LTS ML et versions ultérieures, et est également disponible sur PyPI.

Store de fonctionnalités

Les améliorations suivantes sont disponibles dans Databricks Runtime 9.1 LTS ML et versions ultérieures.

• Lorsque vous créez un TrainingSet, vous pouvez désormais le configurer label=None pour prendre en charge les applications d’apprentissage non supervisé.
• Vous pouvez désormais spécifier plusieurs fonctions dans un seul FeatureLookupfichier .
• Vous pouvez désormais spécifier un chemin d’accès personnalisé pour les tables de fonctionnalités. Utilisez le path paramètre dans create_feature_table(). La valeur par défaut est l’emplacement de la base de données.
• Nouveaux types de données PySpark pris en charge : ArrayType et ShortType.

Mlflow

Les améliorations suivantes sont disponibles à partir de MLflow version 1.20.2, qui est incluse dans Databricks Runtime 9.1 LTS ML.

• La journalisation automatique de scikit-learn enregistre désormais les métriques post-entraînement chaque fois qu’une API d’évaluation scikit-learn, telle que sklearn.metrics.mean_squared_error, est appelée.
• La journalisation automatique pour PySpark ML enregistre désormais les métriques de post-entraînement chaque fois qu’une API d’évaluation de modèle, telle que Evaluator.evaluate(), est appelée.
• mlflow.*.log_model Et mlflow.*.save_model maintenant, vous avez pip_requirements des arguments et extra_pip_requirements pour que vous puissiez spécifier directement les exigences pip du modèle à consigner ou à enregistrer.
• mlflow.*.log_model Et mlflow.*.save_model maintenant, déduisez automatiquement les exigences PIP du modèle à consigner ou à enregistrer en fonction de l’environnement logiciel actuel.
• stdMetrics Les entrées sont désormais enregistrées en tant que métriques d’entraînement lors de la journalisation automatique de PySpark CrossValidator.
• La journalisation automatique PyTorch Lightning prend désormais en charge l’exécution distribuée.

Databricks Autologging (Préversion publique)

La préversion publique de Databricks Autologging a été étendue à de nouvelles régions. Databricks Autologging est une solution sans code qui assure le suivi automatique des expériences pour les sessions de formation d'apprentissage automatique sur Azure Databricks. Avec Databricks Autologging, les paramètres des modèles, les métriques, les fichiers et les informations de lignage sont automatiquement capturés lorsque vous formez des modèles à partir d'une variété de bibliothèques d'apprentissage automatique populaires. Les sessions de formation sont enregistrées en tant qu’exécutions de suivi MLflow. Les fichiers de modèle sont également suivis afin que vous puissiez facilement les enregistrer dans le registre de modèles MLflow et les déployer pour un scoring en temps réel avec MLflow Model Serving.

Pour plus d’informations sur Databricks Autologging, consultez Databricks Autologging.

Changements importants apportés à l’environnement Python de Databricks Runtime ML

Mise à niveau des packages Python

• automl 1.1.1 => 1.2.1
• feature_store 0,3.3 => 0,3.4.1
• jours fériés 0.10.5.2 => 0.11.2
• Keras 2.5.0 => 2.6.0
• mlflow 1.19.0 => 1.20.2
• pétastorm 0.11.1 => 0.11.2
• Plotly 4.14.3 => 5.1.0
• spark-tensorflow-distributor 0.1.0 => 1.0.0
• sparkdl 2.2.0_db1 => 2.2.0_db3
• Tensorboard 2.5.0 => 2.6.0
• TensorFlow 2.5.0 => 2.6.0

Ajout de packages Python

• databricks-automl-runtime 0.1.0

Environnement du système

L’environnement système de Databricks Runtime 9.1 LTS ML diffère de celui de Databricks Runtime 9.1 LTS comme suit :

• DBUtils : Databricks Runtime ML n’inclut pas l’Utilitaire de bibliothèque (dbutils.library) (hérité). Utilisez les commandes %pip à la place. Consultez Bibliothèques Python spécifiques à un notebook.
• Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
  • CUDA==11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliothèques

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 9.1 LTS ML qui diffèrent de celles incluses dans Databricks Runtime 9.1 LTS.

Dans cette section :

• Bibliothèques de niveau supérieur
• Bibliothèques Python
• Bibliothèques R
• Bibliothèques Java et Scala (cluster Scala 2.12)

Bibliothèques de niveau supérieur

Databricks Runtime 9.1 LTS ML inclut les bibliothèques de niveau supérieur suivantes :

• AutoML
• GraphFrames
• Horovod et HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Bibliothèques Python

Databricks Runtime 9.1 LTS ML utilise Virtualenv pour la gestion des packages Python et inclut de nombreux packages ML populaires.

En plus des packages spécifiés dans les sections suivantes, Databricks Runtime 9.1 LTS ML inclut également les packages suivants :

• hyperopt 0.2.5.db2
• Sparkdl 2.2.0_db3
• feature_store 0.3.4.1
• Automl 1.2.1

Bibliothèques Python sur les clusters de processeurs

Bibliothèques Python sur des clusters GPU

Packages Spark contenant des modules Python

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 9.1 LTS.

Bibliothèques Java et Scala (cluster Scala 2.12)

En plus des bibliothèques Java et Scala dans Databricks Runtime 9.1 LTS, Databricks Runtime 9.1 LTS ML contient les fichiers JAR suivants :

Clusters de CPU

Clusters de GPU