Databricks Runtime 10.1 voor ML (EoS)

Databricks Runtime 10.1 voor Machine Learning biedt een kant-en-klare omgeving voor machine learning en gegevenswetenschap op basis van Databricks Runtime 10.1 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Het biedt ook ondersteuning voor gedistribueerde deep learning-training met behulp van Horovod.

Zie AI en machine learning op Databricks voor meer informatie, inclusief instructies voor het maken van een Databricks Runtime ML-cluster.

Nieuwe functies en verbeteringen

Databricks Runtime 10.1 ML is gebouwd op databricks Runtime 10.1. Zie de releaseopmerkingen van Databricks Runtime 10.1, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 10.1 (EoS ).

Verbeteringen aan AutoML

In Databricks Runtime 10.1 bevat AutoML verbeterde semantische typedetectie, nieuwe waarschuwingen voor potentiële gegevensproblemen tijdens de training, nieuwe mogelijkheden om overfitting van modellen te voorkomen en de mogelijkheid om de invoergegevensset te splitsen in trainings-, validatie- en testsets chronologisch.

Aanvullende semantische typedetecties

AutoML ondersteunt nu aanvullende semantische typedetectie:

• Numerieke kolommen die categorische labels bevatten, worden behandeld als een categorisch type.
• Kolommen met tekenreeksen die Engelse tekst bevatten, worden behandeld als een tekstkenmerk.

U kunt nu ook aantekeningen toevoegen om een kolomgegevenstype op te geven. Zie Semantische typedetectie voor meer informatie.

Waarschuwingen tijdens de training voor mogelijke problemen met gegevens

AutoML detecteert en genereert nu waarschuwingen voor mogelijke problemen met de gegevensset. Voorbeelden van waarschuwingen zijn niet-ondersteunde kolomtypen en kolommen met hoge kardinaliteit. Deze waarschuwingen worden weergegeven op de experimentpagina onder het nieuwe tabblad Waarschuwingen . Aanvullende informatie over waarschuwingen wordt opgenomen in het notitieblok voor gegevensverkenning. Zie Het experiment uitvoeren en de resultaten controleren voor meer informatie.

Vermindering van overfitting bij het model

Twee nieuwe mogelijkheden verminderen de kans op overfitting van een model bij het gebruik van AutoML:

• AutoML rapporteert nu teststatistieken naast validatie- en trainingsgegevens.
• AutoML maakt nu gebruik van vroegtijdig stoppen. Het stopt het trainen en afstemmen van modellen als de metrische validatiegegevens niet meer worden verbeterd.

Splits de gegevensset chronologisch in trainings-, validatie- en testsets.

Voor classificatie- en regressieproblemen kunt u de gegevensset opsplitsen in train-, validatie- en testsets chronologisch. Zie Gegevens splitsen in trainings-, validatie- en testsets voor meer informatie.

Verbeteringen in Databricks Feature Store

Databricks Feature Store ondersteunt nu aanvullende gegevenstypen voor functietabellen: BinaryType, DecimalTypeen MapType.

MLflow

De volgende verbeteringen zijn beschikbaar vanaf MLflow versie 1.21.0, die is opgenomen in Databricks Runtime 10.1 ML.

• [Modellen] Upgrade de fastai modelvariant om fastai v2 (2.4.1 en hoger) te ondersteunen.
• [Modellen] Introduceer een mlflow.prophet-modelvariant voor Prophet-tijdreeksmodellen.
• [Scoren] Corrigeer een fout bij het afdwingen van schema's die datumachtige tekstreeksen onjuist omzet naar datum/tijd-objecten.

Hyperopt

SparkTrials ondersteunt nu de early_stopping_fn parameter voor fmin. U kunt de functie vroeg stoppen om voorwaarden op te geven wanneer Hyperopt hyperparameterafstemming moet stoppen voordat het maximum aantal evaluaties wordt bereikt. U kunt deze parameter bijvoorbeeld gebruiken om het afstemmen te beëindigen als de doelfunctie niet meer afneemt. Zie fmin()voor meer informatie.

Belangrijke wijzigingen in de Python-omgeving van Databricks Runtime ML

Python-pakketten bijgewerkt

• automl 1.3.1 => 1.4.1
• feature_store 0,3.4 => 0,3,5
• feestdagen 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• imbalanced-learn 0,8.0 => 0,8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spatie 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformatoren 4.9.2 => 4.11.3

Python-pakketten toegevoegd

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

Afgeschafte onderdelen

MLlib geautomatiseerde MLflow-tracering wordt afgeschaft op clusters met Databricks Runtime 10.1 ML en hoger. Gebruik in plaats daarvan MLflow PySpark ML autologging door aan te roepen mlflow.pyspark.ml.autolog(). Autologging is standaard ingeschakeld met Databricks Autologging.

Systeemomgeving

De systeemomgeving in Databricks Runtime 10.1 ML verschilt als volgt van Databricks Runtime 10.1:

• DBUtils: Databricks Runtime ML bevat geen bibliotheekhulpprogramma (dbutils.library) (verouderd). Gebruik in plaats daarvan %pip-opdrachten. Zie Notebook-scoped Python libraries (Notebook-scoped Python-bibliotheken) voor meer informatie.
• Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotheken

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 10.1 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 10.1.

In deze sectie:

• Bibliotheken van topniveau
• Python-bibliotheken
• R-bibliotheken
• Java- en Scala-bibliotheken (Scala 2.12-cluster)

Hoogwaardige bibliotheken

Databricks Runtime 10.1 ML bevat de volgende bibliotheken van topniveau:

• GraphFrames
• Horovod en HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python-bibliotheken

Databricks Runtime 10.1 ML maakt gebruik van Virtualenv voor Python-pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 10.1 ML ook de volgende pakketten:

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

Python-bibliotheken op CPU-clusters

Python-bibliotheken op GPU-clusters

Spark-pakketten met Python-modules

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 10.1.

Java- en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java- en Scala-bibliotheken in Databricks Runtime 10.1 bevat Databricks Runtime 10.1 ML de volgende JAR's:

CPU-clusters

GPU-clusters