Databricks Runtime 11.3 LTS para Machine Learning (EoS)

O Databricks Runtime 11.3 LTS para Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 11.3 LTS (EoS). O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e Machine Learning no Databricks.

Novos recursos e melhorias

O Databricks Runtime 11.3 LTS ML é criado com base no Databricks Runtime 11.3 LTS. Para obter informações sobre as novidades no Databricks Runtime 11.3 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 11.3 LTS (EoS ).

Aprimoramentos no AutoML

O AutoML agora dá suporte ao uso de tabelas de recursos existentes do Repositório de Recursos em seus experimentos do AutoML. Para obter detalhes, consulte a integração do Repositório de Recursos do AutoML.

Os notebooks de avaliação gerados pelo AutoML agora contêm snippets de código que permitem que os usuários executem novamente o ajuste do hiperparâmetro.

O AutoML agora dá suporte a DecimalType recursos.

Correções

O Databricks Runtime 11.3 LTS ML inclui uma versão atualizada de sparkdl.xgboost. As versões sparkdl.xgboost anteriores contêm bugs corrigidos nesta versão, portanto, o Databricks recomenda que os usuários da biblioteca atualizem para o Databricks Runtime 11.3 LTS ML.

Preparar para versões futuras

Uma versão futura do Databricks Runtime ML incluirá sklearn a versão 1.0. Visite a sklearndocumentação para obter informações sobre como se preparar para essa alteração.

O Databricks Runtime ML contém dois openblas pacotes. O /opt/OpenBLAS pacote foi preterido no Databricks Runtime 11.3 LTS ML e será removido em uma versão futura.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 11.3 LTS ML difere do Databricks Runtime 11.3 LTS da seguinte maneira:

• DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Em vez disso, utilize os comandos %pip. Veja Bibliotecas do Python no escopo do notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

O Databricks Runtime 11.3 LTS ML inclui o XGBoost 1.6.1, que não dá suporte a clusters de GPU com capacidade de computação 5.2 e inferior.

Libraries

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 11.3 LTS ML que diferem daquelas incluídas no Databricks Runtime 11.3 LTS.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 11.3 LTS ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas do Python

O Databricks Runtime 11.3 LTS ML usa o Virtualenv para gerenciamento de pacotes python e inclui muitos pacotes ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 11.3 LTS ML também inclui os seguintes pacotes:

• hyperopt 0.2.7.db1
• sparkdl 2.3.0-db3
• feature_store 0.7.0
• automl 1.13.2

Para reproduzir o ambiente do Databricks Runtime ML Python em seu ambiente virtual do Python local, baixe o arquivo requirements-11.3.txt e execute pip install -r requirements-11.3.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Bibliotecas do Python em clusters de GPU

Bibliotecas de R

As bibliotecas do R são idênticas às Bibliotecas do R no Databricks Runtime 11.3 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 11.3 LTS, o Databricks Runtime 11.3 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU