Databricks Runtime 11.3 LTS para Aprendizado de Máquina (EoS)

O Databricks Runtime 11.3 LTS for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados baseado no Databricks Runtime 11.3 LTS (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 11.3 LTS ML é construído sobre o Databricks Runtime 11.3 LTS. Para obter informações sobre o que há de novo no Databricks Runtime 11.3 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 11.3 LTS (EoS ).

Melhorias no AutoML

O AutoML agora suporta o uso de tabelas de recursos existentes do Feature Store em seus experimentos AutoML. Para obter detalhes, consulte Integração do AutoML Feature Store.

Os blocos de anotações de avaliação gerados pelo AutoML agora contêm trechos de código que permitem que os usuários executem novamente o ajuste de hiperparâmetros.

O AutoML agora oferece suporte a funcionalidades de DecimalType.

Correções de erros

O Databricks Runtime 11.3 LTS ML inclui uma versão atualizada do sparkdl.xgboost. As versões anteriores do sparkdl.xgboost contêm bugs corrigidos nesta versão, portanto, o Databricks recomenda que os usuários da biblioteca atualizem para o Databricks Runtime 11.3 LTS ML.

Prepare-se para versões futuras

Uma próxima versão do Databricks Runtime ML incluirá sklearn a versão 1.0. Visite a sklearndocumentação para obter informações sobre como se preparar para esta alteração.

O Databricks Runtime ML contém dois openblas pacotes. O /opt/OpenBLAS pacote foi preterido no Databricks Runtime 11.3 LTS ML e será removido em uma próxima versão.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 11.3 LTS ML difere do Databricks Runtime 11.3 LTS da seguinte forma:

• DBUtils: o Databricks Runtime ML não inclui o utilitário de biblioteca (dbutils.library) (legado). Em vez disso, use comandos %pip. Veja Bibliotecas de Python específicas para notebooks.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,3
  • cuDNN 8.0.5.39
  • NCCL 2.9.9
  • TensorRT 7.2.2

O Databricks Runtime 11.3 LTS ML inclui o XGBoost 1.6.1, que não suporta clusters GPU com capacidade de computação 5.2 e inferior.

Libraries

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 11.3 LTS ML que diferem daquelas incluídas no Databricks Runtime 11.3 LTS.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 11.3 LTS ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• Spark-TensorFlow Connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas Python

O Databricks Runtime 11.3 LTS ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 11.3 LTS ML também inclui os seguintes pacotes:

• hiperopt 0.2.7.db1
• Sparkdl 2.3.0-DB3
• feature_store 0.7.0
• AutoML 1.13.2 |

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-11.3.txt e execute pip install -r requirements-11.3.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Bibliotecas Python em clusters GPU

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 11.3 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 11.3 LTS, o Databricks Runtime 11.3 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU