Databricks Runtime 10.4 LTS para Aprendizado de Máquina (EoS)

O Databricks Runtime 10.4 LTS for Machine Learning fornece um ambiente deto-go pronto para aprendizado de máquina e ciência de dados baseado no Databricks Runtime 10.4 LTS (EoS). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.

Novos recursos e melhorias

O Databricks Runtime 10.4 LTS ML é construído sobre o Databricks Runtime 10.4 LTS. Para obter informações sobre o que há de novo no Databricks Runtime 10.4 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 10.4 LTS (EoS ).

Melhorias no AutoML

Os seguintes aprimoramentos foram feitos no AutoML.

O AutoML está disponível em geral

Começando com o Databricks Runtime 10.4 LTS ML, o AutoML está geralmente disponível.

Imputação de valores ausentes

Agora você pode especificar como os valores nulos são imputados. Por padrão, o AutoML seleciona um método de imputação com base no tipo de coluna e no conteúdo. Consulte Imputar valores ausentes para obter detalhes.).

Seleção de colunas na interface do utilizador

Para problemas de classificação e regressão, agora você pode usar a interface do usuário, além da API, para especificar colunas que o AutoML deve ignorar durante seus cálculos. Ver Seleção de coluna.

Novo tipo de dados

O AutoML agora suporta tipos de matrizes numéricas.

Localização personalizada dos notebooks gerados e do experimento

Agora você pode especificar um local no espaço de trabalho onde o AutoML deve salvar os blocos de anotações e experimentos gerados. Use o experiment_dir parâmetro. Consulte Referência da API do AutoML Python.

Aperfeiçoamentos no Databricks Feature Store

Os seguintes aprimoramentos foram feitos no Databricks Feature Store.

• Agora você pode registrar uma tabela Delta existente como uma tabela de recursos.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 10.4 LTS ML difere do Databricks Runtime 10.4 LTS da seguinte forma:

• DBUtils: o Databricks Runtime ML não inclui o utilitário de biblioteca (dbutils.library) (legado). Em vez disso, use comandos %pip. Veja Bibliotecas de Python específicas para notebooks.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11,0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 10.4 LTS ML que diferem daquelas incluídas no Databricks Runtime 10.4 LTS.

Nesta secção:

• Bibliotecas de nível superior
• Bibliotecas Python
• Bibliotecas R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de nível superior

O Databricks Runtime 10.4 LTS ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• Spark-TensorFlow Connector
• TensorFlow
• TensorBoard

Bibliotecas Python

O Databricks Runtime 10.4 LTS ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 10.4 LTS ML também inclui os seguintes pacotes:

• hiperopt 0.2.7.db1
• Sparkdl 2.2.0-DB5
• feature_store 0.3.8
• AutoML 1.7.2 |

Bibliotecas Python em clusters de CPU

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-10.4.txt e execute pip install -r requirements-10.4.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala as bibliotecas desenvolvidas pelo Azure Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters GPU

Pacotes Spark contendo módulos Python

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 10.4 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 10.4 LTS, o Databricks Runtime 10.4 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU