Databricks Runtime 9.1 LTS para Machine Learning

A Databricks lançou essa imagem e a declarou LTS (Suporte de Longo Prazo) em setembro de 2021.

O Databricks Runtime 9.1 LTS para Machine Learning fornece um ambiente pronto parato-go para aprendizado de máquina e ciência de dados com base no Databricks Runtime 9.1 LTS. O Databricks Runtime ML contém muitas bibliotecas de machine learning populares, incluindo o TensorFlow, o PyTorch e o XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também dá suporte ao treinamento de aprendizado profundo distribuído usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e Machine Learning no Databricks.

Novos recursos e melhorias

AutoML

As melhorias a seguir estão disponíveis no Databricks Runtime 9.1 LTS ML e superior.

O AutoML oferece suporte a conjuntos de dados maiores por amostragem

O AutoML agora faz amostras de conjuntos de dados que podem exceder as restrições de memória, permitindo que ele seja executado em conjuntos de dados maiores com menos risco de erros de falta de memória. Para obter detalhes, confira Amostragem de conjuntos grandes de dados.

O AutoML pré-processa colunas com base no tipo semântico

O AutoML detecta determinadas colunas que têm um tipo semântico diferente do tipo de dados Spark ou pandas. Em seguida, o AutoML converte e aplica etapas de pré-processamento de dados com base no tipo semântico detectado. Especificamente, o AutoML executa as seguintes conversões:

• As colunas de cadeia de caracteres e inteiros que representam dados de data ou carimbo de data/hora são convertidas em um tipo de carimbo de data/hora.
• As colunas de cadeia de caracteres que representam dados numéricos são convertidas em um tipo numérico.

Melhorias nos blocos de anotações gerados pelo AutoML

As etapas de pré-processamento para colunas de data e carimbo de data/hora agora são incorporadas ao databricks-automl-runtime pacote, simplificando os blocos de anotações gerados pelo treinamento do AutoML. databricks-automl-runtimeestá incluído no Databricks Runtime 9.1 LTS ML e superior e também está disponível no PyPI.

Repositório de recursos

As melhorias a seguir estão disponíveis no Databricks Runtime 9.1 LTS ML e superior.

• Ao criar um TrainingSet, agora você pode definir label=None para dar suporte a aplicativos de aprendizado não supervisionado.
• Agora você pode especificar mais de um recurso em um único FeatureLookup.
• Agora você pode especificar um caminho personalizado para tabelas de recursos. Use o path parâmetro em create_feature_table(). O padrão é o local do banco de dados.
• Novos tipos de dados do PySpark com suporte: ArrayType e ShortType.

MLflow

As melhorias a seguir estão disponíveis a partir do MLflow versão 1.20.2, que está incluído no Databricks Runtime 9.1 LTS ML.

• O registro automático do scikit-learn agora registra métricas pós-treinamento sempre que uma API de avaliação do scikit-learn, como sklearn.metrics.mean_squared_error, é chamada.
• O registro automático do PySpark ML agora registra métricas pós-treinamento sempre que uma API de avaliação de modelo, como Evaluator.evaluate(), é chamada.
• mlflow.*.log_model e mlflow.*.save_model agora tem pip_requirements argumentos e extra_pip_requirements para que você possa especificar diretamente os requisitos de pip do modelo para registrar ou salvar.
• mlflow.*.log_model e mlflow.*.save_model agora inferir automaticamente os requisitos de pip do modelo para registrar ou salvar com base no ambiente de software atual.
• stdMetrics as entradas agora são registradas como métricas de treinamento durante o registro automático do PySpark CrossValidator.
• O registro automático do PyTorch Lightning agora oferece suporte à execução distribuída.

Databricks Autologging (Versão Prévia Pública)

A Visualização Pública do Databricks Autologging foi expandida para novas regiões. O Databricks Autologging é uma solução sem código que fornece acompanhamento automático de experimentos para sessões de treinamento em aprendizado de máquina no Azure Databricks. Com o Databricks Autologging, parâmetros de modelos, métricas, arquivos e informações de linhagem são capturados automaticamente quando você treina modelos de várias bibliotecas de aprendizado de máquina populares. As sessões de treinamento são registradas como Execuções de Acompanhamento do MLflow. Os arquivos de modelo também são rastreados para que você possa registrá-los facilmente no Registro de Modelo do MLflow e implantá-los para pontuação em tempo real com o Serviço de Modelo do MLflow.

Para obter mais informações sobre o Databricks Autologging, consulte Databricks Autologging.

Principais alterações no ambiente de Python do Databricks Runtime para Machine Learning

Pacotes do Python atualizados

• automl 1.1.1 => 1.2.1
• feature_store 0,3,3 => 0,3,4,1
• feriados 0.10.5.2 => 0.11.2
• keras 2.5.0 => 2.6.0
• mlflow 1.19.0 => 1.20.2
• Petastorm 0.11.1 => 0.11.2
• plotly 4.14.3 => 5.1.0
• distribuidor de fluxo de tensor de faísca 0.1.0 => 1.0.0
• sparkdl 2.2.0_db1 => 2.2.0_db3
• tensorboard 2.5.0 => 2.6.0
• TensorFlow 2.5.0 => 2.6.0

Pacotes do Python adicionados

• databricks-automl-runtime 0.1.0

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 9.1 LTS ML difere do Databricks Runtime 9.1 LTS da seguinte maneira:

• DBUtils: O Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Em vez disso, utilize os comandos %pip. Veja Bibliotecas do Python no escopo do notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 9.1 LTS ML que diferem daquelas incluídas no Databricks Runtime 9.1 LTS.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas Java e Scala (cluster Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 9.1 LTS ML inclui as seguintes bibliotecas de camada superior:

• AutoML
• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Bibliotecas do Python

O Databricks Runtime 9.1 LTS ML usa o Virtualenv para gerenciamento de pacotes do Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 9.1 LTS ML também inclui os seguintes pacotes:

• hyperopt 0.2.5.db2
• 2.2.0_db3 sparkdl
• feature_store 0.3.4.1
• AutoML 1.2.1

Bibliotecas do Python em clusters de CPU

Bibliotecas do Python em clusters de GPU

Pacotes do Spark que contêm módulos do Python

Bibliotecas de R

As bibliotecas do R são idênticas às bibliotecas do R no Databricks Runtime 9.1 LTS.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 9.1 LTS, o Databricks Runtime 9.1 LTS ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU