Databricks Runtime 10.4 LTS para Machine Learning (EoS)

Databricks Runtime 10.4 LTS para el aprendizaje automático proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 10.4 LTS (EoS). Databricks Runtime ML contiene muchas bibliotecas de aprendizaje automático populares, como TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Para más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.

Nuevas características y mejoras

Databricks Runtime 10.4 LTS ML se basa en Databricks Runtime 10.4 LTS. Para obtener información sobre las novedades de Databricks Runtime 10.4 LTS, incluidas apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 10.4 LTS (EoS).

Mejoras en AutoML

Se han realizado las siguientes mejoras en AutoML.

AutoML está disponible con carácter general

A partir de Databricks Runtime 10.4 LTS ML, AutoML está disponible con carácter general.

Imputación de valores que faltan

Ahora puede especificar cómo se imputan los valores NULL. De forma predeterminada, AutoML selecciona un método de imputación basado en el tipo de columna y el contenido. Consulte Impute los valores que faltan para obtener más información).

Selección de columnas de la interfaz de usuario

Para problemas de clasificación y regresión, ahora puede usar la interfaz de usuario además de la API para especificar columnas que AutoML debe omitir durante sus cálculos. Consulte Selección de columnas.

Nuevo tipo de datos

AutoML ahora admite tipos numéricos de matriz.

Ubicación personalizada de cuadernos y experimentos generados

Ahora puede especificar una ubicación en el área de trabajo donde AutoML debe guardar cuadernos y experimentos generados. Utilice el parámetro experiment_dir. Consulte Referencia de la API de Python de AutoML.

Mejoras en el Feature Store de Databricks

Se han realizado las siguientes mejoras en el Almacén de características de Databricks.

• Ahora puede registrar una tabla Delta existente como una tabla de características.

Entorno del sistema

El entorno del sistema en Databricks Runtime 10.4 LTS ML difiere de Databricks Runtime 10.4 LTS de la siguiente manera:

• DBUtils: Databricks Runtime ML no incluye la utilidad de biblioteca (dbutils.library) (heredada). Use comandos %pip en su lugar. Consulte Bibliotecas específicas de Python para Notebook.
• En el caso de los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

Libraries

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 10.4 LTS ML que difieren de las incluidas en Databricks Runtime 10.4 LTS.

En esta sección:

• Bibliotecas de nivel superior
• Bibliotecas de Python
• Bibliotecas de R
• Bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 10.4 LTS ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• Horovod y HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard

Bibliotecas de Python

Databricks Runtime 10.4 LTS ML usa Virtualenv para la administración de paquetes de Python e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las secciones siguientes, Databricks Runtime 10.4 LTS ML también incluye los siguientes paquetes:

• hyperopt 0.2.7.db1
• sparkdl 2.2.0-db5
• feature_store 0.3.8
• automl 1.7.2

Bibliotecas de Python en clústeres de CPU

Para reproducir el entorno de Python de Ml en tiempo de ejecución de Databricks en el entorno virtual local de Python, descargue el archivo requirements-10.4.txt y ejecute pip install -r requirements-10.4.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas desarrolladas de Azure Databricks, como databricks-automl, databricks-feature-storeo la bifurcación de Databricks de hyperopt.

Bibliotecas de Python en clústeres de GPU

Paquetes de Spark que contienen módulos de Python

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R en Databricks Runtime 10.4 LTS.

Bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala en Databricks Runtime 10.4 LTS, Databricks Runtime 10.4 LTS ML contiene los siguientes JAR:

Clústeres de CPU

Clústeres de GPU