Databricks Runtime 15.1 para Machine Learning (EoS)

Databricks Runtime 15.1 para Machine Learning proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos basado en Databricks Runtime 15.1 (EoS). Databricks Runtime ML contiene muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch y XGBoost. Databricks Runtime ML incluye AutoML, una herramienta para entrenar automáticamente canalizaciones de aprendizaje automático. Databricks Runtime ML también admite el entrenamiento de aprendizaje profundo distribuido mediante Horovod.

Nuevas características y mejoras

Databricks Runtime 15.1 ML se basa en Databricks Runtime 15.1. Para obtener información sobre las novedades de Databricks Runtime 15.1, incluidos Apache Spark MLlib y SparkR, consulte las notas de la versión de Databricks Runtime 15.1 (EoS).

Cambios importantes

La CLI de Databricks heredada ya no está instalada de forma predeterminada

En Databricks Runtime 14.3 LTS ML y versiones anteriores, ya que la versión preinstalada de MLflow requería la CLI heredada de Databricks, se instaló automáticamente en $PATH. Databricks Runtime 15.1 ML incluye MLflow versión 2.10.2, que no requiere la CLI heredada.

A partir de Databricks Runtime 15.1 ML, la CLI heredada de Databricks ya no se instala automáticamente en $PATH. Se trata de un cambio importante para los usuarios que dependen de la CLI heredada que se instala en tiempo de ejecución. Los comandos como %sh databricks ... ya no funcionan en Databricks Runtime 15.1 ML y versiones posteriores.

Para seguir usando la CLI heredada de Databricks desde un cuaderno, instálela como un clúster o biblioteca de cuadernos. La nueva CLI de Databricks está disponible en el terminal web. Para más información, consulte Uso del terminal web y la CLIde Databricks.

MLeap ya no está disponible a partir de Databricks Runtime 15.1 ML

MLeap ya no está disponible en Databricks Runtime 15.1 ML y versiones posteriores. Para empaquetar modelos para la implementación en marcos basados en JVM, Databricks recomienda usar el formatoONNX.

Desuso de Horovod y HorovodRunner

Horovod y HorovodRunner ya están en desuso. Para el aprendizaje profundo distribuido, Databricks recomienda usar TorchDistributor para el entrenamiento distribuido con PyTorch o la API para el tf.distribute.Strategy entrenamiento distribuido con TensorFlow. Horovod y HorovodRunner están preinstalados en Databricks Runtime 15.1 ML, pero se quitarán en la siguiente versión principal de Databricks Runtime ML.

Entorno del sistema

El entorno del sistema de Databricks Runtime 15.1 ML se diferencia del de Databricks Runtime 15.1 en los siguientes aspectos:

• En los clústeres de GPU, Databricks Runtime ML incluye las siguientes bibliotecas de GPU de NVIDIA:
  • CUDA 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Bibliotecas

En las secciones siguientes se enumeran las bibliotecas incluidas en Databricks Runtime 15.1 ML que difieren de las incluidas en Databricks Runtime 15.1.

En esta sección:

• Bibliotecas de nivel superior
• Bibliotecas de Python
• Bibliotecas de R
• Bibliotecas de Java y Scala (clúster de Scala 2.12)

Bibliotecas de nivel superior

Databricks Runtime 15.1 ML incluye las siguientes bibliotecas de nivel superior:

• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector (conector para Spark y TensorFlow)
• TensorFlow
• TensorBoard
• Scikit-learn
• (en desuso) Horovod y HorovodRunner

Bibliotecas de Python

Databricks Runtime 15.1 ML usa virtualenv para la administración de los paquetes de Python, e incluye muchos paquetes populares de ML.

Además de los paquetes especificados en las siguientes secciones, Databricks Runtime 15.1 ML también incluye estos paquetes:

• hyperopt 0.2.7.db4
• sparkdl 3.0.0_db1
• automl 1.25.0

Para reproducir el entorno de Python de Databricks Runtime ML en el entorno virtual local de Python, descargue el archivo requirements-15.1.txt y ejecute pip install -r requirements-15.1.txt. Este comando instala todas las bibliotecas de código abierto que usa Databricks Runtime ML, pero no instala bibliotecas que desarrolla Databricks, como databricks-automl, databricks-feature-store o la bifurcación de Databricks de hyperopt.

Bibliotecas de Python en clústeres de CPU

Bibliotecas de Python en clústeres de GPU

Bibliotecas de R

Las bibliotecas de R son idénticas a las bibliotecas de R de Databricks Runtime 15.1.

Bibliotecas de Java y Scala (clúster de Scala 2.12)

Además de las bibliotecas de Java y Scala de Databricks Runtime 15.1, los siguientes archivos JAR también se incluyen en Databricks Runtime 15.1 ML:

Clústeres de CPU

Clústeres de GPU