Implementación de modelos para la inferencia y la predicción por lotes

En este artículo se describe lo que Databricks recomienda para la inferencia por lotes.

Para obtener servicios de modelos en tiempo real en Azure Databricks, consulte Implementación de modelos mediante el servicio de modelos de IA de Mosaico.

Funciones de IA para la inferencia por lotes

Ai Functions son funciones integradas que puede usar para aplicar la inteligencia artificial en los datos almacenados en Databricks. Puede ejecutar la inferencia por lotes mediante funciones de IA específicas de la tarea o la función de uso general, ai_query.

A continuación se muestra un ejemplo de inferencia por lotes mediante la función de IA específica de la tarea, ai_translate. Si desea realizar la inferencia por lotes en toda una tabla, puede quitar limit 500 de la consulta.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Como alternativa, puede usar la función genérica ai_query para realizar la inferencia por lotes.

• Vea qué tipos de modelo y los modelos asociados que ai_query admiten.
• Consulte Implementación de canalizaciones de inferencia por lotes.

Inferencia por lotes usando un DataFrame de Spark

Consulte Realización de la inferencia por lotes mediante una trama de datos de Spark para obtener una guía paso a paso a través del flujo de trabajo de inferencia del modelo mediante Spark.

Para obtener ejemplos de inferencia de modelos de aprendizaje profundo, consulte los artículos siguientes:

• Inferencia de modelos mediante TensorFlow y TensorRT
• Inferencia de modelos mediante PyTorch