Déployer des modèles groupés à des fins d’inférence et de prédiction

Cet article décrit ce que Databricks recommande pour l’inférence par lots.

Pour la mise en production de modèles en temps réel sur Azure Databricks, consultez Déployer des modèles en utilisant Mosaic AI Model Serving.

Fonctions IA pour l’inférence par lots

Les fonctions IA sont des fonctions intégrées que vous pouvez utiliser pour appliquer l’IA à vos données stockées sur Databricks. Vous pouvez exécuter l’inférence par lots à l’aide de fonctions IA spécifiques à des tâches ou de la fonction à usage général. ai_query

Voici un exemple d’inférence par lots à l’aide de la fonction IA spécifique à la tâche. ai_translate Si vous souhaitez effectuer une inférence par lots sur une table entière, vous pouvez supprimer limit 500 de votre requête.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Vous pouvez également utiliser la fonction ai_query usage général pour effectuer l’inférence par lots.

• Découvrez les types de modèles et les modèles associés qui ai_query prennent en charge.
• Consultez Déployer des pipelines d’inférence par lots.

Inférence par lots à l’aide d’un DataFrame Spark

Consultez Effectuer une inférence par lots à l’aide d’un DataFrame Spark pour un guide pas à pas dans le flux de travail d’inférence du modèle à l’aide de Spark.

Pour obtenir des exemples d’inférence de modèle Deep Learning, consultez les articles suivants :

• Inférence de modèle à l’aide de TensorFlow et de TensorRT
• Inférence de modèle à l’aide de PyTorch