Modellen implementeren voor batchinference en -voorspelling

Dit artikel beschrijft wat Databricks aanbeveelt voor batch-inference.

Zie Modellen implementeren met behulp van Mosaic AI Model Servingvoor realtime-modelverwerking op Azure Databricks.

AI-functies voor batchinference

AI-functies zijn ingebouwde functies die u kunt gebruiken om AI toe te passen op uw gegevens die zijn opgeslagen op Databricks. U kunt batchdeductie uitvoeren met behulp van taakspecifieke AI-functies of de functie voor algemeen gebruik. ai_query

Hier volgt een voorbeeld van batchdeductie met behulp van de taakspecifieke AI-functie. ai_translate nl-NL: Als u batch-inferentie wilt uitvoeren voor een hele tabel, kunt u de limit 500 uit uw query verwijderen.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

U kunt ook de algemene functie ai_query gebruiken om batchinference uit te voeren.

• Bekijk welke modeltypen en de bijbehorende modellen worden ai_query ondersteund.
• Zie Batch-inferentiepijplijnen uitrollen.

Batch-inferentie met behulp van een Spark DataFrame

Zie Batchdeductie uitvoeren met behulp van een Spark DataFrame voor een stapsgewijze handleiding voor het doorlopen van de modeldeductiewerkstroom met behulp van Spark.

Zie de volgende artikelen voor voorbeelden van deep learning-modeldeductie:

• Modeldeductie met behulp van TensorFlow en TensorRT
• Modeldeductie met behulp van PyTorch