Implantar modelos para inferência e previsão em lote

Este artigo descreve o que o Databricks recomenda para inferência em lote.

Para a oferta de modelos em tempo real no Azure Databricks, consulte Deploy models using Mosaic AI Model Serving.

Funções de IA para inferência em lote

As funções de IA são funções internas que você pode usar para aplicar IA em seus dados armazenados no Databricks. Você pode executar a inferência em lote usando funções de IA específicas da tarefa ou a função de finalidade geral. ai_query

Veja a seguir um exemplo de inferência em lote usando a função de IA específica da tarefa. ai_translate Se você quiser executar a inferência em lote em uma tabela inteira, poderá remover a limit 500 da consulta.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Como alternativa, você pode usar a função ai_query de finalidade geral para executar a inferência em lote.

• Veja quais tipos de modelo e os modelos associados que ai_query dão suporte.
• Consulte Implantar pipelines de inferência em lote.

Inferência em lote usando um DataFrame do Spark

Consulte Executar inferência em lote usando um DataFrame do Spark para obter um guia passo a passo por meio do fluxo de trabalho de inferência do modelo usando o Spark.

Para obter exemplos de inferência de modelo de aprendizado profundo, consulte os seguintes artigos:

• Inferência de modelo usando TensorFlow e TensorRT
• Inferência de modelo usando PyTorch