Implantar modelos para inferência e previsão em lote

Este artigo descreve o que o Databricks recomenda para inferência em lote.

Para implementação de modelos em tempo real no Azure Databricks, consulte Implantar modelos usando o Mosaic AI Model Serving.

Funções de IA para inferência em lote

AI Functions são funções integradas que você pode usar para aplicar IA em seus dados armazenados no Databricks. Você pode executar a inferência em lote usando funções de IA específicas da tarefa ou a função de propósito geral, ai_query.

A seguir está um exemplo de inferência em lote usando a função de IA específica da tarefa, ai_translate. Se quiser executar a inferência em lote em uma tabela inteira, você pode remover o limit 500 da consulta.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Como alternativa, você pode usar a função ai_query de propósito geral para executar a inferência em lote.

• Veja quais tipos de modelo e os modelos associados são ai_query suportados.
• Consulte Implementar pipelines de inferência de forma agrupada.

Inferência em lote usando um Spark DataFrame

Consulte Executar inferência em lote usando um DataFrame do Spark para obter um guia passo a passo sobre o fluxo de trabalho de inferência de modelo usando o Spark.

Para obter exemplos de inferência de modelos de aprendizagem profunda, consulte os seguintes artigos:

• Inferência de modelos usando TensorFlow e TensorRT
• Inferência de modelos usando PyTorch