Conceitos: IA generativa no Azure Databricks

Uma aplicação GenAI é uma aplicação que utiliza modelos de IA generativa (como grandes modelos de linguagem, modelos de geração de imagens e modelos de texto para fala) para criar novos resultados, automatizar tarefas complexas ou realizar interações inteligentes baseadas na entrada do utilizador.

Uma aplicação GenAI pode ser alimentada por chamadas simples a LLMs ou outros modelos GenAI, ou por agentes de IA complexos. Leia mais sobre os níveis de complexidade.

Agentes, ferramentas, avaliações, modelos e outros aspetos das aplicações GenAI podem ser personalizados com os seus dados proprietários. Esta personalização baseada em dados conduz à inteligência de dados, permitindo-lhe ir além da inteligência geral oferecida pelos modelos de IA predefinidos.

Aplicações GenAI

Uma aplicação GenAI voltada para o utilizador pode assumir várias formas, tais como:

• Uma aplicação de chat, como uma que é implementada usando Databricks Apps
• Um endpoint API, como um agente implementado no Model Serving
• Uma função SQL para analistas, como uma Função de IA

O sucesso com aplicações GenAI requer frequentemente dois conjuntos de competências: desenvolvimento de aplicações e avaliação de IA. O desenvolvimento de aplicações GenAI é muito semelhante ao desenvolvimento de aplicações não relacionadas com IA, exigindo competências de software que dependem do tipo de aplicação. No entanto, a avaliação para aplicações GenAI requer ferramentas e técnicas especializadas para lidar com a complexidade e as respostas abertas da GenAI.

Para saber sobre a construção de aplicações GenAI específicas para o setor no Azure Databricks, veja:

• Databricks Solutions for Industry para casos de uso, clientes e outros recursos
• Databricks Solution Accelerators por exemplo implementações de casos de uso que poderá executar e modificar

Avaliação GenAI

Os modelos, agentes e aplicações GenAI apresentam frequentemente comportamentos complexos e abertos. Os utilizadores podem ser autorizados a introduzir qualquer consulta. Um agente de IA pode ser autorizado a recolher texto, imagens e muito mais durante a execução. O resultado pode ser texto arbitrário, imagens ou outros meios, e pode haver muitas respostas "boas".

Estas complicações tornam difícil avaliar a GenAI. Uma avaliação adequada exige:

• Automação usando IA para avaliar IA
• Feedback humano de especialistas e utilizadores para recolher a verdade no terreno e calibrar avaliações automatizadas
• Mergulhar profundamente em agentes complexos para compreender e depurar comportamentos

O MLflow gerido pelo Azure Databricks e ferramentas relacionadas fornecem as bases para a avaliação do GenAI:

• Avaliar e monitorizar agentes de IA - Aprenda sobre avaliação, monitorização da produção e feedback humano.
• Comece: MLflow 3 para GenAI - Experimente rastrear, avaliar e recolher feedback humano.
• MLflow Tracing - Observabilidade GenAI - Aprenda sobre MLflow Tracing para registar e analisar o comportamento dos agentes.

Agents

Um agente ou sistema agente é um sistema impulsionado por IA que pode perceber, decidir e agir autonomamente num ambiente para alcançar objetivos. Ao contrário de um modelo GenAI autónomo que só produz uma saída quando solicitado, um sistema agente possui um grau de agência. Os agentes de IA modernos utilizam um modelo GenAI como o "cérebro" de um sistema que:

1. Recebe solicitações de usuários ou mensagens de outro agente.
2. Razões sobre como proceder: quais dados buscar, qual lógica aplicar, quais ferramentas chamar ou se deve solicitar mais entrada do usuário.
3. Executa um plano e, possivelmente, chama várias ferramentas ou delega a subagentes.
4. Retorna uma resposta ou solicita esclarecimentos adicionais ao usuário.

Ao fazer a ponte entre inteligência geral (as capacidades pré-treinadas do modelo GenAI) e inteligência de dados (o conhecimento especializado e APIs específicas do seu negócio), os sistemas de agentes permitem casos de uso empresariais de alto impacto, como fluxos avançados de serviço ao cliente, bots analíticos ricos em dados e orquestração multiagente para tarefas operacionais complexas.

Existe um contínuo desde modelos simples de GenAI até agentes complexos. Para saber mais, consulte Padrões de design de sistemas de agentes.

O Azure Databricks oferece uma variedade de opções para construir agentes, desde totalmente guiados até totalmente personalizados:

• Agent Bricks fornece criadores de agentes guiados para aplicações chave como assistentes de conhecimento e extração de informação.

• O AI Playground fornece uma interface para prototipar agentes de chamada de ferramentas, a partir da qual pode exportar o código gerado dos agentes.
• O Agent Framework permite-lhe construir e implementar agentes usando código personalizado ou bibliotecas de autoria de agentes de terceiros.

Ferramentas

Os agentes de IA podem usar ferramentas para recolher informações ou realizar ações. As ferramentas são funções de interação única que um LLM pode invocar para realizar uma tarefa bem definida. O modelo de IA normalmente gera parâmetros para cada chamada de ferramenta, e a ferramenta fornece uma interação direta de entrada-saída.

Categorias comuns de ferramentas incluem:

• Ferramentas que recuperam ou analisam dados
  • Recuperação semântica: Consulte um índice vetorial para localizar texto relevante ou outros dados não estruturados.
  • Recuperação estruturada: Execute consultas SQL ou utilize APIs para recuperar informação estruturada.
  • Ferramenta de pesquisa web: Pesquise na internet ou num corpus interno da web.
  • Modelos clássicos de ML: Invocam modelos de aprendizagem automática para realizar classificação, regressão ou outras previsões.
  • Modelos GenAI: Gerar saídas especializadas, como código ou imagens.
• Ferramentas que modificam o estado de um sistema externo
  • Chamada API: Chamar endpoints de CRM, serviços internos ou outras integrações de terceiros.
  • Integração com email ou aplicação de mensagens: Publique uma mensagem ou envie uma notificação.
• Ferramentas que executam lógica ou executam uma tarefa específica
  • Execução de código: Execute código fornecido pelo utilizador ou gerado por LLM num sandbox.

As ferramentas podem ser integradas na lógica agentica ou acedidas através de interfaces padronizadas como o MCP.

Ferramentas vs. agentes:

• As ferramentas realizam uma única operação bem definida. Os agentes podem realizar tarefas de natureza mais aberta.
• As ferramentas são geralmente sem estado e não mantêm um contexto contínuo para além de cada invocação. Os agentes mantêm o estado enquanto resolvem tarefas iterativamente.

Gestão de erros e segurança das ferramentas:

Como cada chamada de ferramenta é uma operação externa, como uma chamada de API, o sistema deve tratar as falhas de forma eficiente. Time-outs, respostas mal formadas ou entradas inválidas não devem causar a falha completa do agente. Em produção, limite o número de chamadas de ferramenta permitidas, tenha uma resposta alternativa caso as chamadas falhem e aplique mecanismos de proteção para garantir que o sistema agente não tente repetidamente a mesma ação que falhou.

Saiba mais sobre ferramentas de IA no Databricks:

• Ferramentas de agentes de IA - Guia para abordagens de ferramentas
• Protocolo de Contexto de Modelo (MCP) em Databricks - Servidores MCP geridos, personalizados e externos

Modelos GenAI e LLMs

Grandes Modelos de Linguagem (LLMs) são modelos de IA treinados com conjuntos massivos de dados textuais que podem compreender, gerar e raciocinar sobre a linguagem humana. Os LLMs alimentam aplicações como chatbots, assistentes de código e ferramentas de geração de conteúdos, prevendo e produzindo texto contextualmente relevante com base em prompts de entrada.

De forma mais geral, os modelos GenAI ou modelos de fundação são treinados com grandes volumes de texto, imagem, vídeo, áudio ou outros dados para aprender sobre modos para além do texto. Modelos multimodais aprendem a conciliar a linguagem humana com imagens, áudio e outros meios. Os LLMs são um tipo de GenAI ou modelo de fundação, embora estes termos sejam frequentemente usados de forma vaga e intercambiável.

Os modelos GenAI fornecem a inteligência por detrás dos agentes e aplicações GenAI. Aplicações simples são frequentemente construídas usando um único modelo personalizado com engenharia de prompts.

Saiba mais sobre a utilização de modelos GenAI no Azure Databricks:

• Comece: Consulta LLMs e protótipo de agentes de IA sem código
• Modelos de base hospedados pelo Databricks disponíveis nas APIs do Modelo de Fundação
• Saiba mais sobre o AI Gateway para governar modelos GenAI

Engenharia de prompts

Os modelos GenAI geralmente recebem prompts ou instruções que indicam ao modelo como lidar com a entrada do utilizador. Os prompts podem ser fortemente personalizados com passos detalhados, conhecimento de especialistas, dados e outras informações.

O Azure Databricks oferece formas flexíveis de fazer engenharia de prompts. Por exemplo:

• Agent Bricks automatiza a engenharia de prompts nos bastidores, com base nos seus dados e no feedback.

• O AI Playground fornece uma interface para engenharia manual e interativa de prompts.
• MLflow Prompt Optimization e DSPy fornecem rotinas de otimização de prompts orientadas por dados.

Modelos de afinação fina

Os modelos GenAI também podem ser personalizados através de fine-tuning, que personaliza um modelo para um domínio ou aplicação específica usando os seus dados personalizados.

O Azure Databricks fornece formas flexíveis de ajustar modelos finamente. Por exemplo:

• O Agent Bricks automatiza a personalização baseada em dados, com potencial para fazer ajustes finos nos bastidores.
• A computação com GPU serverless fornece infraestrutura de computação para ajustes finos totalmente personalizáveis. Ver exemplos.

O que é uma plataforma GenAI?

A GenAI requer uma plataforma combinada de dados + IA. Para programadores e administradores, os componentes-chave da GenAI devem estar ligados e governados numa plataforma simples e unificada.

Os principais componentes incluem:

• Ativos de IA, como modelos, agentes e aplicações
• Ativos de dados como ficheiros, tabelas, pipelines de processamento, índices vetoriais e repositórios de funcionalidades
• Implementações de IA, como endpoints para modelos e agentes
• Ferramentas para construir e implementar ativos de IA e dados

As principais capacidades de governação incluem:

• Governação unificada da IA e dos ativos de dados. Saiba mais em O que é o Unity Catalog?.
• Governação unificada dos endpoints dos modelos GenAI. Saiba mais na introdução do Mosaic AI Gateway.
• Abordagem de segurança unificada. Saiba mais em Databricks IA Security.
• Administração unificada de IA e ferramentas de dados. Saiba mais em Administração.

Veja também as capacidades de IA do Mosaic para o GenAI e a arquitetura Databricks.

Mais informações

• Desafios principais na construção de aplicações GenAI - Grandes desafios em GenAI e soluções para estes usando Databricks
• Padrões de design de sistemas de agentes - Agentes GenAI simples a complexos, além de conselhos práticos
• IA no Databricks - Casos de uso, clientes e outros recursos para IA no Databricks