MLflow para o ciclo de vida de modelos de aprendizagem automática

Este artigo descreve como o MLflow no Databricks é usado para desenvolver agentes de IA generativa de alta qualidade e modelos de aprendizado de máquina.

O que é MLflow?

MLflow é uma plataforma de código aberto para o desenvolvimento de modelos e aplicações de IA generativa. Tem os seguintes componentes principais:

• Rastreamento: Permite rastrear experimentos para registrar e comparar parâmetros e resultados.
• Modelos: Permite gerenciar e implantar modelos de várias bibliotecas de ML em várias plataformas de serviço e inferência de modelos.
• Registro do modelo: Permite gerenciar o processo de implantação do modelo desde o preparo até a produção, com recursos de controle de versão e anotação do modelo.
• Avaliação e rastreamento de agentes de IA: Permite desenvolver agentes de IA de alta qualidade, ajudando-o a comparar, avaliar e solucionar problemas de agentes.

O MLflow suporta as APIs de Java, Python, R e REST.

MLflow 3

O MLflow 3 no Azure Databricks oferece rastreamento, observabilidade e avaliação de desempenho de experimentos de última geração para modelos de aprendizado de máquina, aplicativos de IA generativa e agentes no lago Databricks. Usando o MLflow 3 no Azure Databricks, você pode:

• Acompanhe e analise centralmente o desempenho de seus modelos, aplicativos de IA e agentes em todos os ambientes, desde consultas interativas em um bloco de anotações de desenvolvimento até implantações em lote de produção ou atendimento em tempo real.

  

• Orquestre fluxos de trabalho de avaliação e implantação usando o Unity Catalog e acesse logs de status abrangentes para cada versão do seu modelo, aplicativo de IA ou agente.

  

• Visualize e acesse métricas e parâmetros do modelo na página da versão do modelo no Unity Catalog e na API REST.

  

• Anote pedidos e respostas (traces) para todas as suas aplicações e agentes de IA generativa, permitindo que especialistas humanos e técnicas automatizadas (como LLM-as-a-judge) forneçam feedback valioso. Você pode aproveitar esse feedback para avaliar e comparar o desempenho de versões de aplicativos e criar conjuntos de dados para melhorar a qualidade.

  

Esses recursos simplificam e agilizam a avaliação, a implantação, a depuração e o monitoramento de todas as suas iniciativas de IA.

O MLflow 3 também introduz os conceitos de Modelos Registrados e Trabalhos de Implantação.

• Os Modelos Registados ajudam-no a acompanhar o progresso de um modelo ao longo do seu ciclo de vida. Ao registar um modelo usando log_model(), é criado um LoggedModel que persiste durante todo o ciclo de vida do modelo, abrangendo diferentes ambientes e execuções, e inclui links para artefactos como metadados, métricas, parâmetros e o código utilizado para gerar o modelo. Você pode usar o Modelo Registrado para comparar modelos entre si, encontrar o modelo com melhor desempenho e rastrear informações durante a depuração.
• Os trabalhos de implantação podem ser usados para gerenciar o ciclo de vida do modelo, incluindo etapas como avaliação, aprovação e implantação. Esses fluxos de trabalho de modelo são governados pelo Unity Catalog, e todos os eventos são salvos em um log de atividades que está disponível na página de versão do modelo no Unity Catalog.

Consulte os seguintes artigos para instalar e começar a usar o MLflow 3.

• Introdução ao MLflow 3 para modelos.
• Rastreie e compare modelos usando MLflow Logged Models.
• Melhorias no Registro de Modelo com o MLflow 3.
• Trabalhos de implantação do MLflow 3.

MLflow gerenciado por Databricks

O Databricks fornece uma versão totalmente gerenciada e hospedada do MLflow, aproveitando a experiência de código aberto para torná-la mais robusta e escalável para uso corporativo.

O diagrama a seguir mostra como o Databricks se integra ao MLflow para treinar e implantar modelos de aprendizado de máquina.

O MLflow gerenciado por Databricks foi criado no Unity Catalog e no Cloud Data Lake para unificar todos os seus dados e ativos de IA no ciclo de vida do ML:

1. Repositório de funcionalidades: as consultas automatizadas de funcionalidades do Databricks simplificam a integração e reduzem erros.
2. Treinar modelos: Use a IA Mosaic para treinar modelos ou ajustar modelos fundamentais.
3. Tracking: o MLflow rastreia o treinamento registrando parâmetros, métricas e artefatos para avaliar e comparar o desempenho do modelo.
4. Model Registry: MLflow Model Registry, integrado com o Unity Catalog centraliza modelos e artefatos de IA.
5. Model Serving: Mosaic AI Model Serving implanta modelos num endpoint da API REST.
6. Monitorização: Mosaic AI Model Serving regista automaticamente pedidos e respostas para monitorizar e solucionar problemas nos modelos. O MLflow aumenta esses dados com dados de rastreamento para cada solicitação.

Modelo de formação

Os modelos MLflow estão no centro do desenvolvimento de IA e ML no Databricks. Os modelos MLflow são um formato padronizado para empacotar modelos de aprendizado de máquina e agentes de IA generativos. O formato padronizado garante que modelos e agentes possam ser usados por ferramentas downstream e fluxos de trabalho no Databricks.

• Documentação MLflow - Models.

O Databricks fornece recursos para ajudá-lo a treinar diferentes tipos de modelos de ML.

• Treinar modelos de IA usando Mosaic AI.

Acompanhamento de experimentos

O Databricks usa experimentos MLflow como unidades organizacionais para acompanhar seu trabalho durante o desenvolvimento de modelos.

O rastreamento de experimentos permite registrar e gerenciar parâmetros, métricas, artefatos e versões de código durante o treinamento de aprendizado de máquina e o desenvolvimento de agentes. Organizar logs em experimentos e execuções permite comparar modelos, analisar desempenho e fazer iterações mais facilmente.

• Rastreamento de experimentos usando Databricks.
• Consulte a documentação do MLflow para obter informações gerais sobre as execuções e o rastreamento de experimentos.

Registro de Modelos com o Unity Catalog

O MLflow Model Registry é um repositório de modelo centralizado, interface do usuário e conjunto de APIs para gerenciar o processo de implantação do modelo.

O Databricks integra o Model Registry com o Unity Catalog para fornecer governança centralizada para modelos. A integração do Unity Catalog permite que você acesse modelos em espaços de trabalho, rastreie a linhagem de modelos e descubra modelos para reutilização.

• Gerenciar modelos usando o Databricks Unity Catalog.
• Consulte a documentação do MLflow para obter informações gerais sobre Registro de Modelos.

Serviço de Modelos

O Databricks Model Serving está totalmente integrado ao MLflow Model Registry e fornece uma interface unificada e escalável para implantar, governar e consultar modelos de IA. Cada modelo que você atende está disponível como uma API REST que você pode integrar em aplicativos Web ou cliente.

Embora sejam componentes distintos, o Model Serving depende fortemente do MLflow Model Registry para lidar com o controle de versão do modelo, o gerenciamento de dependência, a validação e a governança.

• Serviço de Modelos usando Databricks.

Desenvolvimento e avaliação de agentes de IA

Para o desenvolvimento de agentes de IA, o Databricks integra-se ao MLflow de forma semelhante ao desenvolvimento de modelos de ML. No entanto, existem algumas diferenças fundamentais:

• Para criar agentes de IA no Databricks, use Mosaic AI Agent Framework, que depende do MLflow para monitorizar o código do agente, as métricas de desempenho e os rastreamentos do agente.
• Para avaliar agentes no Databricks, use o Mosaic AI Agent Evaluation, que recorre ao MLflow para monitorizar os resultados da avaliação.
• O rastreamento MLflow para agentes também inclui MLflow Tracing. O MLflow Tracing permite que você veja informações detalhadas sobre a execução dos serviços do seu agente. O rastreamento registra as entradas, saídas e metadados associados a cada etapa intermediária de uma solicitação, permitindo que você encontre rapidamente a origem do comportamento inesperado nos agentes.

O diagrama a seguir mostra como o Databricks se integra ao MLflow para criar e implantar agentes de IA.

O MLflow gerido por Databricks foi construído sobre o Unity Catalog e o Cloud Data Lake para unificar todos os seus dados e ativos de IA no ciclo de vida das aplicações de IA generativa.

1. Vetor & repositório de recursos: pesquisas automatizadas de vetores e recursos do Databricks simplificam a integração e reduzem erros.
2. Criar e avaliar agentes de IA: Mosaic AI Agent Framework e Agent Evaluation ajudam você a criar agentes e avaliar seus resultados.
3. Rastreamento & rastreio: O registo MLflow captura informações detalhadas de execução do agente para melhorar a observabilidade da IA generativa.
4. Model Registry: MLflow Model Registry, integrado com o Unity Catalog centraliza modelos e artefatos de IA.
5. Model Serving: Mosaic AI Model Serving implanta modelos num endpoint da API REST.
6. Monitorização: O MLflow capta automaticamente pedidos e respostas para monitorizar e depurar modelos.

Recursos de MLflow gerenciados por código aberto vs. Databricks

Para obter conceitos gerais de MLflow, APIs e recursos partilhados entre versões livres e geridas pelo Databricks, consulte a documentação do MLflow. Para recursos exclusivos do MLflow gerenciado pelo Databricks, consulte a documentação do Databricks.

A tabela a seguir destaca as principais diferenças entre o MLflow de código aberto e o MLflow gerenciado pelo Databricks e fornece links de documentação para ajudá-lo a saber mais: