Software livre versus MLflow gerenciado no Azure Databricks

Esta página destina-se a ajudar os usuários do MLflow de software livre a se familiarizarem com o uso do MLflow no Databricks. O MLflow gerenciado pelo Databricks usa as mesmas APIs, mas fornece recursos adicionais por meio de integrações com a plataforma mais ampla do Azure Databricks.

Benefícios do MLflow gerenciado no Azure Databricks

O MLflow de software livre fornece o modelo de dados principal, a API e o SDK. Isso significa que seus dados e cargas de trabalho são sempre portáteis.

O MLflow gerenciado no Databricks adiciona:

• Governança e segurança de nível empresarial por meio da integração com a plataforma Databricks, o Lakehouse e o Catálogo do Unity. Seus dados de IA e ML, ferramentas, agentes, modelos e outros ativos podem ser controlados e usados na mesma plataforma que o restante de seus dados e cargas de trabalho.
• Hospedagem totalmente gerenciada em servidores escalonáveis e prontos para produção
• Integrações para desenvolvimento e produção com a plataforma mais ampla de IA do Mosaico

Consulte a página do produto MLflow Gerenciado para obter mais detalhes sobre os benefícios e veja o restante desta página para saber mais sobre detalhes técnicos.

Funcionalidades adicionais no Databricks

Esta seção lista os recursos importantes habilitados no MLflow gerenciado por meio de integrações com a plataforma mais ampla do Azure Databricks. Para obter visões gerais de todos os recursos do MLflow para GenAI, consulte o MLflow 3 para GenAI e a documentação do GenAI de software livre.

Governança e segurança de nível empresarial

• Governança empresarial com o Catálogo do Unity: modelos, tabelas de recursos, índices de vetor, ferramentas e muito mais são regidos centralmente no Catálogo do Unity. Ao implantar agentes, a autenticação para o agente, os dados e o acesso à ferramenta pode ser controlada com precisão usando a passagem de autenticação e a autenticação em nome do usuário.
• Integração de dados do Lakehouse: aproveite os espaços e dashboards do Genie para IA/BI e o SQL do Databricks para analisar logs e rastros de experimentos do MLflow.
• Segurança e gerenciamento: as permissões do MLflow seguem os mesmos padrões de governança que a plataforma mais ampla do Databricks:
  • Objetos de workspace, como experimentos, seguem permissões de workspace.
  • Objetos do Unity Catalog, como modelos registrados, seguem privilégios do Unity Catalog.
  • A autenticação e o acesso à interface do usuário e à API correspondem à plataforma Databricks e à API REST.
• Auditoria: as tabelas do sistema fornecem logs de uso e auditoria para o MLflow gerenciado.

Hospedagem totalmente gerenciada em servidores prontos para produção

• Totalmente gerenciado: o Azure Databricks fornece aos servidores MLflow atualizações automáticas, projetadas para escalabilidade e produção. Para obter detalhes, consulte Limites de recursos.
• Plataforma confiável: o MLflow gerenciado é usado por milhares de clientes em todo o mundo.

Integrações para desenvolvimento e produção

O desenvolvimento de IA e ML é simplificado por integrações como:

• Integração do notebook: os notebooks do Databricks são conectados automaticamente ao servidor MLflow e podem usar experimentos de notebook e experimentos de workspace para acompanhar e compartilhar resultados. Os notebooks do Databricks dão suporte ao registro automático para acompanhamento do MLflow. No GenAI, os notebooks do Databricks podem exibir uma interface de rastreamento integrada para análise interativa.
• Ferramentas de feedback humano do GenAI: para avaliação do GenAI, o Databricks fornece um Aplicativo de Revisão para feedback humano que inclui uma interface de usuário de chat para verificações qualitativas e interface de usuário de feedback de especialistas para rotular registros.

A IA de produção e o ML são facilitado por integrações como:

• Infraestrutura como código para CI/CD: gerenciar experimentos, modelos e muito mais do MLflow com pacotes de ativos do Databricks e pilhas de MLOps.
• Implantação de modelo usando CI/CD: os trabalhos de implantação do MLflow 3 integram fluxos de trabalho do Databricks ao Catálogo do Unity para automatizar a implantação em etapas de modelos de ML.
• Integração do Repositório de Recursos: a integração do Databricks Feature Store + MLflow fornece uma implantação mais simples para modelos de ML que usam tabelas de recursos.
• Monitoramento de produção do GenAI: o Databricks fornece um serviço de monitoramento de produção que avalia continuamente uma amostra do tráfego de produção usando juízes e pontuadores de LLM. Isso é impulsionado pela ingestão de rastreamentos em escala de produção, que inclui o armazenamento de rastreamentos em tabelas do Unity Catalog.

Próximas etapas

Introdução ao MLflow no Databricks:

• Criar uma conta do Databricks de avaliação gratuita para usar o MLflow gerenciado pelo Databricks
• Tutorial: Conectar seu ambiente de desenvolvimento ao MLflow
• Comece agora: MLflow 3 para GenAI
• Introdução ao MLflow 3 para modelos

Material de referência relacionado:

• Documentação do MLflow de código aberto para GenAI
• API REST do Databricks, que inclui a API do MLflow
• SDKs do Databricks, que incluem operações do MLflow