Open source et MLflow managé sur Azure Databricks

Cette page est destinée à aider les utilisateurs MLflow open source à se familiariser avec l’utilisation de MLflow sur Databricks. Le MLflow géré par Databricks utilise les mêmes API, mais fournit des fonctionnalités supplémentaires via des intégrations avec la plateforme Azure Databricks plus large.

Avantages de MLflow managé sur Azure Databricks

MLflow open source fournit le modèle de données de base, l’API et le SDK. Cela signifie que vos données et charges de travail sont toujours portables.

Managed MLflow sur Databricks ajoute :

• Gouvernance et sécurité de niveau entreprise grâce à l’intégration à la plateforme Databricks, Lakehouse et Unity Catalog. Vos données IA et ML, outils, agents, modèles et autres ressources peuvent être régis et utilisés dans la même plateforme que le reste de vos données et charges de travail.
• Hébergement entièrement managé sur des serveurs évolutifs prêts pour la production
• Intégrations pour le développement et la production avec la plateforme d’IA Mosaïque plus large

Pour plus d’informations sur les avantages, consultez la page produit MLflow managée et consultez le reste de cette page pour en savoir plus sur les détails techniques.

Fonctionnalités supplémentaires sur Databricks

Cette section répertorie les fonctionnalités importantes activées sur MLflow managé par le biais d’intégrations avec la plateforme Azure Databricks plus large. Pour obtenir une vue d’ensemble de toutes les fonctionnalités de MLflow pour GenAI, consultez MLflow 3 pour GenAI et la documentation GenAI open source.

Gouvernance et sécurité de niveau entreprise

• Gouvernance d’entreprise avec le catalogue Unity : modèles, tables de fonctionnalités, index vectoriels, outils, etc. sont régis de manière centralisée sous Catalogue Unity. Lors du déploiement d’agents, l’authentification pour l’accès à l’agent, aux données et aux outils peut être contrôlée avec précision à l’aide du passthrough d’authentification et de l’authentification au nom de l’utilisateur.
• Intégration des données Lakehouse : tirez parti des espaces et tableaux de bord AI/BI Genie et Databricks SQL pour analyser les journaux et les traces des expériences MLflow.
• Sécurité et gestion : les autorisations MLflow suivent les mêmes modèles de gouvernance que la plateforme Databricks plus large :
  • Les objets d’espace de travail tels que les expériences suivent les autorisations d’espace de travail.
  • Les objets catalogue Unity tels que les modèles inscrits suivent les privilèges du catalogue Unity.
  • L’authentification de l’interface utilisateur et de l’API et l’accès correspondent à la plateforme Databricks et à l’API REST.
• Audit : les tables système fournissent des journaux d’utilisation et d’audit pour le MLflow managé.

Hébergement entièrement managé sur des serveurs prêts pour la production

• Entièrement managé : Azure Databricks fournit des serveurs MLflow avec des mises à jour automatiques, conçues pour la scalabilité et la production. Pour plus d’informations, consultez Limites des ressources.
• Plateforme approuvée : Le MLflow managé est utilisé par des milliers de clients dans le monde entier.

Intégrations pour le développement et la production

Le développement de l’IA et du ML est simplifié par des intégrations telles que :

• Intégration des notebooks : les notebooks Databricks sont automatiquement connectés au serveur MLflow et peuvent utiliser à la fois des expériences de type notebook et d’espace de travail pour le suivi et le partage des résultats. Les notebooks Databricks prennent en charge l'autologging pour le suivi de MLflow. Pour GenAI, les notebooks Databricks peuvent afficher une interface utilisateur de suivi intégrée pour une analyse interactive.
• Outils de commentaires humains GenAI : pour l’évaluation GenAI, Databricks fournit une application de révision pour les commentaires humains qui inclut une interface utilisateur de conversation pour les vérifications d’ambiance et l’interface utilisateur de commentaires d’experts pour l’étiquetage des traces.

L’IA de production et ML sont facilités par des intégrations telles que :

• Infrastructure en tant que code pour CI/CD : gérer des expériences, des modèles MLflow et bien plus encore avec des bundles de ressources Databricks et des piles MLOps.
• Déploiement de modèle à l’aide de CI/CD : les travaux de déploiement MLflow 3 intègrent des flux de travail Databricks avec le catalogue Unity pour automatiser le déploiement intermédiaire de modèles ML.
• Intégration de Feature Store : l’intégration Databricks Feature Store + MLflow offre un déploiement plus simple pour les modèles ML qui utilisent des Feature Stores.
• Surveillance de la production GenAI : Databricks fournit un service de supervision de production qui évalue en permanence un échantillon de votre trafic de production à l’aide de juges et de scoreurs LLM. Ceci est alimenté par l’ingestion de traces à l’échelle de la production qui inclut le stockage de traces dans les tables du Unity Catalog.

Étapes suivantes

Commencez avec MLflow sur Databricks :

• Créer un compte Databricks d’essai gratuit pour utiliser MLflow géré par Databricks
• Tutoriel : Connecter votre environnement de développement à MLflow
• Prise en main : MLflow 3 pour GenAI
• Prise en main de MLflow 3 pour les modèles

Documents de référence connexes :

• Documentation MLflow open source pour GenAI
• API REST Databricks, qui inclut l’API MLflow
• Kits de développement logiciel (SDK) Databricks, qui incluent des opérations MLflow