Open Source im Vergleich zu verwaltetem MLflow in Azure Databricks

Diese Seite soll Benutzern von Open Source-MLflow helfen, sich mit der Verwendung von MLflow auf Databricks vertraut zu machen. Databricks-verwalteter MLflow verwendet dieselben APIs, bietet aber zusätzliche Funktionen durch Integrationen mit der umfassenderen Azure Databricks-Plattform.

Vorteile von verwaltetem MLflow auf Azure Databricks

Open Source MLflow stellt das Kerndatenmodell, die API und das SDK bereit. Dies bedeutet, dass Ihre Daten und Workloads immer portierbar sind.

Verwalteter MLflow für Databricks fügt Folgendes hinzu:

• Governance und Sicherheit auf Unternehmensniveau durch Integration in die Databricks-Plattform, Lakehouse und Unity Catalog. Ihre KI- und ML-Daten, Tools, Agents, Modelle und andere Ressourcen können auf derselben Plattform wie die restlichen Daten und Workloads gesteuert und verwendet werden.
• Vollständig verwaltetes Hosting auf produktionsfähigen, skalierbaren Servern
• Integrationen für Entwicklung und Produktion mit der breiteren Mosaik AI-Plattform

Weitere Informationen zu den Vorteilen finden Sie auf der Seite "Verwaltetes MLflow-Produkt " und auf der restlichen Seite weitere Informationen zu technischen Details.

Zusätzliche Funktionen für Databricks

In diesem Abschnitt werden wichtige Funktionen aufgeführt, die auf verwaltetem MLflow durch Integrationen mit der umfassenderen Azure Databricks-Plattform aktiviert sind. Übersichten über alle Funktionen von MLflow für GenAI finden Sie in der GenAI-Dokumentation zu MLflow 3 für GenAI und in der Open Source GenAI-Dokumentation.

Governance und Sicherheit auf Unternehmensniveau

• Unternehmensgovernance mit Unity-Katalog: Modelle, Featuretabellen, Vektorindizes, Tools und vieles mehr werden zentral im Unity-Katalog gesteuert. Bei der Bereitstellung von Agents kann die Authentifizierung für Agent, Daten und Toolzugriff mithilfe von Authentifizierungsdurchlauf und benutzerinterner Authentifizierung präzise gesteuert werden.
• Lakehouse-Datenintegration: Nutzen Sie AI/BI Genie Spaces und Dashboards und Databricks SQL , um Protokolle und Ablaufverfolgungen aus MLflow-Experimenten zu analysieren.
• Sicherheit und Verwaltung: MLflow-Berechtigungen folgen den gleichen Governancemustern wie die breitere Databricks-Plattform:
  • Arbeitsbereichsobjekte wie Experimente folgen Arbeitsbereichsberechtigungen.
  • Unity-Katalogobjekte wie registrierte Modelle folgen Unity-Katalogprivilegien.
  • Die Authentifizierung und der Zugriff für Benutzeroberflächen und API stimmen mit der Databricks-Plattform und der REST-API überein.
• Überwachung: Systemtabellen stellen Verwendungs - und Überwachungsprotokolle für verwalteten MLflow bereit.

Vollständig verwaltetes Hosting auf produktionsfähigen Servern

• Vollständig verwaltet: Azure Databricks stellt MLflow-Server mit automatischen Updates bereit, die für Skalierbarkeit und Produktion konzipiert sind. Weitere Informationen finden Sie unter "Ressourcenbeschränkungen".
• Vertrauenswürdige Plattform: Verwalteter MLflow wird von Tausenden von Kunden auf der ganzen Welt verwendet.

Integrationen für Entwicklung und Produktion

Die Entwicklung von KI und ML wird durch Integrationen wie: verbestert.

• Notizbuchintegration: Databricks-Notizbücher werden automatisch mit dem MLflow-Server verbunden und können sowohl Notizbuchexperimente als auch Arbeitsbereichsexperimente zum Nachverfolgen und Freigeben von Ergebnissen verwenden. Databricks-Notizbücher unterstützen die automatische Protokollierung für die MLflow-Nachverfolgung. Bei GenAI können Databricks-Notizbücher eine Inline-Ablaufverfolgungs-UI für interaktive Analysen darstellen.
• GenAI Human Feedback Tools: Für die GenAI-Auswertung bietet Databricks eine Prüf-App für menschliches Feedback , die eine Chat-Benutzeroberfläche für Stimmungsprüfungen und Expertenfeedback-UI zum Bezeichnen von Ablaufverfolgungen enthält.

Produktions-KI und ML werden durch Integrationen wie die folgenden erleichtert:

• Infrastruktur-as-Code für CI/CD: Verwalten von MLflow-Experimenten, Modellen und mehr mit Databricks Asset Bundles und MLOps Stacks.
• Modellbereitstellung mit CI/CD: MLflow 3-Bereitstellungsaufträge integrieren Databricks-Workflows in Unity Catalog, um die mehrstufige Bereitstellung von ML-Modellen zu automatisieren.
• Integration des Featurespeichers: Databricks Feature Store + MLflow-Integration bietet eine einfachere Bereitstellung für ML-Modelle, die Featuretabellen verwenden.
• GenAI-Produktionsüberwachung: Databricks bietet einen Produktionsüberwachungsdienst , der kontinuierlich eine Stichprobe Ihres Produktionsverkehrs mit LLM-Richtern und Scorern bewertet. Dies wird durch die Erfassung von Ablaufverfolgungen im Produktionsmaßstab unterstützt, die das Speichern von Ablaufverfolgungen in Unity-Katalogtabellen umfasst.

Nächste Schritte

Erste Schritte mit MLflow auf Databricks:

• Erstellen eines kostenlosen Databricks-Testkontos zur Verwendung von databricks-managed MLflow
• Lernprogramm: Verbinden Ihrer Entwicklungsumgebung mit MLflow
• Erste Schritte: MLflow 3 für GenAI
• Erste Schritte mit MLflow 3 für Modelle

Verwandtes Referenzmaterial:

• Open Source MLflow für GenAI-Dokumentation
• Databricks-REST-API, die die MLflow-API enthält
• Databricks-SDKs, die MLflow-Vorgänge enthalten