Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Trotz der Leistungsfähigkeit moderner GenAI-Modelle ist es oft schwierig, generative KI-Anwendungen auf Produktionsniveau zu erstellen. Drei wichtige Herausforderungen können zusammengefasst werden:
- Governance: Viele Plattformen kämpfen um einheitliche Governance, Datenschutz und Sicherheit für Daten und KI-Ressourcen.
- Qualität: Das flexible und unvorhersehbare Verhalten von GenAI-Modellen erhöht die Komplexität der Bewertung.
- Steuerung: Plattformen müssen Flexibilität, Modellauswahl und Anpassung bieten.
Governance für Daten und KI
GenAI-Anwendungen erfordern vielfältige Daten und KI-Ressourcen: Tabellen, Vektorindizes, KI-Modelle, Tools und vieles mehr. Eine GenAI-Plattform muss entwicklern einen differenzierten Zugriff auf diese Ressourcen bieten und gleichzeitig Administratoren gemeinsame Governance bieten. Ohne vollständige Governance sind Organisationen Risiken wie ausgesetzt:
- Datenlecks: Vertrauliche Kunden- oder Unternehmensdaten können ohne ordnungsgemäße Datenherkunftsverfolgung und Zugriffssteuerung missbraucht werden, und Daten können versehentlich durch Modellausgaben austreten, wenn keine geeigneten Sicherheitsmaßnahmen durchgesetzt werden.
- Complianceeinschränkungen: Viele Organisationen haben Complianceanforderungen wie SOC2 oder HIPAA, und die Integration von GenAI-Modellen in kompatible Legacyplattformen kann komplex sein, was zu Verzögerungen oder Einschränkungen bei der Verwendung der besten Modelle führt.
- Nicht autorisierte Nutzungskosten oder unerwartete Kosten: Ohne Zugriffskontrollen und Einsatzschutzschienen können KI-Modelle von nicht autorisierten Teams verwendet werden oder hohe Nutzungskosten verursachen.
Azure Databricks vereinfacht einheitliche Governance für Daten und KI durch:
- Unity-Katalog, der Dateien, Tabellen, Vektorindizes, Featurespeicher, Modelle und Tools unter einem einheitlichen Governancemodell verwaltet
- AI-Gateway, das einheitliche Governance und Überwachung für KI-Modellendpunkte bereitstellt, einschließlich Sicherheitsschutzschienen und Nutzungsgrenzwerten
- Databricks AI Security Framework, das einen umfassenden Leitfaden für das KI-Risikomanagement bietet
- Databricks AI Governance Framework, das das Sicherheitsframework ergänzt, indem es eine Ansicht der Governance bietet, die sowohl die Sicherheits- als auch die Betriebsintegrität umfasst
Qualität von Modellen, Agents und Apps
GenAI-Modelle erzeugen offene, stochastische Ergebnisse und werden häufig für offene Problemstellungen mit zahlreichen akzeptablen Lösungen verwendet. Selbst das Definieren von "hoher Qualität" kann schwierig sein und erfordert häufig iteratives Feedback von Domänenexperten oder Benutzern. Ohne robuste Auswertungsprozesse sind Organisationen Risiken wie... ausgesetzt.
- Schlechte Benutzererfahrungen: Wenn GenAI-Apps nicht basierend auf Metriken ausgewertet werden, die den Anforderungen der Benutzer entsprechen, können Benutzer Antworten nicht hilfreich, ungenau oder sogar schädlich oder anstößig finden. Markenreputation kann in extremen Fällen leiden.
- Entwicklungs-Limbo: Wenn Qualität nicht definiert oder gemessen werden kann, um die Abmeldung von Stakeholdern zu ermöglichen, können GenAI-Projekte verzögert oder abgebrochen werden, weil keine "Nachweise" der Qualität vorhanden sind.
Azure Databricks vereinfacht das Messen und Optimieren der KI-Qualität durch:
- MLflow Evaluation and Monitoring, mit integrierten Richtern und benutzerdefinierten Scorern zur Messung der Qualität, die sowohl in der Entwicklungs- als auch in der Produktionsüberwachung verwendet werden kann
- MLflow-Ablaufverfolgung, mit automatischer und manueller Ablaufverfolgung, um die Sichtbarkeit sowohl für die Entwicklung als auch für die Produktion zu bieten.
- Sammlung von Menschlichem Feedback mit einer integrierten App für Expertenfeedback während der Entwicklung und APIs für Benutzerfeedback von Produktions-Apps
- Methoden zum Optimieren von Kompromissen zwischen Qualität, Kosten und Latenz. Agent Bricks bietet eine geführte Optimierungserfahrung für wichtige KI-Anwendungen und Agent Framework und eine flexible Auswahl von KI-Modellen bieten Kompromissoptionen für vollständig benutzerdefinierte Agents.
Kontrolle von Daten und Modellen
Modernste GenAI-Modelle werden von vielen Modellanbietern sowie selbst gehosteten Open-Source-Optionen bereitgestellt. Aufgrund von Datenschutz- und Lizenzierungskomplikationen kämpfen viele Plattformen darum, dieses vielfältige Ökosystem zu unterstützen und schnelle Iterationen und Anpassungen zu ermöglichen. Organisationen müssen die Kontrolle über ihre Daten und Die Wahl über Modelle behalten, um Risiken wie die folgenden zu vermeiden:
- Datenschutzeinschränkungen: Compliance- oder Integrationsanforderungen können Unternehmen daran hindern, von mehreren Anbietern auf die top GenAI-Modelle zuzugreifen, was auf Flexibilität und Qualitätskosten-Kompromissen verzichtet.
- Fehlender Wettbewerbsvorteil: Wenn Modelle, Daten, Agenten und Anwendungen nicht basierend auf den proprietären Daten einer Organisation angepasst werden können, ist es schwierig, geistiges Eigentum zu erstellen.
Azure Databricks bietet Kontrolle und Flexibilität für Daten und Modelle durch:
- Foundation Model-APIs, die Grenzmodelle von Top-Modellanbietern in Ihrer eigenen Azure Databricks-Umgebung bedienen, neben Ihren benutzerdefinierten Modellen und Agents in Model Serve.
- Angepasste Apps, Agents, Modelle, Tools und Datenquellen, die auf Ihren proprietären Daten basieren. All diese Ebenen der KI unterstützen Data Intelligence, von der Erstellung von Apps und Agents bis hin zur Bereitstellung von Daten über Tools, zur Auswertung und Optimierung von Agents basierend auf Ihren Daten.