Konzepte: Generative KI auf Azure Databricks

Eine GenAI-App ist eine Anwendung, die generative KI-Modelle (z. B. große Sprachmodelle, Bildgenerierungsmodelle und Text-zu-Sprache-Modelle) verwendet, um neue Ausgaben zu erstellen, komplexe Aufgaben zu automatisieren oder intelligente Interaktionen auf der Grundlage der Benutzereingaben durchzuführen.

Eine GenAI-App kann durch einfache Aufrufe von LLMs oder anderen GenAI-Modellen oder durch komplexe KI-Agents unterstützt werden. Erfahren Sie mehr über Komplexitätsstufen.

Agents, Tools, Auswertungen, Modelle und andere Aspekte von GenAI-Apps können mit Ihren proprietären Daten angepasst werden. Diese datengesteuerte Anpassung führt zu Datenintelligenz, sodass Sie über die allgemeine Intelligenz hinausgehen können, die von vorgefertigten AI-Modellen angeboten wird.

GenAI-Anwendungen

Eine benutzerorientierte GenAI-Anwendung kann viele Formen annehmen, z. B.:

• Eine Chat-App, z. B. eine mit Databricks-Apps bereitgestellte
• Ein API-Endpunkt, z. B. ein Agent, der in Model Serving bereitgestellt wird
• Eine SQL-Funktion für Analysten, z. B. eine KI-Funktion

Erfolg mit GenAI-Anwendungen erfordert häufig zwei Kompetenzgruppen: Anwendungsentwicklung und KI-Bewertung. Die GenAI-App-Entwicklung ähnelt der Entwicklung von Nicht-KI-Anwendungen und erfordert Softwarekenntnisse, die von der Art der Anwendung abhängen. Die Auswertung für GenAI-Anwendungen erfordert jedoch spezielle Tools und Techniken, um die Komplexität und offene Antworten von GenAI zu bewältigen.

Informationen zum Erstellen branchenspezifischer GenAI-Apps auf Azure Databricks finden Sie unter:

• Databricks Solutions for Industry für Anwendungsfälle, Kundenerfahrungen und Weitere Ressourcen
• Databricks Solution Accelerators zum Beispiel Anwendungsfallimplementierungen, die Sie ausführen und ändern können

GenAI-Bewertung

GenAI-Modelle, Agents und Anwendungen weisen häufig komplexes, offenes Verhalten auf. Benutzer können beliebige Abfragen eingeben. Ein KI-Agent kann während der Ausführung Text, Bilder und mehr sammeln können. Die Ausgabe kann beliebiger Text, Bilder oder andere Medien sein, und es kann viele "gute" Antworten geben.

Diese Komplikationen machen es schwierig, GenAI auszuwerten. Für eine ordnungsgemäße Auswertung ist Folgendes erforderlich:

• Automatisierung mit KI zur Bewertung von KI
• Menschliches Feedback von Experten und Nutzern zur Sammlung von Ground-Truth-Daten und zur Kalibrierung der automatisierten Auswertung.
• Tiefergehende Einblicke in komplexe Agents, um das Verhalten zu verstehen und zu debuggen

Azure Databricks-verwaltete MLflow und zugehörige Werkzeuge bieten die Grundlagen für die GenAI-Bewertung.

• Bewerten und Überwachen von KI-Agents – Erfahren Sie mehr über Bewertung, Produktionsüberwachung und menschliches Feedback.
• Erste Schritte: MLflow 3 für GenAI – Testen Sie Ablaufverfolgung, Auswertung und Sammeln von menschlichem Feedback.
• MLflow-Ablaufverfolgung - GenAI-Observability - Erfahren Sie mehr über die MLflow-Ablaufverfolgung, um das Agentverhalten aufzuzeichnen und zu analysieren.

Agenten

Ein Agent- oder Agent-System ist ein KI-gesteuertes System, das autonom erkennen, entscheiden und in einer Umgebung handeln kann, um Ziele zu erreichen. Im Gegensatz zu einem eigenständigen GenAI-Modell, das nur bei Aufforderung eine Ausgabe erzeugt, besitzt ein Agentsystem einen Grad an Agentur. Moderne KI-Agents verwenden ein GenAI-Modell als "Gehirn" eines Systems, das:

1. Empfängt Benutzeranforderungen oder Nachrichten von einem anderen Agent.
2. Gründe für die Vorgehensweise: welche Daten abgerufen werden sollen, welche Logik angewendet werden soll, welche Tools aufgerufen werden sollen oder ob mehr Eingaben vom Benutzer angefordert werden sollen.
3. Führt einen Plan aus und ruft möglicherweise mehrere Tools auf oder delegiert an Unteragenten.
4. Gibt eine Antwort zurück oder fordert den Benutzer zur zusätzlichen Klarstellung auf.

Durch die Überbrückung allgemeiner Intelligenz (der vortrainierten Funktionen des GenAI-Modells) und Der Datenintelligenz (spezielle Kenntnisse und APIs für Ihr Unternehmen) ermöglichen Agentsysteme unternehmensweite Anwendungsfälle wie erweiterte Kundendienstflüsse, datenreiche Analyse-Bots und Multi-Agent-Orchestrierung für komplexe operative Aufgaben.

Es gibt ein Kontinuum von einfachen GenAI-Modellen bis hin zu komplexen Agenten. Weitere Informationen finden Sie unter Agent-Systementwurfsmuster.

Azure Databricks bietet eine Reihe von Optionen für die Erstellung von Agenten, von vollständig geführt bis vollständig benutzerdefiniert.

• Agent Bricks bietet geführte Agent-Generatoren für wichtige Anwendungen wie Wissensassistenten und Informationsextraktion.

• AI Playground bietet eine Benutzeroberfläche für die Prototyperstellung von Toolanruf-Agents, aus denen Sie generierten Agent-Code exportieren können.
• Agent Framework ermöglicht Ihnen das Erstellen und Bereitstellen von Agents mithilfe von benutzerdefinierten Code- oder Drittanbieter-Agenterstellungsbibliotheken.

Werkzeuge

KI-Agents können Tools aufrufen, um Informationen zu sammeln oder Aktionen auszuführen. Tools sind Einzelinteraktionsfunktionen, die ein LLM aufrufen kann, um eine gut definierte Aufgabe auszuführen. Das KI-Modell generiert in der Regel Parameter für jeden Toolaufruf, und das Tool bietet eine einfache Eingabeausgabeinteraktion.

Zu den gängigen Toolkategorien gehören:

• Tools zum Abrufen oder Analysieren von Daten
  • Semantischer Abruf: Abfragen eines Vektorindexes, um relevante Text oder andere unstrukturierte Daten zu finden.
  • Strukturiertes Abrufen: Führen Sie SQL-Abfragen aus, oder verwenden Sie APIs zum Abrufen strukturierter Informationen.
  • Websuchtool: Durchsuchen sie das Internet oder einen internen Webkorpus.
  • Klassische ML-Modelle: Rufen Sie Machine Learning-Modelle auf, um Klassifizierungen, Regressionen oder andere Vorhersagen durchzuführen.
  • GenAI-Modelle: Generieren Sie spezialisierte Ausgaben wie Code oder Bilder.
• Tools zum Ändern des Zustands eines externen Systems
  • API-Aufruf: Aufrufen von CRM-Endpunkten, internen Diensten oder anderen Drittanbieterintegrationen.
  • Integration von E-Mail- oder Messaging-Apps: Senden einer Nachricht oder Senden einer Benachrichtigung.
• Tools, die Logik ausführen oder eine bestimmte Aufgabe ausführen
  • Codeausführung: Führen Sie vom Benutzer bereitgestellten oder LLM-generierten Code in einer Sandbox aus.

Tools können in agentische Logik integriert oder mithilfe standardisierter Schnittstellen wie MCP aufgerufen werden.

Tools und Agenten:

• Tools führen einen einzelnen, gut definierten Vorgang aus. Agenten können eher offene, unbestimmte Aufgaben ausführen.
• Tools sind im Allgemeinen zustandslos und pflegen keinen fortlaufenden Kontext über einzelne Aufrufe hinaus. Agents behalten den Zustand bei, während sie Aufgaben iterativ lösen.

Toolfehlerbehandlung und Sicherheit:

Da es sich bei jedem Toolaufruf um einen externen Vorgang wie einen API-Aufruf handelt, sollte das System Fehler ordnungsgemäß behandeln. Zeitüberschreitungen, falsch formatierte Antworten oder ungültige Eingaben sollten nicht dazu führen, dass der Agent vollständig ausfällt. Beschränken Sie in der Produktion die Anzahl der zulässigen Toolaufrufe, weisen Sie eine Fallbackantwort auf, wenn Toolaufrufe fehlschlagen, und wenden Sie Schutzläufe an, um sicherzustellen, dass das Agentsystem nicht wiederholt dieselbe fehlerhafte Aktion versucht.

Erfahren Sie mehr über KI-Tools in Databricks:

• KI-Agent-Tools – Leitfaden zu Toolansätzen
• Model Context Protocol (MCP) auf Databricks – Verwaltete, benutzerdefinierte und externe MCP-Server

GenAI-Modelle und LLMs

Große Sprachmodelle (LLMs) sind KI-Modelle, die auf massiven Textdatensätzen trainiert werden und die menschliche Sprache verstehen, generieren und darüber logisch nachdenken können. LLMs treiben Anwendungen wie Chatbots, Code-Assistenten und Tools zur Inhaltsgenerierung an, indem sie durch Vorhersagen und Erzeugen kontextbezogener Texte basierend auf Eingabeaufforderungen funktionieren.

Generell werden GenAI-Modelle oder Foundation-Modelle auf massiven Texten, Bildern, Videos, Audiodaten oder anderen Daten trainiert, um über Modi über den Text hinaus zu lernen. Multi-modale Modelle lernen, die menschliche Sprache mit Bilddaten, Audiodaten und anderen Medien zu verbinden. LLMs sind eine Art von GenAI oder Foundation-Modell, obwohl diese Begriffe häufig lose und austauschbar verwendet werden.

GenAI-Modelle bieten die Intelligenz hinter GenAI-Agents und -Apps. Einfache Apps werden häufig mit einem einzigen Modell erstellt, das mit promptem Engineering angepasst wurde.

Erfahren Sie mehr über die Verwendung von GenAI-Modellen auf Azure Databricks:

• Erste Schritte: Abfragen von LLMs und Prototyp-KI-Agents ohne Code
• Databricks-gehostete Foundation-Modelle, die in Foundation Model-APIs verfügbar sind
• Erfahren Sie mehr über ein AI-Gateway für GenAI-Modelle

Prompt Engineering

GenAI-Modelle verwenden in der Regel Eingabeaufforderungen oder Anweisungen, die dem Modell mitteilen, wie Benutzereingaben behandelt werden. Aufforderungen können mit detaillierten Schritten, Expertenwissen, Daten und anderen Informationen stark angepasst werden.

Azure Databricks bietet flexible Möglichkeiten, ein promptes Engineering zu erledigen. Beispiel:

• Agent Bricks automatisiert das Prompt-Engineering im Hintergrund, basierend auf Ihren Daten und Ihrem Feedback.

• AI Playground bietet eine Benutzeroberfläche für manuelles, interaktives Eingabeaufforderungs-Engineering.
• MLflow Prompt Optimization und DSPy bieten datengesteuerte Eingabeaufforderungsoptimierungsroutinen.

Optimierung von Modellen

GenAI-Modelle können auch durch Feinabstimmung angepasst werden, wodurch ein Modell für eine bestimmte Domäne oder Anwendung mit Ihren benutzerdefinierten Daten angepasst wird.

Azure Databricks bietet flexible Möglichkeiten zum Optimieren von Modellen. Beispiel:

• Agent Bricks automatisiert die datengesteuerte Anpassung, mit dem Potenzial, unter der Haube Feinabstimmungen zu erledigen.
• Serverlose GPU-Rechenleistung bietet eine Recheninfrastruktur für vollständig anpassbare Feinabstimmungen. Siehe Beispiele.

Was ist eine GenAI-Plattform?

GenAI erfordert eine kombinierte Daten+ KI-Plattform. Für Entwickler und Administratoren müssen die wichtigsten Komponenten für GenAI in einer einfachen, einheitlichen Plattform verbunden und gesteuert werden.

Zu den wichtigsten Komponenten gehören:

• KI-Ressourcen wie Modelle, Agents und Apps
• Datenressourcen wie Dateien, Tabellen, Verarbeitungspipelinen, Vektorindizes und Featurespeicher
• KI-Bereitstellungen wie Endpunkte für Modelle und Agenten
• Tools zum Erstellen und Bereitstellen von KI- und Datenressourcen

Zu den wichtigsten Governancefunktionen gehören:

• Einheitliche Governance von KI- und Datenressourcen. Weitere Informationen finden Sie im Unity-Katalog.
• Einheitliche Governance von GenAI-Modellendpunkten. Weitere Informationen finden Sie in der Einführung zu Mosaik AI Gateway.
• Einheitlicher Sicherheitsansatz. Weitere Informationen finden Sie unter Databricks AI Security.
• Einheitliche Verwaltung von KI und Datentools. Erfahren Sie mehr unter Verwaltung.

Siehe auch Mosaik-KI-Funktionen für genAI - und Databricks-Architektur.

Learn more

• Wichtige Herausforderungen beim Erstellen von GenAI-Apps – Große Herausforderungen in GenAI und Lösungen für sie mit Databricks
• Agentensystem-Entwurfsmuster – Von einfachen zu komplexen GenAI-Agenten sowie praktische Hinweise
• KI auf Databricks – Anwendungsfälle, Kunden und andere Ressourcen für KI auf Databricks