Nutzung von Agent Bricks Benutzerdefiniertes LLM, um einen gen AI Agent für Text zu erstellen

In diesem Artikel wird beschrieben, wie Sie einen generativen KI-Agent für benutzerdefinierte textbasierte Aufgaben mithilfe von Agent Bricks: Custom LLM erstellen.

Agent Bricks bietet einen einfachen Ansatz zum Erstellen und Optimieren von domänenspezifischen, qualitativ hochwertigen KI-Agent-Systemen für gängige KI-Anwendungsfälle.

Was können Sie mit benutzerdefiniertem LLM tun?

Verwenden Sie Agent Bricks: Benutzerdefinierte LLM, um qualitativ hochwertige Ergebnisse für alle domänenspezifischen Aufgaben zu generieren, z. B. Zusammenfassung, Klassifizierung, Texttransformation und Inhaltsgenerierung.

Agent Bricks: Custom LLM ist ideal für die folgenden Anwendungsfälle:

• Zusammenfassung des Problems und der Lösung von Kundenanrufen.
• Analysieren der Stimmung von Kundenrezensionen.
• Klassifizieren von Forschungsbeiträgen nach Thema.
• Generieren von Pressemitteilungen für neue Features.

Aufgrund von allgemeinen Anweisungen und Beispielen optimiert Agent Bricks: Custom LLM Prompts im Auftrag von Benutzern, leitet automatisch Bewertungskriterien ab, wertet das System aus bereitgestellten Daten aus und stellt das Modell als produktionsfähigen Endpunkt bereit.

Agent Bricks: Benutzerdefinierte LLM nutzt automatisierte Auswertungsfunktionen, einschließlich MLflow und Agent Evaluation, um eine schnelle Bewertung des Kostenqualitätskonflikts für Ihren spezifischen Extraktionsvorgang zu ermöglichen. Mit dieser Bewertung können Sie fundierte Entscheidungen über das Gleichgewicht zwischen Genauigkeit und Ressourceninvestitionen treffen.

Agent Bricks verwendet Standardspeicher, um temporäre Datentransformationen, Modell-Checkpoints und interne Metadaten zu speichern, die zur Unterstützung jedes Agenten dienen. Beim Löschen des Agents werden alle dem Agent zugeordneten Daten aus dem Standardspeicher entfernt.

Requirements

• Ein Arbeitsbereich, der Folgendes umfasst:
  • Mosaik AI Agent Bricks Preview (Beta) ist aktiviert. Siehe Verwalten von Azure Databricks-Vorschauen.
  • Serverloses Rechnen aktiviert Siehe Serverlose Computeanforderungen.
  • Unity-Katalog aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
  • Ein Arbeitsbereich in einem der unterstützten Regionen: centralus, , eastus, eastus2, northcentralus. southcentralus westus oder westus2.
  • Zugriff auf Mosaik AI Model Serving.
  • Zugriff auf Foundation-Modelle im Unity-Katalog über das system.ai Schema.
  • Zugriff auf eine serverlose Budgetrichtlinie mit einem Budget ungleich Null.
• Möglichkeit zum Verwenden der ai_query SQL-Funktion.
• Sie müssen über einsatzbereite Eingabedaten verfügen. Sie können eine der folgenden Optionen bereitstellen:
  • Eine Unity-Katalogtabelle. Der Tabellenname darf keine Sonderzeichen enthalten (z. B -. ).
    • Wenn Sie PDF-Dateien verwenden möchten, konvertieren Sie sie in eine Unity-Katalogtabelle. Siehe Verwenden von PDFs in Agent Bricks.
  • Mindestens 3 Beispieleingaben und -ausgaben. Wenn Sie diese Option auswählen, müssen Sie einen Unity Catalog-Schemazielpfad für den Agent angeben, und Sie müssen ÜBER CREATE REGISTERED MODEL und CREATE TABLE Berechtigungen für dieses Schema verfügen.
• Wenn Sie Ihren Agent optimieren möchten, benötigen Sie mindestens 100 Eingaben (entweder 100 Zeilen in einer Unity-Katalogtabelle oder 100 manuell bereitgestellte Beispiele).

Erstellen eines benutzerdefinierten LLM-Agents

Wechseln Sie zum Agents im linken Navigationsbereich Ihres Arbeitsbereichs. Klicken Sie auf der Kachel "Benutzerdefinierte LLM" auf "Erstellen".

Schritt 1: Konfigurieren Ihres Agents

Klicken Sie auf der Registerkarte "Build" auf "Beispiel >anzeigen", um eine Beispieleingabe- und Modellantwort für einen benutzerdefinierten LLM-Agent zu erweitern.

Konfigurieren Sie im folgenden Bereich Ihren Agent:

1. Geben Sie unter "Beschreiben Ihrer Aufgabe" eine klare und detaillierte Beschreibung Ihrer Spezialisierungsaufgabe ein, einschließlich des Zwecks und des gewünschten Ergebnisses.

2. Stellen Sie ein beschriftetes Dataset, ein nicht bezeichnetes Dataset oder ein paar Beispiele bereit, mit deren Hilfe Sie Ihren Agent erstellen können.

   Wenn Sie PDF-Dateien verwenden möchten, konvertieren Sie sie zuerst in eine Unity-Katalogtabelle. Siehe Verwenden von PDFs in Agent Bricks.

   Die folgenden Datentypen werden unterstützt: string, , intund double.

   Beschriftetes Dataset

   Wenn Sie "Beschriftetes Dataset" auswählen:

   

   1. Klicken Sie unter Dataset als UC-Tabelle auswählen auf Durchsuchen, um die Tabelle im Unity-Katalog auszuwählen, die Sie verwenden möchten. Der Tabellenname darf keine Sonderzeichen enthalten (z. B -. ).

      Es folgt ein Beispiel:

      main.model_specialization.customer_call_transcripts

   2. Wählen Sie im Feld "Eingabespalte " die Spalte aus, die Sie als Eingabetext verwenden möchten. Das Dropdownmenü wird automatisch mit Spalten aus der ausgewählten Tabelle aufgefüllt.

   3. Wählen Sie in der Spalte "Ausgabe" die Spalte aus, die Sie als Beispielausgabe für die erwartete Transformation angeben möchten. Wenn Sie diese Daten bereitstellen, können Sie Ihren Agent so konfigurieren, dass er sich genauer an Ihre domänenspezifischen Anforderungen anpasst.

   Nicht bezeichnetes Dataset

   Wenn Sie "Nicht bezeichnetes Dataset" auswählen:

   1. Klicken Sie unter Dataset als UC-Tabelle auswählen auf Durchsuchen, um die Tabelle im Unity-Katalog auszuwählen, die Sie verwenden möchten. Der Tabellenname darf keine Sonderzeichen enthalten (z. B -. ).

   2. Wählen Sie im Feld "Eingabespalte " die Spalte aus, die Sie als Eingabetext verwenden möchten. Das Dropdownmenü wird automatisch mit Spalten aus der ausgewählten Tabelle aufgefüllt.

   Einige Beispiele

   Wenn Sie einige Beispiele auswählen:

   1. Stellen Sie mindestens drei Beispiele für Eingaben und erwartete Ausgaben für Ihre Spezialisierungsaufgabe bereit. Wenn Sie hochwertige Beispiele bereitstellen, können Sie Ihren Spezialisierungsagenten so konfigurieren, dass Sie Ihre Anforderungen besser verstehen.
   2. Wenn Sie weitere Beispiele hinzufügen möchten, klicken Sie auf +Hinzufügen.
   3. Wählen Sie unter "Agent-Ziel" das Unity-Katalogschema aus, in dem Sie Agent Bricks verwenden möchten, um eine Tabelle mit Auswertungsdaten zu erstellen. Sie müssen über CREATE REGISTERED MODEL und CREATE TABLE Berechtigungen für dieses Schema verfügen.

3. Benennen Sie Ihren Agenten.

4. Klicken Sie auf "Agent erstellen".

Schritt 2: Erstellen und Verbessern Ihres Agents

Überprüfen Sie auf der Registerkarte " Erstellen " Empfehlungen zur Verbesserung Ihres Agents, überprüfen Sie die Ausgabe des Beispielmodells, und passen Sie Ihre Aufgabenanweisungen und Bewertungskriterien an.

Im Bereich "Empfehlung " enthält Databricks Empfehlungen, mit denen Sie Beispielantworten als gut oder schlecht optimieren und auswerten können.

1. Im Bereich "Empfehlung " enthält Databricks Empfehlungen, mit denen Sie Beispielantworten als gut oder schlecht optimieren und auswerten können.

   1. Überprüfen Sie die Databricks-Empfehlungen zur Optimierung der Agentleistung.
   2. Geben Sie Feedback, um Antworten zu verbessern. Antworten Sie für jede Antwort: Ist dies eine gute Antwort? Mit Ja oder Nein. Wenn Nein, geben Sie optionales Feedback zur Antwort an, und klicken Sie auf "Speichern ", um zum nächsten zu wechseln.
   3. Sie können auch die Empfehlung ablehnen.

2. Legen Sie auf der rechten Seite unter "Richtlinien" klare Richtlinien fest, um Ihrem Agenten bei der Erstellung der richtigen Ausgabe zu helfen. Diese werden auch verwendet, um die Qualität automatisch zu bewerten.

   1. Überprüfen Sie vorgeschlagene Richtlinien. Die Richtlinienvorschläge werden automatisch abgeleitet, damit Sie Ihren Agenten optimieren können. Sie können sie verfeinern oder löschen.
   2. Agent Bricks können zusätzliche Richtlinien vorschlagen. Wählen Sie "Annehmen" aus, um die neue Richtlinie hinzuzufügen, " Ablehnen ", um sie abzulehnen, oder klicken Sie auf den Text, um die Richtlinie zuerst zu bearbeiten.
   3. Wenn Sie eigene Richtlinien hinzufügen möchten, klicken Sie auf Hinzufügen.
   4. Klicken Sie auf "Speichern" und "Aktualisieren ", um den Agent zu aktualisieren.

3. (Optional) Beschreiben Sie auf der rechten Seite unter "Anweisungen" Ihre Aufgabe. Fügen Sie zusätzliche Anweisungen hinzu, denen der Agent beim Generieren seiner Antworten folgen soll. Klicken Sie auf "Speichern" und "Aktualisieren ", um die Anweisungen anzuwenden.

4. Nachdem Sie den Agent aktualisiert haben, werden neue Beispielantworten generiert. Überprüfen Sie diese Antworten, und geben Sie Feedback zu diesen Antworten.

Schritt 3: Bewerten Sie Ihren Agenten

Ein Qualitätsbericht, der eine kleine Gruppe von Auswertungsergebnissen enthält, wird automatisch aus Ihren Richtlinien generiert. Überprüfen Sie diesen Bericht auf der Registerkarte "Qualität ".

Jede akzeptierte Richtlinie wird als Auswertungsmetrik verwendet. Für jede generierte Anforderung wird die Antwort mithilfe der Richtlinien und einer Bestanden/Nicht bestanden-Bewertung ausgewertet. Diese Bewertungen werden verwendet, um die bewertungsergebnisse zu generieren, die oben angezeigt werden. Klicken Sie auf ein Auswertungsergebnis, um die vollständigen Details anzuzeigen.

Verwenden Sie den Qualitätsbericht, um zu entscheiden, ob der Agent weitere Optimierungen benötigt.

(Optional) Optimieren Ihres Agents

Agent Bricks kann Ihnen helfen, Ihren Agenten kosteneffizient zu optimieren. Databricks empfiehlt mindestens 100 Eingaben (entweder 100 Zeilen in Ihrer Unity-Katalogtabelle oder 100 manuell bereitgestellte Beispiele), um Ihren Agent zu optimieren. Wenn Sie weitere Eingaben hinzufügen, erhöht sich die Wissensbasis, aus der der Agent lernen kann, wodurch die Agentqualität und die Reaktionsgenauigkeit verbessert werden.

Wenn Sie Ihren Agent optimieren, vergleicht Databricks mehrere verschiedene Optimierungsstrategien, um einen optimierten Agent zu erstellen und bereitzustellen. Zu diesen Strategien gehören die Feinabstimmung von Foundation-Modellen, die Databricks Geos verwenden.

So optimieren Sie Ihren Agent:

1. Klicken Sie auf "Optimieren".

2. Klicken Sie auf "Optimierung starten".

   Die Optimierung kann einige Stunden dauern. Änderungen am aktuell aktiven Agent werden blockiert, wenn die Optimierung ausgeführt wird.

3. Wenn die Optimierung abgeschlossen ist, überprüfen Sie einen Vergleich Ihres derzeit aktiven Agenten und des kostenoptimierten Agenten.

4. Nachdem Sie diese Ergebnisse überprüft haben, wählen Sie das beste Modell unter "Optimales Modell bereitstellen" für einen Endpunkt aus, und klicken Sie auf "Bereitstellen".

Schritt 4: Verwenden Ihres Agents

Probieren Sie Ihren Agent in Workflows über Databricks aus. Standardmäßig skalieren Agent Bricks-Endpunkte nach 3 Tagen Inaktivität auf Null, sodass Sie nur für die Betriebszeit in Rechnung gestellt werden.

Um mit der Verwendung Ihres Agents zu beginnen, klicken Sie auf "Verwenden". Sie haben die folgenden Optionen:

• Klicken Sie auf "In SQL testen", um den SQL-Editor zu öffnen und nutzen Sie ai_query, um Anforderungen an Ihren neuen benutzerdefinierten LLM-Agent zu senden.

• Klicken Sie auf "Pipeline erstellen" , um eine Pipeline bereitzustellen, die in geplanten Intervallen ausgeführt wird, um Ihren Agent für neue Daten zu verwenden. Weitere Informationen zu Pipelines finden Sie unter Lakeflow Spark Declarative Pipelines .

• Klicken Sie auf "In Playground öffnen ", um Ihren Agent in einer Chatumgebung mit AI Playground zu testen.

Berechtigungen verwalten

Standardmäßig verfügen nur Agent Bricks-Autoren und Arbeitsbereichsadministratoren über Berechtigungen für den Agent. Damit andere Benutzer Ihren Agent bearbeiten oder abfragen können, müssen Sie ihnen explizit die Berechtigung erteilen.

So verwalten Sie Berechtigungen für Ihren Agent:

1. Öffnen Sie Ihren Agenten in Agent Bricks.
2. Klicken Sie oben auf das Kebab-Menü.
3. Klicken Sie auf "Berechtigungen verwalten".
4. Wählen Sie im Fenster "Berechtigungseinstellungen " den Benutzer, die Gruppe oder den Dienstprinzipal aus.
5. Wählen Sie die zu gewährende Berechtigung aus.
   • Kann verwalten: Ermöglicht die Verwaltung der Agenten-Bricks, einschließlich der Festlegung von Berechtigungen, der Bearbeitung der Agentenkonfiguration und der Verbesserung ihrer Qualität.
   • Can Query: Ermöglicht das Abfragen des Agent Bricks-Endpunkts im AI Playground und über die API. Benutzer mit nur dieser Berechtigung können den Agent in Agent Bricks nicht anzeigen oder bearbeiten.
6. Klicken Sie auf Hinzufügen.
7. Klicken Sie auf "Speichern".

Agentenendpunkt abfragen

Klicken Sie auf der Agentseite auf das Siehe Agentstatus oben rechts, um Ihren bereitgestellten Agent-Endpunkt abzurufen und Endpunktdetails anzuzeigen.

Es gibt mehrere Möglichkeiten, den erstellten Agentendpunkt abzufragen. Verwenden Sie die codebeispiele in AI Playground als Ausgangspunkt:

1. Klicken Sie auf der Agentseite auf "Verwenden".
2. Klicken Sie auf "Im Playground öffnen".
3. Klicken Sie im Playground auf "Code abrufen".
4. Wählen Sie aus, wie Sie den Endpunkt verwenden möchten:
   • Wählen Sie "Auf Daten anwenden" aus, um eine SQL-Abfrage zu erstellen, die den Agent auf eine bestimmte Tabellenspalte anwendet.
   • Wählen Sie die Curl-API für ein Codebeispiel aus, um den Endpunkt mithilfe von curl abzufragen.
   • Wählen Sie die Python-API für ein Codebeispiel für die Interaktion mit dem Endpunkt mithilfe von Python aus.

Verwendung von PDFs in Agent Bricks

PDFs werden in Agent Bricks noch nicht nativ unterstützt: Informationsextraktion und benutzerdefinierte LLM. Sie können jedoch den UI-Workflow von Agent Brick verwenden, um einen Ordner mit PDF-Dateien in Markdown zu konvertieren, und dann die resultierende Unity Catalog-Tabelle als Eingabe beim Erstellen Ihres Agents verwenden. Dieser Workflow verwendet ai_parse_document für die Konvertierung. Folgen Sie diesen Schritten:

1. Klicken Sie im linken Navigationsbereich auf Agents , um Agent Bricks in Databricks zu öffnen.

2. Klicken Sie in den Anwendungsfällen "Information Extraction" oder "Custom LLM" auf "PDFs verwenden".

3. Geben Sie im daraufhin geöffneten Seitenbereich die folgenden Felder ein, um einen neuen Workflow zu erstellen, um Ihre PDFs zu konvertieren:

   1. Wählen Sie einen Ordner mit PDFs oder Bildern aus: Wählen Sie den Unity-Katalogordner mit den PDF-Dateien aus, die Sie verwenden möchten.
   2. Zieltabelle auswählen: Wählen Sie das Zielschema für die konvertierte Markdowntabelle aus, und passen Sie optional den Tabellennamen im folgenden Feld an.
   3. Wählen Sie active SQL Warehouse aus: Wählen Sie das SQL Warehouse aus, um den Workflow auszuführen.

   

4. Klicken Sie auf "Import starten".

5. Sie werden zur Registerkarte "Alle Workflows " umgeleitet, auf der alle PDF-Workflows aufgelistet sind. Mithilfe dieser Registerkarte können Sie den Status Ihrer Aufträge überwachen.

   

   Wenn der Workflow fehlschlägt, klicken Sie auf den Auftragsnamen, um ihn zu öffnen, und zeigen Sie Fehlermeldungen an, die Sie beim Debuggen unterstützen.

6. Wenn Der Workflow erfolgreich abgeschlossen wurde, klicken Sie auf den Auftragsnamen, um die Tabelle im Katalog-Explorer zu öffnen, um die Spalten zu erkunden und zu verstehen.

7. Verwenden Sie die Unity-Katalogtabelle als Eingabedaten in Agent Bricks, wenn Sie Ihren Agent konfigurieren.

Limitations

• Databricks empfiehlt mindestens 100 Eingaben (entweder 100 Zeilen in Ihrer Unity-Katalogtabelle oder 100 manuell bereitgestellte Beispiele), um Ihren Agenten zu optimieren. Wenn Sie weitere Eingaben hinzufügen, erhöht sich die Wissensbasis, aus der der Agent lernen kann, wodurch die Agentqualität und die Reaktionsgenauigkeit verbessert werden.
• Wenn Sie eine Unity Catalog-Tabelle angeben, darf der Tabellenname keine Sonderzeichen enthalten (z.B. -).
• Nur die folgenden Datentypen werden als Eingaben unterstützt: string, , intund double.
• Die Nutzungskapazität ist derzeit auf 100k-Eingabe- und Ausgabetoken pro Minute beschränkt.
• Arbeitsbereiche mit aktivierter erweiterter Sicherheit und Compliance werden nicht unterstützt.
• Die Optimierung schlägt in Arbeitsbereichen mit serverlosen Netzwerkrichtlinien mit eingeschränktem Zugriffsmodus oder Arbeitsbereichen fehl, die die Firewallunterstützung für das Arbeitsbereichsspeicherkonto aktiviert haben.