Agent Bricks gebruiken: Aangepaste LLM om een GEN AI-agent voor tekst te maken

In dit artikel wordt beschreven hoe u een generatieve AI-agent maakt voor aangepaste op tekst gebaseerde taken met behulp van Agent Bricks: Custom LLM.

Agent Bricks biedt een eenvoudige benadering voor het bouwen en optimaliseren van domeinspecifieke AI-agentsystemen van hoge kwaliteit voor algemene AI-use cases.

Wat kunt u doen met aangepaste LLM?

Agent Bricks gebruiken: Aangepaste LLM om hoogwaardige resultaten te genereren voor elke domeinspecifieke taak, zoals samenvatting, classificatie, teksttransformatie en het genereren van inhoud.

Agent Bricks: Aangepaste LLM is ideaal voor de volgende gebruiksvoorbeelden:

• Het probleem en de oplossing van klantgesprekken samenvatten.
• Het gevoel van klantbeoordelingen analyseren.
• Onderzoeksdocumenten classificeren op onderwerp.
• Persberichten genereren voor nieuwe functies.

Op basis van instructies en voorbeelden op hoog niveau worden Agent Bricks: Custom LLM prompts geoptimaliseerd namens gebruikers, worden automatisch evaluatiecriteria afgeleid, wordt het systeem geëvalueerd op basis van de opgegeven gegevens en wordt het model geïmplementeerd als een productiebaar eindpunt.

Agent Bricks: Aangepaste LLM maakt gebruik van geautomatiseerde evaluatiemogelijkheden, waaronder MLflow en Agent Evaluation, om een snelle beoordeling van de kostenkwaliteit mogelijk te maken voor uw specifieke extractietaak. Met deze evaluatie kunt u weloverwogen beslissingen nemen over het evenwicht tussen nauwkeurigheid en investeringen in resources.

Agent Bricks maakt gebruik van standaardopslag voor het opslaan van tijdelijke gegevenstransformaties, modelcontrolepunten en interne metagegevens die elke agent aandrijven. Bij het verwijderen van agents worden alle gegevens die aan de agent zijn gekoppeld, verwijderd uit de standaardopslag.

Requirements

• Een werkruimte met het volgende:
  • Mozaïek AI Agent Bricks Preview (bèta) ingeschakeld. Zie Azure Databricks-previews beheren.
  • Serverloze rekenkracht ingeschakeld. Zie serverloze rekenvereisten.
  • Unity Catalog ingeschakeld. Zie Een werkruimte inschakelen voor Unity Catalog.
  • Een werkruimte in een van de ondersteunde regio's: centralus, eastus, eastus2, northcentralus, . southcentralus westus, of westus2.
  • Toegang tot Mosaic AI Model Dienstverlening.
  • Toegang tot basismodellen in Unity Catalog via het system.ai schema.
  • Toegang tot een serverloos budgetbeleid met een niet-nulbudget.
• Mogelijkheid om de ai_query SQL-functie te gebruiken.
• U moet invoergegevens hebben die klaar zijn voor gebruik. U kunt kiezen om een van de volgende opties op te geven:
  • Een Unity Catalog-tabel. De tabelnaam mag geen speciale tekens bevatten (zoals -).
    • Als u PDF-bestanden wilt gebruiken, converteert u deze naar een Unity Catalog-tabel. Zie PDF's gebruiken in Agent Bricks.
  • Ten minste 3 voorbeeldinvoer en uitvoer. Als u deze optie kiest, moet u een doelpad voor het Unity Catalog-schema voor de agent opgeven en moet u CREATE REGISTERED MODEL en CREATE TABLE machtigingen voor dit schema hebben.
• Als u uw agent wilt optimaliseren, hebt u ten minste 100 invoer (100 rijen in een Unity Catalog-tabel of 100 handmatig opgegeven voorbeelden) nodig.

Een aangepaste LLM-agent maken

Ga naar Agents in het linkernavigatiedeelvenster van uw werkruimte. Klik op Aangepaste LLM tegel en selecteer Build.

Stap 1: Uw agent configureren

Klik op het tabblad Opbouwen op Een voorbeeld >weergeven om een voorbeeldinvoer- en modelantwoord voor een aangepaste LLM-agent uit te vouwen.

Configureer uw agent in het onderstaande deelvenster:

1. Voer onder Uw taak beschrijven een duidelijke en gedetailleerde beschrijving in van uw specialisatietaak, inclusief het doel en het gewenste resultaat.

2. Geef een gelabelde gegevensset, een niet-gelabelde gegevensset of een paar voorbeelden op die u kunt gebruiken om uw agent te maken.

   Als u PDF-bestanden wilt gebruiken, converteert u ze eerst naar een Unity Catalog-tabel. Zie PDF's gebruiken in Agent Bricks.

   De volgende gegevenstypen worden ondersteund: string, inten double.

   Gelabelde gegevensset

   Als u Gelabelde gegevensset selecteert:

   

   1. Klik onder Gegevensset selecteren als UC-tabel op Bladeren om de tabel in Unity Catalog te selecteren die u wilt gebruiken. De tabelnaam mag geen speciale tekens bevatten (zoals -).

      Hier volgt een voorbeeld:

      main.model_specialization.customer_call_transcripts

   2. Selecteer in het veld Invoerkolom de kolom die u wilt gebruiken als invoertekst. Het vervolgkeuzemenu wordt automatisch gevuld met kolommen uit de geselecteerde tabel.

   3. Selecteer in de kolom Uitvoer de kolom die u wilt opgeven als voorbeelduitvoer voor de verwachte transformatie. Door deze gegevens op te geven, kunt u uw agent zo configureren dat deze nauwkeuriger kan worden aangepast aan uw domeinspecifieke behoeften.

   Niet-gelabelde gegevensset

   Als u niet-gelabelde gegevensset selecteert:

   1. Klik onder Gegevensset selecteren als UC-tabel op Bladeren om de tabel in Unity Catalog te selecteren die u wilt gebruiken. De tabelnaam mag geen speciale tekens bevatten (zoals -).

   2. Selecteer in het veld Invoerkolom de kolom die u wilt gebruiken als invoertekst. Het vervolgkeuzemenu wordt automatisch gevuld met kolommen uit de geselecteerde tabel.

   Enkele voorbeelden

   Als u enkele voorbeelden selecteert:

   1. Geef ten minste 3 voorbeelden van invoer en verwachte uitvoer voor uw specialisatietaak op. Door voorbeelden van hoge kwaliteit te bieden, kunt u uw specialisatieagent configureren om uw vereisten beter te begrijpen.
   2. Als u meer voorbeelden wilt toevoegen, klikt u op + Toevoegen.
   3. Selecteer onder Agentbestemming het Unity Catalog-schema waarin u Agent Bricks wilt gebruiken om een tabel met evaluatiegegevens te maken. Je moet geregistreerd model- en CREATE TABLE-machtigingen voor dit schema hebben.

3. Geef uw agent een naam.

4. Klik op Agent maken.

Stap 2: uw agent bouwen en verbeteren

Bekijk op het tabblad Opbouwen aanbevelingen om uw agent te verbeteren, bekijk voorbeeldmodeluitvoer en pas uw taakinstructies en evaluatiecriteria aan.

In het deelvenster Aanbeveling biedt Databricks aanbevelingen om u te helpen voorbeeldreacties te optimaliseren en te evalueren als goed of slecht.

1. In het deelvenster Aanbeveling biedt Databricks aanbevelingen om u te helpen voorbeeldreacties te optimaliseren en te evalueren als goed of slecht.

   1. Bekijk de aanbevelingen van Databricks voor het optimaliseren van agentprestaties.
   2. Feedback geven om reacties te verbeteren. Voor elk antwoord is dit een goed antwoord? met Ja of Nee. Als nee, geeft u optionele feedback over het antwoord en klikt u op Opslaan om naar de volgende te gaan.
   3. U kunt er ook voor kiezen om de aanbeveling te negeren.

2. Stel aan de rechterkant onder Richtlijnen duidelijke richtlijnen in om uw agent te helpen de juiste uitvoer te produceren. Deze worden ook gebruikt om de kwaliteit automatisch te evalueren.

   1. Bekijk voorgestelde richtlijnen. De suggesties voor richtlijnen worden automatisch afgeleid om u te helpen uw agent te optimaliseren. U kunt ze verfijnen of verwijderen.
   2. Agent Bricks kan aanvullende richtlijnen voorstellen. Selecteer Accepteren om de nieuwe richtlijn toe te voegen, Weigeren om deze te negeren of klik in de tekst om eerst de richtlijn te bewerken.
   3. Als u uw eigen richtlijnen wilt toevoegen, klikt u op Toevoegen.
   4. Klik op Opslaan en bijwerken om de agent bij te werken.

3. (Optioneel) Beschrijf uw taak aan de rechterkant onder Instructies. Voeg aanvullende instructies toe die de agent moet volgen bij het genereren van de antwoorden. Klik op Opslaan en bijwerken om de instructies toe te passen.

4. Nadat u de agent hebt bijgewerkt, worden nieuwe voorbeeldantwoorden gegenereerd. Bekijk en geef feedback over deze antwoorden.

Stap 3: Uw agent evalueren

Een kwaliteitsrapport met een kleine set evaluatieresultaten wordt automatisch gegenereerd op basis van uw richtlijnen. Bekijk dit rapport op het tabblad Kwaliteit .

Elke geaccepteerde richtlijn wordt gebruikt als evaluatiemetriek. Voor elke gegenereerde aanvraag wordt het antwoord geëvalueerd aan de hand van de richtlijnen en een beoordeling voor slagen/mislukken. Deze evaluaties worden gebruikt om de evaluatiescores die bovenaan worden weergegeven te genereren. Klik op een evaluatieresultaat om de volledige details weer te geven.

Gebruik het kwaliteitsrapport om te bepalen of de agent verdere optimalisatie nodig heeft.

(Optioneel) Uw agent optimaliseren

Agent Bricks kan u helpen uw agent te optimaliseren voor kosten. Databricks raadt ten minste 100 invoerwaarden aan (100 rijen in uw Unity Catalog-tabel of 100 handmatig opgegeven voorbeelden) om uw agent te optimaliseren. Wanneer u meer invoer toevoegt, wordt de kennisbasis waaruit de agent kan leren, groter, waardoor de kwaliteit van de agent en de nauwkeurigheid van de antwoorden worden verbeterd.

Wanneer u uw agent optimaliseert, vergelijkt Databricks meerdere verschillende optimalisatiestrategieën om een geoptimaliseerde agent te bouwen en te implementeren. Deze strategieën omvatten Foundation Model Fine-tuning die gebruikmaakt van Databricks Geos.

Uw agent optimaliseren:

1. Klik op Optimaliseren.

2. Klik op Optimalisatie starten.

   Optimalisatie kan enkele uren duren. Het aanbrengen van wijzigingen aan uw huidige actieve agent wordt geblokkeerd wanneer optimalisatie wordt uitgevoerd.

3. Wanneer optimalisatie is voltooid, bekijkt u een vergelijking van uw huidige actieve agent en de agent die is geoptimaliseerd voor kosten.

4. Nadat u deze resultaten hebt bekeken, selecteert u het beste model onder Het beste model implementeren naar een eindpunt en klikt u op Implementeren.

Stap 4: Uw agent gebruiken

Probeer uw agent uit in werkstromen in Databricks.

Als u uw agent wilt gaan gebruiken, klikt u op Gebruiken. U hebt de volgende opties:

• Klik op Try in SQL om de SQL-editor te openen en ai_query te gebruiken om aanvragen te verzenden naar uw nieuwe aangepaste LLM-agent.

• Klik op Pijplijn maken om een pijplijn te implementeren die volgens geplande intervallen wordt uitgevoerd om uw agent op nieuwe gegevens te gebruiken. Zie declaratieve Pijplijnen van Lakeflow Spark voor meer informatie over pijplijnen.

• Klik op Openen in Playground om uw agent te testen in een chatomgeving met AI Playground.

Machtigingen beheren

Standaard hebben alleen auteurs van Agent Bricks en werkruimtebeheerders machtigingen voor de agent. Als u wilt dat andere gebruikers uw agent kunnen bewerken of er query's op kunnen uitvoeren, moet u hen expliciet toestemming geven.

Machtigingen voor uw agent beheren:

1. Open uw agent in Agent Bricks.
2. Klik bovenaan op het het kebabmenu.
3. Klik op Machtigingen beheren.
4. Selecteer in het venster Machtigingsinstellingen de gebruiker, groep of service-principal.
5. Selecteer de machtiging die u wilt verlenen:
   • Kan beheren: Hiermee staat u het beheer van agentstenen toe, waaronder het instellen van machtigingen, het bewerken van de agentconfiguratie en het verbeteren van de kwaliteit.
   • Kan query's uitvoeren: hiermee kunt u query's uitvoeren op het eindpunt Agent Bricks in AI Playground en via de API. Gebruikers met alleen deze machtiging kunnen de agent niet bekijken of bewerken in Agent Bricks.
6. Klik op Toevoegen.
7. Klik op Opslaan.

Query uitvoeren op het agent-eindpunt

Klik op de agentpagina op het Model serving-pictogram. Bekijk de agentstatus in de rechterbovenhoek om uw geïmplementeerde agenteindpunt op te halen en details van het eindpunt te bekijken.

Er zijn meerdere manieren om een query uit te voeren op het gemaakte agenteindpunt. Gebruik de codevoorbeelden in AI Playground als uitgangspunt:

1. Klik op de agentpagina op Gebruik.
2. Klik op Openen in speeltuin.
3. Klik in Playground op Code ophalen.
4. Kies hoe u het eindpunt wilt gebruiken:
   • Selecteer Toepassen op gegevens om een SQL-query te maken waarmee de agent wordt toegepast op een specifieke tabelkolom.
   • Selecteer Curl-API voor een codevoorbeeld om een query uit te voeren op het eindpunt met behulp van curl.
   • Selecteer python-API voor een codevoorbeeld om met het eindpunt te communiceren met behulp van Python.

PDF's gebruiken in Agent Bricks

PDF-bestanden worden nog niet standaard ondersteund in Agent Bricks: Informatieextractie en aangepaste LLM. U kunt de UI-werkstroom van Agent Brick echter gebruiken om een map met PDF-bestanden te converteren naar Markdown en vervolgens de resulterende Unity Catalog-tabel als invoer gebruiken bij het bouwen van uw agent. Deze werkstroom gebruikt ai_parse_document voor de conversie. Volg deze stappen:

1. Klik op Agents in het linkernavigatiedeelvenster om Agent Bricks te openen in Databricks.

2. Klik in de use cases van gegevensextractie of aangepaste LLM op PDF's gebruiken.

3. Voer in het zijpaneel dat wordt geopend de volgende velden in om een nieuwe werkstroom te maken om uw PDF-bestanden te converteren:

   1. Selecteer de map met PDF-bestanden of -afbeeldingen: selecteer de map Unity Catalog met de PDF-bestanden die u wilt gebruiken.
   2. Selecteer de doeltabel: Selecteer het doelschema voor de geconverteerde Markdown-tabel en pas desgewenst de tabelnaam aan in het onderstaande veld.
   3. Selecteer actief SQL Warehouse: selecteer het SQL Warehouse om de werkstroom te laten draaien.

   

4. Klik op Importeren starten.

5. U wordt omgeleid naar het tabblad Alle werkstromen , waarin al uw PDF-werkstromen worden vermeld. Gebruik dit tabblad om de status van uw taken te controleren.

   

   Als uw werkstroom mislukt, klikt u op de taaknaam om deze te openen en bekijkt u foutberichten om fouten op te sporen.

6. Wanneer uw werkstroom is voltooid, klikt u op de taaknaam om de tabel in Catalog Explorer te openen om de kolommen te verkennen en te begrijpen.

7. Gebruik de Tabel Unity Catalog als invoergegevens in Agent Bricks bij het configureren van uw agent.

Limitations

• Databricks raadt ten minste 100 invoerwaarden (100 rijen in uw Unity Catalog-tabel of 100 handmatig verstrekte voorbeelden) aan om uw agent te optimaliseren. Wanneer u meer invoer toevoegt, wordt de kennisbasis waaruit de agent kan leren, groter, waardoor de kwaliteit van de agent en de nauwkeurigheid van de antwoorden worden verbeterd.
• Als u een Unity Catalog-tabel opgeeft, mag de tabelnaam geen speciale tekens bevatten (zoals -).
• Alleen de volgende gegevenstypen worden ondersteund als invoer: string, inten double.
• De gebruikscapaciteit is momenteel beperkt tot 100.000 invoer- en uitvoertokens per minuut.
• Werkruimten waarvoor Verbeterde beveiliging en naleving zijn ingeschakeld, worden niet ondersteund.
• Optimalisatie kan mislukken in werkruimten met serverloos uitgaand netwerkbeleid met beperkte toegangsmodus of werkruimten waarvoor firewallondersteuning voor werkruimteopslagaccount is ingeschakeld.