Rag (Retrieval-augmented generation) biedt LLM-kennis

In dit artikel wordt beschreven hoe retrieval-augmented generation LLM's in staat stelt om uw gegevensbronnen te behandelen als kennis, zonder dat ze daarvoor getraind hoeven te worden.

LLM's hebben uitgebreide knowledge bases via training. Voor de meeste scenario's kunt u een LLM selecteren die is ontworpen voor uw vereisten, maar deze LLM's vereisen nog steeds aanvullende training om inzicht te krijgen in uw specifieke gegevens. Met op retrieval-gebaseerde generatie kunt u uw gegevens beschikbaar maken voor LLM's zonder ze eerst te hoeven trainen.

Hoe RAG werkt

Voer ophaal-verrijkte generatie uit door embed-dingen van uw gegevens te creëren, evenals veelgestelde vragen erover. U kunt dit direct doen of u kunt de insluitingen maken en opslaan met behulp van een vectordatabaseoplossing.

Wanneer een gebruiker een vraag stelt, gebruikt de LLM uw insluitingen om de vraag van de gebruiker te vergelijken met uw gegevens en de meest relevante context te vinden. Deze context en de vraag van de gebruiker gaan vervolgens in een prompt naar de LLM en de LLM geeft een antwoord op basis van uw gegevens.

Eenvoudig RAG-proces

Als u RAG wilt uitvoeren, moet u elke gegevensbron verwerken die u wilt gebruiken voor het ophalen. Het basisproces is als volgt:

1. Deel grote gegevens in beheerbare stukken.
2. Converteer de segmenten naar een doorzoekbare indeling.
3. Sla de geconverteerde gegevens op een locatie op die efficiënte toegang mogelijk maakt. Daarnaast is het belangrijk om relevante metagegevens op te slaan voor bronvermeldingen of verwijzingen wanneer de LLM antwoorden levert.
4. Voer geconverteerde gegevens in prompts in voor LLM's.

• Brongegevens: dit is waar uw gegevens bestaan. Dit kan een bestand/map op uw computer zijn, een bestand in cloudopslag, een Azure Machine Learning-gegevensasset, een Git-opslagplaats of een SQL-database.
• Gegevenssegmentering: de gegevens in uw bron moeten worden geconverteerd naar tekst zonder opmaak. Word-documenten of PDF-bestanden moeten bijvoorbeeld open worden gebarsten en geconverteerd naar tekst. De tekst wordt vervolgens in kleinere stukken gesegmenteerd.
• De tekst converteren naar vectoren: dit zijn insluitingen. Vectoren zijn numerieke representaties van concepten die zijn geconverteerd naar getalreeksen, waardoor computers de relaties tussen deze concepten eenvoudig kunnen begrijpen.
• Koppelingen tussen brongegevens en insluitingen: deze informatie wordt opgeslagen als metagegevens op de segmenten die u hebt gemaakt, die vervolgens worden gebruikt om de LLM's te helpen bronvermeldingen te genereren tijdens het genereren van antwoorden.

Zie ook

• Gegevensopname