De modelcatalogus verkennen

De modelcatalogus in Microsoft Foundry biedt een centrale opslagplaats met modellen die u kunt zoeken naar het juiste taalmodel voor uw specifieke generatieve AI-use case.

Het selecteren van een basismodel voor uw generatieve AI-app is belangrijk omdat dit van invloed is op hoe goed uw app werkt. Als u het beste model voor uw app wilt vinden, kunt u een gestructureerde benadering gebruiken door uzelf de volgende vragen te stellen:

• Kan AI mijn use-case oplossen?
• Hoe ik het beste model voor mijn use-case selecteren?
• Kan ik schalen voor echte workloads?

Laten we elk van deze vragen eens bekijken.

Kan AI mijn use-case oplossen?

Tegenwoordig hebben we duizenden taalmodellen om uit te kiezen. De belangrijkste uitdaging is om te begrijpen of er een model is dat aan uw behoeften voldoet en de vraag beantwoordt: Kan AI mijn use case oplossen?

Als u deze vraag wilt beantwoorden, moet u een model detecteren, filteren en implementeren. U kunt de beschikbare taalmodellen verkennen via drie verschillende catalogi:

• Hugging Face: een uitgebreide catalogus met opensource-modellen in verschillende domeinen.
• GitHub: toegang tot diverse modellen via GitHub Marketplace en GitHub Copilot.
• Microsoft Foundry: Uitgebreide catalogus met robuuste hulpprogramma's voor implementatie.

Hoewel u elk van deze catalogi kunt gebruiken om modellen te verkennen, maakt de modelcatalogus in Microsoft Foundry het gemakkelijkst om een model te verkennen en te implementeren om uw prototype te bouwen, terwijl u de beste selectie van modellen biedt.

Laten we eens kijken naar enkele van de opties die u moet overwegen bij het zoeken naar geschikte modellen.

Kiezen tussen grote en kleine taalmodellen

Allereerst hebt u een keuze tussen GROTE taalmodellen (LLM's) en Kleine Taalmodellen (SLM's).

• LLMs zoals GPT-4, Mistral Large, Llama3 70B, Llama 405B en Command R+ zijn krachtige AI-modellen die zijn ontworpen voor taken waarvoor uitgebreide redenering, complexe inhoudsgeneratie en uitgebreid contextbegrip is vereist.

• SLM's zoals Phi3, Mistral OSS-modellen en Llama3 8B zijn efficiënt en rendabel, terwijl nog steeds veel algemene NLP-taken (Natural Language Processing) worden verwerkt. Ze zijn perfect voor gebruik op hardware of edge-apparaten met een lager niveau, waarbij de kosten en snelheid belangrijker zijn dan modelcomplexiteit.

Focus op een modaliteit, taak of hulpprogramma

Taalmodellen zoals GPT-4 en Mistral Large worden ook wel chat voltooid modellen genoemd, ontworpen om coherente en contextafhankelijke antwoorden op basis van tekst te genereren. Wanneer u hogere prestatieniveaus nodig hebt in complexe taken zoals wiskunde, coderen, wetenschap, strategie en logistiek, kunt u ook redenering gebruiken modellen zoals DeepSeek-R1 en o1.

Naast ai op basis van tekst zijn sommige modellen multimodale, wat betekent dat ze afbeeldingen, audio en andere gegevenstypen naast tekst kunnen verwerken. Modellen zoals GPT-4o en Phi3-vision kunnen zowel tekst als afbeeldingen analyseren en genereren. Multimodale modellen zijn handig wanneer uw toepassing afbeeldingen moet verwerken en begrijpen, zoals in computer vision of documentanalyse. Of als u een AI-app wilt bouwen die communiceert met visuele inhoud, zoals een digitale docent waarin afbeeldingen of grafieken worden uitgelegd.

Als uw use-case betrekking heeft op het genereren van afbeeldingen, hulpprogramma's zoals DALL· E 3 en Stabiliteit AI kunnen realistische visuals maken op basis van tekstprompts. Modellen voor het genereren van afbeeldingen zijn ideaal voor het ontwerpen van marketingmaterialen, illustraties of digitale kunst.

Een andere groep taakspecifieke modellen zijn het insluiten van modellen zoals Ada en Cohere. Insluitmodellen converteren tekst naar numerieke weergaven en worden gebruikt om de relevantie van de zoekfunctie te verbeteren door inzicht te krijgen in semantische betekenis. Deze modellen worden vaak geïmplementeerd in Augmented Generation (RAG-) scenario's om aanbevelingsengines te verbeteren door vergelijkbare inhoud te koppelen.

Wanneer u een toepassing wilt bouwen die dynamisch met andere softwarehulpprogramma's communiceert, kunt u functie toevoegen die aanroept en JSON-ondersteuning. Met deze mogelijkheden kunnen AI-modellen efficiënt werken met gestructureerde gegevens, waardoor ze handig zijn voor het automatiseren van API-aanroepen, databasequery's en gestructureerde gegevensverwerking.

Specialiseren met regionale en domeinspecifieke modellen

Bepaalde modellen zijn ontworpen voor specifieke talen, regio's of branches. Deze modellen kunnen in hun respectieve domeinen beter presteren dan generatieve AI voor algemeen gebruik. Voorbeeld:

• Core42 JAIS is een Arabische taal LLM, waardoor het de beste keuze is voor toepassingen die gericht zijn op Arabisch sprekende gebruikers.
• Mistral Large heeft een sterke focus op Europese talen en zorgt voor een betere taalkundige nauwkeurigheid voor meertalige toepassingen.
• Nixtla TimeGEN-1 is gespecialiseerd in tijdreeksprognoses, waardoor het ideaal is voor financiële voorspellingen, optimalisatie van de toeleveringsketen en vraagprognoses.

Als uw project regionale, taalkundige of branchespecifieke behoeften heeft, kunnen deze modellen relevantere resultaten bieden dan AI voor algemeen gebruik.

Flexibiliteit en prestaties verdelen met open versus bedrijfseigen modellen

U moet ook beslissen of u opensource-modellen of eigen modellen wilt gebruiken, elk met zijn eigen voordelen.

Eigen modellen het beste zijn voor geavanceerde prestaties en bedrijfsgebruik. Azure biedt modellen zoals GPT-4 van OpenAI, Mistral Large en Cohere Command R+, die toonaangevende AI-mogelijkheden leveren. Deze modellen zijn ideaal voor bedrijven die beveiliging, ondersteuning en hoge nauwkeurigheid op ondernemingsniveau nodig hebben.

Opensource-modellen zijn het meest geschikt voor flexibiliteit en kostenefficiëntie. Er zijn honderden opensource-modellen beschikbaar in de Microsoft Foundry-modelcatalogus van Hugging Face en modellen van Meta, Databricks, Snowflake en Nvidia. Open modellen bieden ontwikkelaars meer controle, waardoor ze de implementatie kunnen verfijnen, aanpassen en lokaal kunnen implementeren.

Welk model u ook kiest, u kunt de Microsoft Foundry-modelcatalogus gebruiken. Het gebruik van modellen via de modelcatalogus voldoet aan de belangrijkste bedrijfsvereisten voor gebruik:

• gegevens en privacy: u kunt bepalen wat er met uw gegevens gebeurt.
• beveiliging en naleving: ingebouwde beveiliging.
• Verantwoorde AI- en inhoudsveiligheid: evaluaties en inhoudsveiligheid.

Nu u de taalmodellen kent die voor u beschikbaar zijn, moet u weten of AI uw use-case inderdaad kan oplossen. Als u denkt dat een taalmodel uw toepassing zou verrijken, moet u vervolgens het specifieke model selecteren dat u wilt implementeren en integreren.

Hoe ik het beste model voor mijn use-case selecteren?

Als u het beste taalmodel voor uw use-case wilt selecteren, moet u bepalen welke criteria u gebruikt om de modellen te filteren. De criteria zijn de benodigde kenmerken die u voor een model identificeert. Vier kenmerken die u kunt overwegen zijn:

• Taaktype: Welk type taak hebt u nodig om het model uit te voeren? Omvat het het begrip van alleen tekst, of ook audio of video, of meerdere modaliteiten?
• Precision: Is het basismodel goed genoeg of hebt u een nauwkeurig afgestemd model nodig dat is getraind op een specifieke vaardigheid of gegevensset?
• Openheid: Wilt u het model zelf kunnen verfijnen?
• Implementatie: Wilt u het model lokaal implementeren, op een serverloos eindpunt of wilt u de implementatie-infrastructuur beheren?

U hebt al de verschillende typen modellen verkend die beschikbaar zijn in de vorige sectie. Laten we nu eens nader bekijken hoe precisie en prestaties belangrijke filters kunnen zijn bij het kiezen van een model.

Modellen filteren op precisie

In generatieve AI verwijst precisie naar de nauwkeurigheid van het model bij het genereren van de juiste en relevante uitvoer. Het meet het aandeel terecht-positieve resultaten (juiste uitvoer) van alle gegenereerde uitvoer. Hoge precisie betekent minder irrelevante of onjuiste resultaten, waardoor het model betrouwbaarder wordt.

Wanneer u een taalmodel in een app integreert, kunt u kiezen tussen een basismodel of een nauwkeurig afgestemd model. Een basismodel, zoals GPT-4, is vooraf getraind op een grote gegevensset en kan verschillende taken verwerken, maar kan geen precisie hebben voor specifieke domeinen. Technieken zoals prompt engineering kunnen dit verbeteren, maar soms is fine-tuning noodzakelijk.

Een nauwkeurig afgestemd model wordt verder getraind op een kleinere, taakspecifieke gegevensset om de precisie en de mogelijkheid om relevante uitvoer voor specifieke toepassingen te genereren, te verbeteren. U kunt een nauwkeurig afgestemd model gebruiken of een model zelf afstemmen.

Modellen filteren voor prestaties

U kunt de prestaties van uw model in verschillende fasen evalueren met behulp van verschillende evaluatiemethoden.

Wanneer u modellen verkent via de Microsoft Foundry-modelcatalogus, kunt u modelbenchmarks gebruiken om openbaar beschikbare metrische gegevens te vergelijken, zoals coherentie en nauwkeurigheid in modellen en gegevenssets. Deze benchmarks kunnen u helpen in de eerste verkenningsfase, maar geven weinig informatie over hoe het model zou presteren in uw specifieke use-case.

Als u wilt evalueren hoe een geselecteerd model presteert met betrekking tot uw specifieke vereisten, kunt u overwegen handmatige of geautomatiseerde evaluaties. Met handmatige evaluaties kunt u de reacties van uw model beoordelen. Geautomatiseerde evaluaties omvatten traditionele metrische gegevens voor machine learning en met AI ondersteunde metrische gegevens die voor u worden berekend en gegenereerd.

Wanneer u de prestaties van een model evalueert, is het gebruikelijk om te beginnen met handmatige evaluaties, omdat ze snel de kwaliteit van de reacties van het model beoordelen. Voor meer systematische vergelijkingen bieden geautomatiseerde evaluaties met behulp van metrische gegevens, zoals precisie, relevante overeenkomsten en F1 op basis van uw eigen grondwaar, een snellere, schaalbare en objectievere benadering.

Kan ik schalen voor echte workloads?

U hebt een model geselecteerd voor uw use-case en een prototype gemaakt. Nu moet u weten hoe u schaalt voor echte workloads.

Overwegingen voor het schalen van een generatieve AI-oplossing zijn:

• Modelimplementatie: Waar implementeert u het model voor het beste evenwicht tussen prestaties en kosten?
• Modelbewaking en optimalisatie: Hoe bewaakt, evalueert en optimaliseert u de modelprestaties?
• Promptbeheer: Hoe kunt u prompts organiseren en optimaliseren om de nauwkeurigheid en relevantie van gegenereerde antwoorden te maximaliseren?
• Levenscyclus van modellen: Hoe beheert u model-, gegevens- en code-updates als onderdeel van een doorlopende levenscyclus van Ai Operations (GenAIOps)

Microsoft Foundry biedt visuele en code-first-hulpprogramma's waarmee u een schaalbare generatieve AI-oplossing kunt bouwen en onderhouden.