Dostosowywanie modeli za pomocą rozwiązania Microsoft Foundry

Dostrajanie dostosowuje wstępnie wytrenowany model sztucznej inteligencji poprzez dodatkowe szkolenie na określonym zadaniu lub zestawie danych, aby poprawić wydajność, dodać nowe umiejętności lub zwiększyć dokładność. Wynikiem jest nowy, zoptymalizowany model GenAI oparty na podanych przykładach. Ten artykuł przeprowadzi Cię przez kluczowe pojęcia i decyzje, które należy podjąć przed dostrajaniem, w tym typ dostrajania odpowiedniego dla przypadku użycia, kryteria wyboru modelu oparte na przypadkach użycia technik trenowania oraz sposób, w jaki pomaga to w twojej podróży z GenAI.

Jeśli dopiero zaczynasz pracę z dostrajaniem, zalecamy korzystanie z biblioteki GPT-4.1 w celu uzyskania złożonych umiejętności, takich jak tłumaczenie języka, adaptacja domeny lub zaawansowane generowanie kodu. Aby uzyskać bardziej ukierunkowane zadania (takie jak klasyfikacja, analiza tonacji lub moderowanie zawartości) lub podczas destylowania wiedzy z bardziej zaawansowanego modelu, zacznij od GPT-4.1-mini w celu szybszej iteracji i niższych kosztów.

Najważniejsze przypadki użycia do dostrajania

Dostrajanie doskonale sprawdza się w dostosowywaniu modeli językowych dla określonych aplikacji i domen. Oto niektóre kluczowe przypadki użycia:

• Specjalizacja domeny: Dostosowanie modelu językowego dla wyspecjalizowanego pola, takiego jak medycyna, finanse lub prawo , gdzie ważna jest wiedza i terminologia specyficzna dla danej domeny. Naucz model zrozumieć żargon techniczny i zapewnić dokładniejsze odpowiedzi.
• Wydajność zadania: Zoptymalizuj model pod kątem określonego zadania, takiego jak analiza tonacji, generowanie kodu, tłumaczenie lub podsumowywanie. Wydajność mniejszego modelu w określonej aplikacji można znacznie poprawić w porównaniu z modelem ogólnego przeznaczenia.
• Styl i ton: Naucz model, aby był zgodny z preferowanym stylem komunikacji — na przykład dostosować model do formalnego pisania biznesowego, głosu specyficznego dla marki lub pisania technicznego.
• Instrukcje: Zwiększ możliwość przestrzegania określonych wymagań dotyczących formatowania, instrukcji wieloetapowych lub danych wyjściowych ze strukturą. W strukturach obejmujących wiele agentów naucz model wywoływania odpowiedniego agenta dla odpowiedniego zadania.
• Zgodność i bezpieczeństwo: Trenowanie dostosowanego modelu w celu przestrzegania zasad organizacyjnych, wymagań prawnych lub innych wytycznych unikatowych dla aplikacji.
• Adaptacja językowa lub kulturowa: Dostosuj model językowy dla określonego języka, dialektu lub kontekstu kulturowego, który może nie być dobrze reprezentowany w danych treningowych. Dostrajanie jest szczególnie przydatne, gdy model ogólnego przeznaczenia nie spełnia określonych wymagań, ale chcesz uniknąć kosztów i złożoności trenowania modelu od podstaw.

Bezserwerowe lub zarządzane zasoby obliczeniowe?

Przed wybraniem modelu ważne jest, aby wybrać produkt dostrajania dopasowany do Twoich potrzeb. Firma Microsoft Foundry oferuje dwa podstawowe sposoby dostrajania: bezserwerowe i zarządzane zasoby obliczeniowe.

• Bezserwerowe umożliwia dostosowywanie modeli korzystając z naszej infrastruktury i cen opartych na zużyciu, począwszy od 1,70 USD za milion tokenów wejściowych. Optymalizujemy trenowanie pod kątem szybkości i skalowalności podczas obsługi całego zarządzania infrastrukturą. Takie podejście nie wymaga limitów przydziału procesora GPU i zapewnia wyłączny dostęp do modeli OpenAI, choć z mniejszą liczbą opcji hiperparametrów niż zarządzane obliczenia.
• Zarządzane zasoby obliczeniowe oferują szerszy zakres modeli i zaawansowane dostosowywanie za pomocą usługi AzureML, ale wymaga udostępnienia własnych maszyn wirtualnych na potrzeby trenowania i hostingu. Chociaż zapewnia to pełną kontrolę nad zasobami, wymaga wysokich limitów przydziału, których wielu klientom brakuje, nie uwzględnia modeli OpenAI i nie może korzystać z naszych optymalizacji wielodostępności.

Dla większości klientów technologia bezserwerowa zapewnia najlepszą równowagę między łatwością użytkowania, optymalizacją kosztów a dostępem do modeli premium. Ten dokument koncentruje się na opcjach bezserwerowych.

Aby znaleźć kroki dostosowywania modelu w narzędziu Foundry, zobacz Dostosowywanie modeli w narzędziu Foundry lub Dostosowywanie modeli przy użyciu zarządzanych obliczeń. Aby uzyskać szczegółowe wskazówki dotyczące dostrajania interfejsu OpenAI, zobacz Dostosowywanie modeli Azure OpenAI.

Techniki trenowania

Po zidentyfikowaniu przypadku użycia należy wybrać odpowiednią technikę szkoleniową, która określa model wybrany do szkolenia. Oferujemy trzy techniki szkoleniowe służące do optymalizowania modeli:

• Nadzorowane Fine-Tuning (SFT): Podstawowa technika, która trenuje model na parach danych wejściowych i wyjściowych, ucząc go, aby wygenerować pożądane odpowiedzi dla określonych danych wejściowych.

  • Najlepsze dla: Większości przypadków użycia, takich jak specjalizacja domeny, realizacja zadań, styl i ton, stosowanie się do instrukcji i adaptacja języka.
  • Kiedy należy użyć: Zacznij tutaj dla większości projektów. SFT zajmuje się najszerzej zróżnicowanym zakresem scenariuszy dostrajania i zapewnia niezawodne wyniki z przejrzystymi danymi treningowymi z wyraźnym podziałem na wejście i wyjście.
  • Obsługiwane modele: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1-nano; Llama 2 i Llama 3.1; Phi 4, Phi-4-mini-instruct; Mistral Nemo, Ministral-3B, Mistral Large (2411); NTT Tsuzumi-7b

• Optymalizacja preferencji bezpośrednich (DPO): Trenuje modele, aby preferować niektóre typy odpowiedzi nad innymi, ucząc się od opinii porównawczych, bez konieczności oddzielnego modelu nagrody.

  • Najlepsze dla: Poprawa jakości odpowiedzi, bezpieczeństwa i dopasowania do preferencji człowieka.
  • Kiedy należy użyć: Jeśli masz przykłady preferowanych i nie preferowanych danych wyjściowych lub gdy musisz zoptymalizować subiektywne cechy, takie jak pomocność, nieszkodliwość lub styl. Przypadki użycia obejmują dostosowanie modeli do określonego stylu i tonu lub dostosowanie modelu do preferencji kulturowych.
  • Obsługiwane modele: GPT 4o, 4.1, 4.1-mini, 4.1-nano

• Wzmocnienie Fine-Tuning (RFT): Wykorzystuje uczenie przez wzmacnianie do optymalizowania modeli na podstawie sygnałów nagrody, co pozwala na bardziej złożone cele optymalizacji.

  • Najlepsze dla: Złożone scenariusze optymalizacji, w których proste pary wejściowe-wyjściowe nie są wystarczające.
  • Kiedy należy użyć: RFT jest idealnym rozwiązaniem w przypadku dziedzin celów, takich jak matematyka, chemia i fizyka, gdzie istnieją jasne poprawne i błędne odpowiedzi, a model już pokazuje pewne kompetencje. Działa najlepiej, gdy szczęśliwe zgadywanie jest trudne, a eksperccy ewaluatorzy konsekwentnie zgadzają się co do jednoznacznej, poprawnej odpowiedzi. Wymaga większej wiedzy na temat uczenia maszynowego w celu skutecznego wdrożenia.
  • Obsługiwane modele: o4-mini

Większość klientów powinna zaczynać od SFT, gdyż obejmuje ono najszerszą gamę przypadków użycia związanych z dostrajaniem.

Skorzystaj z tego linku, aby wyświetlić i pobrać przykładowe zestawy danych , aby wypróbować dostrajanie.

Metody trenowania

• Tekst do tekstu (wszystkie modele): Wszystkie nasze modele obsługują standardowe dostrajanie tekstu do tekstu w przypadku zadań opartych na języku.
• Vision + Text (GPT 4o, 4.1): Niektóre modele obsługują dostrajanie obrazów, akceptując zarówno dane wejściowe obrazu, jak i tekstu podczas tworzenia danych wyjściowych tekstu. Przypadki użycia dostrajania obrazów obejmują interpretowanie wykresów, grafów i danych wizualnych; moderowanie zawartości; ocena jakości wizualizacji; przetwarzanie dokumentów z mieszanym tekstem i obrazem; i katalogowanie produktów ze zdjęć.

Tabela porównania modeli

Ta tabela zawiera omówienie dostępnych modeli

Rozpocznij dostosowywanie

1. Zdefiniuj przypadek użycia: Określ, czy potrzebujesz wysoce zdolnego modelu ogólnego przeznaczenia (np. GPT 4.1), mniejszego ekonomicznego modelu dla określonego zadania (GPT 4.1-mini lub nano), czy złożonego modelu rozumowania (o4-mini).
2. Przygotowywanie danych: Zacznij od 50–100 przykładów wysokiej jakości na potrzeby początkowego testowania, skalowania do 500+ przykładów dla modeli produkcyjnych.
3. Wybierz technikę: Zacznij od Supervised Fine-Tuning (SFT), chyba że masz określone wymagania dotyczące modeli rozumowania / RFT.
4. Iteruj i oceniaj: Dostrajanie jest procesem iteracyjnym — zacznij od punktu odniesienia, zmierz wydajność i uściślij podejście na podstawie wyników.

Aby znaleźć kroki dostrajania modelu w narzędziu Foundry, zobacz Dostosowywanie modeli w narzędziu Foundry, Dostosowywanie modeli Usługi Azure OpenAI lub Dostosowywanie modeli przy użyciu zarządzanych zasobów obliczeniowych.

Fine-Tuning dostępność

Teraz, gdy wiesz, kiedy używać finetuningu w swoim scenariuszu użycia, możesz przejść do Microsoft Foundry, aby znaleźć modele gotowe do finetuningu.

Aby dostroić model Foundry przy użyciu rozwiązania Serverless, musisz mieć centrum/projekt w regionie, w którym model jest dostępny do fine-tuningu. Zobacz Dostępność regionów dla modeli wdrażania bezserwerowego interfejsu API, aby uzyskać szczegółowe informacje na temat dostępności modelu i regionu oraz Jak utworzyć projekt oparty na centrum, aby utworzyć swój projekt.

Aby dostosować model OpenAI , możesz użyć zasobu usługi Azure OpenAI, zasobu foundry lub projektu domyślnego albo centrum/projektu. GPT 4.1, 4.1-mini, 4.1-nano i GPT 4o, 4omini są dostępne we wszystkich regionach z globalnym szkoleniem. Aby uzyskać informacje na temat dostępności regionalnej, zobacz Regional availability and Limits for Azure OpenAI Fine Tuning (Dostępność regionalna i limity dotyczące dostrajania w usłudze Azure OpenAI). Aby uzyskać instrukcje dotyczące tworzenia nowego projektu, zobacz Tworzenie projektu dla programu Foundry .

Aby dostosować model przy użyciu usługi Managed Compute , musisz mieć centrum/projekt i dostępny limit przydziału maszyn wirtualnych na potrzeby trenowania i wnioskowania. Zobacz Dostosowywanie modeli przy użyciu zarządzanych obliczeń (wersja zapoznawcza), aby uzyskać więcej informacji na temat używania dostrajania obliczeń zarządzanych oraz Jak utworzyć projekt oparty na centrum w celu utworzenia projektu.

Treści powiązane

• Dostosowywanie modeli przy użyciu zarządzanych zasobów obliczeniowych (wersja zapoznawcza)
• Dostrajanie modelu azure OpenAI w portalu Foundry
• Precyzyjne dostrajanie modeli za pomocą wdrażania API bezserwerowego