Udostępnij przez

Zagadnienia dotyczące dostrajania rozwiązania Microsoft Foundry

Dostrajanie jest procesem przyjmowania wstępnie wytrenowanego modelu językowego i dostosowywania go do wykonywania określonego zadania lub zwiększania wydajności określonego zestawu danych. Obejmuje to trenowanie modelu na mniejszym, specyficznym dla zadania zestawie danych przy nieznacznym dostosowaniu wagi modelu. Dostrajanie wykorzystuje wiedzę uzyskaną przez model podczas początkowego trenowania na dużym, zróżnicowanym zestawie danych, co pozwala mu specjalizować się bez rozpoczynania od podstaw. Takie podejście jest często bardziej wydajne i skuteczne niż trenowanie nowego modelu od podstaw, szczególnie w przypadku wyspecjalizowanych zadań.

Najważniejsze korzyści z dostrajania

Zwiększona dokładność i istotność

Dostrajanie usprawnia wydajność modelu w określonych zadaniach przez trenowanie go przy użyciu danych specyficznych dla zadań. Często skutkuje to dokładniejszymi i odpowiednimi danymi wyjściowymi wysokiej jakości w porównaniu z użyciem ogólnych monitów.

W przeciwieństwie do uczenia z niewielką liczbą przykładów, gdzie tylko ograniczona liczba przykładów może być uwzględniona w podpowiedzi, dostrajanie umożliwia trenowanie modelu na dodatkowym zestawie danych. Dostrajanie pomaga modelowi dowiedzieć się więcej zniuansowanych wzorców i poprawić wydajność zadań.

Efektywność i potencjalne oszczędności kosztów

Dostrojone modele wymagają krótszych monitów, ponieważ są trenowane na podstawie odpowiednich przykładów. Ten proces zmniejsza liczbę tokenów wymaganych w każdym żądaniu, co może prowadzić do obniżenia kosztów w zależności od przypadku użycia.

Ponieważ dostosowane modele wymagają mniejszej liczby przykładów w monicie, przetwarzają żądania szybciej, co powoduje szybsze czasy odpowiedzi.

Skalowalność i specjalizacja

Dostrajanie korzysta z obszernego wstępnego trenowania modeli językowych i doskonali ich możliwości dla określonych aplikacji, dzięki czemu są bardziej wydajne i skuteczne w docelowych scenariuszach użycia.

Dostrajanie mniejszych modeli może osiągnąć poziomy wydajności porównywalne z większymi, droższymi modelami dla określonych zadań. Takie podejście zmniejsza koszty obliczeniowe i zwiększa szybkość, dzięki czemu jest to ekonomiczne skalowalne rozwiązanie do wdrażania sztucznej inteligencji w środowiskach ograniczonych zasobami.

Kiedy dopasować

Dostrajanie jest odpowiednie dla czasów, gdy masz niewielką ilość danych i chcesz poprawić wydajność modelu. Dostrajanie może dotyczyć różnych przypadków użycia, ale często należą one do szerszych kategorii.

  • Redukcja nakładu pracy przy tworzeniu promptów: wielu użytkowników zaczyna od uczenia się na kilku przykładach, dołączając przykłady żądanych wyników do komunikatu systemowego. W czasie ten proces może prowadzić do coraz większej liczby monitów, co zwiększa liczbę tokenów i opóźnienia. Dostrajanie umożliwia wbudowanie tych przykładów w model poprzez trenowanie na oczekiwanych wynikach, co jest cenne w scenariuszach z wieloma przypadkami brzegowymi.

  • Modyfikowanie stylu i tonu: dostrajanie pomaga dopasować dane wyjściowe modelu do żądanego stylu lub tonu, zapewniając spójność w aplikacjach, takich jak czatboty obsługi klienta i komunikacja specyficzna dla marki.

  • Generowanie danych wyjściowych w określonych formatach lub schematach: Modele można dostosować do tworzenia danych wyjściowych w określonych formatach lub schematach, co czyni je idealnym rozwiązaniem do generowania danych strukturalnych, raportów lub sformatowanych odpowiedzi.

  • Zwiększenie używania narzędzi: API uzupełniania czatów obsługuje wywoływanie narzędzi, a wyświetlenie listy wielu narzędzi zwiększa użycie tokenów i może prowadzić do błędnych informacji. Dostrajanie za pomocą przykładów narzędzi zwiększa dokładność i spójność, nawet bez pełnych definicji narzędzi.

  • Zwiększenie wydajności opartej na pobieraniu: połączenie dostrajania z metodami pobierania zwiększa zdolność modelu do integrowania wiedzy zewnętrznej, wykonywania złożonych zadań i zapewnia dokładniejsze odpowiedzi z obsługą kontekstu. Precyzyjne dostrajanie trenuje model w celu efektywnego używania pobranych danych podczas filtrowania nieistotnych informacji.

  • Optymalizacja pod kątem wydajności: dostrajanie może również służyć do przekazywania wiedzy z większego modelu do mniejszego, co pozwala mniejszemu modelowi osiągnąć podobną wydajność zadań przy niższych kosztach i opóźnieniach. Na przykład dane produkcyjne z modelu o wysokiej wydajności mogą służyć do dostosowywania mniejszego, bardziej wydajnego modelu. Takie podejście ułatwia skalowanie rozwiązań sztucznej inteligencji przy zachowaniu jakości i zmniejszeniu obciążenia obliczeniowego.

  • Destylacja: Destylacja modelu polega na wykorzystaniu danych wyjściowych dużego modelu do dostrojenia mniejszego modelu, umożliwiając mu osiągnięcie podobnych wyników w określonym zadaniu, na przykład poprzez zbieranie ruchu produkcyjnego z wdrożenia o1 i używanie go jako danych treningowych do dostrojenia 4o-mini. Ten proces może obniżyć koszty i opóźnienia, ponieważ mniejsze modele mogą być bardziej wydajne.

Typy dostrajania

Microsoft Foundry oferuje wiele typów dostosowywania.

  • Nadzorowane dostrajanie: pozwala dostarczać dane niestandardowe (zapytania/ukończenia lub czat konwersacyjny w zależności od modelu) w celu uczenia modelu podstawowego nowych umiejętności. Ten proces obejmuje dalsze trenowanie modelu na oznaczonym zestawem danych o wysokiej jakości, w którym każdy element danych jest skojarzony z poprawną odpowiedzią. Celem jest zwiększenie wydajności modelu w określonym zadaniu przez dostosowanie jego parametrów na podstawie danych oznaczonych etykietami. Ta technika działa najlepiej, gdy istnieją skończone sposoby rozwiązywania problemu i chcesz nauczyć model konkretnego zadania i poprawić jego dokładność i zwięzłość.

  • Dostrajanie wzmocnione: jest to technika dostosowywania modelu, korzystna dla optymalizacji zachowania modelu w bardzo skomplikowanych lub dynamicznych środowiskach, umożliwiając modelowi naukę i adaptację dzięki iteracyjnemu przekazywaniu informacji zwrotnej oraz podejmowaniu decyzji. Na przykład dostawcy usług finansowych mogą zoptymalizować model pod kątem szybszych, bardziej dokładnych ocen ryzyka lub spersonalizowanych porad inwestycyjnych. W opiece zdrowotnej i farmaceutycznej o3-mini można dostosować do przyspieszenia odnajdywania leków, umożliwiając wydajniejszą analizę danych, generowanie hipotez i identyfikację obiecujących związków. RFT to doskonały sposób na dostosowanie, gdy istnieje nieskończona lub duża liczba sposobów rozwiązania problemu. Oceniający stopniowo nagradza model i sprawia, że rozumowanie jest lepsze.

  • Optymalizacja preferencji bezpośrednich (DPO): jest to kolejna nowa technika wyrównania dla dużych modeli językowych, zaprojektowana w celu dostosowania wag modelu na podstawie preferencji człowieka. W przeciwieństwie do uczenia wzmacniania przez opinię człowieka (RLHF), DPO nie wymaga dopasowania modelu nagród i wykorzystuje preferencje binarne do trenowania. Ta metoda jest obliczeniowo lżejsza i szybsza, dzięki czemu jest równie efektywna przy wyrównywaniu, a jednocześnie bardziej wydajna. Udostępniasz nie preferowaną i preferowaną odpowiedź do zestawu treningowego i używasz techniki DPO.

Można również zastosować różne techniki: najpierw przy użyciu SFT stworzyć model dostosowany do indywidualnych potrzeb i zoptymalizowany pod kątem konkretnego zastosowania, a następnie dzięki dostrajaniu preferencji dostosować odpowiedzi do określonych preferencji. W kroku SFT koncentrujesz się na jakości danych i reprezentatywności zadań, podczas gdy krok DPO dostosowuje odpowiedzi z określonymi porównaniami.

Wyzwania i ograniczenia dostosowywania

Dostrajanie dużych modeli językowych może być zaawansowaną techniką dostosowywania ich do określonych domen i zadań. Jednak dostrajanie wiąże się również z pewnymi wyzwaniami i wadami, które należy wziąć pod uwagę przed zastosowaniem go do rzeczywistego problemu. Poniżej przedstawiono kilka z tych wyzwań i wad.

  • Dostrajanie wymaga wysokiej jakości, wystarczająco dużych i reprezentatywnych danych szkoleniowych pasujących do domeny docelowej i zadania. Dane dotyczące jakości są odpowiednie, dokładne, spójne i na tyle zróżnicowane, aby uwzględnić możliwe scenariusze i odmiany, które napotka model w świecie rzeczywistym. Słabej jakości lub niereprezentacyjne dane prowadzą do nadmiernego dopasowania, niedopasowania lub stronniczości w dostosowanym modelu, co szkodzi uogólnieniu i niezawodności.
  • Dopasowywanie dużych modeli językowych wiąże się z dodatkowymi kosztami związanymi z treningiem i hostowaniem modelu niestandardowego.
  • Formatowanie par wejściowych/wyjściowych używanych do dostosowywania dużego modelu językowego może mieć kluczowe znaczenie dla jego wydajności i użyteczności.
  • Dostrajanie może być konieczne po każdym zaktualizowaniu danych lub wydaniu zaktualizowanego modelu podstawowego. Obejmuje to regularne monitorowanie i aktualizowanie.
  • Dostrajanie jest powtarzalnym zadaniem (próbą i błędem), dlatego hiperparametry muszą być dokładnie ustawione. Dostrajanie wymaga dużej ilości eksperymentów i testów w celu znalezienia najlepszej kombinacji hiperparametrów i ustawień w celu osiągnięcia żądanej wydajności i jakości.

Dalsze kroki

  • Last updated on