Udostępnij przez

Pojęcia dotyczące dostosowywania modelu

Dostrajanie pomaga dostosować wstępnie wytrenowane modele sztucznej inteligencji, aby lepiej pracować z konkretnymi danymi i przypadkami użycia. Ta technika może poprawić wydajność modelu, wymagając mniejszej ilości danych treningowych niż tworzenie modelu od podstaw.

Ten artykuł dotyczy:

  • Co to jest dostrajanie i jak działa
  • Kiedy należy używać dostrajania w porównaniu z innymi metodami
  • Jak wybierać i przygotowywać modele do dostrajania
  • Najlepsze rozwiązania dotyczące iteracji i ulepszania wyników

Wymagania wstępne

Przed rozpoczęciem należy mieć:

  • Podstawowa wiedza na temat pojęć związanych z uczeniem maszynowym
  • Znajomość konkretnych wymagań dotyczących zastosowania i danych
  • Dostęp do przykładowych danych na potrzeby trenowania i walidacji

Co to jest dostrajanie?

Dostrajanie jest techniką uczenia maszynowego, która dostosowuje wstępnie wytrenowany model w celu lepszego wykonania określonego zadania. Zamiast trenować model od podstaw, zaczynasz od modelu, który już rozumie ogólne wzorce i dostosowuje go do pracy z danymi.

Takie podejście wykorzystuje uczenie transferowe — wykorzystując wiedzę zdobytą z jednego zadania w celu zwiększenia wydajności powiązanego zadania. Dostrajanie jest szczególnie skuteczne, gdy masz ograniczone dane treningowe lub chcesz wykorzystać istniejące możliwości modelu.

Kiedy dopasować

Dostrajanie działa dobrze, gdy masz niewielką ilość danych i chcesz poprawić wydajność modelu. Zaczynając od wstępnie wytrenowanego modelu, możesz użyć wiedzy, którą już nauczył się model, i dostosować go, aby lepiej dopasować dane. Takie podejście pomaga poprawić wydajność modelu i zmniejszyć ilość danych potrzebnych do trenowania.

Jeśli masz dużą ilość danych, zwykle nie trzeba dostroić modelu. Możesz wytrenować model od podstaw i uzyskać dobre wyniki bez precyzyjnego dostrajania. Jednak dostrajanie może nadal pomóc, jeśli chcesz zwiększyć wydajność modelu. Możesz również dostosować model, jeśli masz określone zadanie, które różni się od zadania, na którym pierwotnie wytrenowano model.

Możesz uniknąć kosztownego dostrajania przy użyciu inżynierii monitów lub tworzenia łańcuchów monitów. Te techniki ułatwiają generowanie tekstu wysokiej jakości bez precyzyjnego dostrajania.

Wybierz wstępnie wytrenowany model

Wybierz wstępnie wytrenowany model, który spełnia twoje wymagania dotyczące zadań. Dostępnych jest wiele wstępnie wytrenowanych modeli, z których każdy jest trenowany w różnych zadaniach. Wybierz model wytrenowany w zadaniu podobnym do twojego. Ten wybór pomaga wykorzystać wiedzę, którą model już nauczył i dostosować do swoich danych.

HuggingFace modele są dobrym miejscem do rozpoczęcia wyszukiwania wstępnie wytrenowanych modeli. Modele HuggingFace są pogrupowane w kategorie na podstawie zadania, na podstawie którego zostały wytrenowane, dzięki czemu można łatwo znaleźć model pasujący do zadania.

Te kategorie obejmują:

  • Multimodalny
  • Wizja komputerowa
  • Przetwarzanie języka naturalnego
  • Dźwięk
  • Tabelaryczna
  • Uczenie wzmacniania

Sprawdź, czy model współpracuje ze środowiskiem i narzędziami. Jeśli na przykład używasz Visual Studio Code (VS Code), możesz użyć rozszerzenia Azure Machine Learning, aby dostosować model VS Code.

Sprawdź stan i licencję modelu. Niektóre wstępnie wytrenowane modele są dostępne w ramach licencji typu open source, a inne wymagają licencji komercyjnej lub osobistej. Wszystkie modele w HuggingFace zawierają informacje o licencji. Przed dostrajaniem upewnij się, że masz niezbędne uprawnienia do używania modelu.

Przygotowywanie przykładowych danych

Przygotowanie przykładowych danych obejmuje czyszczenie i wstępne przetwarzanie danych w celu przygotowania ich do trenowania. Dane należy również podzielić na zbiory treningowe i walidacyjne, aby ocenić wydajność modelu. Format danych powinien być zgodny z formatem oczekiwanym przez wstępnie wytrenowany model. Te informacje można znaleźć wraz z modelami HuggingFace w sekcji Format instrukcji karty modelu. Większość kart modeli zawiera szablon do tworzenia monitu dla modelu oraz pseudokod ułatwiający rozpoczęcie pracy.

Iterowanie modelu

Po dostrojeniu modelu należy ocenić jego wydajność w zestawie weryfikacji. Użyj metryk, takich jak dokładność, precyzja, czułość i wynik F1, aby ocenić wydajność modelu. Jeśli wydajność modelu nie jest zadowalająca, dostosuj hiperparametry, zmień architekturę lub dostosuj model na większej ilości danych. Możesz również sprawdzić jakość i różnorodność danych, aby sprawdzić, czy istnieją jakieś problemy, które należy rozwiązać. Ogólnie rzecz biorąc, mniejszy zestaw danych wysokiej jakości jest bardziej cenny niż większy zestaw danych o niskiej jakości.

Zobacz też

Aby dowiedzieć się więcej na temat dostrajania modeli sztucznej inteligencji, zapoznaj się z następującymi zasobami:

Podczas korzystania z funkcji sztucznej inteligencji, zapoznaj się z Tworzeniem odpowiedzialnych aplikacji i funkcji generatywnej AI w systemie Windows.

Treści powiązane

  • Last updated on