QATrainer.Options Klasa

Współczynnik porzucania po funkcjach aktywacji w warstwach FFN. Powinien znajdować się w zakresie [0, 1).

Wersje beta optymalizatora Adama.

Epsilon dla optymalizatora Adama.

Nazwa kolumny początkowej indeksu odpowiedzi

Współczynnik upuszczania dla wagi uwagi. Powinien znajdować się w zakresie [0, 1).

Liczba próbek do użycia na potrzeby trenowania minisadowego.

Próg przycinania gradientów. Powinna znajdować się w zakresie [0, +Inf). 0 oznacza, że nie należy wyciąć norm.

Nazwa kolumny kontekstowej

Współczynnik porzucania w ogólnych sytuacjach. Powinien znajdować się w zakresie [0, 1).

Czy używać listy rozwijanej dynamicznej.

Czy należy stosować normalizację warstw przed każdym blokiem kodera.

Ostateczny wskaźnik uczenia się dla harmonogramu rozkładu wielomianowego.

Czy zablokować parametry kodera.

Czy zablokować parametry modułu transferu.

Nazwa kolumny etykiety.

Czy trenować parametry normy warstwy.

Kurs nauki dla pierwszej epoki N; wszystkie epoki N używające >LR_N. Uwaga: może to być interpretowane inaczej w zależności od harmonogramu.

Jak często rejestrować utratę.

Zatrzymaj trenowanie w przypadku osiągnięcia tej liczby epok.

Współczynnik porzucania w warstwach puli modeli językowych maskowanych. Powinien znajdować się w zakresie [0, 1).

Nazwa kolumny odpowiedzi dla przewidywanych odpowiedzi

Nazwa kolumny Przewidywania.

Nazwa kolumny pytania

Nazwa kolumny Score (Generowanie wyników).

Pierwsza kolumna zdania.

Druga kolumna zdania.

Wskaźnik uczenia początkowego dla harmonogramu rozkładu wielomianowego.

Typ zadania, który jest powiązany z głową modelu.

Liczba najczęściej przewidywanych odpowiedzi w zadaniu odpowiedzi na pytania.

Nazwa kolumny odpowiedzi dla danych treningowych

Zestaw weryfikacji używany podczas trenowania w celu poprawy jakości modelu.

Proporcja kroków rozgrzewki dla harmonogramu rozkładu wielomianowego.

Nieefektywność rozkładu masy ciała. Powinna znajdować się w zakresie [0, +Inf).