BpeTrainer Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Trener Bpe odpowiedzialny za trenowanie modelu Bpe.
public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainertype BpeTrainer = class
inherit TrainerPublic NotInheritable Class BpeTrainer
Inherits Trainer- Dziedziczenie
Konstruktory
| BpeTrainer() |
Skonstruuj nowy obiekt BpeTrainer przy użyciu wartości domyślnych. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Skonstruuj nowy obiekt BpeTrainer. |
Właściwości
| ContinuingSubwordPrefix |
Pobiera prefiks, który ma być używany dla każdego wyrazu podrzędnego, który nie jest początkiem wyrazu. |
| EndOfWordSuffix |
Pobiera sufiks, który ma być używany dla każdego wyrazu podrzędnego, który jest końcem wyrazu. |
| InitialAlphabet |
Pobiera listę znaków do uwzględnienia w początkowym alfabetze, nawet jeśli nie jest widoczna w zestawie danych trenowania. Jeśli ciągi zawierają więcej niż jeden znak, zachowana jest tylko pierwsza. |
| LimitAlphabet |
Pobiera maksymalnie różne znaki, aby zachować w porządku alfabetu. |
| MinFrequency |
Pobiera minimalną częstotliwość, jaką powinna mieć para w celu scalenia. |
| Progress |
Ustaw, kiedy trzeba zgłosić postęp podczas trenowania. (Odziedziczone po Trainer) |
| SpecialTokens |
Pobiera listę tokenów specjalnych, o których powinien wiedzieć model. |
| VocabSize |
Pobiera rozmiar ostatniego słownictwa, w tym wszystkie tokeny i alfabet. |
Metody
| Feed(IEnumerable<String>, Func<String,IEnumerable<String>>) |
Przetwórz sekwencje wejściowe i przekaż wynik do modelu. |
| Train(Model) |
Przeprowadź rzeczywiste szkolenie i zaktualizuj model wejściowy przy użyciu nowego słownictwa i scala dane. |