Bpe Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Reprezentują model kodowania par bajtów.
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- Dziedziczenie
Konstruktory
| Bpe() |
Konstruowanie nowego obiektu modelu Bpe bez słownictwa tokenizacji. Ten konstruktor jest przydatny tylko w scenariuszu trenowania. |
| Bpe(String, String, String, String, String) |
Skonstruuj nowy obiekt modelu Bpe do użycia na potrzeby tokenizacji zdań i trenowania tokenizatora. |
Właściwości
| ContinuingSubwordPrefix |
Opcjonalny prefiks do użycia dla dowolnego podzrostka, który istnieje tylko za innym |
| Decoder |
Pobiera obiekt dekodera Bpe. |
| EndOfWordSuffix |
Opcjonalny sufiks do scharakteryzowania i końca wyrazu podrzędnego |
| FuseUnknownTokens |
Pobiera lub ustawia, czy zezwalanie na łączenie wielu nieznanych tokenów |
| UnknownToken |
Pobiera lub ustawia nieznany token. Nieznany token do użycia w przypadku napotkania nieznanego znaku |
Metody
| GetTrainer() |
Pobiera obiekt trenera do użycia w trenowaniu modelu i generuje słownictwo i scala dane. |
| GetVocab() |
Pobiera tokeny mapowania słownika na identyfikatory. |
| GetVocabSize() |
Pobiera rozmiar słownika mapujący tokeny na identyfikatory. |
| IdToString(Int32, Boolean) |
Zamapuj tokenizowany identyfikator na token. |
| IdToToken(Int32, Boolean) |
Zamapuj tokenizowany identyfikator na token. |
| IsValidChar(Char) |
Reprezentują model kodowania par bajtów. |
| Save(String, String) |
Zapisz dane modelu w słownictwie i scala pliki. |
| Tokenize(String) |
Tokenizowanie ciągu sekwencji do listy tokenów. |
| TokenToId(String) |
Mapuj token na tokenizowany identyfikator. |