Udostępnij przez

Bpe Konstruktory

  • Odwołanie

Definicja

Przestrzeń nazw:
Microsoft.ML.Tokenizers
Zestaw:
Microsoft.ML.Tokenizers.dll
Pakiet:
Microsoft.ML.Tokenizers v0.20.1

Przeciążenia

Bpe()

Skonstruuj nowy obiekt modelu Bpe bez słownictwa tokenizacji. Ten konstruktor jest przydatny tylko w scenariuszu trenowania.
Bpe(String, String, String, String, String)

Skonstruuj nowy obiekt modelu Bpe do użycia na potrzeby tokenizacji zdań i trenowania tokenizatora.

Bpe()

Skonstruuj nowy obiekt modelu Bpe bez słownictwa tokenizacji. Ten konstruktor jest przydatny tylko w scenariuszu trenowania.

public Bpe();
Public Sub New ()

Dotyczy

Bpe(String, String, String, String, String)

Skonstruuj nowy obiekt modelu Bpe do użycia na potrzeby tokenizacji zdań i trenowania tokenizatora.

public Bpe(string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);
new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe
Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parametry

vocabFile
String

Ścieżka pliku JSON zawierająca słownik kluczy ciągów i ich identyfikatory.

mergesFile
String

Ścieżka pliku zawierająca listę par tokenów.

unknownToken
String

Nieznany token do użycia przez model.

continuingSubwordPrefix
String

Prefiks do dołączania do jednostek podrzędnych wyrazów, które nie reprezentują początku wyrazu.

endOfWordSuffix
String

Sufiks do dołączania do jednostek podrzędnych, które reprezentują koniec wyrazu.

Dotyczy