Tokenizer.Encode(String) Metoda
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Koduje tekst wejściowy do obiektu zawiera listę tokenów, identyfikatory tokenów, mapowanie przesunięcia tokenów.
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParametry
- sequence
- String
Tekst do tokenizowania.
Zwraca
Wynik tokenizacji zawiera listę tokenów, identyfikatory tokenów, mapowanie przesunięcia tokenów.