Model.Tokenize(String) Metoda
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Tokenizowanie ciągu sekwencji do listy tokenów.
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Parametry
- sequence
- String
Sekwencja do tokenizowania.
Zwraca
Lista tokenów wygenerowanych na podstawie tokenizacji sekwencji.