RobertaPreTokenizer.PreTokenize(String) Metoda
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Dzieli dany ciąg w wielu podciągach na granicy wyrazu, śledząc przesunięcia podanych podciągów z oryginalnego ciągu.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parametry
- sentence
- String
Ciąg do podziału na tokeny.
Zwraca
Lista podziałów zawierających tokeny i przesunięcia tokenu do oryginalnego ciągu.