RobertaPreTokenizer.PreTokenize(String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
在文字界限的多個子字串中分割指定的字串，並追蹤來自原始字串之所述子字串的位移。
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)參數
- sentence
- String
要分割成標記的字串。
傳回
包含權杖的分割清單，以及標記對原始字串的位移。