Model.Tokenize(String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
將序列字串標記化為權杖清單。
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)參數
- sequence
- String
要標記化的順序。
傳回
從順序標記化產生的權杖清單。