Tokenizer.Encode(String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
將輸入文字編碼為物件具有標記清單、權杖識別碼、權杖位移對應。
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResult參數
- sequence
- String
要標記化的文字。
傳回
Token 化結果包含權杖清單、權杖識別碼、權杖位移對應。