Tokenizer 類別

定義

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

Tokenizer 可作為管線。它會處理一些原始文字做為輸入，並輸出 TokenizerResult 物件。

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

建立新的 Tokenizer 物件。

Decoder	取得或設定 Tokenizer 所使用的解碼器。
Model	取得 Tokenizer 所使用的模型。
Normalizer	取得或設定 Tokenizer 所使用的 Normalizer。
PreTokenizer	取得或設定 Tokenizer 所使用的 PreTokenizer。

Decode(IEnumerable<Int32>, Boolean)	將指定的識別碼解碼回 String。
Decode(Int32, Boolean)	將識別碼解碼為對應的權杖。
Encode(String)	將輸入文字編碼為物件具有標記清單、權杖識別碼、權杖位移對應。
IsValidChar(Char)	Tokenizer 可作為管線。它會處理一些原始文字做為輸入，並輸出 TokenizerResult 物件。
TrainFromFiles(Trainer, ReportProgress, String[])	使用輸入檔將 Tokenizer 模型定型。