Tokenizer(Model, PreTokenizer, Normalizer) 建構函式
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
建立新的 Tokenizer 物件。
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)參數
- model
- Model
Tokenizer 所使用的模型。
- preTokenizer
- PreTokenizer
Tokenizer 所使用的選擇性 PreTokenizer。 如果此參數為 Null，則會使用 WhiteSpace PreTokenizer。
- normalizer
- Normalizer
Tokenizer 所使用的選擇性 Normalizer。