Tokenizer(Model, PreTokenizer, Normalizer) Konstruktor
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Utwórz nowy obiekt Tokenizer.
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parametry
- model
- Model
Model używany przez tokenizator.
- preTokenizer
- PreTokenizer
Opcjonalny moduł PreTokenizer używany przez tokenizator. Funkcja WhiteSpace PreTokenizer będzie używana, jeśli ten parametr ma wartość null.
- normalizer
- Normalizer
Opcjonalny normalizator używany przez tokenizator.