Tokenizer Klasa

Odwołanie

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.21.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Tokenizer działa jako potok. Przetwarza on nieprzetworzonego tekstu jako dane wejściowe i generuje obiekt TokenizerResult.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Dziedziczenie: Object
Tokenizer

Konstruktory

Tokenizer(Model, PreTokenizer, Normalizer)

Utwórz nowy obiekt Tokenizer.

Właściwości

Decoder	Pobiera lub ustawia dekoder używany przez tokenizator.
Model	Pobiera model używany przez tokenizator.
Normalizer	Pobiera lub ustawia normalizator używany przez tokenizator.
PreTokenizer	Pobiera lub ustawia pretokenizer używany przez tokenizator.

Metody

Decode(IEnumerable<Int32>, Boolean)	Zdekoduj podane identyfikatory z powrotem do ciągu.
Decode(Int32, Boolean)	Dekoduje identyfikator do zamapowanego tokenu.
Encode(String)	Koduje tekst wejściowy do obiektu zawiera listę tokenów, identyfikatory tokenów, mapowanie przesunięcia tokenów.
IsValidChar(Char)	Tokenizer działa jako potok. Przetwarza on nieprzetworzonego tekstu jako dane wejściowe i generuje obiekt TokenizerResult.
TrainFromFiles(Trainer, ReportProgress, String[])	Trenowanie modelu tokenizatora przy użyciu plików wejściowych.

Dotyczy