Tokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Um Tokenizer funciona como um pipeline. Ele processa algum texto bruto como entrada e gera um objeto TokenizerResult.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Herança
-
Tokenizer
Construtores
| Tokenizer(Model, PreTokenizer, Normalizer) |
Crie um novo objeto Tokenizer. |
Propriedades
| Decoder |
Obtém ou define o Decodificador em uso pelo Tokenizer. |
| Model |
Obtém o Modelo em uso pelo Tokenizer. |
| Normalizer |
Obtém ou define o Normalizador em uso pelo Tokenizer. |
| PreTokenizer |
Obtém ou define o PreTokenizer usado pelo Tokenizer. |
Métodos
| Decode(IEnumerable<Int32>, Boolean) |
Decodificar as IDs fornecidas, de volta para uma Cadeia de Caracteres. |
| Decode(Int32, Boolean) |
Decodifica a ID para o token mapeado. |
| Encode(String) |
Codifica o texto de entrada no objeto que tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens. |
| IsValidChar(Char) |
Um Tokenizer funciona como um pipeline. Ele processa algum texto bruto como entrada e gera um objeto TokenizerResult. |
| TrainFromFiles(Trainer, ReportProgress, String[]) |
Treine o modelo de tokenizer usando arquivos de entrada. |