Tokenizer Clase

Referencia

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v0.21.1

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Un tokenizador funciona como una canalización. Procesa texto sin formato como entrada y genera un objeto TokenizerResult.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Herencia: Object
Tokenizer

Constructores

Tokenizer(Model, PreTokenizer, Normalizer)

Cree un nuevo objeto Tokenizer.

Propiedades

Decoder	Obtiene o establece el descodificador en uso por el tokenizador.
Model	Obtiene el modelo en uso por el tokenizador.
Normalizer	Obtiene o establece el normalizador en uso por el tokenizador.
PreTokenizer	Obtiene o establece el preTokenizer usado por el tokenizador.

Métodos

Decode(IEnumerable<Int32>, Boolean)	Descodifique los identificadores especificados, de nuevo en una cadena.
Decode(Int32, Boolean)	Descodifica el identificador en el token asignado.
Encode(String)	Codifica el texto de entrada en el objeto con la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.
IsValidChar(Char)	Un tokenizador funciona como una canalización. Procesa texto sin formato como entrada y genera un objeto TokenizerResult.
TrainFromFiles(Trainer, ReportProgress, String[])	Entrene el modelo de tokenizador mediante archivos de entrada.

Se aplica a