Microsoft.ML.Tokenizers Espacio de nombres

Representa el modelo de codificación de par de bytes.

Permite descodificar BPE original mediante la combinación de todos los tokens y, a continuación, reemplazando el sufijo usado para identificar palabras finales por espacios en blanco.

El instructor de Bpe responsable de entrenar el modelo Bpe.

Representa el modelo de codificación de par de bytes.

Normalice la cadena en formato en minúsculas antes de procesarla con el tokenizador.

Representa un modelo usado durante la tokenización (como BPE o Word Piece o Unigram).

Normalice la cadena antes de procesarla con el tokenizador.

Clase base para todas las clases de tokenizadores previos. PreTokenizer se encarga de realizar el paso de segmentación previa.

Tokenizador previo para tokenizador en inglés de Roberta.

Esta división contiene el token de división subyacente, así como sus desplazamientos en la cadena original. Estos desplazamientos se encuentran en el original elemento referencial. También contiene cualquier Token asociado a la división actual.

Representa el token generado a partir del proceso de tokenización que contiene la subcadena del token, el identificador asociado a la subcadena del token y la asignación de desplazamiento a la cadena original.

Un tokenizador funciona como una canalización. Procesa texto sin formato como entrada y genera un objeto TokenizerResult.

Un descodificador tiene la responsabilidad de combinar la lista de tokens especificada en una cadena.

La codificación representa la salida de un tokenizador.

Un Trainer tiene la responsabilidad de entrenar un modelo. Lo alimentamos con líneas y oraciones y, a continuación, puede entrenar el dado Model.

Normalice la cadena al formulario en mayúsculas antes de procesarla con el tokenizador.

Pre-tokenizer que divide el texto en el límite de la palabra. La palabra es un conjunto de caracteres alfabéticos, numéricos y de subrayado.

Representa un token agregado por el usuario sobre el vocabulario modelo existente. AddedToken se puede configurar para especificar el comportamiento que deben tener en varias situaciones como:

• Si solo deben coincidir con palabras únicas
• Si se debe incluir cualquier espacio en blanco a la izquierda o a la derecha

Contiene la cadena normalizada y la asignación a la cadena original.

Representa el estado del progreso notificado.