Microsoft.ML.Tokenizers Namespace

Represente o modelo de codificação de par de bytes.

Permite a decodificação do BPE Original unindo todos os tokens e, em seguida, substituindo o sufixo usado para identificar o fim das palavras por espaços em branco

O treinador bpe responsável por treinar o modelo Bpe.

Represente o modelo de codificação de par de bytes.

Normalize a cadeia de caracteres para o formulário em minúsculas antes de processá-la com o criador de tokens.

Representa um modelo usado durante a geração de tokens (como BPE, Word Piece ou Unigram).

Normalize a cadeia de caracteres antes de processá-la com o criador de tokens.

Classe base para todas as classes pré-tokenizers. O PreTokenizer é responsável por realizar a etapa de pré-segmentação.

O pré-tokenizer para o criador de tokens em inglês roberta.

Essa Divisão contém o token de divisão subjacente, bem como seus deslocamentos na cadeia de caracteres original. Esses deslocamentos estão no original referencial. Ele também contém qualquer Token associado à divisão atual.

Represente o token produzido do processo de tokenização que contém a subcadeia de caracteres do token, a ID associada à subcadeia de caracteres do token e o mapeamento de deslocamento para a cadeia de caracteres original.

Um Tokenizer funciona como um pipeline. Ele processa algum texto bruto como entrada e gera um objeto TokenizerResult.

Um Decodificador tem a responsabilidade de mesclar a lista de tokens fornecida em uma cadeia de caracteres.

A Codificação representa a saída de um Criador de Token.

Um Trainer tem a responsabilidade de treinar um modelo. Nós o alimentamos com linhas/frases e, em seguida, ele pode treinar o determinado Model.

Normalize a cadeia de caracteres para o formulário maiúsculo antes de processá-la com o criador de tokens.

O pré-tokenizer que divide o texto no limite da palavra. A palavra é um conjunto de caracteres alfabéticos, numéricos e sublinhados.

Represente um token adicionado pelo usuário sobre o vocabulário do Modelo existente. AddedToken pode ser configurado para especificar o comportamento que eles devem ter em várias situações, como:

• Se eles devem corresponder apenas a palavras únicas
• Se deseja incluir qualquer WhiteSpace à esquerda ou à direita

Contém a cadeia de caracteres normalizada e o mapeamento para a cadeia de caracteres original.

Representa o estado do progresso relatado.