RobertaPreTokenizer Klasa

Odwołanie

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.21.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Tokenizer pre-tokenizer dla tokenizatora języka angielskiego Roberta.

public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer

type RobertaPreTokenizer = class
    inherit PreTokenizer

Public NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer

Dziedziczenie: Object

PreTokenizer
RobertaPreTokenizer

Konstruktory

RobertaPreTokenizer()

Tokenizer pre-tokenizer dla tokenizatora języka angielskiego Roberta.

Pola

Instance

Pobiera pojedyncze wystąpienie pre-tokenizera Roberta.

Metody

PreTokenize(String)

Dzieli dany ciąg w wielu podciągach na granicy wyrazu, śledząc przesunięcia podanych podciągów z oryginalnego ciągu.

Dotyczy