Microsoft.ML.Tokenizers Przestrzeń nazw

Reprezentuje model kodowania par bajtów.

Umożliwia dekodowanie oryginalnego narzędzia BPE przez dołączenie wszystkich tokenów, a następnie zastąpienie sufiksu użytego do identyfikacji końca wyrazów przez białe spacje

Trener Bpe odpowiedzialny za trenowanie modelu Bpe.

Reprezentuje model kodowania par bajtów.

Normalizuj ciąg do małego formularza przed przetworzeniem go za pomocą tokenizatora.

Reprezentuje model używany podczas tokenizacji (na przykład BPE lub Word Piece lub Unigram).

Normalizuj ciąg przed przetworzeniem go za pomocą tokenizatora.

Klasa bazowa dla wszystkich klas pre-tokenizers. PreTokenizer jest odpowiedzialny za wykonanie kroku przed segmentacji.

Tokenizer pre-tokenizer dla tokenizatora języka angielskiego Roberta.

Ten podział zawiera podstawowy token podziału, a także jego przesunięcia w oryginalnym ciągu. Te przesunięcia są w original odwołaniu. Zawiera również wszystkie Token skojarzone z bieżącym podziałem.

Reprezentuje token wygenerowany z procesu tokenizacji zawierającego podciąg tokenu, identyfikator skojarzony z podciągem tokenu i mapowanie przesunięcia na oryginalny ciąg.

Tokenizer działa jako potok. Przetwarza on nieprzetworzonego tekstu jako dane wejściowe i wyjściowe obiektu TokenizerResult.

Dekoder ma obowiązek scalić daną listę tokenów w ciągu.

Kodowanie reprezentuje dane wyjściowe tokenizatora.

Użytkownik Trainer ma odpowiedzialność za trenowanie modelu. Karmimy go wierszami/zdaniami, a następnie możemy wytrenować daną Modelwartość .

Normalizuj ciąg na wielkie litery przed przetworzeniem go za pomocą tokenizatora.

Pre-tokenizer, który dzieli tekst na granicę słowa. Wyraz jest zestawem znaków alfabetu, liczbowego i podkreślenia.

Reprezentuje token dodany przez użytkownika w oparciu o istniejące słownictwo modelu. Funkcja AddedToken można skonfigurować tak, aby określić zachowanie, które powinny mieć w różnych sytuacjach, takich jak:

• Czy powinny one być zgodne tylko z pojedynczymi słowami
• Czy należy uwzględnić dowolny biały znak po lewej lub prawej stronie

Zawiera znormalizowany ciąg i mapowanie na oryginalny ciąg.

Reprezentuje stan zgłoszonego postępu.