EnglishRoberta Klasa

Odwołanie

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.21.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje model kodowania par bajtów.

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model

type EnglishRoberta = class
    inherit Model

Public NotInheritable Class EnglishRoberta
Inherits Model

Dziedziczenie: Object

Model
EnglishRoberta

Konstruktory

EnglishRoberta(Stream, Stream, Stream)	Konstruowanie obiektu tokenizatora do użycia z angielskim modelem Robert.
EnglishRoberta(String, String, String)	Konstruowanie obiektu tokenizatora do użycia z angielskim modelem Robert.

Właściwości

PadIndex	Pobiera indeks symbolu okienka na liście symboli.
SymbolsCount	Pobiera długość listy symboli.

Metody

AddMaskSymbol(String)	Dodaj symbol maski do listy symboli.
GetTrainer()	Pobiera obiekt trenera do użycia w trenowaniu modelu i generuje słownictwo i scala dane.
GetVocab()	Pobiera tokeny mapowania słownika na identyfikatory.
GetVocabSize()	Pobiera rozmiar słownika, który mapuje tokeny na identyfikatory.
IdsToOccurrenceRanks(IReadOnlyList<Int32>)	Przekonwertuj listę identyfikatorów tokenów na najwyższe klasyfikacje wystąpień.
IdsToOccurrenceValues(IReadOnlyList<Int32>)	Przekonwertuj listę identyfikatorów tokenów na najwyższe wartości wystąpień.
IdToString(Int32, Boolean)	Zamapuj tokenizowany identyfikator na oryginalny ciąg.
IdToToken(Int32, Boolean)	Zamapuj tokenizowany identyfikator na token.
IsValidChar(Char)	Reprezentuje model kodowania par bajtów.
OccurrenceRanksIds(IReadOnlyList<Int32>)	Przekonwertuj listę najwyższych klasyfikacji wystąpień na listę identyfikatorów tokenów .
Save(String, String)	Zapisz dane modelu w słownictwie, scalaj i pliki mapowania wystąpień.
Tokenize(String)	Tokenizowanie ciągu sekwencji do listy tokenów.
TokenToId(String)	Zamapuj token na tokenizowany identyfikator.

Dotyczy