共用方式為


EnglishRoberta 類別

定義

代表位元組配對編碼模型。

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model
type EnglishRoberta = class
    inherit Model
Public NotInheritable Class EnglishRoberta
Inherits Model
繼承
EnglishRoberta

建構函式

EnglishRoberta(Stream, Stream, Stream)

建構要與英文 Robert 模型搭配使用的 Tokenizer 物件。

EnglishRoberta(String, String, String)

建構要與英文 Robert 模型搭配使用的 Tokenizer 物件。

屬性

PadIndex

取得符號清單內面板符號的索引。

SymbolsCount

取得符號清單長度。

方法

AddMaskSymbol(String)

將遮罩符號新增至符號清單。

GetTrainer()

取得定型器物件,用於定型模型,併產生詞彙和合併數據。

GetVocab()

取得字典將令牌對應至標識碼。

GetVocabSize()

取得將令牌對應至標識符的字典大小。

IdsToOccurrenceRanks(IReadOnlyList<Int32>)

將令牌識別碼清單轉換為最高的出現次數排名。

IdsToOccurrenceValues(IReadOnlyList<Int32>)

將令牌識別碼清單轉換為最高出現次數值。

IdToString(Int32, Boolean)

將標記化標識碼對應至原始字串。

IdToToken(Int32, Boolean)

將令牌化標識碼對應至令牌。

IsValidChar(Char)

代表位元組配對編碼模型。

OccurrenceRanksIds(IReadOnlyList<Int32>)

將最高出現次數排名的清單轉換為權杖識別碼清單 。

Save(String, String)

將模型數據儲存到詞彙、合併和發生項目對應檔案中。

Tokenize(String)

將序列字串令牌化為令牌清單。

TokenToId(String)

將令牌對應至令牌化標識碼。

適用於