TokenizerResult 類別

定義

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

Encoding 代表 Tokenizer 的輸出。

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

建立 TokenizerResult 物件的新物件。

Ids	取得權杖識別碼的清單。 Id 是語言模型的主要輸入。它們是權杖索引，也就是 LM 所瞭解的數值標記法。
NormalizedString	取得原始字串的正規化形式。
Offsets	取得位移的清單。這些位移可讓您配量輸入字串，進而擷取導致產生對應權杖的原始部分。
OffsetsMappedToOriginalString	取得原始字串的正規化形式。
OriginalString	取得原始的 Token 化字串。
Tokens	取得產生的權杖。它們是 Id 的字串表示。