AddedToken 結構
定義
重要
部分資訊涉及發行前產品,在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊,不做任何明確或隱含的瑕疵擔保。
代表使用者在現有模型詞彙之上新增的權杖。 AddedToken 可以設定為指定其應該在各種情況下的行為,例如:
- 是否應該只比對單字
- 是否要在其左邊或右側包含任何空白字元
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>
type AddedToken = struct
Public Structure AddedToken
Implements IEquatable(Of AddedToken)
- 繼承
-
AddedToken
- 實作
建構函式
| AddedToken() |
建立新的 AddedToken 物件。 |
| AddedToken(String, Boolean) |
從指定的內容建立新的 AddedToken 物件,指定是否要成為特殊權杖。 預設不會正規化特殊權杖。 |
屬性
| Content |
取得或設定已新增權杖的內容 |
方法
| Equals(AddedToken) |
判斷兩個權杖實例是否相等。 |
| GetHashCode() |
傳回目前權杖的雜湊碼。 |
運算子
| Implicit(String to AddedToken) |
定義字串物件的隱含轉換至 AddedToken。 |