RobertaPreTokenizer 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
Roberta English Tokenizer 的預先權杖化程式。
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- 繼承
建構函式
| RobertaPreTokenizer() |
Roberta English Tokenizer 的預先權杖化程式。 |
欄位
| Instance |
取得 Roberta pre-tokenizer 的單一實例。 |
方法
| PreTokenize(String) |
在字邊界的多個子字串中分割指定的字串，並追蹤來自原始字串之所述子字串的位移。 |