WhiteSpace 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
在文字界限分割文字的預先標記化程式。 此字是一組字母、數位和底線字元。
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- 繼承
建構函式
| WhiteSpace() |
在文字界限分割文字的預先標記化程式。 此字是一組字母、數位和底線字元。 |
欄位
| Instance |
取得 WhiteSpace 預先權杖化程式的單一實例。 |
方法
| PreTokenize(String) |
在文字界限的多個子字串中分割指定的字串，並追蹤來自原始字串之所述子字串的位移。 |