PreTokenizer 類別

參考

定義

命名空間:: Microsoft.ML.Tokenizers

組件:: Microsoft.ML.Tokenizers.dll

套件:: Microsoft.ML.Tokenizers v0.21.1

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

所有預先 Tokenizers 類別的基類。 PreTokenizer 負責執行預先分割步驟。

public abstract class PreTokenizer

type PreTokenizer = class

Public MustInherit Class PreTokenizer

繼承: Object
PreTokenizer

衍生: Microsoft.ML.Tokenizers.RobertaPreTokenizer

Microsoft.ML.Tokenizers.WhiteSpace

建構函式

所有預先 Tokenizers 類別的基類。 PreTokenizer 負責執行預先分割步驟。

方法

PreTokenize(String)

在字邊界的多個子字串中分割指定的字串，並追蹤來自原始字串之所述子字串的位移。

適用於