PreTokenizer Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Klasa bazowa dla wszystkich klas pre-tokenizers. PreTokenizer jest odpowiedzialny za wykonanie kroku przed segmentacji.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Dziedziczenie
-
PreTokenizer
- Pochodne
Konstruktory
| PreTokenizer() |
Klasa bazowa dla wszystkich klas pre-tokenizers. PreTokenizer jest odpowiedzialny za wykonanie kroku przed segmentacji. |
Metody
| PreTokenize(String) |
Dzieli dany ciąg w wielu podciągach na granicy wyrazu, śledząc przesunięcia wspomnianych podciągów z oryginalnego ciągu. |