Tokenizer Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Biedt een standaardtokenizer-implementatie.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Overname
-
Tokenizer
Constructors
| Tokenizer() |
Biedt een standaardtokenizer-implementatie. |
Eigenschappen
| DefaultTokenizer |
Hiermee haalt u de standaard TokenizerFunction implementatie op. |
Methoden
| DefaultTokenizerImpl(String, String) |
Eenvoudige tokenizer waarmee spaties en interpunctie worden onderbroken. De enige normalisatie die wordt uitgevoerd, is kleine letters. |