KnownTokenizerNames enum

Tokenizador baseado em gramática que é adequado para processar a maioria dos documentos em língua europeia. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html

Tokeniza a entrada de uma borda em n-gramas do(s) tamanho(s) determinado(s). Visualizar https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html

Emite toda a entrada como um único token. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html

Divide o texto em letras não-letras. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html

Divide o texto em letras não escritas e converte-as em minúsculas. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html

Divide o texto usando regras específicas do idioma e reduz as palavras às suas formas base.

Divide o texto usando regras específicas do idioma.

Tokeniza a entrada em n-gramas do(s) tamanho(s) fornecido(s). Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html

Tokenizador para hierarquias semelhantes a caminhos. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html

Tokenizador que usa a correspondência de padrões regex para construir tokens distintos. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html

Analisador padrão de Lucene; Composto pelo tokenizador padrão, filtro minúsculo e filtro stop. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html

Tokeniza urls e e-mails como um token. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html

Divide o texto no espaço em branco. Visualizar http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html