KnownTokenizerNames enum

대부분의 유럽 언어 문서를 처리하는 데 적합한 문법 기반 토큰 변환기입니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html 참조

에지의 입력을 지정된 크기의 n-gram으로 토큰화합니다. https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html 참조

전체 입력을 단일 토큰으로 내보낸다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html 참조

텍스트를 문자가 아닌 문자로 나눕니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html 참조

텍스트를 문자가 아닌 문자로 나누고 소문자로 변환합니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html 참조

언어별 규칙을 사용하여 텍스트를 나누고 단어를 기본 형식으로 줄입니다.

언어별 규칙을 사용하여 텍스트를 나눕니다.

입력을 지정된 크기의 n-gram으로 토큰화합니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html 참조

경로와 유사한 계층 구조에 대한 토큰 변환기입니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html 참조

regex 패턴 일치를 사용하여 고유 토큰을 생성하는 Tokenizer입니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html 참조

표준 Lucene 분석기; 표준 토큰라이저, 소문자 필터 및 중지 필터로 구성됩니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html 참조

URL 및 전자 메일을 하나의 토큰으로 토큰화합니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html 참조

공백에서 텍스트를 나눕니다. http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html 참조