Token interface
TokenizerFunctionによって返される個々のトークン。
プロパティ
| end | 外側の文字列内のトークンの終了文字位置。 |
| normalized | トークンの正規化された形式。 これには、小文字やステミングなどが含まれます。 |
| start | 外側の文字列内のトークンの開始文字位置。 |
| text | トークンの元のテキスト。 |
プロパティの詳細
end
外側の文字列内のトークンの終了文字位置。
end: numberプロパティ値
number
normalized
トークンの正規化された形式。 これには、小文字やステミングなどが含まれます。
normalized: stringプロパティ値
string
start
外側の文字列内のトークンの開始文字位置。
start: numberプロパティ値
number
text
トークンの元のテキスト。
text: stringプロパティ値
string