Token interface
Einzelnes Token, das von einem TokenizerFunctionzurückgegeben wird.
Eigenschaften
| end | Endzeichenposition des Tokens innerhalb der äußeren Zeichenfolge. |
| normalized | Normalisierte Form des Tokens. Dies kann z. B. Z. B. Kleinschreibung oder Wortstammerkennung umfassen. |
| start | Startzeichenposition des Tokens innerhalb der äußeren Zeichenfolge. |
| text | Originaltext des Tokens. |
Details zur Eigenschaft
end
Endzeichenposition des Tokens innerhalb der äußeren Zeichenfolge.
end: numberEigenschaftswert
number
normalized
Normalisierte Form des Tokens. Dies kann z. B. Z. B. Kleinschreibung oder Wortstammerkennung umfassen.
normalized: stringEigenschaftswert
string
start
Startzeichenposition des Tokens innerhalb der äußeren Zeichenfolge.
start: numberEigenschaftswert
number
text
Originaltext des Tokens.
text: stringEigenschaftswert
string