Token interface

Token individual devuelto por un TokenizerFunction.

Propiedades

end	Posición de carácter final del token dentro de la cadena externa.
normalized	Forma normalizada del token. Esto puede incluir cosas como minúsculas o lematización.
start	Inicie la posición del carácter del token dentro de la cadena externa.
text	Texto original del token.

Posición de carácter final del token dentro de la cadena externa.

end: number

number

Forma normalizada del token. Esto puede incluir cosas como minúsculas o lematización.

normalized: string

string

Inicie la posición del carácter del token dentro de la cadena externa.

start: number

number

Texto original del token.

text: string

string