TokenizerFunction type
可传递给 recognizeChoices()、findChoices()或 findValues()的备用断字符的签名。
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
注解
defaultTokenizer() 相当简单,只是在空格和标点符号上中断。