Compartir a través de

LuceneStandardTokenizer interface

Paquete:
@azure/search-documents

Interrumpe el texto siguiendo las reglas de segmentación de texto Unicode. Este tokenizador se implementa mediante Apache Lucene.

Propiedades

maxTokenLength

Longitud máxima del token. El valor predeterminado es 255. Los tokens más largos que la longitud máxima se dividen. La longitud máxima del token que se puede usar es de 300 caracteres. Valor predeterminado: 255.
name

Nombre del tokenizador. Solo debe contener letras, dígitos, espacios, guiones o caracteres de subrayado, solo puede comenzar y terminar con caracteres alfanuméricos y está limitado a 128 caracteres.
odatatype

Discriminador polimórfico

Detalles de las propiedades

maxTokenLength

Longitud máxima del token. El valor predeterminado es 255. Los tokens más largos que la longitud máxima se dividen. La longitud máxima del token que se puede usar es de 300 caracteres. Valor predeterminado: 255.

maxTokenLength?: number

Valor de propiedad

number

name

Nombre del tokenizador. Solo debe contener letras, dígitos, espacios, guiones o caracteres de subrayado, solo puede comenzar y terminar con caracteres alfanuméricos y está limitado a 128 caracteres.

name: string

Valor de propiedad

string

odatatype

Discriminador polimórfico

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

Valor de propiedad

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"