Compartilhar via

AzureOpenAITokenizerParameters interface

Pacote:
@azure/search-documents

Propriedades

allowedSpecialTokens

(Opcional) Aplica-se somente se a unidade estiver definida como azureOpenAITokens. Esse parâmetro define uma coleção de tokens especiais que são permitidos no processo de tokenização.
encoderModelName

Aplica-se somente se a unidade estiver definida como azureOpenAITokens. As opções incluem 'R50k_base', 'P50k_base', 'P50k_edit' e 'CL100k_base'. O valor padrão é 'CL100k_base'.

Detalhes da propriedade

allowedSpecialTokens

(Opcional) Aplica-se somente se a unidade estiver definida como azureOpenAITokens. Esse parâmetro define uma coleção de tokens especiais que são permitidos no processo de tokenização.

allowedSpecialTokens?: string[]

Valor da propriedade

string[]

encoderModelName

Aplica-se somente se a unidade estiver definida como azureOpenAITokens. As opções incluem 'R50k_base', 'P50k_base', 'P50k_edit' e 'CL100k_base'. O valor padrão é 'CL100k_base'.

encoderModelName?: string

Valor da propriedade

string