Mistral (publicador independiente) (versión preliminar)

Identificador del modelo que se va a usar.

Rol.

El contenido.

Temperatura de muestreo que se va a usar, entre 0,0 y 1,0. Los valores más altos, como 0,8, harán que la salida sea más aleatoria, mientras que los valores más bajos, como 0,2, la harán más enfocada y determinista. Por lo general, se recomienda modificar esto o top_p, pero no ambos.

Muestreo de núcleo, donde el modelo considera los resultados de los tokens con top_p masa de probabilidad. Así, 0,1 significa que solo se consideran los tokens que comprenden la masa de probabilidad del 10% superior. Por lo general, recomendamos modificar esto o la temperatura, pero no ambos.

Número máximo de tokens que se generarán durante la finalización. El recuento de tokens del símbolo del sistema más max_tokens no puede superar la longitud del contexto del modelo.

Si se transmite el progreso parcial. Si se establece, los tokens se enviarán como eventos enviados por el servidor de solo datos a medida que estén disponibles, con el flujo terminado por un mensaje de datos: [DONE]. De lo contrario, el servidor contendrá la solicitud abierta hasta el tiempo de espera o hasta la finalización, con la respuesta que contiene el resultado completo como JSON.

Inyecte un aviso de seguridad antes de todas las conversaciones.

Inicialización que se va a usar para el muestreo aleatorio. Si se establece, las llamadas diferentes generarán resultados deterministas.

Identificador del modelo que se va a usar para esta solicitud.

Lista de cadenas que se van a insertar.

Formato de los datos de salida.