Mistral (Éditeur indépendant) (préversion)

ID du modèle à utiliser pour cette requête.

Liste des chaînes à incorporer.

Format des données de sortie.

ID du modèle à utiliser.

Rôle.

Contenu.

Quelle température d’échantillonnage utiliser, entre 0,0 et 1,0. Des valeurs plus élevées telles que 0,8 rendent la sortie plus aléatoire, tandis que des valeurs inférieures telles que 0,2 la rendent plus ciblée et déterministe. Nous vous recommandons généralement de modifier ce ou top_p, mais pas les deux.

Échantillonnage du noyau, où le modèle considère les résultats des jetons avec top_p masse de probabilité. Par conséquent, 0,1 signifie que seuls les jetons comprenant la masse de probabilité supérieure de 10 % sont considérés. Nous vous recommandons généralement de modifier this ou température, mais pas les deux.

Nombre maximal de jetons à générer dans la saisie semi-automatique. Le nombre de jetons de votre invite plus max_tokens ne peut pas dépasser la longueur du contexte du modèle.

Indique s’il faut renvoyer la progression partielle. Si elles sont définies, les jetons sont envoyés en tant qu’événements envoyés par le serveur uniquement au fur et à mesure qu’ils deviennent disponibles, avec le flux arrêté par un message de données : [DONE]. Dans le cas contraire, le serveur contiendra la requête ouverte jusqu’au délai d’expiration ou jusqu’à la fin, avec la réponse contenant le résultat complet au format JSON.

Indique s’il faut injecter une invite de sécurité avant toutes les conversations.

Valeur initiale à utiliser pour l’échantillonnage aléatoire. S’il est défini, différents appels génèrent des résultats déterministes.