Utiliser un modèle de langage local avec le proxy de développement

En connectant le proxy de développement à un modèle de langage local, vous pouvez améliorer les fonctionnalités du proxy de développement. Sélectionnez les plug-ins dev Proxy utilisent le modèle de langage pour améliorer leur sortie, où le langage naturel est impliqué. En utilisant un modèle de langage local, vous pouvez tirer parti des fonctionnalités améliorées sans entraîner de coûts supplémentaires.

Prérequis

Dev Proxy prend en charge les hôtes de modèles de langage qui exposent des API compatibles avec OpenAI. Il prend également en charge les API Ollama. Pour configurer un hôte de modèle de langue locale, suivez les instructions de sa documentation.

Configurer le proxy de développement pour utiliser un modèle de langage local

Pour configurer le proxy de développement pour utiliser un modèle de langue locale, utilisez le languageModel paramètre dans le devproxyrc.json fichier.

{
  "languageModel": {
    "enabled": true
  }
}

Vous pouvez utiliser les options suivantes dans le languageModel cadre du paramètre :

Par défaut, Dev Proxy utilise la configuration standard d’Ollama avec le modèle llama3.2 à l’aide des API compatibles OpenAI d’Ollama. Il met également en cache les réponses du modèle de langage, ce qui signifie que pour la même invite, vous obtenez une réponse immédiate sans attendre que le modèle de langage le traite.

Plug-ins dev Proxy qui peuvent utiliser un modèle de langage local

Les plug-ins proxy de développement suivants utilisent un modèle de langage local si disponible :

• OpenAIMockResponsePlugin
• OpenApiSpecGeneratorPlugin
• TypeSpecGeneratorPlugin