Simuler l’API Azure OpenAI

Lorsque vous créez des applications connectées à Azure OpenAI, souvent, seule une partie de l’application interagit avec l’API Azure OpenAI. Lorsque vous travaillez sur les parties de l’application qui ne nécessitent pas de réponses réelles de l’API Azure OpenAI, vous pouvez simuler les réponses à l’aide du proxy de développement. L’utilisation de réponses simulées vous permet d’éviter les coûts inutiles. Le OpenAIMockResponsePlugin utilise un modèle de langage local s’exécutant sur votre ordinateur pour simuler les réponses de l’API Azure OpenAI.

Avant de commencer

Pour simuler les réponses de l’API Azure OpenAI à l’aide de Dev Proxy, vous devez installer un client de modèle de langage pris en charge sur votre ordinateur.

Par défaut, Dev Proxy utilise le modèle de langage llama3.2 exécuté sur Ollama. Pour utiliser un autre client ou un autre modèle, mettez à jour les paramètres du modèle de langage dans le fichier de configuration Dev Proxy.

Configurer le proxy de développement pour simuler les réponses de l’API Azure OpenAI

Pour simuler des réponses d’API Azure OpenAI à l’aide du proxy de développement, vous devez activer le OpenAIMockResponsePlugindevproxyrc.json fichier.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Ensuite, configurez le proxy de développement pour intercepter les requêtes vers l’API Azure OpenAI. Par souci de simplicité, utilisez des caractères génériques pour intercepter les requêtes à tous les déploiements.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Enfin, configurez le proxy de développement pour utiliser un modèle de langage local.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Le fichier de configuration complet ressemble à ceci.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simuler des réponses de l’API Azure OpenAI

En supposant la configuration par défaut, démarrez Ollama avec le modèle de langage llama3.2. Dans la ligne de commande, exécutez ollama run llama3.2.

Ensuite, démarrez le proxy de développement. Si vous utilisez la présélection, exécutez devproxy -c "~appFolder/config/simulate-azure-openai/simulate-azure-openai.json. Si vous utilisez un fichier de configuration personnalisé nommé devproxyrc.json, stocké dans le répertoire de travail actuel, exécutez devproxy. Dev Proxy vérifie qu’il peut accéder au modèle de langage sur Ollama et confirme qu’il est prêt à simuler les réponses de l’API Azure OpenAI.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Exécutez votre application et effectuez des demandes à l’API Azure OpenAI. Le proxy de développement intercepte les requêtes et simule les réponses à l’aide du modèle de langage local.

Étape suivante

En savoir plus sur OpenAIMockResponsePlugin.

Exemples

Consultez également les exemples de proxy de développement associés :

• Simuler l’API Azure OpenAI