Udostępnij przez

Wtyczka OpenAIMockResponsePlugin

Symuluje odpowiedzi z usług Azure OpenAI i OpenAI przy użyciu lokalnego modelu językowego.

Zrzut ekranu przedstawiający wiersz polecenia z serwerem proxy deweloperów symulującym odpowiedź na żądanie do interfejsu API usługi Azure OpenAI.

Przykład konfiguracji

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Właściwości konfiguracji

Brak

Opcje wiersza polecenia

Brak

Uwagi

Wtyczka OpenAIMockResponsePlugin symuluje odpowiedzi z usług Azure OpenAI i OpenAI przy użyciu lokalnego modelu językowego. Użycie tej wtyczki umożliwia emulowanie przy użyciu modelu językowego w aplikacji bez nawiązywania połączenia z usługą OpenAI lub Azure OpenAI i ponoszenia kosztów.

Wtyczka używa konfiguracji modelu języka serwera proxy dev do komunikowania się z lokalnym modelem językowym. Aby użyć tej wtyczki, skonfiguruj serwer proxy deweloperów do korzystania z lokalnego modelu językowego.

Ważne

Dokładność odpowiedzi wygenerowanych przez wtyczkę zależy od używanego modelu języka lokalnego. Przed wdrożeniem aplikacji w środowisku produkcyjnym należy przetestować ją przy użyciu modelu językowego, który ma być używany w środowisku produkcyjnym.

Wtyczka OpenAIMockResponsePlugin symuluje uzupełnianie i uzupełnianie czatu. Wtyczka nie obsługuje innych punktów końcowych interfejsu API interfejsu OpenAI.

Następny krok

Symulowanie interfejsu API usługi Azure OpenAI

  • Last updated on