LanguageModelFailurePlugin

Simula vários cenários de falha de grandes modelos de linguagem (LLM) para testar a resiliência de aplicações dependentes do modelo de linguagem.

Exemplo de configuração

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelFailurePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelFailurePlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "http://localhost:11434/*"
  ],
  "languageModelFailurePlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/languagemodelfailureplugin.schema.json",
    "failures": [
      "Hallucination",
      "PlausibleIncorrect"
    ]
  }
}

Propriedades de configuração

Tipos de falha disponíveis

O plugin suporta os seguintes tipos de falhas que simulam comportamentos comuns de LLM:

Tipos de falha personalizados

Podes adicionar tipos de falha personalizados criando .prompty ficheiros no ~appFolder/prompts diretório. O ficheiro deve ser nomeado lmfailure_<failure>.prompty onde <failure> está escrito no caso do kebab (por exemplo, my-failure). Na configuração do plugin, referencia-o usando PascalCase (por exemplo, MyFailure).

Cenários de utilização

O LanguageModelFailurePlugin foi concebido para ajudar os programadores a testar as suas aplicações contra vários modos de falha de LLM:

• Testes de alucinação: Verifique se a sua aplicação trata informações falsas de forma adequada
• Deteção de viés: Respostas de teste a conteúdos enviesados ou estereotipados
• Validação do formato: Garanta que a sua aplicação lida com respostas formatadas incorretamente
• Instrução a seguir: Teste a resiliência quando o LLM não segue as instruções
• Gestão da incerteza: Verifique se a sua aplicação gere respostas incorretas e excessivamente confiantes

Próximo passo