Respostas em segundo plano do agente

Habilitando respostas em segundo plano

Para habilitar as respostas em segundo plano, defina a AllowBackgroundResponses propriedade true como:AgentRunOptions

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

Alguns agentes podem não permitir controle explícito sobre respostas em segundo plano. Esses agentes podem decidir de forma autônoma se devem iniciar uma resposta em segundo plano com base na complexidade da operação, independentemente da AllowBackgroundResponses configuração.

Respostas em segundo plano sem streaming

Para cenários que não são de streaming, quando você executa inicialmente um agente, ele pode ou não retornar um token de continuação. Se nenhum token de continuação for retornado, isso significa que a operação foi concluída. Se um token de continuação for retornado, ele indicará que o agente iniciou uma resposta em segundo plano que ainda está sendo processada e exigirá sondagem para recuperar o resultado final:

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetOpenAIResponseClient("<deployment-name>")
    .CreateAIAgent();

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

AgentThread thread = agent.GetNewThread();

// Get initial response - may return with or without a continuation token
AgentRunResponse response = await agent.RunAsync("Write a very long novel about otters in space.", thread, options);

// Continue to poll until the final response is received
while (response.ContinuationToken is not null)
{
    // Wait before polling again.
    await Task.Delay(TimeSpan.FromSeconds(2));

    options.ContinuationToken = response.ContinuationToken;
    response = await agent.RunAsync(thread, options);
}

Console.WriteLine(response.Text);

Pontos principais:

• A chamada inicial pode ser concluída imediatamente (sem token de continuação) ou iniciar uma operação em segundo plano (com token de continuação)
• Se nenhum token de continuação for retornado, a operação será concluída e a resposta conterá o resultado final
• Se um token de continuação for retornado, o agente iniciará um processo em segundo plano que requer sondagem
• Usar o token de continuação da resposta anterior em chamadas de sondagem subsequentes
• Quando ContinuationToken estiver null, a operação será concluída

Respostas em segundo plano de streaming

Em cenários de streaming, as respostas em segundo plano funcionam muito como respostas regulares de streaming - o agente transmite todas as atualizações de volta para os consumidores em tempo real. No entanto, a principal diferença é que, se o fluxo original for interrompido, os agentes darão suporte à retomada do fluxo por meio de tokens de continuação. Cada atualização inclui um token de continuação que captura o estado atual, permitindo que o fluxo seja retomado exatamente de onde parou passando esse token para chamadas de API de streaming subsequentes:

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetOpenAIResponseClient("<deployment-name>")
    .CreateAIAgent();

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

AgentThread thread = agent.GetNewThread();

AgentRunResponseUpdate? latestReceivedUpdate = null;

await foreach (var update in agent.RunStreamingAsync("Write a very long novel about otters in space.", thread, options))
{
    Console.Write(update.Text);

    latestReceivedUpdate = update;

    // Simulate an interruption
    break;
}

// Resume from interruption point captured by the continuation token
options.ContinuationToken = latestReceivedUpdate?.ContinuationToken;
await foreach (var update in agent.RunStreamingAsync(thread, options))
{
    Console.Write(update.Text);
}

Pontos principais:

• Cada AgentRunResponseUpdate um contém um token de continuação que pode ser usado para retomada
• Armazenar o token de continuação da última atualização recebida antes da interrupção
• Usar o token de continuação armazenado para retomar o fluxo do ponto de interrupção