Respuestas en segundo plano del agente

Habilitación de respuestas en segundo plano

Para habilitar las respuestas en segundo plano, establezca la AllowBackgroundResponses propiedad true en :AgentRunOptions

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

Es posible que algunos agentes no permitan el control explícito sobre las respuestas en segundo plano. Estos agentes pueden decidir de forma autónoma si se inicia una respuesta en segundo plano en función de la complejidad de la operación, independientemente de la AllowBackgroundResponses configuración.

Respuestas en segundo plano que no son de streaming

En escenarios que no son de streaming, cuando se ejecuta inicialmente un agente, puede devolver o no un token de continuación. Si no se devuelve ningún token de continuación, significa que la operación se ha completado. Si se devuelve un token de continuación, indica que el agente ha iniciado una respuesta en segundo plano que sigue procesando y requerirá sondeo para recuperar el resultado final:

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetOpenAIResponseClient("<deployment-name>")
    .CreateAIAgent();

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

AgentThread thread = agent.GetNewThread();

// Get initial response - may return with or without a continuation token
AgentRunResponse response = await agent.RunAsync("Write a very long novel about otters in space.", thread, options);

// Continue to poll until the final response is received
while (response.ContinuationToken is not null)
{
    // Wait before polling again.
    await Task.Delay(TimeSpan.FromSeconds(2));

    options.ContinuationToken = response.ContinuationToken;
    response = await agent.RunAsync(thread, options);
}

Console.WriteLine(response.Text);

Puntos clave:

• La llamada inicial puede completarse inmediatamente (sin token de continuación) o iniciar una operación en segundo plano (con token de continuación).
• Si no se devuelve ningún token de continuación, la operación se completa y la respuesta contiene el resultado final.
• Si se devuelve un token de continuación, el agente ha iniciado un proceso en segundo plano que requiere sondeo.
• Uso del token de continuación de la respuesta anterior en llamadas de sondeo posteriores
• Cuando ContinuationToken es null, la operación se completa

Respuestas en segundo plano de streaming

En escenarios de streaming, las respuestas en segundo plano funcionan de forma muy similar a las respuestas de streaming normales: el agente transmite todas las actualizaciones a los consumidores en tiempo real. Sin embargo, la diferencia clave es que si se interrumpe la secuencia original, los agentes admiten la reanudación de la secuencia a través de tokens de continuación. Cada actualización incluye un token de continuación que captura el estado actual, lo que permite que la secuencia se reanude exactamente desde dónde se dejó pasando este token a las siguientes llamadas API de streaming:

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetOpenAIResponseClient("<deployment-name>")
    .CreateAIAgent();

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

AgentThread thread = agent.GetNewThread();

AgentRunResponseUpdate? latestReceivedUpdate = null;

await foreach (var update in agent.RunStreamingAsync("Write a very long novel about otters in space.", thread, options))
{
    Console.Write(update.Text);

    latestReceivedUpdate = update;

    // Simulate an interruption
    break;
}

// Resume from interruption point captured by the continuation token
options.ContinuationToken = latestReceivedUpdate?.ContinuationToken;
await foreach (var update in agent.RunStreamingAsync(thread, options))
{
    Console.Write(update.Text);
}

Puntos clave:

• Cada AgentRunResponseUpdate contiene un token de continuación que se puede usar para la reanudación.
• Almacenar el token de continuación de la última actualización recibida antes de la interrupción
• Uso del token de continuación almacenado para reanudar la secuencia desde el punto de interrupción