Agent-Hintergrundantworten

Aktivieren von Hintergrundantworten

Um Hintergrundantworten zu true aktivieren, legen Sie die AllowBackgroundResponses Eigenschaft auf folgendes festAgentRunOptions:

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

Einige Agents erlauben möglicherweise keine explizite Kontrolle über Hintergrundantworten. Diese Agents können unabhängig von der AllowBackgroundResponses Einstellung selbst entscheiden, ob eine Hintergrundantwort basierend auf der Komplexität des Vorgangs initiiert werden soll.

Hintergrundantworten ohne Streaming

Bei Nicht-Streaming-Szenarien kann es bei der ersten Ausführung eines Agents ein Fortsetzungstoken zurückgeben oder nicht. Wenn kein Fortsetzungstoken zurückgegeben wird, bedeutet dies, dass der Vorgang abgeschlossen wurde. Wenn ein Fortsetzungstoken zurückgegeben wird, gibt es an, dass der Agent eine Hintergrundantwort initiiert hat, die noch verarbeitet wird, und erfordert eine Abfrage zum Abrufen des Endergebnisses:

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetOpenAIResponseClient("<deployment-name>")
    .CreateAIAgent();

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

AgentThread thread = agent.GetNewThread();

// Get initial response - may return with or without a continuation token
AgentRunResponse response = await agent.RunAsync("Write a very long novel about otters in space.", thread, options);

// Continue to poll until the final response is received
while (response.ContinuationToken is not null)
{
    // Wait before polling again.
    await Task.Delay(TimeSpan.FromSeconds(2));

    options.ContinuationToken = response.ContinuationToken;
    response = await agent.RunAsync(thread, options);
}

Console.WriteLine(response.Text);

Wichtigste Punkte:

• Der anfängliche Aufruf kann sofort abgeschlossen werden (kein Fortsetzungstoken) oder einen Hintergrundvorgang (mit Fortsetzungstoken) starten.
• Wenn kein Fortsetzungstoken zurückgegeben wird, ist der Vorgang abgeschlossen, und die Antwort enthält das endgültige Ergebnis.
• Wenn ein Fortsetzungstoken zurückgegeben wird, hat der Agent einen Hintergrundprozess gestartet, der Abfragen erfordert.
• Verwenden des Fortsetzungstokens aus der vorherigen Antwort in nachfolgenden Abrufaufrufen
• Ist ContinuationToken dies nullder Zeitpunkt, ist der Vorgang abgeschlossen

Streaming von Hintergrundantworten

In Streamingszenarien funktionieren Hintergrundantworten ähnlich wie normale Streamingantworten – der Agent streamt alle Updates in Echtzeit an Verbraucher zurück. Der Hauptunterschied besteht jedoch darin, dass Agents die Stream-Wiederaufnahme über Fortsetzungstoken unterstützen, wenn der ursprüngliche Datenstrom unterbrochen wird. Jedes Update enthält ein Fortsetzungstoken, das den aktuellen Zustand erfasst, sodass der Datenstrom von genau der Stelle fortgesetzt werden kann, an der es unterbrochen wurde, indem es dieses Token an nachfolgende Streaming-API-Aufrufe übergibt:

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetOpenAIResponseClient("<deployment-name>")
    .CreateAIAgent();

AgentRunOptions options = new()
{
    AllowBackgroundResponses = true
};

AgentThread thread = agent.GetNewThread();

AgentRunResponseUpdate? latestReceivedUpdate = null;

await foreach (var update in agent.RunStreamingAsync("Write a very long novel about otters in space.", thread, options))
{
    Console.Write(update.Text);

    latestReceivedUpdate = update;

    // Simulate an interruption
    break;
}

// Resume from interruption point captured by the continuation token
options.ContinuationToken = latestReceivedUpdate?.ContinuationToken;
await foreach (var update in agent.RunStreamingAsync(thread, options))
{
    Console.Write(update.Text);
}

Wichtigste Punkte:

• Jedes AgentRunResponseUpdate enthält ein Fortsetzungstoken, das für die Wiederaufnahme verwendet werden kann
• Speichern des Fortsetzungstokens aus dem letzten empfangenen Update vor Unterbrechung
• Verwenden des gespeicherten Fortsetzungstokens zum Fortsetzen des Datenstroms vom Unterbrechungspunkt