Überwachen Ihrer generativen KI-Anwendungen (Vorschau)

Die Überwachung Ihrer generativen KI-Anwendungen war aufgrund der Komplexität und der schnellen Entwicklung der KI-Branche noch nie so wichtig wie heute. Observability, integriert in Azure Monitor Application Insights, ermöglicht es Ihnen, Ihre bereitgestellten KI-Anwendungen kontinuierlich zu überwachen, um sicherzustellen, dass sie leistungsfähig, sicher sind und qualitativ hochwertige Ergebnisse in der Produktion erzeugen. Zusätzlich zu den kontinuierlichen Überwachungsfunktionen bieten wir auch kontinuierliche Evaluierungsfunktionen für Agents, um das Foundry Observability-Dashboard mit Einblick in zusätzliche kritische Qualitäts- und Sicherheitsmetriken weiter zu verbessern.

Aktivieren der Überwachung

Um Überwachungsfunktionen in Microsoft Foundry zu verwenden, müssen Sie eine Application Insights-Ressource mit Ihrem Foundry-Projekt verbinden.

1. Navigieren Sie im linken Navigationsbereich des Foundry Portals zu Überwachung.
2. Wählen Sie die Registerkarte "Anwendungsanalyse " aus.
3. Erstellen Sie eine neue Application Insights-Ressource, wenn Sie noch nicht über eine Ressource verfügen.
4. Verbinden Sie die Ressource mit Ihrem Foundry-Projekt.

Erfassen von Produktionsdaten zur Überwachung

Von hier aus möchten Sie mit der Erfassung von Telemetrie für Ihre Anwendung beginnen, die Sie in unseren integrierten Ansichten überwachen können. Dazu empfehlen wir Folgendes:

• Mithilfe von Instrumentierungsablaufverfolgungen können Sie detaillierte Telemetriedaten aus Ihrer Anwendung erfassen. Diese Daten bieten Einblicke in die Leistung, Latenz und das Verhalten Ihrer Anwendung in der Produktion.

• Kontinuierliche Auswertungen helfen dabei, die Qualität und Sicherheit Ihres Agenten in der Produktion zu überwachen, indem dessen Ergebnisse anhand vordefinierter Metriken und Schwellenwerte bewertet werden.

Anzeigen von Überwachungsergebnissen

Im Foundry-Portal verwendet die Dashboardansicht "Anwendungsanalyse " Signale von Azure Monitor Application Insights, das Abfragen über Azure-Arbeitsmappen und das Erstellen von Visualisierungen.

Diese Ansichten sind so konzipiert, dass wichtige Metriken – Tokenverbrauch, Latenz, Ausnahmen und Antwortqualität – in einer einzigen Übersicht bereitgestellt werden, die Teams Transparenz bietet, um die Betriebsgesundheit und Qualität nachzuverfolgen, Trends zu verstehen und kontinuierlich zu beurteilen, um ihre Anwendung zu verbessern.

Führen Sie die folgenden Schritte aus, um auf die integrierte Überwachungsansicht in Ihrem Foundry-Projekt zuzugreifen und sie zu nutzen:

1. Navigieren Sie im Foundry-Portal zu Ihrem Foundry-Projekt.
2. Wählen Sie "Überwachung" im linken Navigationsbereich aus.
3. Überprüfen Sie auf der Registerkarte Anwendungsanalyse die Übersicht über die Gesundheit Ihrer Anwendung.
4. Verwenden Sie Filter, um einen Zeitraum, eine Anwendung und/oder ein Modell anzugeben, um detaillierte Erkenntnisse zu extrahieren.
5. Wenn Sie Probleme feststellen, z. B. abnehmende Qualitätsmetriken, wechseln Sie zur Ablaufverfolgung , um Probleme in Ihrer Anwendung zu debuggen.
6. Um Ihre Überwachungserfahrung weiter anzupassen und erweiterte Funktionen in Azure Monitor zu verwenden, scrollen Sie nach unten, und wählen Sie "Anzeigen" in Azure Monitor Application Insights aus.

Passen Sie Ihr Dashboard an und geben Sie es frei

Application Insights ist ein leistungsstarkes Tool für die Anwendungsleistungsüberwachung (Application Performance Monitoring, APM), das Einblicke in die Integrität und Leistung Ihrer Anwendungen bietet.

Sie können das Dashboard Anwendungsanalyse im Azure Monitor Application Insights-Arbeitsmappenkatalog öffnen, indem Sie am Ende der Seite den Link Anzeigen im Azure Monitor Application Insights auswählen.

Dieses Dashboard wird als bearbeitbare Arbeitsmappe geöffnet, in der Sie die Arbeitsmappe anpassen und entsprechend Ihren Anforderungen speichern können.

1. Wählen Sie in der Befehlsleiste Bearbeiten aus.

2. Ändern Sie Elemente nach Bedarf in Ihrem Anwendungsfall. Wählen Sie ... auf einem Element aus, um das Element zu bearbeiten, zu verschieben/größe zu ändern, zu klonen oder zu entfernen. Sie können z. B. eine Kachel mithilfe von KQL hinzufügen, um ein benutzerdefiniertes Attribut, das Sie sammeln und das nicht in unserer integrierten Ansicht angezeigt wird, nachzuverfolgen.

3. Speichern Sie Ihre neuesten Änderungen, und erstellen Sie bei Bedarf verschiedene Ansichten, indem Sie "Speichern" auswählen.

4. Geben Sie für Ihr Team frei, indem Sie das Symbol Freigeben in der Befehlsleiste auswählen.

Erkunden und Analysieren mit Kusto Query Language (KQL)

KQL (Kusto Query Language) ist eine leistungsstarke Abfragesprache, die in Azure verwendet wird, um große Mengen von Telemetrie- und Protokolldaten zu untersuchen, zu analysieren und zu visualisieren.

In der Dashboardansicht Anwendungsanalyse können Sie den einen Abfragelink öffnen, indem Sie das Symbol oben rechts für eine bestimmte Kachel oder ein bestimmtes Diagramm auswählen.

Nachdem Sie dies ausgewählt haben, können Sie dieselben KQL-Abfragen anzeigen und ausführen, die Ihre Überwachungsansicht aktivieren und tief in die zugehörigen Daten eintauchen.

Einrichten von Azure-Warnungen

Sie können Azure-Warnungsregeln basierend auf den vorherigen KQL-Abfragen definieren, um Probleme mit Ihren Postproduktionsvorgängen in Zukunft proaktiv zu erkennen. Wählen Sie ... aus, um weitere Optionen wie neue Warnungsregel anzuzeigen.

Wenn Sie die Schaltfläche Neue Warnungsregel auswählen, wird ein Assistent geöffnet, um eine Warnungsregel für das zugehörige Signal zu erstellen.

Weitere Informationen zum Einrichten und Verwalten von Azure-Warnungen zum proaktiven Beheben von Problemen finden Sie unter "Warnungen" in Azure Monitor.

Verwandte Inhalte

• Überwachen von Modellbereitstellungen