你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Application Insights 中的 代理详细信息 视图提供了跨多个源（包括 Azure AI Foundry、 Copilot Studio 和第三方代理）监视 AI 代理的统一体验。
此功能整合了遥测和诊断，使客户能够跟踪代理性能、分析令牌使用情况和成本、排查错误并优化代理的行为。
注释
Azure Monitor 代理的可观测性基于 OpenTelemetry 生成式 AI 语义。
先决条件
- Azure 订阅： 如果没有订阅，请 免费创建 Azure 订阅
- Application Insights 资源：创建 Application Insights 资源 来收集和存储代理遥测数据。
开始
选择监视方法
开始的步骤会有所不同，这取决于你构建代理的方式和所在平台。
托管服务
Azure AI Foundry： 可以使用 Azure Monitor OpenTelemetry Distro 和 Azure AI Foundry SDK 从代理应用程序收集遥测数据。
Copilot Studio： 可以使用内置配置将遥测数据发送到 Azure Monitor，请参阅 将 Copilot Studio 代理连接到 Application Insights。
自托管
Microsoft代理框架： 如果要从头开始生成代理并自承载代理，则可以使用 Microsoft Agent Framework 来协调代理并将遥测数据发送到 Azure Monitor。
第三方代理： 如果在其他地方构建了代理，则可以使用 Azure AI OpenTelemetry Tracer 向 Azure Monitor 发出遥测数据。 还可以在 Azure AI Foundry 中注册这些代理。
有关详细信息，请参见:
如果选择收集完整的提示信息（例如，在 EnableSensitiveData Agent Framework 中使用标志），可以在 搜索 视图中搜索提示，并在 事务详细信息 视图中查看和阅读对话，包括助理消息、系统提示和工具使用情况。
小窍门
- 请确保为每个代理提供一个名称，以便在“代理详细信息”视图中将它们彼此分开。
- 如果代理组件是较大应用程序的一部分，则将其发送到现有的 Application Insights 资源可能有意义。
注释
若要查看 AI Foundry 中的代理（除了 Azure Monitor），需要 将 Application Insights 资源连接到 Foundry 项目。
设置评估
若要设置评估，有多种方法。
批量评估：
- 使用 Azure AI 评估 SDK 进行本地评估：在测试期间在开发计算机上运行评估。
- 使用 Azure AI Foundry SDK 进行云评估：在 Azure 中执行评估，以便进行更大的数据集或团队协作。
- 基于 Azure Foundry 门户的评估：将 Azure AI Foundry 门户用于无代码评估工作流。
持续评估：设置针对生产流量运行的自动评估 ，以检测质量回归。
监控智能代理
访问代理详细信息视图
遥测数据开始流入 Application Insights 后：
在 Azure 门户中，转到 Application Insights 资源。
在导航菜单中，选择“代理”（预览版）。
注释
还可以从 AI Foundry 访问代理详细信息视图。 在代理中，转到“ 监视 ”选项卡，然后选择 “在 Azure Monitor 中查看”。
调查痕迹
若要深入了解特定代理运行，请按照以下步骤操作：
从“代理详细信息”视图中选择以下项之一：
- 查看包含智能体运行的跟踪 - 查看所有智能体执行
- 查看包含生成式 AI 错误的跟踪 - 专注于失败或有问题的运行
- 工具调用或模型磁贴中的任何单个工具调用或模型
搜索浮层显示与所选内容匹配的筛选出的跟踪记录。
使用搜索功能可以：
- 根据诸如使用令牌最多等指标对跟踪进行排序，以识别耗费资源的操作。
- 按时间范围进行筛选以隔离特定事件
- 搜索提示内容（如果启用了敏感数据日志记录）
选择任何跟踪即可访问 端到端事务详细信息 视图，以便进行全面分析。
端到端事务详细信息视图
端到端的交易详细信息现在提供了一个简单的视图，它以清晰、类似于故事的方式显示代理过程，包括调用的代理、底层 LLM、所使用的工具等。
使用简单视图可以快速查找相关的遥测数据，并过渡到 Azure AI Foundry 或其他工具进行必要的更改。
注释
若要返回到传统视图，请选择顶部作栏中 的“保留简单视图 ”。
在我们的示例中，我们研究的是高频令牌使用。 交易细节可以帮助你识别出，大型的提示上下文和/或昂贵的模型正在导致令牌使用量和成本增加。
使用 Grafana 自定义监视视图
Application Insights 中的“代理详细信息”视图为监视 AI 代理提供了一种个性化的现成体验。 如需更高级的自定义和可视化需求，可以从代理详细信息视图顶部导航栏 中选择“在 Grafana 中浏览 ”。
Azure Monitor 包括专为生成式 AI 监视设计的预建 Grafana 仪表板，可帮助你入门：
- 代理框架 - 监视代理执行和性能
- 代理框架工作流 - 跟踪代理工作流模式和依赖项
- AI Foundry - 可视化 AI Foundry 专用的指标和遥测
这些仪表板充当监视策略的起点。 可以通过以下方式自定义它们：
- 使用不同的可视化效果面板来匹配你的首选项
- 编辑或创建新查询以显示特定指标
- 使用“另存为”为特定环境和用例创建定制的仪表板
若要详细了解如何将 Grafana 与 Application Insights 配合使用，请参阅 Application Insights 中的 Grafana 仪表板 ，以及 将 Azure Monitor 仪表板与 Grafana 配合使用。