调试、跟踪和分析你的应用程序

MLflow 跟踪提供对应用程序行为的深入见解,从而跨不同环境提供完整的调试体验。 通过捕获完整的请求响应周期(输入/输出跟踪)和执行流,可以可视化和了解应用程序的逻辑和决策过程。

检查每个中间步骤的输入、输出和元数据(例如检索、工具调用、LLM 交互)以及关联的 用户反馈质量评估 结果,可以:

  • 在开发中:深入了解 GenAI 库抽象下发生的情况,帮助准确确定问题或意外行为发生的位置。
  • 在生产中:实时监视和调试问题。 跟踪捕获错误,并可能包括操作指标,例如每个步骤的延迟,这有助于进行快速诊断。

MLflow 跟踪提供开发和生产之间的统一体验:一次检测应用程序,跟踪在两个环境中一致工作。 这样就可以在您首选的环境中无缝浏览代码跟踪(无论是在 IDE、笔记本,还是生产监控仪表板),消除了在多个工具之间切换或在繁杂的日志中搜索的麻烦。

跟踪错误屏幕截图

监视性能和优化成本

了解和优化 GenAI 应用程序的性能和成本至关重要。 通过 MLflow 跟踪,可以在应用程序执行的每个步骤中捕获和监视关键作指标,例如延迟、成本和资源利用率。

这允许你:

  • 跟踪和识别复杂管道中的性能瓶颈。
  • 监视资源利用率,确保高效作。
  • 通过了解资源或令牌的使用位置来优化成本效益。
  • 确定代码或模型交互中性能改进的领域。

此外,MLflow 跟踪与 OpenTelemetry 兼容,这是行业标准可观测性规范。 通过此兼容性,可以将跟踪数据导出到现有可观测性堆栈中的各种服务。 有关详细信息,请参阅 OpenTelemetry 导出功能