MLflow 跟踪提供对应用程序行为的深入见解,从而跨不同环境提供完整的调试体验。 通过捕获完整的请求响应周期(输入/输出跟踪)和执行流,可以可视化和了解应用程序的逻辑和决策过程。
检查每个中间步骤的输入、输出和元数据(例如检索、工具调用、LLM 交互)以及关联的 用户反馈 或 质量评估 结果,可以:
- 在开发中:深入了解 GenAI 库抽象下发生的情况,帮助准确确定问题或意外行为发生的位置。
- 在生产中:实时监视和调试问题。 跟踪捕获错误,并可能包括操作指标,例如每个步骤的延迟,这有助于进行快速诊断。
MLflow 跟踪提供开发和生产之间的统一体验:一次检测应用程序,跟踪在两个环境中一致工作。 这样就可以在您首选的环境中无缝浏览代码跟踪(无论是在 IDE、笔记本,还是生产监控仪表板),消除了在多个工具之间切换或在繁杂的日志中搜索的麻烦。
监视性能和优化成本
了解和优化 GenAI 应用程序的性能和成本至关重要。 通过 MLflow 跟踪,可以在应用程序执行的每个步骤中捕获和监视关键作指标,例如延迟、成本和资源利用率。
这允许你:
- 跟踪和识别复杂管道中的性能瓶颈。
- 监视资源利用率,确保高效作。
- 通过了解资源或令牌的使用位置来优化成本效益。
- 确定代码或模型交互中性能改进的领域。
此外,MLflow 跟踪与 OpenTelemetry 兼容,这是行业标准可观测性规范。 通过此兼容性,可以将跟踪数据导出到现有可观测性堆栈中的各种服务。 有关详细信息,请参阅 OpenTelemetry 导出功能。