通过

部署跟踪的应用

MLflow 追踪通过捕获执行详细信息来帮助监控生产中的 GenAI 应用程序。 可以通过两种方式部署跟踪的应用程序：

  • 在 Databricks 上：使用 Agent Framework 或自定义模型服务进行部署，实现与监控和推理表的完全集成。
  • 在 Databricks 之外：部署到外部环境，同时将日志追踪返回 Databricks 进行监控

比较部署选项

下表比较了可用于每个部署位置的跟踪日志记录选项：

部署位置 MLflow 实验跟踪日志记录 生产监视 推理表
在 Databricks 上部署 已支持 已支持 已支持
在 Databricks 外部部署 已支持 已支持 不支持

比较跟踪日志记录选项

上面的部署选项表列出了用于跟踪日志记录的多个选项。 下表比较了以下跟踪日志记录选项：

跟踪日志记录选项 访问和管理 延迟* 吞吐量* 大小限制*
MLflow 实验跟踪日志记录 可以在 MLflow 试验 UI 中查看跟踪，也可以 以编程方式查询跟踪。 访问由 MLflow 实验 ACLs 管理。 实时 每秒最多 60 个查询（QPS） 支持非常大的跟踪。 每个试验的最大跟踪数为 100K。
生产监视 记录到 Delta 表的跟踪由 Unity 目录权限进行管理。 约 15 分钟延迟 每秒最多 50 个查询（QPS） 支持非常大的跟踪。 每个试验的最大跟踪数为 100K。
已启用 AI 网关的推理表 记录到 Delta 表的跟踪使用 Unity Catalog 权限进行管理。 30-90 分钟延迟 QPS 限制与提供终结点限制的模型匹配 跟踪大小限制。 对每个试验的跟踪没有限制。

* 请参阅 资源限制 以了解其他平台的限制，以及通过与 Databricks 帐户团队合作可以提高的限制的信息。

†在进行 MLflow 试验日志记录时，跟踪信息作为工件存储，你可以为其指定自定义存储位置。 例如，如果您创建一个工作区实验并将artifact_location设置为 Unity Catalog 卷，那么数据访问的跟踪将受到Unity Catalog 卷权限的管理。

后续步骤

选择部署方法：

  • Last updated on