将服务终结点资源的模型添加到 Databricks 应用

添加提供 终结点的模型 作为 Databricks Apps 资源,以便应用可以查询机器学习模型进行推理。 模型服务终端节点处理模型预测并提供一致的接口以访问已部署的模型。

添加提供终结点资源的模型

在将服务终结点的模型添加为应用资源之前,请查看 资源先决条件

  1. 创建或编辑应用时,导航到 “配置” 步骤。
  2. “应用资源 ”部分中,单击“ + 添加资源”。
  3. 选择“ 服务终结点 ”作为资源类型。
  4. 从工作区中的可用终结点中选择模型服务终结点。
  5. 为应用选择适当的权限级别:
    • 可以查看: 查看终结点元数据,包括模型名称、版本和工作负荷配置。 无法发送推理请求。
    • 可以查询: 发送推理请求和查看元数据。 对于需要模型预测的大多数应用,请使用此功能。
    • 可以管理: 完全管理控制,包括查看、编辑、查询、删除和管理权限设置。
  6. (可选)指定自定义资源密钥,即如何在应用配置中引用模型服务终结点。 默认键为 serving-endpoint.

注释

提供终结点的模型必须处于 READY 状态才能处理来自应用的推理请求。

环境变量

使用模型提供终结点资源部署应用时,Azure Databricks 会通过可以使用该字段引用的 valueFrom 环境变量公开服务终结点名称。

例如:

SERVING_ENDPOINT=<your-serving-endpoint-name>

有关详细信息,请参阅 使用环境变量访问资源

删除提供终结点资源的模型

从应用中删除提供终结点资源的模型时,应用的服务主体将失去对终结点的访问权限。 服务终结点本身的模型保持不变,并继续可供具有适当权限的其他用户和应用程序使用。

最佳做法

使用提供终结点资源的模型时,请考虑以下事项:

  • 授予最小权限。 使用 Can view 以实现最低访问权限,或使用 Can query 对于大多数需要发送推理请求的应用程序,除非您的应用程序专门需要在终结点上执行管理任务。
  • 尽可能避免长时间运行的查询,因为推理请求可能会超时。
  • 在发送请求之前检查终结点状态。 终结点必须处于 READY 状态才能处理查询。
  • 请考虑限制推理请求的速率,以避免使终结点压倒一切,尤其是在高流量期间。