Azure Databricks 上的生成 AI 应用简介

马赛克 AI 支持简单和复杂的 GenAI 应用程序,从检索扩充生成(RAG)聊天机器人到工具调用代理。 本指南介绍 Databricks 上的 GenAI 应用和代理系统背后的关键概念,并提供生成、评估和缩放 GenAI 应用的指导。

Description
入门:无代码 GenAI 尝试使用 AI Playground 进行基于 UI 的测试和原型制作。
入门:适用于 GenAI 的 MLflow 3 尝试使用 MLflow 进行 GenAI 跟踪、评估和人工反馈。
概念:Databricks 上的 GenAI 了解 GenAI 模型、代理、工具和应用。
平台:关键 GenAI 功能 在 Azure Databricks 上查找 GenAI 的关键功能的详细信息。

开始构建 GenAI 应用

在 Azure Databricks 上试用基于 UI 和基于代码的 GenAI。

Tutorial Description
入门:在没有代码的情况下查询 LLM 和原型 AI 代理 熟悉基于 UI 的测试和原型制作 AI Playground
入门:适用于 GenAI 的 MLflow 3 试用 MLflow 进行 GenAI 跟踪、评估和人工反馈。
开始在 Databricks 上查询 LLM 使用 基础模型 API 通过代码查询 GenAI 模型。

了解 GenAI 概念

熟悉基础 GenAI 概念,例如模型、代理、工具和应用。

Guide Description
概念:Azure Databricks 上的生成式 AI 了解 GenAI 模型、代理、工具和应用。
生成 GenAI 应用的主要挑战 了解 GenAI 的关键挑战以及 Databricks 如何解决它们。
代理系统设计模式 了解代理设计的选项和权衡,从简单的代理链,到复杂的多代理系统。

使用 Azure Databricks 功能生成 GenAI 应用

对于无代码或低代码方法,请先熟悉:

功能 / 特点 Description
代理砖块 为常见用例构建和优化特定于域的高质量 AI 代理系统。
AI实验室 查询 GenAI 模型和代理,进行 prompt engineering,并在用户界面中原型化工具调用代理。
AI 函数 为 AI 任务调用内置 SQL 函数。

对于代码优先方法,首先熟悉以下内容:

功能 / 特点 Description
适用于 GenAI 的 MLflow 使用 MLflow 进行 跟踪和可观测性、 评估和监视
模型服务中的基础模型 使用 GenAI 模型终结点,包括 Databricks 托管的基础模型 API 和外部模型。
矢量搜索 为 RAG 和其他代理系统创建和查询矢量索引。
Mosaic AI 代理框架 使用代码生成和部署 AI 代理。
AI 网关 管理和监视对 GenAI 模型和终结点的访问。

有关更详细的列表,请参阅 GenAI 的马赛克 AI 功能

常规智能与数据智能

比较常规智能与数据智能的关系图。

  • 通用智能 是指 LLM 从广泛的预训练各种文本中固有掌握的知识。 这对于语言流畅性和一般推理非常有用。
  • 数据智能 是指组织的特定于域的数据和 API。 这可能包括客户记录、产品信息、知识库或反映独特业务环境的文档。

代理系统混合了这两种知识来源:它们从 LLM 的广泛、通用的知识开始,然后引入实时或特定于域的数据来回答详细问题或执行专用作。 使用 Azure Databricks,可以在每个级别将数据智能嵌入 GenAI 应用:

  • 代理,包括自定义代理设计和来自 Agent Bricks 的自动化设计

GenAI 与 ML 与深度学习

生成人工智能(GenAI)、机器学习(ML)和深度学习(DL)之间的界限可能是模糊的。 本指南重点介绍 GenAI,但以下 Databricks 平台功能支持 ML、深度学习和 GenAI: