马赛克 AI 支持简单和复杂的 GenAI 应用程序,从检索扩充生成(RAG)聊天机器人到工具调用代理。 本指南介绍 Databricks 上的 GenAI 应用和代理系统背后的关键概念,并提供生成、评估和缩放 GenAI 应用的指导。
| 页 | Description |
|---|---|
| 入门:无代码 GenAI | 尝试使用 AI Playground 进行基于 UI 的测试和原型制作。 |
| 入门:适用于 GenAI 的 MLflow 3 | 尝试使用 MLflow 进行 GenAI 跟踪、评估和人工反馈。 |
| 概念:Databricks 上的 GenAI | 了解 GenAI 模型、代理、工具和应用。 |
| 平台:关键 GenAI 功能 | 在 Azure Databricks 上查找 GenAI 的关键功能的详细信息。 |
开始构建 GenAI 应用
在 Azure Databricks 上试用基于 UI 和基于代码的 GenAI。
| Tutorial | Description |
|---|---|
| 入门:在没有代码的情况下查询 LLM 和原型 AI 代理 | 熟悉基于 UI 的测试和原型制作 AI Playground 。 |
| 入门:适用于 GenAI 的 MLflow 3 | 试用 MLflow 进行 GenAI 跟踪、评估和人工反馈。 |
| 开始在 Databricks 上查询 LLM | 使用 基础模型 API 通过代码查询 GenAI 模型。 |
了解 GenAI 概念
熟悉基础 GenAI 概念,例如模型、代理、工具和应用。
| Guide | Description |
|---|---|
| 概念:Azure Databricks 上的生成式 AI | 了解 GenAI 模型、代理、工具和应用。 |
| 生成 GenAI 应用的主要挑战 | 了解 GenAI 的关键挑战以及 Databricks 如何解决它们。 |
| 代理系统设计模式 | 了解代理设计的选项和权衡,从简单的代理链,到复杂的多代理系统。 |
使用 Azure Databricks 功能生成 GenAI 应用
对于无代码或低代码方法,请先熟悉:
| 功能 / 特点 | Description |
|---|---|
| 代理砖块 | 为常见用例构建和优化特定于域的高质量 AI 代理系统。 |
| AI实验室 | 查询 GenAI 模型和代理,进行 prompt engineering,并在用户界面中原型化工具调用代理。 |
| AI 函数 | 为 AI 任务调用内置 SQL 函数。 |
对于代码优先方法,首先熟悉以下内容:
| 功能 / 特点 | Description |
|---|---|
| 适用于 GenAI 的 MLflow | 使用 MLflow 进行 跟踪和可观测性、 评估和监视。 |
| 模型服务中的基础模型 | 使用 GenAI 模型终结点,包括 Databricks 托管的基础模型 API 和外部模型。 |
| 矢量搜索 | 为 RAG 和其他代理系统创建和查询矢量索引。 |
| Mosaic AI 代理框架 | 使用代码生成和部署 AI 代理。 |
| AI 网关 | 管理和监视对 GenAI 模型和终结点的访问。 |
有关更详细的列表,请参阅 GenAI 的马赛克 AI 功能。
常规智能与数据智能
- 通用智能 是指 LLM 从广泛的预训练各种文本中固有掌握的知识。 这对于语言流畅性和一般推理非常有用。
- 数据智能 是指组织的特定于域的数据和 API。 这可能包括客户记录、产品信息、知识库或反映独特业务环境的文档。
代理系统混合了这两种知识来源:它们从 LLM 的广泛、通用的知识开始,然后引入实时或特定于域的数据来回答详细问题或执行专用作。 使用 Azure Databricks,可以在每个级别将数据智能嵌入 GenAI 应用:
- 代理,包括自定义代理设计和来自 Agent Bricks 的自动化设计
- 模型微调,包括自定义微调和Agent Bricks的自动调优
GenAI 与 ML 与深度学习
生成人工智能(GenAI)、机器学习(ML)和深度学习(DL)之间的界限可能是模糊的。 本指南重点介绍 GenAI,但以下 Databricks 平台功能支持 ML、深度学习和 GenAI:
- 模型服务 支持 ML、深度学习和 GenAI 模型。 可以使用它进行 GenAI 批处理推理 ,并使用 自定义模型服务部署代理或微调模型。
- 无服务器 GPU 计算 和已启用 GPU 的 用于机器学习的 Databricks Runtime 可用于训练和微调 ML、深度学习和 GenAI 模型。
- MLflow 试验跟踪 可用于跟踪经典 ML 和 GenAI 试验和运行。
- Databricks 功能存储 可用于管理和提供经典 ML 和 GenAI 的结构化数据。