通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

LLM 工具

使用提示流中的大型语言模型（LLM）工具，可以在 Microsoft Foundry 模型中使用广泛使用的大型语言模型，或者 Azure AI 模型推理 API 支持的任何语言模型，以便进行自然语言处理。

提示流提供多个大型语言模型 API：

  • 完成：OpenAI 的完成模型根据提供的提示生成文本。
  • 聊天：OpenAI 的聊天模型和 Azure AI 聊天模型通过基于文本的输入和响应促进交互式对话。

嵌入 API 在 LLM 工具中不可用。 使用 嵌入工具 通过 OpenAI 或 Azure OpenAI 生成嵌入内容。

Note

提示流中的 LLM 工具不支持推理模型（如 OpenAI o1 或 o3）。 出于推理模型集成，请使用 Python 工具直接调用模型 API。 有关详细信息，请参阅 从 Python 工具调用推理模型。

Prerequisites

创建 OpenAI 资源：

Connections

在提示流中设置与预配资源的连接。

类型 Name API 密钥 API 类型 API 版本
OpenAI Required Required - -
Azure OpenAI - API 密钥 Required Required Required Required
Azure OpenAI - Microsoft Entra ID Required - - Required
无服务器模型 Required Required - -

Tip

Inputs

以下部分显示了各种输入。

文本补全

Name 类型 Description Required
提示 字符串 语言模型的文本提示。 Yes
model、deployment_name 字符串 要使用的语言模型。 Yes
max_tokens 整数 完成时要生成的令牌的最大数目。 默认值为 16。 No
temperature float 所生成文本的随机性。 默认值为 1。 No
stop list 所生成文本的停止序列。 默认值为 null。 No
suffix 字符串 追加到完成末尾的文本。 No
top_p float 使用所生成令牌中首选项的概率。 默认值为 1。 No
logprobs 整数 要生成的对数概率数。 默认值为 null。 No
echo boolean 指示是否在响应中回显提示的值。 默认值为 false。 No
presence_penalty float 用于控制模型重复短语的行为的值。 默认为 0。 No
frequency_penalty float 用于控制模型生成罕见短语的行为的值。 默认为 0。 No
best_of 整数 要生成的最佳完成次数。 默认值为 1。 No
logit_bias 字典 语言模型的 Logit 偏差。 默认值为空字典。 No

Chat

Name 类型 Description Required
提示 字符串 语言模型用于响应的文本提示。 Yes
model、deployment_name 字符串 要使用的语言模型。 如果模型部署到标准部署，则不需要此参数。 Yes*
max_tokens 整数 要在响应中生成的最大令牌数。 默认为 inf。 No
temperature float 所生成文本的随机性。 默认值为 1。 No
stop list 所生成文本的停止序列。 默认值为 null。 No
top_p float 使用所生成令牌中首选项的概率。 默认值为 1。 No
presence_penalty float 用于控制模型重复短语的行为的值。 默认为 0。 No
frequency_penalty float 用于控制模型生成罕见短语的行为的值。 默认为 0。 No
logit_bias 字典 语言模型的 Logit 偏差。 默认值为空字典。 No

Outputs

API 返回类型 Description
Completion 字符串 一个预测完成的文本
Chat 字符串 对话的一个响应的文本

使用 LLM 工具

  1. 设置并选择与 OpenAI 资源或标准部署的连接。
  2. 配置大型语言模型 API 及其参数。
  3. 使用 指导准备提示。
  • Last updated on