Foundry Tools 中的 Azure 内容理解中的预生成分析器

Foundry 工具中的 Azure 内容理解预构建分析器提供了一组针对特定领域的丰富提取功能。 这些预生成分析器超出了预定义架构。 它们由成千上万的真实文档示例丰富的知识库提供支持。 这意味着它们不只是提取数据。 他们了解信息的结构和使用方式，以适应每种内容类型的细微差别。

预生成分析器是随时可用的工具，可简化常见的内容处理任务。 可以在搜索和检索扩充生成（RAG）工作流中使用它们进行内容引入。 还可以将其用于智能文档处理（IDP），以便从发票中提取数据或分析呼叫中心记录。 这些分析器还可以在代理流中用作从输入文件中提取结构化表示形式的工具。 还可以 自定义这些分析器 以提取其他字段或优化输出，以更好地满足特定的工作流要求。

分析器类型

内容理解提供了多个类别的分析器来支持不同的方案：

• 内容提取分析器 - 专注于 OCR 和布局分析，具有渐进式丰富的提取功能，用于基本文本提取、布局分析和条形码检测。
• 基本分析器 - 每个形式的基本内容处理功能，在为文档、图像、音频和视频内容创建自定义分析器时用作父分析器。
• RAG 分析器 - 针对检索扩充的生成方案进行了优化，对文档引入、搜索应用程序和知识库进行语义分析和 Markdown 提取。
• 特定于域的分析器 - 针对常见文档类别的预配置分析器，具有用于发票处理、税务表单、ID 验证、抵押贷款文档和合同的专用字段提取。
• 实用工具分析器 - 用于架构生成和字段提取的专用工具，用于发现文档结构和提取键值对。

内容提取分析器

内容提取分析器侧重于光学字符识别和布局分析。 这些分析器构建于prebuilt-document之上，提供逐渐丰富的提取功能。

prebuilt-read

• 从文档中提取各种内容元素，例如单词、段落、公式和条形码
• 提供基本的光学字符识别（OCR）功能
• 不进行布局分析的文本基础提取

此预生成不需要大型语言模型（LLM）或嵌入模型

prebuilt-layout

• 从文档中提取各种内容和布局元素，例如字词、图形、段落和表格
• 标识文档结构，包括章节和格式
• 提取嵌入在文档中的超链接
• 捕获数字 PDF 中的批注（如突出显示、下划线和删除线）
• 提供基本文本提取之外的详细布局信息
• 检测所有图形类型，包括图表、图表、图片、图标和其他提供位置信息的图像（仅 PDF 文件）

此预生成不需要大型语言模型（LLM）或嵌入模型

基本分析器

基本分析器提供特定于内容类型的基本内容处理功能。 它们主要用作创建自定义分析器时的继承父项。 创建自定义分析器时，可以使用 baseAnalyzerId 属性包括其中一个基本分析器。

• prebuilt-audio - 基本音频处理
• prebuilt-document - 基本文档处理
• prebuilt-image - 基本图像处理
• prebuilt-video - 基本视频处理

检索增强生成 (RAG) 分析器

内容理解提供了一组针对检索扩充生成（RAG）方案进行优化的分析器。 这些分析器提取布局为 markdown 的内容，并执行语义分析，以提高下游应用程序的检索质量。

prebuilt-documentSearch

• 从文档中提取各种内容和布局元素，例如段落、表格和图形
• 提供详细的图形说明，包括对图像、图表和示意图的文字解释¹
• 分析图表和图形，并提供结构化输出，图表采用 chart.js 格式，图形采用 mermaid.js 格式¹
• 捕获文档上的手写批注和标记
• 生成整个文档内容的一段摘要
• 支持 各种文件格式 ，包括 PDF、图像、Office 文档和文本文件
• 推荐用于 RAG 工作流中的文档引入

¹ 图分析仅支持 PDF 和图像文件格式。

prebuilt-imageSearch

• 分析图像以生成说明和见解
• 生成图像内容的一段文字说明
• 提取用于搜索和检索应用程序的视觉内容

prebuilt-audioSearch

• 从音频和视频文件转录对话
• 生成对话内容的一段摘要
• 支持多种区域设置，用于国际内容处理
• 针对聊天分析和内容提取进行了优化

prebuilt-videoSearch

• 分析视频以提取每个段的脚本和说明
• 根据主题转移、场景更改或视觉提示自动将视频细分为有意义的部分
• 为每个片段生成关于人物、地点和行动的详细摘要
• 支持场景拆分和全面的视频内容分析
• 提供文字记录提取并提供上下文段落说明

域特定分析器

特定于域的分析器已针对常用行业中的常见文档类别进行了预配置。 这些分析器为特定文档类型和格式提供专门的字段提取，由真实示例丰富的知识库提供支持。

关键类别包括：

• 财务和税务：从发票、收据、银行帐单、信用卡账单和包括 1040、W-2、1099 变体和 1098 系列在内的美国综合税单中提取结构化数据。 优化的架构捕获金额、日期、税务标识符和财务实体。 请参阅下面的 财务文档 和 税务文档 部分。
• 身份验证：处理来自多个国家/地区的护照、驾照、身份证、医疗保险卡和身份文件，并使用prebuilt-idDocument及相关分析器进行分析。 提取个人信息、文档编号和验证详细信息，并支持全球格式。 请参阅下面的 标识文档 部分。
• 抵押贷款：自动提取美国抵押贷款申请（第1003表）、评估报告（第1004表）、就业核查（第1005表）和结算披露。 捕获借款人的详细信息、财产信息、贷款条款和财务披露。 请参阅下面的 抵押贷款文档 部分。
• 采购和合同：处理采购订单、合同、采购文档和信用备忘录，以提取供应商信息、行项、定价、条款和合同义务。 请参阅下面的采购文档和法律和业务文档部分。
• 实用工具和计费：从各行业的公用事业账单、发票和计费帐单中提取结构化数据，捕获帐户信息、使用情况详细信息和付款数据。 请参阅下面的财务文档和其他专用分析器部分。

请参阅本文末尾 特定于域的分析器的完整列表 。

公用事业分析仪

实用工具分析器为架构生成和字段提取提供专用功能。

prebuilt-documentFieldSchema

• 分析文档以建议适当的字段架构
• 用于发现新文档类型中的结构

prebuilt-documentFields

• 从文档中提取键值对
• 当输入与任何预定义架构不匹配时（例如， prebuilt-idDocument）由特定于域的分析器在内部使用

使用预构建分析器

若要使用预生成分析器分析内容，请向分析终结点发出 POST 请求：

POST /analyzers/prebuilt-idDocument:analyze

请将 prebuilt-idDocument 替换为适合您方案的分析器 ID。

自定义预生成分析器

可以使用任何预生成的分析器作为模板来创建更符合特定需求的自定义分析器。

获取分析器定义

检索预构建分析器的配置和架构：

GET /analyzers/prebuilt-idDocument

响应返回具有字段架构和配置选项的 JSON 定义。 可以编辑此定义并根据它创建自己的分析器。

从模板创建自定义分析器

检索和修改分析器定义后：

PUT /analyzers/prebuilt-myIdDocument

在请求正文中包含修改的分析器定义。 有关详细说明 ，请参阅创建自定义分析器 。

锁定分析器行为

预生成分析器的定义可能会在下一个 API 版本的内容理解中更改。 若要创建一个不随 API 更新而改变的预构建分析器的稳定副本，请按如下所示调用复制操作：

POST /analyzers/myIdDocument:copy
{
  "source": "prebuilt-idDocument"
}

此操作会创建一个新的分析器，其固定定义是在复制操作时从预构建分析器复制的。

域特定分析器参考

以下部分列出了所有可用于专用文档处理的域特定分析器。 借助这些预生成模型，可以将智能域特定的文档处理添加到应用和流，而无需训练和生成自己的模型。

有关支持的文件格式和输入要求的信息，请参阅 服务限制。

财务文档

• prebuilt-invoice - 发票、公用事业帐单、销售订单、采购订单
• prebuilt-receipt - 零售和餐饮机构的销售收入
• prebuilt-receipt.generic - 常规销售收据
• prebuilt-receipt.hotel - 酒店收据和账单
• prebuilt-creditCard - 信用卡声明
• prebuilt-creditMemo - 信用备忘录和退款文档
• prebuilt-check.us - 美国银行支票
• prebuilt-bankStatement.us - 美国银行对账单

身份证明文件

• prebuilt-idDocument - 驾照、身份证（ID）、居住证、护照（全球）、社会保障卡（美国）、军身份证（美国）、潘卡（印度）、阿达尔卡（印度）
• prebuilt-idDocument.generic - 来自不同区域的通用标识文档
• prebuilt-idDocument.passport - 护照书籍和护照卡（全球）
• prebuilt-healthInsuranceCard.us - 美国医疗保险卡

税务文件（美国）

所得税表

• prebuilt-tax.us - 美国一般税单
• prebuilt-tax.us.1040 - 表单 1040 （美国个人所得税申报表）
• prebuilt-tax.us.1040Senior - 高级纳税人的 1040 表单
• prebuilt-tax.us.1040Schedule1 - 额外收入和收入调整
• prebuilt-tax.us.1040Schedule2 - 其他税款
• prebuilt-tax.us.1040Schedule3 - 其他学分和付款
• prebuilt-tax.us.1040Schedule8812 - 符合条件的儿童积分
• prebuilt-tax.us.1040ScheduleA - 分项扣除
• prebuilt-tax.us.1040ScheduleB - 利息和普通股息
• prebuilt-tax.us.1040ScheduleC - 业务利润或亏损
• prebuilt-tax.us.1040ScheduleD - 资本收益和损失
• prebuilt-tax.us.1040ScheduleE - 补充收入和损失
• prebuilt-tax.us.1040ScheduleEIC - 赚取的收入信贷
• prebuilt-tax.us.1040ScheduleF - 农业的利润或损失
• prebuilt-tax.us.1040ScheduleH - 家庭就业税
• prebuilt-tax.us.1040ScheduleJ - 农民收入平均
• prebuilt-tax.us.1040ScheduleR - 老年人或残疾人信贷
• prebuilt-tax.us.1040ScheduleSE - 个体经营税

1099 表单变体

• prebuilt-tax.us.1099Combo - 合并的 1099 表单
• prebuilt-tax.us.1099A - 收购或放弃安全财产
• prebuilt-tax.us.1099B - 中转站和易货交换交易收益
• prebuilt-tax.us.1099C - 取消债务
• prebuilt-tax.us.1099CAP - 公司控制和资本结构的变化
• prebuilt-tax.us.1099DA - 止赎债务注销
• prebuilt-tax.us.1099DIV - 股息和分配
• prebuilt-tax.us.1099G - 某些政府付款
• prebuilt-tax.us.1099H - 医疗保险税收抵免预付
• prebuilt-tax.us.1099INT - 利息收入
• prebuilt-tax.us.1099K - 支付卡和第三方网络交易
• prebuilt-tax.us.1099LS - 可报告人寿保险销售
• prebuilt-tax.us.1099LTC - 长期护理福利
• prebuilt-tax.us.1099MISC - 杂项收入
• prebuilt-tax.us.1099NEC - 非雇员补偿
• prebuilt-tax.us.1099OID - 原始发行折扣
• prebuilt-tax.us.1099PATR - 来自合作社的应纳税分配
• prebuilt-tax.us.1099Q - 来自合格教育计划的付款
• prebuilt-tax.us.1099QA - 来自 ABLE 帐户的支出
• prebuilt-tax.us.1099R - 养老金和年金的分配
• prebuilt-tax.us.1099S - 房地产交易收益
• prebuilt-tax.us.1099SA - 健康储蓄帐户（HSA）或医疗储蓄帐户（MSA）的分布
• prebuilt-tax.us.1099SB - 卖方在人寿保险合同中的投资
• prebuilt-tax.us.1099SSA - 社会保障权益声明

表单 1098 变体

• prebuilt-tax.us.1098 - 抵押贷款利息声明
• prebuilt-tax.us.1098E - 学生贷款利息表
• prebuilt-tax.us.1098T - 学费声明

表单 1095 变体

• prebuilt-tax.us.1095A - 健康保险市场声明
• prebuilt-tax.us.1095C - 雇主提供的医疗保险

就业税表

• prebuilt-tax.us.w2 - 工资和税务申报表
• prebuilt-tax.us.w4 - 员工预扣税单

抵押贷款文件（美国）

• prebuilt-mortgage.us - 通用的美国抵押贷款文件
• prebuilt-mortgage.us.1003 - 统一住宅贷款申请
• prebuilt-mortgage.us.1004 - 统一住宅评估报告
• prebuilt-mortgage.us.1005 - 就业验证
• prebuilt-mortgage.us.1008 - 统一承保和传输摘要
• prebuilt-mortgage.us.closingDisclosure - 成交披露

法律和业务文档

• prebuilt-contract - 业务合同和协议
• prebuilt-marriageCertificate.us - 美国结婚证

采购文档

• prebuilt-procurement - 采购订单、发票和采购相关文档
• prebuilt-purchaseOrder - 采购订单表单

其他专用分析器

• prebuilt-payStub.us - 美国薪酬存根和收入报表
• prebuilt-utilityBill - 公用事业账单（电力、水、天然气、互联网、电话）

后续步骤

• 使用 REST API 试用预生成分析器
• 自定义预生成分析器