使用图像分析的特征和限制

图像分析服务是 Foundry 工具的一部分，提供预生成的 AI 功能，这些功能是图像处理应用程序的基本构建基块。 在本部分中，你将了解图像分析的准确性，以及如何评估特定用例和应用程序的准确性。

图像分析的准确性

图像分析功能的准确性是衡量 AI 生成的输出与图像中存在的实际视觉内容的对应程度。 例如，图像标记功能应生成图像中存在的视觉内容的标记。 若要测量准确性，可以使用地面真实数据评估图像，并比较 AI 模型的输出。 将基本事实与 AI 生成的结果进行比较，可以将事件分类为两种正确（或“true”）结果和两种不正确的（或“false”）结果。

然后，上述类别用于计算精度和召回率。

精度和召回率定义意味着在某些情况下，很难同时优化这两者。 根据具体的方案，可能需要将一个方案优先于另一个方案。 例如，如果你正在开发一个解决方案来仅检测内容中最准确的标记/标签，例如显示图像搜索结果，则需要针对更高的精度进行优化。 但是，如果尝试标记图像中所有可能的视觉内容进行索引编制或内部编录，则需要针对更高的召回率进行优化。

作为图像处理系统所有者，建议收集基本事实评估数据，这是由人工评委收集和标记的数据来评估系统。 Foundry Tools 中的 Azure 视觉中提供的预建 AI 模型可能无法满足用例的要求。 使用特定于用例的评估数据集，可以就预生成的图像分析模型是否适合你的用例做出明智的决策。 还可以使用数据来确定置信度阈值如何影响目标的实现。

可以将地实标签与系统的输出进行比较，以建立总体准确性和错误率，错误分布有助于为方案设置正确的阈值。 地面事实评估数据应包括对代表性图像的充分采样，以便你可以了解性能差异并采取纠正措施。 根据此评估的结果，可以迭代调整阈值，直到精度和召回之间的权衡满足目标。

基于场景的系统性能影响

系统性能影响可能因使用方式而异。 例如，你可以使用置信度值为你的内容和场景校准自定义阈值，以便将内容直接处理或转发到人工干预的流程。 测量结果根据精度和召回指标确定场景特定的准确度，如以下示例所示。

• 照片共享应用： 可以使用图像分析为应用程序用户共享和存储的图像自动生成标记。 应用用户利用此功能搜索其他用户共享的特定照片。 在此用例中，开发人员可能更喜欢高精度结果，因为错误提取标记的成本会导致应用用户的查询结果不正确。

• 图像处理： 在保险和索赔处理应用程序中，由于您不想错过任何潜在信息，因此可能更倾向于使用高召回率来优化信息提取。 在这种情况下，人工审阅者可能会标记不正确或不当的标记。

一般准则

以下指南可帮助你了解和改进图像分析 API 的性能：

• 图像分析支持满足以下要求的图像：

  • 图像必须以 JPEG、PNG、GIF 或 BMP 格式显示
  • 图像的文件大小必须不到 4 兆字节 (MB)
  • 图像的尺寸必须大于 50 x 50 像素。有关详细信息，请参阅 图像要求。

• 尽管图像分析具有弹性，但分辨率、光线曝光、对比度和图像质量等因素可能会影响结果的准确性。 请参阅产品规格并在图像上测试 Azure Vision，以验证适合你的情况。

• 在大规模部署或推出任何图像分析系统之前，系统所有者应在系统使用的环境中进行评估阶段，并与将与系统进行交互的人一起进行。 这将确保系统准确性，并帮助你采取措施来提高系统准确性（如果适用）。

• 构建一个反馈渠道，供人员根据系统输出进行决策，包括依赖图像分析功能的用户满意度信息，以及来自现有客户语音渠道的反馈。 这将帮助你微调系统并提高准确性。

• AI 为每个预测输出提供置信度分数。 置信度分数将预测的准确性表示为百分比。 例如，你可以为系统设置最小置信度阈值，以便自动为照片添加标题。 如果生成的字幕置信度分数低于阈值，则会转发该分数以供进一步审查。

后续步骤

• 透明度说明
• 图像分析的负责任部署
• 图像分析概述
• 快速入门：图像分析用例开发
• 图像分析的数据、隐私和安全性