次の方法で共有

カスタム NER モデルの評価と詳細を表示する

モデルのトレーニングが完了したら、モデルのパフォーマンスを表示し、テスト セット内のドキュメントの抽出されたエンティティを確認できます。

注意

[トレーニング データからテスト セットを自動的に分割する] オプションを使用すると、テスト セットがデータからランダムに選択されるため、新しいモデルをトレーニングするたびにモデル評価の結果が異なる可能性があります。 モデルをトレーニングするたびに同じテスト セットで評価が計算されるようにするには、トレーニング ジョブの開始時にトレーニング データとテスト データの手動分割を使用するオプションを使用し、データのラベル付け時にテスト ドキュメントを定義してください。

前提条件

モデルの評価を表示する前に、次のものが必要です。

詳細については、プロジェクト開発ライフサイクルを参照してください。

モデルの詳細 (REST API)

トレーニング済みのモデル評価の概要を取得するには、次の URL、ヘッダー、JSON 本文を使用して GET 要求を送信します。

要求 URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}
プレースホルダー 値 例
{ENDPOINT} API 要求を認証するためのエンドポイント。 https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} プロジェクトの名前。 この値は、大文字と小文字が区別されます。 myProject
{trainedModelLabel} トレーニング済みモデルの名前。 この値は、大文字と小文字が区別されます。 Model1
{API-VERSION} 呼び出している API のバージョン。 詳細については、「モデルのライフサイクル」を参照してください。 2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key 値
Ocp-Apim-Subscription-Key リソースへのキー。 API 要求の認証に使われます。

応答本文

要求を送信すると、次の応答が返されます。

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

モデル データの読み込みまたはエクスポート (REST API)

モデル データを読み込む

モデル データをプロジェクトに読み込むには、次の URL、ヘッダー、JSON 本文を使って POST 要求を作成します。

要求 URL

API 要求を作るときは、次の URL を使います。 プレースホルダーの値をあなた自身の値に置き換えてください。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}
プレースホルダー 値 例
{ENDPOINT} API 要求を認証するためのエンドポイント。 https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} プロジェクトの名前。 この値は、大文字と小文字が区別されます。 EmailApp
{API-VERSION} 呼び出している API のバージョン。 2022-10-01-preview
{MODEL-NAME} モデルの名前。 この値は、大文字と小文字が区別されます。 v1

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key 値
Ocp-Apim-Subscription-Key リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 202 応答を受け取ります。 応答ヘッダーで、次のように書式設定された operation-location 値を抽出します。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

この操作は非同期であるため、JOB-ID を使って要求が識別されます。 この URL を使用し、同じ認証方法を使用して、モデル データの読み込みの状態を取得します。

モデル データをエクスポートする

モデル データをエクスポートするには、次の URL、ヘッダー、JSON 本文を使って POST 要求を作成します。

要求 URL

API 要求を作るときは、次の URL を使います。 プレースホルダーの値をあなた自身の値に置き換えてください。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}
プレースホルダー 値 例
{ENDPOINT} API 要求を認証するためのエンドポイント。 https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} プロジェクトの名前。 この値は、大文字と小文字が区別されます。 EmailApp
{API-VERSION} 呼び出している API のバージョン。 2022-10-01-preview
{MODEL-NAME} モデルの名前。 この値は、大文字と小文字が区別されます。 v1

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key 値
Ocp-Apim-Subscription-Key リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 202 応答を受け取ります。 応答ヘッダーで、次のように書式設定された operation-location 値を抽出します。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

この操作は非同期であるため、JOB-ID を使って要求が識別されます。 同じ認証方法を使用し、エクスポートされたプロジェクトの JSON をこの URL を使用して取得します。

モデルの削除 (REST API)

トレーニング済みのモデルを削除するには、次の URL、ヘッダー、JSON 本文を使って DELETE 要求を作成します。

要求 URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}
プレースホルダー 値 例
{ENDPOINT} API 要求を認証するためのエンドポイント。 https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME} プロジェクトの名前。 この値は、大文字と小文字が区別されます。 myProject
{trainedModelLabel} モデルの名前。 この値は、大文字と小文字が区別されます。 model1
{API-VERSION} 呼び出している API のバージョン。 参照される値は、リリースされた最新バージョン用です。 詳細については、「モデルのライフサイクル」を参照してください。 2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key 値
Ocp-Apim-Subscription-Key リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 204 応答が返されます。これは、トレーニング済みのモデルが削除されていることを意味します。

次のステップ

  • Last updated on