사용자 지정 NER 모델의 평가 및 세부 정보 보기

모델 학습이 완료되면 모델 성능을 보고 테스트 집합의 문서에 대해 추출된 엔터티를 볼 수 있습니다.

필수 구성 요소

모델 평가를 보기 전에 다음 항목이 필요합니다.

• 구성된 Azure Blob 스토리지 계정을 사용하여 성공적으로 만들어진 프로젝트
• 스토리지 계정에 업로드된 텍스트 데이터입니다.
• 레이블이 지정된 데이터
• 성공적으로 학습된 모델

자세한 내용은 프로젝트 개발 수명 주기를 참조하세요.

모델 세부 정보(REST API)

다음 URL, 헤더 및 JSON 본문을 사용하여 GET 요청을 제출하여 학습된 모델 평가 요약을 가져옵니다.

요청 URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

headers

다음 헤더를 사용하여 요청을 인증합니다.

응답 본문

요청을 보내면 다음 응답이 표시됩니다.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

모델 데이터 로드 또는 내보내기(REST API)

모델 데이터 로드

다음 URL, 헤더 및 JSON 본문을 사용하여 POST 요청을 만들어 모델 데이터를 프로젝트에 로드합니다.

요청 URL

API 요청을 만들 때 다음 URL을 사용합니다. 자리 표시자 값을 사용자 고유의 값으로 바꿉니다.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

headers

다음 헤더를 사용하여 요청을 인증합니다.

API 요청을 보내면 성공을 나타내는 응답을 받게 됩니다 202 . 응답 헤더에서 다음과 같이 형식이 operation-location 지정된 값을 추출합니다.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

이 작업은 비동기식이므로 JOB-ID은 요청을 식별하는 데 사용됩니다. 이 URL을 사용하여 동일한 인증 방법을 사용하여 모델 데이터 로드 상태를 가져옵니다.

모델 데이터 내보내기

다음 URL, 헤더 및 JSON 본문을 사용하여 POST 요청을 만들어 모델 데이터를 내보냅니다.

요청 URL

API 요청을 만들 때 다음 URL을 사용합니다. 자리 표시자 값을 사용자 고유의 값으로 바꿉니다.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

headers

다음 헤더를 사용하여 요청을 인증합니다.

API 요청을 보내면 성공을 나타내는 응답을 받게 됩니다 202 . 응답 헤더에서 다음과 같이 형식이 operation-location 지정된 값을 추출합니다.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

이 작업은 비동기식이므로 JOB-ID은 요청을 식별하는 데 사용됩니다. 이 URL을 사용하여 동일한 인증 방법을 사용하여 내보낸 프로젝트 JSON을 가져옵니다.

모델 삭제(REST API)

다음 URL, 헤더, JSON 본문을 사용하여 DELETE 요청을 만들어 학습된 모델을 삭제합니다.

요청 URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

headers

다음 헤더를 사용하여 요청을 인증합니다.

API 요청을 보내면 성공을 나타내는 응답을 받게 204 됩니다. 즉, 학습된 모델이 삭제됩니다.

다음 단계

• 모델 배포
• 평가에 사용되는 메트릭에 대해 알아봅니다.