사용자 지정 텍스트 분류 모델을 학습하는 방법

학습은 모델이 레이블이 지정된 데이터에서 학습하는 프로세스입니다. 학습이 완료되면 모델의 성능을 확인하여 모델을 개선해야 하는지 여부를 확인할 수 있습니다.

모델을 학습시키려면 학습 작업을 시작합니다. 성공적으로 완료된 작업만 사용 가능한 모델을 만듭니다. 학습 작업은 7일 후에 만료됩니다. 이 기간이 지나면 작업 세부 정보를 검색할 수 없습니다. 학습 작업이 성공적으로 완료되고 모델을 만든 경우 작업 만료는 영향을 받지 않습니다. 한 번에 하나의 학습 작업만 실행할 수 있으며, 동일한 프로젝트에서 다른 작업을 시작할 수 없습니다.

데이터 세트 크기 및 스키마의 복잡성에 따라 학습 시간은 몇 분에서 몇 시간까지 달라질 수 있습니다.

필수 구성 요소

모델을 학습시키려면 먼저 다음이 필요합니다.

• 구성된 Azure Blob Storage 계정으로 성공적으로 만들어진 프로젝트이며,
• 스토리지 계정에 업로드되는 텍스트 데이터입니다.
• 레이블이 지정된 데이터

프로젝트 개발 수명 주기를 참조하세요.

데이터 분할

학습 프로세스를 시작하기 전에 프로젝트의 레이블이 지정된 문서는 학습 세트와 테스트 세트로 나뉩니다. 각각 다른 기능을 제공합니다. 학습 집합은 모델을 학습하는 데 사용되며 모델은 각 문서에 할당된 클래스/클래스를 학습합니다. 테스트 세트는 학습 중이 아니라 평가 중에만 도입되는 블라인드 세트입니다. 모델을 성공적으로 학습한 후에는 테스트 집합의 문서에서 예측을 수행할 수 있습니다. 이러한 예측에 따라 모델의 평가 메트릭이 계산됩니다. 모든 클래스가 학습 및 테스트 집합 모두에서 적절하게 표현되도록 하는 것이 좋습니다.

사용자 지정 텍스트 분류는 두 가지 데이터 분할 방법을 지원합니다.

• 테스트 집합을 학습 데이터에서 자동으로 분할: 선택한 비율에 따라 시스템이 학습 및 테스트 집합 간에 레이블이 지정된 데이터를 분할합니다. 시스템은 학습 집합에 있는 모든 클래스의 표현을 시도합니다. 권장되는 분할 백분율은 학습용으로 80%, 테스트용으로 20%입니다.

• 학습 및 테스트 데이터에 대한 수동 분할 사용: 이 방법을 사용하면 사용자가 특정 레이블이 지정된 문서가 속해야 하는 세트를 정의할 수 있습니다. 이 단계는 데이터 레이블 지정 중에 테스트 집합에 문서를 추가한 경우에만 사용하도록 설정됩니다.

REST API를 사용하여 모델 학습

학습 작업 시작

학습 작업을 제출하려면 다음 URL, 헤더 및 JSON 본문을 사용하여 POST 요청을 제출합니다. 자리 표시자 값을 사용자 고유의 값으로 바꿉니다.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

headers

다음 헤더를 사용하여 요청을 인증합니다.

요청 본문

요청 본문에서 다음 JSON을 사용합니다. 학습이 완료되면 모델이 {MODEL-NAME}으로 지정됩니다. 성공적인 학습 작업만 모델을 생성합니다.

{
	"modelLabel": "{MODEL-NAME}",
	"trainingConfigVersion": "{CONFIG-VERSION}",
	"evaluationOptions": {
		"kind": "percentage",
		"trainingSplitPercentage": 80,
		"testingSplitPercentage": 20
	}
}

API 요청을 보내면 작업이 올바르게 제출되었음을 나타내는 응답을 받게 됩니다 202 . 응답 헤더에서 다음과 같이 형식이 location 지정된 값을 추출합니다.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

이 작업은 비동기이므로 {JOB-ID}가 요청을 식별하는 데 사용됩니다. 이 URL을 사용하여 학습 상태를 가져올 수 있습니다.

학습 작업 상태 가져오기

학습 데이터 크기와 스키마 복잡성에 따라 학습에 시간이 다소 걸릴 수 있습니다. 다음 요청을 사용하여 성공적으로 완료될 때까지 학습 작업의 상태를 계속 폴링할 수 있습니다.

다음 GET 요청을 사용하여 모델의 학습 진행률에 대한 상태를 가져옵니다. 자리 표시자 값을 사용자 고유의 값으로 바꿉니다.

요청 URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

headers

다음 헤더를 사용하여 요청을 인증합니다.

응답 본문

요청을 보내면 다음 응답이 표시됩니다.

{
  "result": {
    "modelLabel": "{MODEL-NAME}",
    "trainingConfigVersion": "{CONFIG-VERSION}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "{JOB-ID}",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

REST API를 사용하여 학습 작업 취소

다음 URL, 헤더 및 JSON 본문을 사용하여 학습 작업을 취소하는 POST 요청을 만듭니다.

요청 URL

API 요청을 만들 때 다음 URL을 사용합니다. 자리 표시자 값을 사용자 고유의 값으로 바꿉니다.

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}/:cancel?api-version={API-VERSION}

headers

다음 헤더를 사용하여 요청을 인증합니다.

API 요청을 보낸 후 작업 상태를 확인하는 데 사용되는 헤더가 포함된 Operation-Location 202 응답을 받게 됩니다.

다음 단계

학습이 완료되면 필요에 따라 모델을 개선하기 위해 모델의 성능을 볼 수 있습니다. 모델이 만족스러우면 배포하여 텍스트 분류에 사용할 수 있습니다.