정확도 차트를 사용하면 새 데이터 집합에 모델을 적용한 다음 모델이 얼마나 잘 수행되는지 평가할 수 있습니다. 이 마법사에서 만든 정확도 차트는 리프트 차트로, 데이터 마이닝 모델의 정확도를 측정하는 데 자주 사용되는 차트 유형입니다. 이 유형의 정확도 차트는 임의 예측과 비교하여 지정된 데이터 마이닝 모델을 사용하여 얻은 향상된 기능과 예측의 100%가 정확한 이상적인 경우에 대한 그래픽 표현을 표시합니다. 단일 차트 내에서 여러 모델을 비교할 수 있습니다.
예시
Adventure Works Cycles의 마케팅 부서에서 대상 메일링 캠페인을 만들려고 하는 경우를 고려합니다. 과거 캠페인에서 10%의 응답률이 일반적이라는 것을 알고 있습니다. 데이터베이스의 테이블에 저장된 10,000명의 잠재 고객 목록이 있습니다. 일반적인 응답 속도에 따라 1,000명의 고객이 응답할 것으로 예상할 수 있습니다.
그러나 5,000명의 고객에게만 광고를 우편으로 발송할 수 있기 때문에 마케팅 부서는 마이닝 모델을 사용하여 응답할 가능성이 가장 큰 5,000명의 고객을 대상으로 합니다.
회사에서 무작위로 5,000명의 고객을 선택하는 경우 대상 고객의 10%만이 일반적으로 응답하기 때문에 500개의 긍정적인 응답만 받을 것으로 예상할 수 있습니다. 이 시나리오는 리프트 차트의 임의 선이 나타내는 것입니다.
그러나 마케팅 부서가 마이닝 모델을 사용하여 메일링을 대상으로 하는 경우 모델이 완벽할 경우 이 회사는 모델에서 권장하는 1,000명의 잠재 고객에게 광고를 우편으로 발송하여 1,000개의 응답을 받을 것으로 예상할 수 있습니다. 이 시나리오는 리프트 차트의 이상적인 선으로 표시됩니다.
정확도 차트 마법사 사용
정확도 차트를 만들려면 기존 데이터 마이닝 구조를 참조해야 합니다. 동일한 것을 예측하는 한 해당 구조를 기반으로 하는 여러 모델의 정확도를 측정할 수 있습니다.
사용할 수 있는 구조물이 무엇인지 잘 모르는 경우, 서버를 탐색할 수 있습니다. 자세한 내용은 Excel에서 모델 찾아보기(SQL Server 데이터 마이닝 추가 기능)를 참조하세요.
정확도 차트를 만들려면
데이터 마이닝 클라이언트 리본을 클릭합니다.
정확도 및 유효성 검사 그룹에서 정확도 차트를 클릭합니다.
구조 또는 모델 선택 대화 상자에서 평가할 모델을 선택합니다. 다음을 클릭합니다.
비고
테스트하려는 데이터와 밀접하게 일치하는 모델을 선택해야 합니다.
예측할 열 지정 및 예측할 값 대화 상자에서 예측하려는 열과 적절한 경우 대상 값을 선택합니다. 다음을 클릭합니다.
예를 들어 위의 예제에서 고객 응답을 모델로 하는 열을 선택하고 대상 값을 "아마도 구매할 것"으로 지정할 수 있습니다.
비고
연속 값을 예측할 수 없습니다. 그러나 값을 불연속 범위로 구분하여 열을 불연속화할 수 있습니다. 데이터 마이닝 모델을 만들기 전에 이 작업을 수행해야 합니다.
원본 데이터 선택 대화 상자에서 예측을 만들기 위해 모델을 통과할 데이터의 원본을 지정합니다.
모델과 함께 저장된 테스트 데이터가 아닌 외부 데이터 원본을 사용하는 경우 관계 지정 대화 상자에서 새 원본 데이터의 열을 데이터 마이닝 모델에 사용되는 열에 매핑합니다.
열 이름이 비슷한 경우 마법사에서 자동으로 매핑됩니다. 입력 데이터의 일부 열은 분석과 관련이 없으며 무시될 수 있지만 데이터 마이닝 모델이 입력을 처리하려면 일부 열이 필요합니다. 이러한 열에는 트랜잭션 ID, 대상 값 또는 예측에 사용되는 열이 포함될 수 있습니다. 필요한 열을 매핑하지 못하면 마법사에서 경고 메시지를 제공합니다.
완료를 클릭합니다.
마법사는 리프트 차트와 기본 데이터를 포함하는 보고서를 만듭니다.
요구 사항
불연속 값을 예측하는 경우 예측하려는 대상 값을 선택해야 합니다. 예를 들어 데이터가 응답 "예: 구입"을 1로 분류하고 응답 "아니요: 구입 안 함"을 2로 분류하는 경우 1 또는 2를 예측 값으로 지정해야 합니다. 그러나 값 범위를 예측하려는 경우 한 번에 두 값만 비교할 수 있습니다. 예를 들어 5를 초과하는 점수를 예측하려면 원본 데이터의 레이블을 다시 지정하고 결과를 5보다 큰 집합과 5보다 작은 두 집합으로 구분하는 새 모델을 만들어야 할 수 있습니다. 그런 다음 이 두 그룹의 정확도를 비교할 수 있습니다.
정확도 이해
예측 가능한 열의 상태를 지정하는 차트와 상태를 지정하지 않는 차트의 두 가지 유형을 만들 수 있습니다.
예측 가능한 열의 상태를 지정하는 경우 차트의 x축은 예측을 비교하는 데 사용되는 테스트 데이터 세트의 백분율을 나타냅니다. 차트의 y축은 지정된 상태로 예측되는 값의 백분율을 나타냅니다.
예측 가능한 열의 상태를 지정하지 않으면 차트에 가능한 모든 예측에 대한 모델의 정확도가 표시됩니다.
리프트 차트의 작동 방식과 임의 및 이상적인 예측 선을 기반으로 정확도를 계산하는 방법에 대한 자세한 내용은 SQL Server 온라인 설명서의 "리프트 차트" 항목을 참조하세요.