NER(사용자 지정 명명된 엔터티 인식)는 기계 학습을 사용하여 고유한 엔터티 인식 요구 사항에 맞게 설계된 모델을 빌드하는 데 도움이 되는 클라우드 기반 API 서비스입니다. Foundry 도구의 Azure 언어를 통해 사용할 수 있는 특수 기능 중 하나입니다. 사용자 지정 NER를 사용하면 계약 또는 재무 문서와 같은 구조화되지 않은 텍스트에서 도메인별 엔터티를 추출하는 AI 모델을 만들 수 있습니다. 사용자 지정 NER 프로젝트를 시작할 때 반복적으로 데이터에 레이블을 지정하고, 모델을 학습 및 평가하고, 배포하기 전에 성능을 향상시킬 수 있습니다. 레이블이 지정된 데이터의 품질은 모델의 정확도에 직접적인 영향을 주기 때문에 필수적입니다.
모델 빌드 및 사용자 지정을 간소화하기 위해 서비스는 Microsoft Foundry를 통해 액세스할 수 있는 사용자 지정 웹 플랫폼을 제공합니다. 이 빠른 시작의 단계를 수행하여 서비스를 쉽게 시작할 수 있습니다.
이 설명서에는 다음과 같은 문서 유형이 포함되어 있습니다.
- 빠른 시작은 서비스에 대한 요청을 수행하는 과정을 안내하는 시작 지침입니다.
- 개념은 서비스 기능에 대한 설명을 제공합니다.
- 방법 가이드에는 보다 구체적이거나 사용자 지정된 방식으로 서비스를 사용하기 위한 지침이 포함되어 있습니다.
사용 시나리오 예제
사용자 지정 명명된 엔터티 인식은 다양한 산업의 여러 시나리오에서 사용할 수 있습니다.
정보 추출
많은 금융 및 법률 조직에서는 매일 수천 개의 복잡한 비정형 텍스트 원본에서 데이터를 추출하고 정규화합니다. 해당 원본에는 은행 명세서, 법적 계약 또는 은행 양식이 포함됩니다. 예를 들어, 사용자 검토자가 수동으로 수행하는 모기지 애플리케이션 데이터 추출은 추출하는 데 며칠이 걸릴 수 있습니다. 사용자 지정 NER 모델을 빌드하여 이러한 단계를 자동화하면 프로세스가 간소화되고 비용, 시간, 노력이 절약됩니다.
의미 체계 검색을 향상/보강하기 위한 지식 마이닝
검색은 텍스트 콘텐츠를 사용자에게 제공하는 모든 앱의 기본입니다. 일반적인 시나리오에는 카탈로그 또는 문서 검색, 소매 제품 검색 또는 데이터 과학에 대한 지식 마이닝이 포함됩니다. 다양한 업계의 많은 기업은 구조적 문서와 비구조적 문서를 모두 포함하는 다른 유형의 프라이빗 콘텐츠에 대한 풍부한 검색 환경을 빌드하려고 합니다. 개발자는 파이프라인의 일부로 사용자 지정 NER을 사용하여 해당 업계와 관련된 텍스트에서 엔터티를 추출할 수 있습니다. 이러한 엔터티를 사용하여 보다 사용자 지정된 검색 환경을 위해 파일의 인덱싱을 보강할 수 있습니다.
감사 및 규정 준수
정책을 감사하고 적용하기 위해 긴 텍스트 파일을 수동으로 검토하는 대신 재무 또는 법률 기업의 IT 부서에서 사용자 지정 NER를 사용하여 자동화된 솔루션을 빌드할 수 있습니다. 이러한 솔루션은 규정 준수 정책을 적용하고 구조화 및 비구조적 콘텐츠를 처리하는 지식 마이닝 파이프라인을 기반으로 필요한 비즈니스 규칙을 설정하는 데 유용할 수 있습니다.
프로젝트 개발 수명 주기
사용자 지정 NER을 사용하는 경우 일반적으로 여러 단계가 포함됩니다.
스키마 정의: 데이터를 파악하고 추출하려는 엔터티를 식별합니다. 모호성을 방지합니다.
데이터 레이블 지정: 데이터 레이블 지정은 모델 성능을 결정하는 데 중요한 요소입니다. 정확하고, 일관되고, 완전하게 레이블을 지정합니다.
- 정확한 레이블 지정: 각 엔터티를 항상 올바른 형식으로 레이블을 지정합니다. 추출하려는 항목만 포함하고 레이블에 불필요한 데이터를 방지합니다.
- 일관된 레이블 지정: 동일한 엔터티는 모든 파일에서 동일한 레이블을 포함해야 합니다. 완전한 레이블 지정: 모든 파일에 있는 엔터티의 모든 인스턴스에 레이블을 지정합니다.
모델 학습: 모델은 레이블이 지정된 데이터에서 학습을 시작합니다.
모델의 성능 보기: 학습 후 평가 결과를 검토하고 성능을 분석하여 개선합니다.
모델 배포: 모델을 배포하면 분석 API를 통해 사용할 수 있습니다.
엔터티 추출: 엔터티 추출 작업에 사용자 지정 모델을 사용합니다.
참조 설명서 및 코드 샘플
사용자 지정 NER를 사용하는 경우 Foundry 도구의 Azure 언어에 대한 다음 참조 설명서 및 샘플을 참조하세요.
| 개발 옵션/언어 | 참조 설명서 | 샘플 |
|---|---|---|
| REST API(작성) | REST API 설명서 | |
| REST API(런타임) | REST API 설명서 | |
| C#(런타임) | C# 설명서 | C# 샘플 |
| Java(런타임) | Java 설명서 | Java 샘플 |
| JavaScript(런타임) | JavaScript 설명서 | JavaScript 샘플 |
| Python(런타임) | Python 설명서 | Python 샘플 |
Responsible AI
AI 시스템에는 기술뿐만 아니라 기술을 사용하는 사용자, 영향을 받는 사용자 및 배포 환경도 포함됩니다. 투명도 노트를 읽어 시스템의 책임 있는 AI 사용 및 배포에 대해 알아봅니다. 자세한 내용은 다음 문서를 참조 하세요.