이 문서에서는 Real-Time Intelligence에서 변칙 검색을 설정하여 Eventhouse 테이블에서 비정상적인 패턴과 이상값을 자동으로 식별하는 방법을 설명합니다. 시스템은 권장 모델을 제공하고 자동화된 작업으로 연속 모니터링을 설정할 수 있습니다.
주요 기능은 다음과 같습니다.
- 모델 권장 사항: 데이터에 가장 적합한 알고리즘 및 매개 변수를 제안합니다.
- 대화형 변칙 탐색: 검색된 변칙을 시각화하고 모델 민감도를 조정합니다.
- 연속 모니터링: 자동화된 알림을 사용하여 실시간 이상 탐지를 설정합니다.
- 새 데이터로 재분석: 정확도를 높이기 위해 새 데이터가 도착할 때 모델을 업데이트합니다.
중요합니다
이 기능은 프리뷰 상태입니다.
필수 조건
- Microsoft Fabric 지원 용량이 있는 작업 공간
- 작업 영역에서관리자, 기여자 또는 구성원의 역할
- 작업 영역 내에 KQL 데이터베이스가 있는 Eventhouse
- 동일한 Eventhouse에서 사용하도록 설정된 Python 플러그 인
- 플러그 인을 사용하도록 설정하려면 Eventhouse로 이동합니다.
- 위쪽 도구 모음에서 플러그 인 을 선택한 다음 Python 언어 확장을 사용하도록 설정합니다.
- Python 3.11.7 DL 플러그 인을 선택하고 완료를 선택합니다.
비고
- Eventhouse 테이블에 모델 권장 사항 및 변칙 검색 정확도를 개선하기 위한 충분한 기록 데이터가 포함되어 있는지 확인합니다. 예를 들어 하루에 하나의 데이터 포인트가 있는 데이터 세트에는 몇 달의 데이터가 필요하지만 초당 하나의 데이터 포인트가 있는 데이터 세트에는 며칠만 필요할 수 있습니다.
- 이 기능은 Microsoft Fabric을 사용할 수 있는 모든 지역에서 사용할 수 있습니다.
이상 탐지를 설정하는 방법
Eventhouse 테이블에서 이상 탐지 시작
두 가지 방법으로 이상 탐지를 시작할 수 있습니다.
Real-Time 허브에서:
왼쪽 탐색 창에서 Real-Time 허브 를 선택합니다.
변칙에 대해 분석할 테이블을 찾고 다음 단계 중 하나를 수행합니다.
⋯(점 3개)를 선택하여 테이블의 리본 메뉴를 열고 변칙 검색을 선택합니다.
테이블을 선택하여 세부 정보 페이지를 엽니다. 위쪽 도구 모음에서 변칙 검색을 선택합니다.
변칙 검색 페이지의 [저장 대상]에서 드롭다운 목록을 선택한 다음 감지기 만들기를 선택합니다.
변칙 탐지기 만들기 페이지에서 패브릭 작업 영역을 선택하고 변칙 탐지기의 이름을 입력한 다음 만들기를 선택합니다.
이제 분석용 입력 열 구성 섹션을 계속 진행하지만 원본이 Real-Time 허브에서 이미 선택되어 있으므로 원본 구성을 건너뜁니다. 관찰할 값 섹션의 구성을 시작하십시오.
만들기 단추에서:
패브릭 홈페이지에서 줄임표(...) 아이콘을 선택한 다음 만들기 옵션을 선택합니다.
만들기 창의 Real-Time Intelligence 섹션에서 변칙 검색을 선택합니다.
분석을 위한 입력 열 구성
분석할 열과 데이터를 그룹화할 방법을 지정합니다.
변칙 검색 구성 창에서 분석할 데이터 원본을 선택합니다. Real-Time 허브를 사용하는 경우 원본 선택을 건너뛰고 관찰할 값 섹션 구성을 진행합니다.
원본 선택 창에서 분석할 Eventhouse 및 테이블을 선택한 다음, 추가를 선택합니다.
구성 창에서 감시할 숫자 데이터가 포함된 감시할 값 열을 추가하여 이상을 모니터링합니다.
비고
숫자 데이터만 변칙 검색에 지원되므로 선택한 열에 숫자 값이 포함되어 있는지 확인합니다.
분석을 위해 데이터를 분할하는 방법을 지정하려면 열 별로 그룹을 선택합니다. 이 열은 일반적으로 디바이스, 위치 또는 기타 논리 그룹화와 같은 엔터티를 나타냅니다.
각 데이터 포인트가 기록된 시간을 나타내는 타임스탬프 열을 선택합니다. 이 열은 시계열 변칙 검색에 매우 중요하며 시간에 따른 추세를 정확하게 분석합니다.
분석 실행을 선택하여 자동화된 모델 평가를 시작합니다.
분석 완료 대기
시스템은 데이터를 분석하여 최상의 변칙 검색 모델을 찾습니다.
중요합니다
분석은 일반적으로 데이터 크기에 따라 최대 4분이 걸리며 최대 30분 동안 실행할 수 있습니다. 페이지에서 벗어나 분석이 완료되면 다시 체크 인할 수 있습니다.
분석하는 동안 시스템은 다음을 수행합니다.
- 테이블 데이터를 효율적으로 처리하기 위해 샘플링합니다.
- 여러 변칙 탐지 알고리즘 테스트
- 다른 매개 변수 구성 평가
- 특정 데이터 패턴에 가장 효과적인 모델을 식별합니다.
권장 모델 및 변칙 검토
분석이 완료되면 결과를 검토하고 검색된 변칙을 탐색할 수 있습니다.
받은 알림을 선택하거나 테이블로 다시 이동하고 변칙 결과 보기를 선택하여 변칙 검색 결과를 엽니다.
결과 페이지에서는 다음과 같은 인사이트를 제공합니다.
- 변칙이 명확하게 강조 표시된 데이터의 시각화 입니다.
- 데이터에 대한 효과에 따라 순위가 매겨진 권장 알고리즘 목록입니다.
- 감지 임계값을 조정하는 민감도 설정입니다.
- 선택한 시간 범위 내에서 검색된 변칙 에 대한 자세한 테이블입니다.
모델 선택기를 사용하여 다른 권장 알고리즘의 성능을 비교하고 요구 사항에 가장 적합한 알고리즘을 선택합니다.
민감도 설정을 조정하여 변칙 검색 결과를 구체화합니다.
- 옵션에는 낮음, 보통 및 높은 신뢰도 수준이 포함됩니다.
- 이러한 설정을 실험하여 이상 현상을 더 많이 감지하는 것과 오탐을 줄이는 것 사이의 균형을 조정하세요.
시각적 개체 및 테이블과 상호 작용하여 검색된 변칙에 대한 심층적인 인사이트를 얻고 데이터의 패턴을 이해합니다.
변칙 탐지기를 저장하여 구성을 유지하고 나중에 다시 방문합니다.
검색된 변칙을 Real-Time Hub에 게시하여 들어오는 데이터를 지속적으로 모니터링할 수 있도록 합니다. 또한 Activator에 경고를 보내는 것과 같은 다운스트림 작업을 구성할 수 있습니다.
결과를 검토하고 미세 조정하면 변칙 검색 설정이 특정 사용 사례에 맞게 최적화되었는지 확인할 수 있습니다.
새 데이터로 이상 탐지 모델 재분석
새 데이터가 제공되면 이상 탐지 모델을 최신 상태로 업데이트하세요.
다음 단계에 따라 모델을 새 데이터로 다시 분석합니다.
- 이상 탐지 항목으로 이동합니다.
- 편집 패널에서 필요에 따라 이전에 채워진 필드를 수정합니다.
- 분석 실행을 선택합니다. 이렇게 하면 업데이트된 입력에 따라 새 분석이 트리거됩니다.
경고
다시 분석하면 기존 모니터링 규칙에서 사용하는 모델이 업데이트되어 다운스트림 작업에 영향을 줄 수 있습니다.
이상 탐지 이벤트 탐색 및 경고 설정
변칙 검색 결과를 게시한 후 Real-Time Hub에서 검색된 변칙을 탐색하고 향후 변칙을 알리도록 경고를 설정할 수 있습니다. 자세한 내용은 다음을 참조하세요.
제한 사항 및 고려 사항
다음과 같은 현재 제한 사항에 유의하세요.
- 데이터 요구 사항: 충분한 기록 데이터가 모델 권장 사항 및 정확도를 향상시킵니다.
- 각 변칙 탐지기는 단일 모델 구성만 지원할 수 있습니다.
변칙 탐지기에서 여러 작업 실행
변칙 탐지기와 상호 작용할 때 Eventhouse는 백그라운드에서 Python 쿼리를 실행하여 실시간 분석을 지원합니다. 다음과 같은 작업이 여기에 포함됩니다.
- 변칙 검색 또는 기타 유형의 분석을 실행합니다.
- 권장 모델 간 전환
- 보고 있는 시간 창 또는 ID 변경
- 경고를 설정하여 들어오는 데이터에서 변칙을 지속적으로 모니터링합니다.
Eventhouse는 Eventhouse당 최대 8개의 동시 쿼리를 지원합니다. 이 제한을 초과하면 시스템에서 쿼리를 다시 시도하지만 추가 쿼리는 큐에 대기되지 않으며 자동으로 실패할 수 있습니다. 보다 명확하게 하기 위한 오류 메시지가 개발 중입니다.
문제를 방지하려면 다음을 수행합니다.
- 새 쿼리를 시작하기 전에 각 쿼리를 완료하도록 허용합니다.
- 성능이 느리거나 응답하지 않는 경우 동시 쿼리 수를 줄입니다.
자세한 내용은 Python 플러그 인을 참조하세요.
Python 플러그 인을 사용하도록 설정하기 위한 대기 시간
데이터 분석을 시작하면 변칙 탐지기가 Eventhouse에서 Python 플러그 인을 자동으로 사용하도록 설정합니다. 플러그 인을 사용하도록 설정하는 데 최대 1시간이 걸릴 수 있습니다. 사용하도록 설정하면 분석이 자동으로 시작됩니다.
자세한 내용은 Real-Time Intelligence에서 Python 플러그 인 사용을 참조하세요.
다음 단계
이제 이상 탐지가 구성되었으므로 다음을 수행할 수 있습니다.