Microsoft Fabric Eventhouse는 사용 패턴에 따라 컴퓨팅을 조정하도록 빌드되었습니다. 즉, 용량 사용량이 워크로드 요구 사항에 맞게 자동으로 확장됩니다.
이 문서에서는 Eventhouse 컴퓨팅의 크기를 결정하는 가장 일반적인 몇 가지 요인을 안내하므로 Eventhouse를 최적화하기 위한 올바른 결정을 내릴 수 있습니다.
컴퓨팅 크기에 영향을 주는 주요 요소
이벤트하우스 컴퓨트에 적합한 크기를 결정하는 요인이 몇 가지 있습니다. 이러한 요소를 이해하면 사용량을 최적화하기 위해 정보에 입각한 결정을 내릴 수 있습니다.
캐시 사용률
핫 캐시에 보관되는 데이터의 양은 Eventhouse 컴퓨팅의 크기에 영향을 주는 주요 요인입니다. 각 컴퓨팅 크기는 일정량의 핫 캐시 용량을 제공합니다. 이 제한에 가까워지면 컴퓨팅 및 캐시 공간이 모두 그에 따라 증가합니다. 따라서 핫 캐시 사용률을 효과적으로 관리하는 것이 중요합니다.
현재 캐시의 용량 수준 이해
현재 핫 캐시 사용량을 이해하려면 다음 명령을 실행합니다.
.show diagnostics
| project HotDataDiskSpaceUsage
이 명령은 현재 사용되는 핫 캐시 공간의 비율을 표시합니다.
- 핫 캐시 사용량이 최대 95개%도달하면 컴퓨팅이 다른 사용량(CPU, 수집 등)과 무관한 다음 수준으로 확장됩니다.
- 핫 캐시 사용량이 약 35% 미만으로 떨어지고 다른 모든 규모 축소 요인(CPU, 수집 등)이 충족되는 경우, 컴퓨팅은 다음으로 더 작은 크기로 조정됩니다.
핫 캐시가 사용되는 위치를 이해하려면 특정 테이블로 드릴다운합니다. 다음 명령을 실행하여 시작합니다.
.show tables details
| summarize HotExtentSize=format\_bytes(sum(HotOriginalSize),2)
테이블 수준에서 캐싱 정책을 조정하려면 테이블 수준 캐싱 정책을 수정합니다.
수집 용량
이벤트하우스의 크기에 영향을 미치는 또 다른 요인은 데이터 수집 처리 사용률입니다. 적시에 수집을 보장하기 위해 Fabric은 수집 부하를 모니터링하고 수집되는 데이터를 수용하도록 Eventhouse 컴퓨팅 용량을 조정합니다.
데이터 인제스천 부하 확인
수집 부하를 살펴볼 때, 시간이 지남에 따라 관찰하는 것이 중요합니다. 이를 수행하는 가장 좋은 방법은 작업 영역 모니터링을 사용하도록 설정하는 것입니다.
사용하도록 설정한 후 다음 쿼리와 유사한 쿼리를 실행하여 현재 수집 부하를 확인합니다.
EventhouseMetrics
| where Timestamp > ago(1d)
| where ItemName == "FieldDemos"
| where MetricName == "IngestsLoadFactor"
| summarize MinValue=min(MetricMinValue), max(MetricMaxValue) by bin(Timestamp,15m)
| render timechart
이 명령은 현재 eventhouse 컴퓨팅 크기에서 사용되는 수집 용량의 백분율을 보여 있습니다. 이 수치에서 몇 가지 주요 사항:
- 현재 크기의 수집 용량을 지속적으로 70% 이상 사용하는 경우 컴퓨팅 크기는 수집에 따라 크기가 조정됩니다. 즉, 수집 패턴이 변경되지 않는 한 다른 작업과 무관하게 이 컴퓨팅 크기 이상으로 계속 실행합니다.
- 이 백분율이 지속적으로 70%이하로 떨어지면, 이는 컴퓨트가 다른 요인들에 따라 크기가 조정된 것을 의미합니다. 이벤트 하우스의 최소 용량 설정, 캐시 사용률 또는 쿼리 로드일 수 있습니다. 이 설정은 작업 영역 모니터링 대시보드의 EH | 테이블 수집 탭에서도 사용할 수 있습니다.
쿼리 로드
쿼리의 로드 및 성능은 컴퓨팅 이벤트 하우스의 크기에 영향을 받습니다. 이 성능을 모니터링하는 가장 좋은 방법은 작업 영역 모니터링을 사용하도록 설정하고 작업 영역 모니터링 대시보드를 활용하는 것입니다.
대시보드에서 Eventhouses 탭으로 시작할 수 있습니다. Eventhouse 쿼리 섹션은 제공합니다
- 쿼리 개수
- 시간에 따른 쿼리 상태
- 쿼리를 실행하는 애플리케이션
- 대부분의 쿼리된 데이터베이스
- 가장 많은 쿼리를 실행하는 사용자
자세한 정보를 보려면 EH | 쿼리 탭. 이 탭은 특정 쿼리에 대한 세부 정보를 제공하고 특정 문제를 신속하게 드릴다운하는 데 도움이 되는 다음 매개 변수를 제공합니다.
| 매개 변수 이름 | 설명 |
|---|---|
| 상위 쿼리 테이블 순서 | 타임스탬프, CPU 시간, 기간, 콜드 스토리지 액세스, 메모리 피크별로 쿼리를 정렬할 수 있습니다. |
| Eventhouse 이름 | 특정 이벤트 하우스로 필터링하거나 여러 이벤트 하우스를 볼 수 있습니다. |
| 데이터베이스 이름 | 원하는 데이터베이스를 선택할 수 있습니다. |
| 사용자 | 사용자를 지정하거나 제외할 수 있습니다. |
| 쿼리 상태 | 쿼리 상태에 따라 필터링합니다. |
| 신청 | 쿼리를 실행하는 애플리케이션으로 필터링할 수 있습니다. |
이 대시보드를 사용하여 쉽게 발견할 수 있는 몇 가지 일반적인 문제:
- 상위 CPU 시간을 필터링하여 높은 CPU 사용률을 유발할 수 있는 쿼리를 확인합니다.
- 상위 기간별로 필터링하여 실행하는 데 가장 오래 걸리는 쿼리를 확인합니다.
- 메모리 피크를 필터링하여 메모리 문제를 일으킬 수 있는 쿼리를 확인합니다.
- 시간에 따른 상태별 쿼리를 사용하여 쿼리가 급증했는지 확인합니다.
- 제한 타일을 사용하여 패브릭 용량이 쿼리를 제한했는지 여부를 확인합니다.
이 보고서를 사용하여 주의가 필요할 수 있는 특정 애플리케이션, 사용자 및 쿼리를 확인할 수 있습니다. 이 문서에서는 쿼리 최적화를 다루지 않지만 최적화가 필요한 실제 쿼리 텍스트를 찾으면 해당 프로세스를 시작할 수 있습니다.
응답 자동화
이 문서에서는 제어 명령, 작업 영역 모니터링 이벤트 하우스에 대한 쿼리 및 작업 영역 모니터링 대시보드를 사용하여 이벤트 하우스의 사용 현황을 관찰하는 단계를 안내했습니다.
이러한 시나리오에서 알림을 설정하려면 Activator를 사용합니다. 활성화기를 사용하면 패브릭 내 여러 위치에서 데이터에 대해 응답할 수 있으며, 여기에는 작업을 생성하는 기능도 포함됩니다.
KQL 쿼리 세트로부터 컨트롤 명령을 위한 작업을 설정하고, Real-Time 대시보드를 통해 모니터링 대시보드의 타일에 대해 작업을 설정할 수 있는 기능을 제공합니다. Teams에서 전자 메일, 메시지를 보내거나 요구 사항에 따라 Microsoft Power Automate 를 초기화할 수 있습니다.
요약
Eventhouse 컴퓨팅에 대한 관찰성은 Eventhouse 개요, 데이터베이스 개요, KQL 데이터베이스 제어 명령 및 작업 영역 모니터링 데이터베이스를 사용하여 제공됩니다. 이 문서에서는 가장 일반적인 시나리오와 KQL 데이터베이스 제어 명령 또는 작업 영역 모니터링 데이터베이스를 사용하여 컴퓨팅 사용량을 이해할 수 있는 방법을 안내했습니다.