클러스터 크기를 적절하게 조정하는 것은 Azure Data Explorer의 성능에 매우 중요합니다. 정적 클러스터 크기는 과소 활용 또는 과용으로 이어질 수 있으며 둘 다 이상적이지 않습니다. 클러스터에 대한 수요는 절대 정확도로 예측할 수 없으므로 클러스터 크기를 조정 하여 변화하는 수요로 용량 및 CPU 리소스를 추가 및 제거하는 것이 좋습니다.
Azure Data Explorer 클러스터의 크기를 조정하기 위한 두 가지 워크플로가 있습니다.
- 수평 크기 조정(스케일 인 및 스케일 아웃이라고도 함)
- 수직적 크기 조정(확장 및 축소라고도 함). 이 문서에서는 수평 크기 조정 워크플로에 대해 설명합니다.
가로 크기 조정 구성
가로 크기 조정을 사용하면 미리 정의된 규칙 및 일정에 따라 인스턴스 수를 자동으로 조정할 수 있습니다. 클러스터에 대한 자동 크기 조정 설정을 지정하려면 다음을 수행합니다.
Azure Portal에서 Azure Data Explorer 클러스터 리소스로 이동합니다. 설정에서 스케일 아웃을 선택합니다.
규모 확장 창에서 원하는 자동 크기 조정 방법(수동 크기 조정, 최적화된 자동 크기 조정 또는 사용자 지정 자동 크기 조정)을 선택합니다.
수동 크기 조정
수동 크기 조정 옵션에서 클러스터에는 자동으로 변경되지 않는 정적 용량이 있습니다. 인스턴스 수 표시줄을 사용하여 정적 용량을 선택합니다. 클러스터의 크기 조정은 변경될 때까지 선택한 설정에 유지됩니다.
최적화된 자동 크기 조정(권장 옵션)
최적화된 자동 크기 조정은 클러스터를 만드는 동안 기본 설정이며 권장되는 크기 조정 방법입니다. 이 메서드는 다음과 같이 클러스터 성능 및 비용을 최적화합니다.
- 클러스터의 사용이 미달인 경우 필요한 성능에 영향을 주지 않고 비용을 낮추기 위해 확장됩니다.
- 클러스터를 과도하게 사용하는 경우 최적의 성능을 유지하기 위해 확장됩니다.
최적화된 자동 크기 조정을 구성하려면 다음을 수행합니다.
최적화된 자동 크기 조정을 선택합니다.
최소 및 최대 인스턴스 수를 지정합니다. 클러스터 자동 크기 조정 범위는 부하에 따라 이러한 값 사이의 범위입니다.
저장을 선택합니다.
최적화된 자동 크기 조정이 작동하기 시작합니다. Azure에서 클러스터의 활동 로그에서 해당 작업을 볼 수 있습니다.
최적화된 자동 크기 조정 논리
최적화된 자동 크기 조정은 예측 논리 또는 반응 논리를 사용합니다. 예측 논리는 클러스터의 사용 패턴을 추적하고 높은 신뢰도로 계절성을 식별하면 클러스터의 크기 조정을 관리합니다. 그렇지 않으면 클러스터의 실제 사용량을 추적하는 사후 논리를 사용하여 현재 리소스 사용 수준에 따라 클러스터 크기 조정 작업을 결정합니다.
예측 흐름과 반응형 흐름 모두에 대한 주요 메트릭은 다음과 같습니다.
- CPU (중앙 처리 장치)
- 캐시 사용률 비율
- 수집 사용률
예측 논리와 반응 논리는 최적화된 자동 크기 조정 구성에 정의된 대로 클러스터의 크기 경계, 최소 및 최대 인스턴스 수에 바인딩됩니다. 클러스터의 리소스에 미치는 영향과 인스턴스를 추가하거나 제거하는 데 필요한 시간뿐만 아니라 모든 노드에서 핫 캐시의 균형을 재조정하는 데 필요한 시간 때문에 클러스터 스케일 아웃 및 스케일 인 작업이 자주 수행되지 않습니다.
예측 기반 자동 크기 조정
예측 논리는 지난 몇 주 동안의 사용 패턴을 기반으로 클러스터의 다음 날 사용을 예측합니다. 예측은 스케일 인 또는 스케일 아웃 작업의 일정을 만들어 클러스터의 크기를 미리 조정하는 데 사용됩니다. 이 방법을 사용하면 부하가 변경되는 시기에 맞춰 클러스터 크기 조정 및 데이터 재조정이 완료됩니다. 이 논리는 일별 또는 주간 사용량 급증과 같은 계절 패턴에 특히 효과적입니다.
그러나 고유한 사용량 급증이 예측을 초과하는 시나리오에서는 최적화된 자동 크기 조정이 반응성 논리로 돌아갑니다. 이 상황이 발생하면 최신 수준의 리소스 사용량 에 따라 계획되지 않은 규모 감축 또는 스케일 아웃 작업이 수행됩니다.
반응형 자동 크기 조정
규모 확장
클러스터가 과용 상태에 가까워지면 최적의 성능을 유지하기 위해 스케일 아웃 작업이 수행됩니다. 스케일 아웃 작업은 다음 조건 중 하나 이상이 발생할 때 발생합니다.
- 캐시 사용률이 1시간 넘게 높습니다.
- CPU가 1시간 넘게 높습니다.
- 수집 사용률이 1시간 이상 지속적으로 높습니다.
규모 감축
클러스터의 사용이 미달인 경우 최적의 성능을 유지하면서 비용을 절감하기 위해 규모 감축 작업이 수행됩니다. 여러 메트릭은 클러스터 에서 크기를 조정 하는 것이 안전한지 확인합니다.
리소스 오버로드가 없도록 하기 위해 규모 감축 이 수행되기 전에 다음 메트릭이 평가됩니다.
- 캐시 사용률이 높지 않음
- CPU가 평균보다 낮습니다.
- 데이터 수집 사용률이 평균보다 낮습니다.
- 스트리밍 인제스트를 사용하는 경우 스트리밍 인제스트 활용도가 높지 않습니다.
- 활성 유지 메트릭이 정의된 최소값보다 높고, 제대로 처리되며, 시간에 따라 클러스터가 응답함을 나타냅니다.
- 서비스는 쿼리를 제한하지 않습니다.
- 실패한 쿼리 수는 정의된 최소값 미만으로 유지됩니다.
비고
최적화된 내부 확장을 구현하기 전에 내부 확장 논리는 1일 평가가 필요합니다. 이 평가는 1시간마다 한 번씩 수행됩니다. 즉각적인 변경이 필요한 경우 수동 배율을 사용합니다.
사용자 지정 자동 크기 조정
최적화된 자동 크기 조정이 권장되는 크기 조정 옵션이지만 Azure 사용자 지정 자동 크기 조정도 지원됩니다. 사용자 지정 자동 크기 조정을 사용하면 지정한 메트릭에 따라 클러스터의 크기를 동적으로 조정할 수 있습니다. 사용자 지정 자동 크기 조정을 구성하려면 다음 단계를 사용합니다.
자동 크기 조정 설정 이름 상자에 Scale-out: 캐시 사용률과 같은 이름을 입력합니다.
크기 조정 모드의 경우 메트릭에 따라 크기 조정을 선택합니다. 이 모드는 동적 크기 조정을 제공합니다. 특정 인스턴스 수로 크기 조정을 선택할 수도 있습니다.
+ 규칙 추가를 선택합니다.
오른쪽의 크기 조정 규칙 섹션에서 각 설정에 대한 값을 입력합니다.
기준
Setting 설명 및 값 시간 집계 평균과 같은 집계 조건을 선택합니다. 메트릭 이름 캐시 사용률과 같이 크기 조정 작업을 기반으로 할 메트릭을 선택합니다. 시간 단위 통계 평균, 최소, 최대 및 합계 중에서 선택합니다. Operator 보다 큼 또는 같음과 같은 적절한 옵션을 선택합니다. Threshold 적절한 값을 선택합니다. 예를 들어 캐시 사용률의 경우 80%가 좋은 시작점입니다. 기간(분) 메트릭을 계산할 때 시스템이 되돌아볼 적절한 시간을 선택합니다. 기본값인 10분으로 시작합니다. 조치
Setting 설명 및 값 Operation 규모 감축 또는 스케일 아웃에 적합한 옵션을 선택합니다. 인스턴스 수 메트릭 조건이 충족되면 추가하거나 제거할 노드 또는 인스턴스 수를 선택합니다. 냉각(분) 크기 조정 작업 간에 대기할 적절한 시간 간격을 선택합니다. 기본값인 5분으로 시작합니다. 추가를 선택합니다.
왼쪽의 인스턴스 제한 섹션에서 각 설정에 대한 값을 입력합니다.
Setting 설명 및 값 최소 사용률에 관계없이 클러스터가 아래 크기 조정되지 않는 인스턴스 수입니다. 최대 사용률에 관계없이 클러스터가 확장되지 않는 인스턴스 수입니다. 기본값 기본 인스턴스 수입니다. 이 설정은 리소스 메트릭을 읽는 데 문제가 있는 경우에 사용됩니다. 저장을 선택합니다.
이제 Azure Data Explorer 클러스터에 대한 수평 크기 조정을 구성했습니다. 수직 크기 조정에 대한 다른 규칙을 추가합니다. 클러스터 크기 조정 문제에 대한 지원이 필요한 경우 Azure Portal에서 지원 요청을 엽니다 .
관련 콘텐츠
- 메트릭을 사용하여 Azure Data Explorer 성능, 상태 및 사용량 모니터링
- 클러스터의 적절한 크기 조정을 위해 클러스터 수직 크기 조정을 관리합니다.