Gérer la mise à l’échelle horizontale du cluster (scale-out) dans Azure Data Explorer pour répondre à la demande changeante

Le dimensionnement approprié d’un cluster est essentiel aux performances d’Azure Data Explorer. Une taille de cluster statique peut entraîner une sous-utilisation ou une surutilisation, qui n’est pas idéale. Étant donné que la demande sur un cluster ne peut pas être prédite avec une précision absolue, il est préférable de scaler un cluster, en ajoutant et supprimant des capacités et des ressources CPU en fonction de la demande changeante.

Il existe deux flux de travail pour la mise à l’échelle d’un cluster Azure Data Explorer :

• Mise à l’échelle horizontale, également appelée ajout et réduction de capacité.
• Mise à l’échelle verticale, également appelée mise à l’échelle ascendante et descendante. Cet article explique le flux de travail de mise à l’échelle horizontale.

Configurer la mise à l’échelle horizontale

En utilisant la mise à l’échelle horizontale, vous pouvez mettre à l’échelle automatiquement le nombre d’instances en fonction des règles et des planifications prédéfinies. Pour spécifier les paramètres de mise à l’échelle automatique pour votre cluster :

1. Dans le portail Azure, accédez à votre ressource de cluster Azure Data Explorer. Sous Paramètres, sélectionnez Scale-out.

2. Dans la fenêtre Scale out, sélectionnez la méthode de mise à l’échelle automatique souhaitée : mise à l’échelle manuelle, mise à l’échelle automatique optimisée ou mise à l’échelle automatique personnalisée.

Mise à l’échelle manuelle

Dans l’option de mise à l’échelle manuelle, le cluster a une capacité statique qui ne change pas automatiquement. Sélectionnez la capacité statique à l’aide de la barre de nombre d’instances . La mise à l’échelle du cluster reste au niveau du paramètre sélectionné jusqu’à ce qu’elle soit modifiée.

Mise à l’échelle automatique optimisée (option recommandée)

La mise à l’échelle automatique optimisée est le paramètre par défaut lors de la création du cluster et la méthode de mise à l’échelle recommandée. Cette méthode optimise les performances et les coûts du cluster, comme suit :

• Si le cluster est sous-utilisé, il est mis à l’échelle pour réduire les coûts sans affecter les performances requises.
• Si le cluster est surutilisé, il augmente sa capacité pour maintenir des performances optimales.

Pour configurer la mise à l’échelle automatique optimisée :

1. Sélectionnez Mise à l’échelle automatique optimisée.

2. Spécifiez un nombre d’instances minimal et maximal. La mise à l'échelle automatique du cluster varie entre ces valeurs en fonction de la charge.

3. Cliquez sur Enregistrer.

   

La mise à l’échelle automatique optimisée commence à fonctionner. Vous pouvez afficher ses actions dans le journal d'activité du cluster dans Azure.

Logique de mise à l’échelle automatique optimisée

La mise à l’échelle automatique optimisée utilise une logique prédictive ou réactive. La logique prédictive suit le modèle d’utilisation du cluster et lorsqu’elle identifie la saisonnalité avec une confiance élevée, elle gère la mise à l’échelle du cluster. Sinon, la logique réactive qui suit l’utilisation réelle du cluster est utilisée pour prendre des décisions sur les opérations de mise à l’échelle du cluster en fonction du niveau actuel d’utilisation des ressources.

Les métriques principales pour les flux prédictifs et réactifs sont les suivantes :

• CPU (Unité centrale de traitement)
• Facteur d’utilisation du cache
• Utilisation de l’ingestion

La logique prédictive et réactive est liée aux limites de taille du cluster, le nombre minimal et maximal d’instances, tel que défini dans la configuration de mise à l’échelle automatique optimisée. Le scale-out et le scale-in fréquents des clusters sont indésirables en raison de l’impact sur les ressources du cluster et du temps nécessaire pour ajouter ou supprimer des instances, ainsi que de rééquilibrer le cache chaud sur tous les nœuds.

Mise à l’échelle automatique prédictive

La logique prédictive prévoit l’utilisation du cluster pour le lendemain en fonction de son modèle d’utilisation au cours des dernières semaines. La prévision est utilisée pour créer une planification des opérations de mise à l’échelle dans ou de mise à l’échelle vers l'extérieur pour ajuster la taille du cluster à l’avance. Cette approche permet à la mise à l’échelle du cluster et au rééquilibrage des données de s’effectuer dans le temps pour le moment où la charge change. Cette logique est particulièrement efficace pour les modèles saisonniers, tels que les pics d’utilisation quotidiens ou hebdomadaires.

Toutefois, dans les scénarios où un pic unique d’utilisation dépasse la prévision, la mise à l’échelle automatique optimisée revient à la logique réactive. Lorsque cette situation se produit, les opérations de scale-in ou de scale-out ne sont pas planifiées en fonction du dernier niveau d’utilisation des ressources.

Mise à l’échelle automatique réactive

Effectuer un scale-out

Lorsque le cluster approche d’un état de surutilisation, une opération de scale-out a lieu pour maintenir des performances optimales. Une opération de scale-out se produit quand au moins une des conditions suivantes se produit :

• L’utilisation du cache est élevée pendant plus d’une heure
• Le processeur est élevé pendant plus d’une heure
• L’utilisation de l’ingestion est élevée pendant plus d’une heure

Réduction de la capacité

Lorsque le cluster est sous-utilisé, une réduction de l'échelle s'effectue pour réduire les coûts tout en conservant des performances optimales. Plusieurs métriques vérifient qu’il est sûr de réduire l'échelle du cluster.

Pour vous assurer qu’il n’existe aucune surcharge de ressources, les métriques suivantes sont évaluées avant l’exécution de la mise à l’échelle :

• L’utilisation du cache n’est pas élevée
• Le CPU est sous la moyenne
• L'utilisation de l'ingestion est inférieure à la moyenne
• Si l'ingestion en streaming est utilisée, son utilisation n'est pas élevée.
• La métrique de maintien en vie est au-dessus d'un minimum défini, correctement traitée et ponctuellement indiquant que le cluster est réactif.
• Le service ne restreint pas les requêtes.
• Le nombre de requêtes ayant échoué reste inférieur à un minimum défini.

Mise à l’échelle automatique personnalisée

Bien que la mise à l’échelle automatique optimisée soit l’option de mise à l’échelle recommandée, la mise à l’échelle automatique personnalisée Azure est également prise en charge. À l’aide de la mise à l’échelle automatique personnalisée, vous pouvez mettre à l’échelle votre cluster de manière dynamique en fonction des métriques que vous spécifiez. Procédez comme suit pour configurer la mise à l’échelle automatique personnalisée.

1. Dans la zone nom du paramètre de mise à l’échelle automatique , entrez un nom, tel que Scale-out : utilisation du cache.

2. Pour le mode Mise à l’échelle, sélectionnez Mise à l’échelle en fonction d’une métrique. Ce mode fournit une mise à l’échelle dynamique. Vous pouvez également sélectionner Ajuster à un nombre spécifique d’instances.

3. Sélectionnez + Ajouter une règle.

4. Dans la section Règle de mise à l'échelle à droite, entrez des valeurs pour chaque paramètre.

   Critères

   Réglage	Description et valeur
   Agrégation de temps	Sélectionnez un critère d’agrégation, tel que Average.
   Nom de la métrique	Sélectionnez la métrique sur laquelle vous souhaitez que l’opération de mise à l’échelle soit basée, telle que l’utilisation du cache.
   Statistique de granularité temporelle	Choisissez entre Moyenne, Minimum, Maximum et Sum.
   Operator	Choisissez l’option appropriée, telle que Supérieure ou égale à.
   Seuil	Choisissez une valeur appropriée. Par exemple, pour l’utilisation du cache, 80 % constituent un bon point de départ.
   Durée (en minutes)	Choisissez une durée appropriée pour que le système analyse les données antérieures lors du calcul des indicateurs. Commencez par la valeur par défaut de 10 minutes.

   Action

   Réglage	Description et valeur
   Operation	Choisissez l’option appropriée pour effectuer un scale-in ou un scale-out.
   Nombre d’instances	Choisissez le nombre de nœuds ou d’instances que vous souhaitez ajouter ou supprimer lorsqu’une condition de métrique est remplie.
   Refroidissement (minutes)	Choisissez un intervalle de temps approprié pour attendre entre les opérations de mise à l’échelle. Commencez par la valeur par défaut de cinq minutes.

5. Sélectionnez Ajouter.

6. Dans la section Limites de l’instance à gauche, entrez des valeurs pour chaque paramètre.

   Réglage	Description et valeur
   Minimum	Nombre d'instances en dessous desquelles votre cluster ne peut pas être réduit, quelle que soit l'utilisation.
   Maximum	Nombre maximal d'instances que votre cluster peut atteindre, indépendamment de l'utilisation.
   Par défaut	Nombre d’instances par défaut. Ce paramètre est utilisé s’il existe des problèmes de lecture des métriques de ressource.

7. Cliquez sur Enregistrer.

Vous avez maintenant configuré la mise à l’échelle horizontale pour votre cluster Azure Data Explorer. Ajoutez une règle supplémentaire pour la mise à l’échelle verticale. Si vous avez besoin d’aide pour résoudre les problèmes de mise à l’échelle du cluster, ouvrez une demande de support dans le portail Azure.

Contenu connexe

• Superviser les performances, l’intégrité et l’utilisation d’Azure Data Explorer avec des métriques
• Gérez la mise à l’échelle verticale du cluster pour le dimensionnement approprié d’un cluster.