Exercice - Créer un cluster HPC à partir de modèles prédéfinis

Vous pouvez créer des clusters directement à partir de l’interface graphique de l’application web Azure CycleCloud. CycleCloud offre de nombreux modèles prédéfinis spécifiques au planificateur, qui simplifient l’approvisionnement de cluster pour les planificateurs correspondants.

Maintenant que vous avez provisionné une machine virtuelle Azure qui héberge les applications web CycleCloud, vous êtes prêt à évaluer son utilisation pour le déploiement d’un cluster HPC basé sur Slurm dans Azure. Vous devez d’abord vous assurer que votre abonnement Azure répond aux besoins en ressources du cluster. Vous souhaitez également déterminer si votre équipe de gestion souhaite conserver le coût du cluster dans le budget du projet. Par conséquent, vous prévoyez de configurer des alertes budgétaires CycleCloud et de déprovisionner l’environnement lab une fois l’évaluation terminée.

Dans cet exercice, vous allez effectuer un déploiement pas à pas d’un cluster HPC basé sur Slurm dans Azure à l’aide d’Azure CycleCloud. L’exercice se compose des tâches suivantes :

• Tâche 1 : Préparer le déploiement d’un cluster HPC
• Tâche 2 : Créer un cluster HPC à l’aide d’Azure CycleCloud
• Tâche 3 : Configurer et démarrer un cluster HPC à l’aide d’Azure CycleCloud
• Tâche 4 : Nettoyer l’environnement de laboratoire

Tâche 1 : Préparer le déploiement d’un cluster HPC

Avant de déployer un cluster HPC, vous devez d’abord vous assurer que vous disposez de ressources réseau et de calcul suffisantes pour prendre en charge son utilisation.

1. Sur votre ordinateur, basculez vers la fenêtre du navigateur web affichant le portail Azure.

2. Dans le portail Azure, utilisez la zone de recherche en haut de l’interface du portail pour rechercher le groupe de ressources cyclecloud-rg .

3. Dans le portail Azure, dans la page cyclecloud-rg , dans la liste des ressources, sélectionnez l’entrée cyclecloud-rg-vnet , représentant le réseau virtuel que vous avez provisionné dans l’exercice précédent de ce module.

4. Sur la page cyclecloud-rg-vnet , dans le menu vertical situé à gauche, sélectionnez Sous-réseaux.

5. Sur le volet Sous-réseaux du cyclecloud-rg-vnet, sélectionnez + Sous-réseau.

6. Dans le volet Ajouter un sous-réseau , dans la zone de texte Nom , entrez contoso-slurm-lab-cluster-subnet, acceptez la plage de sous-réseaux par défaut, puis sélectionnez Enregistrer.

   Remarque

   Nous vous recommandons de séparer le sous-réseau hébergeant la machine virtuelle Azure CycleCloud des sous-réseaux hébergeant des ressources de calcul de cluster. Pour les clusters plus volumineux, vous devez allouer des plages d’adresses IP suffisamment dimensionnées.

7. Dans le portail Azure, utilisez la zone de recherche pour rechercher des abonnements.

8. Dans la page Abonnements , sélectionnez l’abonnement Azure que vous utilisez pour les exercices de ce module.

9. Dans la page affichant l’abonnement Azure, dans le menu vertical situé à gauche, dans la section Paramètres , sélectionnez Utilisation + quotas.

10. Dans le volet Utilisation + quotas , configurez les paramètres de filtrage suivants (laissez d’autres utilisateurs avec leurs valeurs par défaut) :

    Réglage	Valeur
    Sélectionner un service	Sélectionnez les processeurs virtuels de la famille Standard Dv3, les processeurs virtuels de la famille Standard FSv2 et les entrées totales de processeurs virtuels régionaux.
    Sélectionner un fournisseur	Sélectionnez l’entrée Microsoft.Compute .
    Sélectionner un emplacement	Sélectionnez le nom de la région Azure dans laquelle vous envisagez de déployer le cluster dans cet exercice.

11. Passez en revue la sortie et identifiez le nombre de processeurs virtuels disponibles dans chaque groupe.

    

Tâche 2 : Créer un cluster HPC à l’aide d’Azure CycleCloud

Vous disposez maintenant de l’application web CycleCloud installée sur une machine virtuelle Azure, suffisamment de cœurs de processeurs virtuels disponibles dans votre abonnement Azure et d’un sous-réseau réseau désigné capable de prendre en charge la mise à l’échelle automatique des nœuds de cluster. Vous êtes prêt à procéder au déploiement d’un cluster Slurm.

1. Sur votre ordinateur, dans la fenêtre du navigateur web affichant la page Abonnements de l’application web Azure CycleCloud, dans le coin supérieur gauche, sélectionnez le lien Retour aux clusters .

2. Dans la page Créer un cluster , passez en revue les options disponibles et, dans la section Planificateurs , sélectionnez Slurm.

   

3. Sous l’onglet À propos de la page Nouveau cluster Slurm , dans la zone de texte Nom du cluster, entrez contoso-slurm-lab-cluster.

   

4. Sous l’onglet Paramètres requis de la page Nouveau cluster Slurm , dans la zone de texte Nom du cluster , configurez les paramètres suivants (laissez d’autres personnes avec leurs valeurs par défaut) :

   Réglage	Valeur
   Région	Sélectionnez le nom de la région Azure dans laquelle vous envisagez de déployer le cluster dans cet exercice.
   Type de machine virtuelle du planificateur	Sélectionnez Choisir, puis, dans la fenêtre contextuelle Sélectionner un type d’ordinateur , dans la zone de texte Recherche de référence SKU , entrez « D2ds_v5 ». Dans la liste des résultats, cochez la case en regard de l’entrée D2ds_v5 , puis sélectionnez Appliquer.

   

   Réglage	Valeur
   Nombre maximum de cœurs HPC	Entrez 100
   Nombre max. de cœurs HTC	Entrez 100
   Nombre max. de machines virtuelles par groupe identique	Entrez 40
   ID de sous-réseau	Sélectionner cyclecloud-rg : cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet

   

   Remarque

   Le paramètre Nombre max. de machines virtuelles par groupe identique limite la taille maximale d’un travail d’interface de passage de messages pouvant s’exécuter sur le cluster, car le groupe identique correspond à la limite de la structure InfiniBand.

5. Sous l’onglet Stockage attaché au réseau de la page Nouveau cluster Slurm , vérifiez que le type NFS est défini sur Builtin. Acceptez la valeur par défaut de Taille (Go) définie sur 100, puis sélectionnez Suivant.

   

6. Sous l’onglet Paramètres avancés de la page Nouveau cluster Slurm , passez en revue les options disponibles sans apporter de modifications, puis sélectionnez Suivant.

   

7. Sous l’onglet Cloud-init de la page Nouveau cluster Slurm , passez en revue les options disponibles sans apporter de modifications, puis sélectionnez Enregistrer.

Tâche 3 : Configurer et démarrer un cluster HPC à l’aide d’Azure CycleCloud

Pour préparer l’opérationnalisation de votre cluster, définissez des alertes pour vous avertir lorsque les coûts d’utilisation du cluster atteignent le budget alloué aux ressources Azure. Vous validez également votre déploiement en démarrant le cluster avec l’interface graphique de l’application web CycleCloud.

1. Sur votre ordinateur, dans le navigateur web affichant l’interface graphique de l’application web Azure CycleCloud, passez en revue les propriétés du cluster nouvellement déployé.

   

2. Dans la page contoso-slurm-lab-cluster , sélectionnez le lien Créer une alerte .

3. Dans l’alerte d’utilisation du cluster pour la fenêtre contextuelle contoso-slurm-lab-cluster , spécifiez les paramètres suivants, puis sélectionnez Enregistrer :

   Réglage	Valeur
   Budget	100,00 $
   Par	Mois
   Envoyer une notification	Activé
   Destinataires	cc-admin@contoso.com

   

4. De retour sur la page contoso-slurm-lab-cluster , sélectionnez le lien Démarrer , puis, lorsque vous êtes invité à confirmer, sélectionnez OK.

5. Surveillez le processus de démarrage.

   Remarque

   Le processus implique l’approvisionnement de la machine virtuelle Azure servant le rôle du nœud principal du cluster, ainsi que l’installation et la configuration du planificateur Slurm. Ceci peut durer environ cinq minutes.

   

Tâche 4 : Nettoyer l’environnement de laboratoire

Vous avez terminé le test du processus de déploiement de cluster à l’aide de l’application Azure CycleCloud. Pour éviter les coûts inutiles associés à l’utilisation des ressources Azure, arrêtez le cluster et supprimez toutes les ressources que vous avez approvisionnées tout au long des exercices de ce cours.

1. Sur votre ordinateur, dans le navigateur web affichant l’interface graphique de l’application web Azure CycleCloud, sur la page contoso-slurm-lab-cluster , sélectionnez le lien Terminer , puis, quand vous êtes invité à confirmer, sélectionnez OK.

2. Supervisez le processus d’arrêt.

   Remarque

   Le processus implique la déprovisionnement de la machine virtuelle Azure servant le rôle du nœud principal du cluster. Ceci peut durer environ cinq minutes.

   Remarque

   Vous devez supprimer les ressources que vous avez déployées dans le cadre de cet exercice, comme indiqué dans cette tâche. Si vous ne supprimez pas les ressources, vous risquez d’entraîner des frais supplémentaires pour votre abonnement.

   Remarque

   Pour supprimer toutes les autres ressources que vous avez configurées dans ce labo, supprimez le groupe de ressources cyclecloud-rg .

3. Sur votre ordinateur, basculez vers la fenêtre du navigateur affichant le portail Azure.

4. Dans le portail Azure, accédez au volet cyclecloud-rg. Sélectionnez l’entrée Supprimer le groupe de ressources dans la barre d’outils, puis, dans la zone de texte TYPE THE RESOURCE GROUP NAME , entrez cyclecloud-rg, puis sélectionnez Supprimer.

5. Répétez l’étape précédente pour supprimer le groupe de ressources avec le nom commençant par contoso-slurm-lab-cluster, qui contient la ressource de disque utilisée par le cluster.

Félicitations! Vous avez effectué avec succès le second exercice de ce module. Vous avez assuré la disponibilité des ressources de calcul et de réseau requises pour prendre en charge le déploiement d’un nouveau cluster. Ensuite, vous avez déployé le cluster à l’aide d’Azure CycleCloud, configuré ses alertes budgétaires et démarré pour valider ses fonctionnalités. Enfin, vous avez arrêté le cluster et supprimé toutes les ressources que vous avez configurées dans ce module pour éviter les coûts inutiles.