Démarrage rapide : déployer Azure CycleCloud Workspace for Slurm en tirant parti de Place de marché Azure

Azure CycleCloud Workspace pour Slurm est une application de la Place de marché gratuite qui fournit un moyen simple, sécurisé et évolutif de gérer les ressources de calcul et de stockage pour les charges de travail HPC et IA. Dans ce démarrage rapide, vous installez CycleCloud Workspace for Slurm en utilisant l’application Place de marché Azure.

Les principales étapes de déploiement et de configuration de CycleCloud Workspace for Slurm, notamment Open OnDemand, sont les suivantes :

1. Passez en revue ces instructions avant de commencer : Planifier votre espace de travail CycleCloud pour le déploiement Slurm.
2. Déployez un environnement CycleCloud Workspace for Slurm en tirant parti de Place de marché Azure (ce démarrage rapide).
3. Inscrire une application d’ID Microsoft Entra pour l’authentification Open OnDemand : inscrivez une application Microsoft Entra ID pour Open OnDemand.
4. Configurez Open OnDemand pour utiliser l’application Microsoft Entra ID : Configurer Open OnDemand avec CycleCloud
5. Ajoutez des utilisateurs dans CycleCloud : Ajouter des utilisateurs pour Open OnDemand

Conditions préalables

Pour ce guide de démarrage rapide, vous avez besoin des éléments suivants :

1. Un compte Azure avec un abonnement actif
2. Les rôles Contributeur et Administrateur d’accès utilisateur au niveau de l’abonnement
3. Connexion directe au réseau virtuel utilisé par le cluster (autrement dit, sans utiliser Azure Bastion), si vous devez déployer Open OnDemand
4. Autorisation d’inscrire une application Microsoft Entra ID si vous devez déployer Open OnDemand

Guide pratique de déploiement

1. Connectez-vous au portail Azure.
2. Sélectionnez + Créer une ressource.
3. Dans la zone Services de recherche et place de marché, entrez Slurm , puis sélectionnez Espace de travail Azure CycleCloud pour Slurm.
4. Dans la page Azure CycleCloud Workspace pour Slurm, sélectionnez Créer.

Notions de base

• Dans la page Nouveau compte Azure CycleCloud Workspace pour Slurm, entrez ou sélectionnez les détails suivants.
  • Abonnement : sélectionnez l’abonnement à utiliser s’il n’est pas déjà sélectionné.
  • Région : sélectionnez la région Azure dans laquelle vous souhaitez déployer votre espace de travail CycleCloud pour l’environnement Slurm.
  • Groupe de ressources : sélectionnez le groupe de ressources pour le compte Azure CycleCloud Workspace pour Slurm, ou créez-en un.
  • Taille de machine virtuelle CycleCloud : choisissez une nouvelle taille de machine virtuelle ou conservez la taille par défaut.
  • Utilisateur administrateur : saisissez un nom et un mot de passe pour le compte administrateur CycleCloud.
  • Clé publique SSH d’administration : sélectionnez la clé SSH publique du compte administrateur directement, ou si elle est stockée dans une ressource de clé SSH dans Azure.

Système de fichiers

Répertoire d’accueil des utilisateurs - Créer nouveau

Spécifiez où placer le répertoire d’accueil des utilisateurs.

• NFS intégré : utilise la machine virtuelle du planificateur en tant que serveur NFS avec un datadisk attaché.

• Azure NetApp Files : crée un compte, un pool et un volume ANF avec la capacité et le niveau de service spécifiés.

Répertoire de base des utilisateurs : Utiliser existant

Si vous disposez d’un point de montage NFS existant, sélectionnez l’option Utiliser l’option Existante et spécifiez les paramètres à monter.

Montage supplémentaire d'un système de fichiers - Créer un nouveau

Si vous devez monter un autre système de fichiers pour vos données de projet, vous pouvez en créer un ou en spécifier un existant. Vous pouvez créer un volume Azure NetApp Files ou un système de fichiers Azure Managed Lustre.

Montage supplémentaire du système de fichiers - Utiliser l’existant

Si vous disposez d’un point de montage NFS externe existant ou d’un système de fichiers Azure Managed Lustre, vous pouvez spécifier les options de montage.

Réseautage

Spécifiez si vous souhaitez créer un réseau virtuel et des sous-réseaux ou utiliser un réseau virtuel existant.

Créer un réseau virtuel

• Sélectionnez le CIDR qui correspond au nombre de nœuds de calcul que vous ciblez et spécifiez une adresse IP de base.
• Créez un Bastion si votre informatique d’entreprise ne fournit pas de connectivité directe.
• Créez une passerelle NAT pour fournir une connectivité sortante à Internet.
• Interconnectez-vous avec un réseau virtuel existant si vous disposez déjà d’un Hub capable de fournir des services tels que Bastion et une passerelle VPN. Vérifiez que vous sélectionnez une adresse IP de base compatible avec votre réseau virtuel appairé. Si le réseau virtuel appairé a une passerelle, cochez l’option de transit par passerelle Autoriser.

Utiliser un réseau virtuel existant

Avant d’utiliser un réseau virtuel existant, vérifiez les prérequis dans Planifier votre espace de travail CycleCloud pour le déploiement Slurm.

Spécifiez comment gérer l’inscription du point de terminaison privé utilisé pour le compte de stockage pour stocker des projets CycleCloud avec une zone DNS privée. Vous pouvez choisir de créer une zone DNS privée, d’utiliser une zone DNS existante ou de ne pas l’inscrire.

Paramètres Slurm

Spécifiez la taille et l’image de la machine virtuelle pour le planificateur et les nœuds d’authentification. Les images sont des images HPC dans la Place de marché Azure avec les URI suivants :

Si vous choisissez un Custom Image, spécifiez un URN d’image pour une image existante sur le Marketplace ou un ID d’image pour une image dans une Azure Compute Gallery.

Pour utiliser la même image pour le planificateur, les nœuds d’authentification et les nœuds de calcul, sélectionnez Utiliser l’image sur tous les nœuds.

Spécifiez le nombre de nœuds d’authentification que vous souhaitez approvisionner initialement et le nombre maximal autorisé. Lorsque vous activez les vérifications d’intégrité, la solution exécute automatiquement les vérifications d’intégrité des nœuds pour les partitions HPC et GPU et supprime tous les nœuds défectueux. Vous pouvez retarder le démarrage du cluster si vous devez configurer d’autres paramètres via le portail CycleCloud.

Pour activer Gestion des comptes des travaux Slurm, cochez la case pour afficher les options de connectivité. Vérifiez que vous disposez d’une ressource de serveur flexible Azure Database pour MySQL que vous avez déployée précédemment.

Vous pouvez vous connecter à l’aide d’un nom de domaine complet ou d’une adresse IP privée si vous fournissez votre propre réseau virtuel. Vous pouvez également utiliser le peering de réseaux virtuels quand vous créez un nouveau réseau virtuel dans le cadre de votre déploiement. Si vous choisissez de créer un réseau virtuel, vous pouvez également vous connecter via un point de terminaison privé.

Paramètres de partition

L’espace de travail Azure CycleCloud pour Slurm comprend trois partitions Slurm définies :

• HTC : pour des travaux non MPI de parallélisme embarrassant.
• HPC : Pour les travaux MPI étroitement couplés qui utilisent principalement des types de machines virtuelles avec ou sans prise en charge InfiniBand.
• GPU : pour les tâches GPU MPI et non-MPI qui utilisent des types de machines virtuelles avec ou sans prise en charge InfiniBand.

Vous pouvez définir l’image et le nombre maximal de nœuds pour chaque partition créée dynamiquement par CycleCloud. Seule la partition HTC vous permet d’utiliser des instances spot, car les instances spot ne fonctionnent pas correctement pour les travaux HPC et GPU.

Ouvrir OnDemand

Pour utiliser Open OnDemand, cochez la case et entrez les informations suivantes :

• le nom de l’image,
• nom de domaine (contoso.com) que le système utilise pour obtenir le nom d’utilisateur (user@contoso.com) et le faire correspondre au compte Linux local (user) que CycleCloud gère pour l’authentification,
• le nom de domaine complet (FQDN) du serveur web Open OnDemand (laissez vide si vous souhaitez utiliser l’adresse IP privée)
• que vous prévoyiez d’utiliser une application Microsoft Entra ID existante ou d’en inscrire une manuellement ultérieurement. Automatically register Entra ID application est une option supplémentaire qui s’affiche uniquement lorsque vous utilisez le déploiement CLI.

Étiquettes

Affectez les balises appropriées aux ressources nécessaires. CycleCloud provisionne dynamiquement des machines virtuelles et applique des balises Node Array à celles-ci.

Vérifier et créer

Passez en revue vos options. Cette étape inclut également certaines validations.

Une fois les validations terminées, sélectionnez Créer pour initialiser le déploiement.

Suivez l’état et les étapes du déploiement.

Vérifiez votre déploiement

Connectez-vous à ccw-cyclecloud-vm en utilisant Bastion avec le nom d'utilisateur et les clés SSH que vous spécifiez lors du déploiement.

Après la connexion, consultez les journaux cloud-init pour vérifier que tout est correct.

$tail -f -n 25 /var/log/cloud-init-output.log
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Starting cluster ccws....
----------------------------
ccws : allocation -> started
----------------------------
Resource group: 
Cluster nodes:
    scheduler: Off -- --  
Total nodes: 1
CC start_cluster successful
/
exiting after install
Cloud-init v. 23.4-7.el8_10.alma.1 running 'modules:final' at Wed, 12 Jun 2024 10:15:53 +0000. Up 11.84 seconds.
Cloud-init v. 23.4-7.el8_10.alma.1 finished at Wed, 12 Jun 2024 10:28:15 +0000. Datasource DataSourceAzure [seed=/dev/sr0].  Up 754.29 seconds

Ensuite, configurez la connectivité entre votre ordinateur client et la machine virtuelle CycleCloud. Votre service informatique d’entreprise peut avoir besoin de vous aider à configurer la connectivité via un VPN, un tunneling Bastion ou une adresse IP publique attachée si votre entreprise l’autorise. Accédez à l’interface web en accédant à https://<cyclecloud_ip>. Connectez-vous avec le nom d’utilisateur et le mot de passe que vous fournissez pendant le déploiement. Vérifiez que le planificateur et le nœud de connexion fonctionnent.

Ressources

• Inscrire une application Microsoft Entra ID pour Open OnDemand
• Configurer Open OnDemand avec CycleCloud
• Ajouter des utilisateurs pour Open OnDemand
• Comment se connecter au portail CycleCloud via Bastion
• Comment se connecter à un nœud de connexion via Bastion
• Comment déployer un environnement CycleCloud Workspace pour Slurm à l’aide de l’interface CLI