Szybki start — wdrażanie obszaru roboczego usługi Azure CycleCloud dla programu Slurm przy użyciu witryny Azure Marketplace

Azure CycleCloud Workspace for Slurm to bezpłatna aplikacja z witryny Marketplace, która zapewnia prosty, bezpieczny i skalowalny sposób zarządzania zasobami obliczeniowymi i magazynowymi dla obciążeń HPC i sztucznej inteligencji. W tym przewodniku szybkiego startu zainstalujesz CycleCloud Workspace for Slurm z aplikacji Azure Marketplace.

Główne kroki wdrażania i konfigurowania obszaru roboczego CycleCloud dla programu Slurm, w tym Open OnDemand, to:

1. Przed rozpoczęciem zapoznaj się z tymi instrukcjami: Planowanie obszaru roboczego usługi CycleCloud pod kątem wdrożenia slurm.
2. Wdrożenie środowiska CycleCloud Workspace w Slurm przy użyciu witryny Azure Marketplace (szybki start).
3. Zarejestruj aplikację Microsoft Entra ID dla uwierzytelniania Open OnDemand: Zarejestruj aplikację Microsoft Entra ID dla Open OnDemand.
4. Konfigurowanie Open OnDemand do korzystania z aplikacji Microsoft Entra ID: Konfigurowanie Open OnDemand z aplikacją CycleCloud
5. Dodawanie użytkowników w CycleCloud: Dodaj użytkowników dla Open OnDemand

Wymagania wstępne

Do szybkiego startu potrzebujesz:

1. Konto platformy Azure z aktywną subskrypcją
2. Role Współautor i Administrator dostępu użytkowników na poziomie subskrypcji
3. Bezpośrednie połączenie z siecią wirtualną używaną przez klaster (czyli nie przy użyciu usługi Azure Bastion), jeśli musisz wdrożyć rozwiązanie Open OnDemand
4. Uprawnienie do rejestrowania aplikacji Microsoft Entra ID, jeśli musisz wdrożyć aplikację Open OnDemand

Jak wdrożyć

1. Zaloguj się do witryny Azure Portal.
2. Wybierz pozycję + Utwórz zasób.
3. W polu Search services and marketplace (Usługi wyszukiwania i marketplace) wprowadź Slurm, a następnie wybierz pozycję Azure CycleCloud Workspace for Slurm (Obszar roboczy usługi Azure CycleCloud dla programu Slurm).
4. Na stronie Azure CycleCloud Workspace for Slurm wybierz pozycję Utwórz.

Podstawy

• Na stronie Nowy obszar roboczy usługi Azure CycleCloud dla konta Slurm wprowadź lub wybierz następujące szczegóły.
  • Subskrypcja: wybierz subskrypcję, która ma być używana, jeśli nie została jeszcze wybrana.
  • Region: wybierz region świadczenia usługi Azure, w którym chcesz wdrożyć obszar roboczy CycleCloud dla środowiska Slurm.
  • Grupa zasobów: wybierz grupę zasobów dla konta Usługi Azure CycleCloud dla konta Slurm lub utwórz nową.
  • Rozmiar maszyny wirtualnej CycleCloud: wybierz nowy rozmiar maszyny wirtualnej lub zachowaj domyślny rozmiar.
  • Administrator: wprowadź nazwę i hasło dla konta administratora usługi CycleCloud.
  • Klucz publiczny SSH administratora: wybierz publiczny klucz SSH konta administratora bezpośrednio lub jeśli jest przechowywany w zasobie klucza SSH na platformie Azure.

System plików

Katalog główny użytkowników — tworzenie nowego

Określ, gdzie umieścić katalog główny użytkowników.

• Builtin NFS — używa maszyny wirtualnej pełniącej rolę harmonogramu jako serwera NFS z zamontowanym dyskiem danych.

• Azure NetApp Files — tworzy konto, pulę i wolumin ANF z określoną pojemnością i poziomem usługi.

Katalog główny użytkowników — użyj istniejącego

Jeśli masz istniejący punkt instalacji systemu plików NFS, wybierz opcję Użyj istniejącej i określ ustawienia do zainstalowania.

Dodatkowa instalacja systemu plików — tworzenie nowego

Jeśli musisz zainstalować inny system plików dla danych projektu, możesz utworzyć nowy lub określić istniejący. Możesz utworzyć nowy wolumin usługi Azure NetApp Files lub zarządzany system plików Lustre platformy Azure.

Dodatkowe montowanie systemu plików — użyj istniejącego

Jeśli masz istniejący zewnętrzny punkt instalacji systemu plików NFS lub zarządzany system plików Lustre platformy Azure, możesz określić opcje instalacji.

Sieć

Określ, czy chcesz utworzyć nową sieć wirtualną i podsieci lub użyć istniejącej.

Tworzenie nowej sieci wirtualnej

• Wybierz trasę CIDR odpowiadającą liczbie docelowych węzłów obliczeniowych i określ podstawowy adres IP.
• Utwórz usługę Bastion, jeśli firmowa it nie zapewnia bezpośredniej łączności.
• Utwórz bramę NAT, aby zapewnić łączność wychodzącą do internetu.
• Połącz z istniejącą siecią wirtualną, jeśli masz już węzeł centralny, który może dostarczać usługi takie jak Bastion i brama VPN. Upewnij się, że wybrano podstawowy adres IP zgodny z równorzędną siecią wirtualną. Jeśli równorzędna sieć wirtualna ma bramę, sprawdź opcję Zezwalaj na tranzyt bramy.

Używanie istniejącej sieci wirtualnej

Przed rozpoczęciem korzystania z istniejącej sieci wirtualnej zapoznaj się z wymaganiami wstępnymi w temacie Planowanie obszaru roboczego usługi CycleCloud pod kątem wdrożenia slurm.

Określ sposób zarządzania rejestracją prywatnego punktu końcowego używanego dla konta pamięci masowej w celu przechowywania projektów CycleCloud w prywatnej strefie DNS. Możesz utworzyć nową prywatną strefę DNS, użyć istniejącej lub nie zarejestrować jej.

Ustawienia Slurm

Określ rozmiar i obraz maszyny wirtualnej dla harmonogramu i węzłów uwierzytelniania. Są to obrazy HPC w usłudze Azure Marketplace z następującymi identyfikatorami URI:

Jeśli wybierzesz Custom Image, określ URN obrazu dla istniejącego obrazu z Marketplace lub identyfikator obrazu dla obrazu w Galerii Obliczeniowej Azure.

Aby użyć tego samego obrazu dla harmonogramu, węzłów uwierzytelniania i węzłów obliczeniowych, wybierz pozycję Użyj obrazu na wszystkich węzłach.

Określ liczbę węzłów uwierzytelniania, które chcesz aprowizować początkowo i maksymalną dozwoloną liczbę. Po włączeniu kontroli kondycji rozwiązanie automatycznie uruchamia testy kondycji węzła dla partycji HPC i GPU i usuwa wszystkie węzły w złej kondycji. Możesz opóźnić rozpoczęcie klastra, jeśli musisz skonfigurować więcej ustawień za pośrednictwem portalu CycleCloud.

Aby włączyć system rozliczania zadań Slurm, zaznacz pole wyboru, aby wyświetlić opcje połączeń. Upewnij się, że masz wdrożony wcześniej zasób serwera elastycznego usługi Azure Database for MySQL.

Jeśli podasz własną sieć wirtualną, możesz nawiązać połączenie przy użyciu nazwy FQDN lub prywatnego adresu IP. Można również użyć równorzędnego połączenia sieci wirtualnych podczas tworzenia nowej sieci wirtualnej w ramach wdrożenia. Jeśli zdecydujesz się utworzyć nową sieć wirtualną, możesz również nawiązać połączenie za pośrednictwem prywatnego punktu końcowego.

Ustawienia partycji

Obszar roboczy usługi Azure CycleCloud dla programu Slurm obejmuje trzy zdefiniowane partycje Slurm:

• HTC: Dla żenujących równoległych zadań innych niż MPI.
• HPC: w przypadku ściśle powiązanych zadań MPI, które w większości używają typów maszyn wirtualnych z obsługą infiniBand lub bez niego.
• GPU: Dla zadań GPU z MPI i innych niż MPI, które używają typów maszyn wirtualnych z obsługą InfiniBand lub bez.

Możesz ustawić obraz i maksymalną liczbę węzłów dla każdej partycji, którą CycleCloud tworzy dynamicznie. Tylko partycja HTC umożliwia korzystanie z instancji typu spot, ponieważ instancje typu spot nie działają dobrze w przypadku zadań HPC i GPU.

Otwórz OnDemand

Aby użyć polecenia Otwórz onDemand, zaznacz pole wyboru i wprowadź następujące informacje:

• nazwa obrazu,
• nazwa domeny (contoso.com) używana przez system do pobrania nazwy użytkownika (user@contoso.com) i dopasowania jej do lokalnego konta systemu Linux (user) zarządzanego przez usługę CycleCloud na potrzeby uwierzytelniania,
• w pełni kwalifikowana nazwa domeny (FQDN) serwera internetowego Open OnDemand (pozostaw wartość pustą, jeśli chcesz użyć prywatnego adresu IP),
• niezależnie od tego, czy planujesz użyć istniejącej aplikacji Microsoft Entra ID, czy zarejestrować jedną ręcznie później. Automatically register Entra ID application jest dodatkową opcją, która jest wyświetlana tylko podczas korzystania z wdrożenia CLI.

Etykiety

Przypisz odpowiednie tagi do niezbędnych zasobów. CyCloud dynamicznie tworzy maszyny wirtualne i przypisuje im tagi z tablicy węzłów.

Przejrzyj i twórz

Przejrzyj opcje. Ten krok obejmuje również pewne weryfikacje.

Po zakończeniu walidacji wybierz pozycję Utwórz , aby zainicjować wdrożenie.

Postępuj zgodnie ze stanem wdrożenia i krokami.

Sprawdź swoje wdrożenie

Połącz się z usługą ccw-cyclecloud-vm Bastion przy użyciu nazwy użytkownika i kluczy SSH, które określisz podczas wdrażania.

Po nawiązaniu połączenia sprawdź dzienniki cloud-init, aby sprawdzić, czy wszystko jest poprawne.

$tail -f -n 25 /var/log/cloud-init-output.log
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Starting cluster ccws....
----------------------------
ccws : allocation -> started
----------------------------
Resource group: 
Cluster nodes:
    scheduler: Off -- --  
Total nodes: 1
CC start_cluster successful
/
exiting after install
Cloud-init v. 23.4-7.el8_10.alma.1 running 'modules:final' at Wed, 12 Jun 2024 10:15:53 +0000. Up 11.84 seconds.
Cloud-init v. 23.4-7.el8_10.alma.1 finished at Wed, 12 Jun 2024 10:28:15 +0000. Datasource DataSourceAzure [seed=/dev/sr0].  Up 754.29 seconds

Następnie skonfiguruj łączność między maszyną klienta a maszyną wirtualną CycleCloud. Dział IT twojej firmy może potrzebować pomóc ci w konfigurowaniu łączności za pomocą sieci VPN, tunelowania Bastion, lub skonfigurowania przypisanego publicznego adresu IP, jeśli firma na to zezwoli. Uzyskaj dostęp do interfejsu internetowego, przechodząc do witryny https://<cyclecloud_ip>. Zaloguj się przy użyciu nazwy użytkownika i hasła podanego podczas wdrażania. Sprawdź, czy zarówno harmonogram, jak i węzeł logowania są uruchomione.

Zasoby

• Rejestrowanie aplikacji Microsoft Entra ID dla programu Open OnDemand
• Konfiguracja Open OnDemand z CycleCloud
• Dodaj użytkowników do Open OnDemand
• Jak nawiązać połączenie z portalem CycleCloud za pośrednictwem usługi Bastion
• Jak nawiązać połączenie z węzłem logowania za pośrednictwem usługi Bastion
• Jak wdrożyć obszar roboczy CycleCloud dla środowiska Slurm przy użyciu interfejsu wiersza polecenia