Ćwiczenie — tworzenie klastra HPC na podstawie wbudowanych szablonów

Ukończone

Nowe klastry można tworzyć bezpośrednio z interfejsu graficznego aplikacji internetowej Azure CycleCloud. CycleCloud oferuje wiele wstępnie zdefiniowanych szablonów specyficznych dla danego harmonogramu, co ułatwia proces aprowizacji klastra dla odpowiednich harmonogramów.

Teraz, gdy aprowizujesz maszynę wirtualną platformy Azure, która hostuje aplikacje internetowe CycleCloud, możesz ocenić jej użycie do wdrożenia klastra HPC opartego na technologii Slurm na platformie Azure. Najpierw musisz upewnić się, że subskrypcja platformy Azure spełnia wymagania dotyczące zasobów klastra. Należy również rozważyć, czy zespół zarządzający chce zachować koszt klastra w budżecie projektu. Dlatego planujesz skonfigurować alerty budżetowe usługi CycleCloud i wycofać środowisko laboratoryjne po zakończeniu oceny.

W tym ćwiczeniu przejdziesz przez proces wdrażania klastra HPC opartego na technologii Slurm na platformie Azure przy użyciu usługi Azure CycleCloud. Ćwiczenie składa się z następujących zadań:

  • Zadanie 1. Przygotowanie do wdrożenia klastra HPC
  • Zadanie 2. Tworzenie klastra HPC przy użyciu usługi Azure CycleCloud
  • Zadanie 3. Konfigurowanie i uruchamianie klastra HPC przy użyciu usługi Azure CycleCloud
  • Zadanie 4. Czyszczenie środowiska laboratoryjnego

Zadanie 1. Przygotowanie do wdrożenia klastra HPC

Przed wdrożeniem klastra HPC należy najpierw upewnić się, że masz wystarczającą liczbę zasobów sieciowych i obliczeniowych, aby uwzględnić jego użycie.

Uwaga / Notatka

Aby ukończyć to ćwiczenie, nie musisz spełniać wymagań dotyczących limitu przydziału, aby uwzględnić aprowizowanie węzłów obliczeniowych, ponieważ nie uruchomisz żadnych zadań w utworzonym klastrze. Jeśli jednak tak jest, możesz zauważyć niezgodności między zrzutami ekranu w tym ćwiczeniu a interfejsem webowym CycleCloud, ponieważ CycleCloud nie utworzy wstępnie węzłów obliczeniowych jako symboli zastępczych, jeśli nie masz wystarczającej liczby dostępnych rdzeni.

  1. Na komputerze przejdź do okna przeglądarki internetowej z wyświetloną witryną Azure Portal.

  2. W witrynie Azure Portal użyj pola wyszukiwania w górnej części interfejsu portalu, aby wyszukać grupę zasobów cyclecloud-rg .

  3. W witrynie Azure Portal na stronie cyclecloud-rg na liście zasobów wybierz wpis cyclecloud-rg-vnet reprezentujący sieć wirtualną aprowizowaną w poprzednim ćwiczeniu tego modułu.

  4. Na stronie cyclecloud-rg-vnet w menu pionowym po lewej stronie wybierz pozycję Podsieci.

  5. Na karcie cyclecloud-rg-vnet | Podsieci wybierz + Podsieć.

  6. W okienku Dodawanie podsieci w polu tekstowym Nazwa wprowadź contoso-slurm-lab-cluster-subnet, zaakceptuj domyślny zakres podsieci i wybierz pozycję Zapisz.

    Uwaga / Notatka

    Zalecamy oddzielenie podsieci hostujących maszynę wirtualną platformy Azure CycleCloud z podsieci hostujących zasoby obliczeniowe klastra. W przypadku większych klastrów należy przydzielić wystarczająco duże zakresy adresów IP.

  7. W portalu Azure użyj pola wyszukiwania, aby wyszukać Subskrypcje.

  8. Na stronie Subskrypcje wybierz subskrypcję platformy Azure używaną do ćwiczeń w tym module.

  9. Na stronie wyświetlającej subskrypcję platformy Azure w menu pionowym po lewej stronie w sekcji Ustawienia wybierz pozycję Użycie i przydziały.

  10. W okienku Użycie i przydziały skonfiguruj następujące ustawienia filtrowania (pozostaw inne osoby z ich wartościami domyślnymi):

    Ustawienia Wartość
    Wybieranie usługi Wybierz pozycje Standardowe procesory wirtualne rodziny Dv3, Standardowe procesory wirtualne rodziny FSv2 i Łączna liczba regionalnych procesorów wirtualnych.
    Wybierz dostawcę Wybierz wpis Microsoft.Compute .
    Wybieranie lokalizacji Wybierz nazwę regionu świadczenia usługi Azure, w którym zamierzasz wdrożyć klaster w tym ćwiczeniu.
  11. Przejrzyj dane wyjściowe i zidentyfikuj liczbę dostępnych procesorów wirtualnych w każdej grupie.

    Zrzut ekranu przedstawiający okienko Użycie i przydziały w portalu Azure.

Zadanie 2. Tworzenie klastra HPC przy użyciu usługi Azure CycleCloud

Teraz masz aplikację internetową CycleCloud zainstalowaną na maszynie wirtualnej platformy Azure, wystarczającą liczbę rdzeni procesorów wirtualnych dostępnych w ramach subskrypcji platformy Azure oraz wyznaczoną podsieć sieciową, która może służyć do automatycznego skalowania węzłów klastra. Możesz przystąpić do wdrażania klastra opartego na technologii Slurm.

  1. Na komputerze w oknie przeglądarki internetowej z wyświetloną stroną Subskrypcje aplikacji internetowej Azure CycleCloud w lewym górnym rogu wybierz link Wstecz do klastrów .

  2. Na stronie Tworzenie nowego klastra przejrzyj dostępne opcje, a następnie w sekcji Harmonogramy wybierz pozycję Slurm.

    Zrzut ekranu przedstawiający stronę Tworzenie nowego klastra aplikacji internetowej Azure CycleCloud.

  3. Na karcie Informacje na stronie Nowy klaster Slurm w polu tekstowym Nazwa klastra wprowadź contoso-slurm-lab-cluster.

    Zrzut ekranu przedstawiający zakładkę 'Informacje' na stronie Nowy klaster Slurm aplikacji internetowej Azure CycleCloud.

  4. Na karcie Wymagane ustawienia na stronie Nowy klaster Slurm w polu tekstowym Nazwa klastra skonfiguruj następujące ustawienia (pozostaw inne z ich wartościami domyślnymi):

    Ustawienia Wartość
    Rejon Wybierz nazwę regionu świadczenia usługi Azure, w którym zamierzasz wdrożyć klaster w tym ćwiczeniu.
    Typ maszyny wirtualnej dla harmonogramu Wybierz Wybierz, a następnie w oknie podręcznym Wybierz typ maszyny w polu tekstowym Wyszukiwanie SKU wprowadź "D2ds_v5". Na liście wyników zaznacz pole wyboru obok wpisu D2ds_v5 , a następnie wybierz pozycję Zastosuj.

    Zrzut ekranu przedstawiający zakładkę okna podręcznego Wybierz typ maszyny na stronie Nowy klaster Slurm w aplikacji internetowej Azure CycleCloud.

    Ustawienia Wartość
    Maksymalna liczba rdzeni HPC Wprowadź 100
    Maksymalna liczba rdzeni HTC Wprowadź 100
    Maksymalna liczba maszyn wirtualnych w zestawie skalowania Wprowadź 40
    Identyfikator podsieci Wybierz cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet

    Zrzut ekranu pokazujący kartę

    Uwaga / Notatka

    Ustawienie Max VMs per Scaleset ogranicza maksymalny rozmiar zadania Message Passing Interface, które można uruchomić na klastrze, ponieważ scaleset jest obecnie granicą fabricu InfiniBand.

  5. Na karcie Magazyn dołączony do sieci na stronie Nowy klaster Slurm sprawdź, czy typ NFS jest ustawiony na Wbudowany. Zaakceptuj wartość domyślną rozmiaru (GB) ustawioną na 100, a następnie wybierz przycisk Dalej.

    Zrzut ekranu przedstawiający kartę Sieciowy magazyn danych na stronie Nowy klaster Slurm aplikacji internetowej Azure CycleCloud.

  6. Na karcie Ustawienia zaawansowane na stronie Nowy klaster Slurm przejrzyj dostępne opcje bez wprowadzania żadnych zmian, a następnie wybierz przycisk Dalej.

    Zrzut ekranu przedstawiający kartę Ustawienia zaawansowane na stronie Nowy klaster Slurm aplikacji internetowej Azure CycleCloud.

  7. Na karcie Cloud-init na stronie Nowy klaster Slurm przejrzyj dostępne opcje bez wprowadzania żadnych zmian, a następnie wybierz pozycję Zapisz.

Zadanie 3. Konfigurowanie i uruchamianie klastra HPC przy użyciu usługi Azure CycleCloud

Aby przygotować się do operacjonalizacji klastra, ustaw alerty, aby otrzymywać powiadomienia, gdy koszty użycia klastra osiągną budżet przydzielony na koszt zasobów platformy Azure. Zweryfikuj również wdrożenie, uruchamiając klaster za pomocą interfejsu graficznego aplikacji internetowej CycleCloud.

  1. Na komputerze w przeglądarce internetowej wyświetlającej interfejs graficzny aplikacji internetowej Azure CycleCloud przejrzyj właściwości nowo wdrożonego klastra.

    Zrzut ekranu przedstawiający stronę contoso-slurm-lab-cluster w stanie wyłączonym w aplikacji internetowej Azure CycleCloud.

  2. Na stronie contoso-slurm-lab-cluster wybierz link Utwórz nowy alert .

  3. W oknie podręcznym Alert użycia klastra contoso-slurm-lab-cluster określ następujące ustawienia, a następnie wybierz Zapisz:

    Ustawienia Wartość
    Budżet 100,00 USD
    Na Miesiąc
    Wysyłanie powiadomienia Włączone
    Adresatów cc-admin@contoso.com

    Zrzut ekranu przedstawiający alert użycia klastra dla okna podręcznego contoso-slurm-lab-cluster w aplikacji internetowej Azure CycleCloud.

  4. Wróć na stronę contoso-slurm-lab-cluster , wybierz link Uruchom , a po wyświetleniu monitu o potwierdzenie wybierz przycisk OK.

  5. Monitoruj proces uruchamiania.

    Uwaga / Notatka

    Proces obejmuje aprowizowanie maszyny wirtualnej platformy Azure obsługującej rolę węzła głównego klastra oraz instalację i konfigurację harmonogramu Slurm. Może to potrwać około pięciu minut.

    Zrzut ekranu przedstawiający kartę Węzły contoso-slurm-lab-cluster w stanie aktywnym w aplikacji internetowej Azure CycleCloud.

Zadanie 4. Czyszczenie środowiska laboratoryjnego

Ukończono testowanie procesu wdrażania klastra przy użyciu aplikacji Azure CycleCloud. Aby uniknąć niepotrzebnych kosztów związanych z korzystaniem z zasobów platformy Azure, zakończ działanie klastra i usuń wszystkie zasoby aprowidowane w ramach ćwiczeń tego kursu.

  1. Na komputerze w przeglądarce internetowej wyświetlającej interfejs graficzny aplikacji internetowej Azure CycleCloud na stronie contoso-slurm-lab-cluster wybierz link Zakończ, a po wyświetleniu monitu wybierz OK.

  2. Monitoruj proces zakończenia.

    Uwaga / Notatka

    Proces obejmuje anulowanie aprowizacji maszyny wirtualnej platformy Azure obsługującej rolę węzła głównego klastra. Może to potrwać około pięciu minut.

    Uwaga / Notatka

    Zasoby wdrożone w ramach tego ćwiczenia należy usunąć zgodnie z opisem w tym zadaniu. Jeśli nie usuniesz zasobów, możesz ponieść dodatkowe opłaty za subskrypcję.

    Uwaga / Notatka

    Aby usunąć wszystkie inne zasoby utworzone w tym laboratorium, usuń grupę zasobów cyclecloud-rg.

  3. Na komputerze przejdź do okna przeglądarki wyświetlającego witrynę Azure Portal.

  4. W portalu Azure przejdź do sekcji cyclecloud-rg. Wybierz wpis Usuń grupę zasobów na pasku narzędzi, a następnie w polu tekstowym WPISZ NAZWĘ GRUPY ZASOBÓW wpisz cyclecloud-rg, a następnie wybierz pozycję Usuń.

  5. Powtórz poprzedni krok, aby usunąć grupę zasobów o nazwie rozpoczynającej się od contoso-slurm-lab-cluster- zawierającego zasób dysku używany przez klaster.

Gratulacje! Drugie ćwiczenie tego modułu zostało ukończone pomyślnie. Zapewniono dostępność zasobów obliczeniowych i sieciowych wymaganych do wdrożenia nowego klastra. Następnie wdrożono klaster przy użyciu usługi Azure CycleCloud, skonfigurowano alerty budżetowe i uruchomiono go w celu zweryfikowania jego funkcjonalności. Na koniec klaster został zakończony i usunięto wszystkie zasoby aprowizowane w tym module, aby uniknąć niepotrzebnych kosztów.