Używanie wystąpień RDMA lub GPU w pulach usługi Batch

Aby uruchomić niektóre zadania usługi Batch, możesz skorzystać z rozmiarów maszyn wirtualnych platformy Azure przeznaczonych do obliczeń na dużą skalę. Na przykład:

• Aby uruchomić wieloinstancyjne obciążenia MPI, wybierz serię HB, HC, NC lub ND albo inne rozmiary, które mają interfejs sieciowy dla zdalnego bezpośredniego dostępu do pamięci (RDMA). Te rozmiary łączą się z siecią InfiniBand na potrzeby komunikacji między węzłami, co może przyspieszyć aplikacje MPI.

• W przypadku aplikacji CUDA wybierz rozmiary serii N, które obejmują karty procesora graficznego NVIDIA Tesla (GPU).

Ten artykuł zawiera wskazówki i przykłady użycia niektórych wyspecjalizowanych rozmiarów platformy Azure w pulach usługi Batch. Aby uzyskać informacje o specyfikacji i tle, zobacz:

• Rozmiary maszyn wirtualnych obliczeniowych o wysokiej wydajności (Linux, Windows)

• Rozmiary maszyn wirtualnych z obsługą procesora GPU (Linux, Windows)

Zależności

Obsługa funkcji RDMA i GPU w rozmiarach intensywnie korzystających z obliczeń w usłudze Batch jest dostępna tylko w niektórych systemach operacyjnych. Obsługiwane systemy operacyjne dla tych rozmiarów maszyn wirtualnych obejmują tylko podzestaw tych, które są dostępne do tworzenia maszyn wirtualnych. W zależności od sposobu tworzenia puli usługi Batch może być konieczne zainstalowanie lub skonfigurowanie dodatkowego sterownika lub innego oprogramowania w węzłach. W poniższych tabelach podsumowano te zależności. Aby uzyskać szczegółowe informacje, zobacz połączone artykuły. Aby uzyskać opcje konfigurowania pul usługi Batch, zobacz dalej w tym artykule.

Pule systemu Linux — konfiguracja maszyny wirtualnej

^*Rozmiary serii N z obsługą RDMA obejmują również procesory GPU NVIDIA Tesla

Pule systemu Windows — konfiguracja maszyny wirtualnej

^*Rozmiary serii N z obsługą RDMA obejmują również procesory GPU NVIDIA Tesla

Pule systemu Windows — konfiguracja usług Cloud Services

Opcje konfiguracji puli

Aby skonfigurować wyspecjalizowany rozmiar maszyny wirtualnej dla puli usługi Batch, możesz zainstalować wymagane oprogramowanie lub sterowniki:

• W przypadku pul w konfiguracji maszyny wirtualnej wybierz skonfigurowany obraz maszyny wirtualnej z Azure Marketplace, który ma zainstalowane sterowniki i oprogramowanie. Przykłady:

  • Maszyna wirtualna do nauki o danych dla systemu Linux lub Windows — obejmuje sterowniki NVIDIA CUDA

  • Obrazy systemu Linux dla obciążeń kontenerów usługi Batch, które obejmują również sterowniki gpu i RDMA:

  • Ubuntu Server (ze sterownikami GPU i RDMA) dla pul kontenerów usługi Azure Batch

• Utwórz niestandardowy obraz maszyny wirtualnej z systemem Windows lub Linux z zainstalowanymi sterownikami, oprogramowaniem lub innymi ustawieniami wymaganymi dla rozmiaru maszyny wirtualnej.

• Zainstaluj sterowniki karty graficznej i RDMA za pomocą rozszerzenia maszyny wirtualnej.

• Utwórz pakiet aplikacji ze spakowanego sterownika lub instalatora aplikacji. Następnie skonfiguruj usługę Batch, aby wdrożyć ten pakiet w węzłach puli i zainstalować go po utworzeniu każdego węzła. Jeśli na przykład pakiet aplikacji jest instalatorem, utwórz wiersz polecenia start task, aby dyskretnie zainstalować aplikację na wszystkich węzłach puli. Rozważ użycie pakietu aplikacji i zadania uruchamiania puli, jeśli obciążenie zależy od określonej wersji sterownika.

  Uwaga

  Zadanie startowe musi być uruchamiane z uprawnieniami administratora i powinno oczekiwać na pomyślne zakończenie. Dłużej trwające zadania zwiększą czas potrzebny na aprowizację puli Batch.

Przykład: sterowniki procesora GPU firmy NVIDIA w puli maszyn wirtualnych z systemem Windows NC

Aby uruchamiać aplikacje CUDA w puli węzłów nc systemu Windows, należy zainstalować sterowniki procesora GPU FIRMY NVIDIA. W poniższych przykładowych krokach użyto pakietu aplikacji do zainstalowania sterowników procesora GPU firmy NVIDIA. Możesz wybrać tę opcję, jeśli obciążenie zależy od określonej wersji sterownika procesora GPU.

1. Pobierz pakiet instalacyjny sterowników procesora GPU w systemie Windows Server 2016 z witryny internetowej FIRMY NVIDIA — na przykład w wersji 411.82. Zapisz plik lokalnie przy użyciu krótkiej nazwy, takiej jak GPUDriverSetup.exe.
2. Utwórz plik zip pakietu.
3. Przekaż pakiet do konta usługi Batch. Aby uzyskać instrukcje, zobacz wskazówki dotyczące pakietów aplikacji. Określ identyfikator aplikacji, taki jak GPUDriver, i wersję, taką jak 411.82.
4. Za pomocą interfejsów API usługi Batch lub witryny Azure Portal utwórz pulę w konfiguracji maszyny wirtualnej z żądaną liczbą węzłów i skalowaniem. W poniższej tabeli przedstawiono przykładowe ustawienia instalacji sterowników procesora GPU FIRMY NVIDIA w trybie dyskretnym przy użyciu zadania uruchamiania:

Przykład: sterowniki procesora GPU firmy NVIDIA w puli maszyn wirtualnych nc systemu Linux

Aby uruchamiać aplikacje CUDA w puli węzłów nc systemu Linux, należy zainstalować niezbędne sterowniki procesora GPU NVIDIA Tesla z zestawu narzędzi CUDA Toolkit. Poniższe przykładowe kroki umożliwiają utworzenie i wdrożenie niestandardowego obrazu systemu Ubuntu 22.04 LTS za pomocą sterowników procesora GPU:

1. Wdróż maszynę wirtualną z serii NC platformy Azure z systemem Ubuntu 22.04 LTS. Na przykład utwórz maszynę wirtualną w regionie Południowo-środkowym USA.
2. Dodaj rozszerzenie sterowniki procesora GPU firmy NVIDIA do maszyny wirtualnej przy użyciu witryny Azure Portal, komputera klienckiego łączącego się z subskrypcją platformy Azure lub usługą Azure Cloud Shell. Alternatywnie wykonaj kroki, aby nawiązać połączenie z maszyną wirtualną i ręcznie zainstalować sterowniki CUDA.
3. Wykonaj kroki, aby utworzyć obraz galerii obliczeniowej Azure dla usługi Batch.
4. Utwórz konto usługi Batch w regionie obsługującym maszyny wirtualne nc.
5. Za pomocą interfejsów API usługi Batch lub portalu Azure utwórz pulę, używając obrazu niestandardowego oraz z żądaną liczbą węzłów i skalą. W poniższej tabeli przedstawiono przykładowe ustawienia puli dla obrazu:

Przykład: Microsoft MPI w puli maszyn wirtualnych systemu Windows H16r

Aby uruchamiać aplikacje MPI systemu Windows w puli węzłów maszyn wirtualnych usługi Azure H16r, należy skonfigurować rozszerzenie HpcVmDrivers i zainstalować interfejs MICROSOFT MPI. Poniżej przedstawiono przykładowe kroki wdrażania niestandardowego obrazu systemu Windows Server 2016 z wymaganymi sterownikami i oprogramowaniem:

1. Wdróż maszynę wirtualną platformy Azure H16r z systemem Windows Server 2016. Na przykład utwórz maszynę wirtualną w regionie Zachodnim USA.
2. Dodaj rozszerzenie HpcVmDrivers do maszyny wirtualnej, uruchamiając polecenie programu Azure PowerShell z komputera klienckiego, który łączy się z subskrypcją platformy Azure lub przy użyciu usługi Azure Cloud Shell.
3. Utwórz połączenie pulpitu zdalnego z maszyną wirtualną.
4. Pobierz pakiet instalacyjny (MSMpiSetup.exe) dla najnowszej wersji programu Microsoft MPI i zainstaluj program Microsoft MPI.
5. Wykonaj kroki, aby utworzyć obraz Azure Compute Gallery dla usługi Batch.
6. Za pomocą interfejsów API usługi Batch lub portalu Azure utwórz pulę przy użyciu galerii Azure Compute Gallery oraz określ żądaną liczbę węzłów i skalę. W poniższej tabeli przedstawiono przykładowe ustawienia puli dla obrazu:

Następne kroki

• Aby uruchomić zadania MPI w puli Azure Batch, zobacz przykłady dla systemu Windows lub Linux.