CycleCloud: podstawowe pojęcia

Najbardziej podstawowym systemem obliczeń o wysokiej wydajności (HPC) jest pula zasobów obliczeniowych wspieranych przez wydajne systemy plików i połączonych z sieciami o małych opóźnieniach. Harmonogramy HPC, aplikacje programowe, które umożliwiają planowanie zadań, zwykle zarządzają tymi zasobami obliczeniowym.

Tworzenie poszczególnych systemów HPC na platformie Azure z podstawowych jednostek infrastruktury, takich jak maszyny wirtualne, dyski i interfejsy sieciowe, może być uciążliwe, zwłaszcza jeśli te zasoby są efemeryczne — istniejące tylko przez czas wymagany do rozwiązania zadania HPC. Ponadto możesz utworzyć wiele, oddzielnych środowisk HPC dostosowanych do różnych jednostek biznesowych, zespołów badawczych lub osób indywidualnych. Zarządzanie tymi wieloma systemami HPC może być skomplikowane operacyjnie.

Co to jest CycleCloud?

Azure CycleCloud to narzędzie, które ułatwia konstruowanie systemów HPC na platformie Azure. Organizuje te systemy tak, aby były elastycznie rozmiarowane zgodnie z zadaniami HPC bez konieczności zarządzania podstawowymi blokami konstrukcyjnymi platformy Azure. Zespół doświadczonych specjalistów HPC zaprojektował usługę CycleCloud dla administratorów i użytkowników HPC, szczególnie użytkowników, którzy chcą tworzyć systemy HPC na platformie Azure, które przypominają wewnętrzną infrastrukturę HPC.

Operacyjnie usługa CycleCloud to serwer aplikacji instalowany na maszynie wirtualnej z systemem Linux na platformie Azure lub na serwerze lokalnym, który ma dostęp do interfejsów API i zasobów platformy Azure. Usługa CycleCloud uzyskuje i aprowizuje maszyny wirtualne platformy Azure w celu konstruowania klastrów CycleCloud, które mogą integrować harmonogramy i aplikacje użytkowników. Usługa CycleCloud udostępnia również integracje skalowania automatycznego dla wielu harmonogramów HPC i agenta CycleCloud działającego na maszynach wirtualnych platformy Azure.

Serwer aplikacji

Ten serwer aplikacji zapewnia:

• Interfejs API REST do tworzenia systemów HPC i zarządzania nimi na platformie Azure.
• Graficzny interfejs użytkownika używany do zarządzania systemami HPC i monitorowania ich.
• Interfejs wiersza polecenia, który ułatwia integrację aplikacji CycleCloud z istniejącymi przepływami pracy.
• Wewnętrzny magazyn danych NoSQL, który buforuje stan klastra i węzła.
• System alokacji i aranżacji, który uzyskuje maszyny wirtualne platformy Azure i zarządza nimi.
• System monitorowania węzła dla istniejących maszyn wirtualnych, które ostrzegają o zmianach stanu.

Integracje

Usługa CycleCloud udostępnia również integracje z typowymi harmonogramami i maszynami wirtualnymi platformy Azure. Te integracje zapewniają:

• System przygotowywania węzła i konfiguracji do konwertowania aprowizowanej maszyny wirtualnej na węzeł HPC.
• Skalowanie automatyczne dla harmonogramów HPC, które przekładają wymagania dotyczące zadań harmonogramu HPC na zasoby platformy Azure.

Co może zrobić usługa CycleCloud

Usługa CycleCloud jest przeznaczona dla operatorów HPC (administratorów i użytkowników), którzy wdrażają systemy HPC na platformie Azure. Chcą replikować infrastrukturę, którą prowadzą wewnętrznie, od harmonogramu HPC do punktów montowania systemu plików na potrzeby instalacji aplikacji i dostępu do danych. Ci użytkownicy szczególnie szukają wsparcia dla aplikacji, silników przepływu pracy i potoków obliczeniowych bez konieczności przerabiania swoich wewnętrznych procesów.

Usługa CycleCloud udostępnia bogatą i deklaratywną składnię tworzenia szablonów, która umożliwia opisywanie systemu HPC. Można zdefiniować topologię klastra, która obejmuje liczbę i typy węzłów klastra, punkty instalacji i aplikacje wdrażane w każdym węźle. Usługa CycleCloud została zaprojektowana do pracy z harmonogramami HPC, takimi jak PBSPro, Slurm, IBM LSF, Grid Engine i HT Condor. Możesz tworzyć różne kolejki w każdym harmonogramie i mapować je na węzły obliczeniowe o różnych rozmiarach maszyn wirtualnych na platformie Azure. Ponadto wtyczki autoskalowania są zintegrowane z głównymi węzłami harmonogramu. Nasłuchują kolejek zadań w każdym systemie i dostosowują rozmiar klastra obliczeniowego poprzez interakcję z interfejsem API REST autoskalowania uruchomionym na serwerze aplikacji.

Oprócz aprowizowania i tworzenia węzłów HPC usługa CycleCloud udostępnia również platformę do przygotowywania i konfigurowania maszyny wirtualnej. System zapewnia przekształcanie surowej maszyny wirtualnej w funkcjonalny składnik systemu HPC. Za pomocą tej platformy można wykonać konfigurację ostatniej mili na maszynie wirtualnej.

Ponadto usługa CycleCloud udostępnia następujące funkcje:

• Dostęp użytkowników

  Usługa CycleCloud ma wbudowaną obsługę tworzenia kont użytkowników lokalnych w każdym węźle systemu HPC. Dzięki temu systemowi można kontrolować dostęp użytkowników za pomocą jednej płaszczyzny zarządzania bez wdrażania usługi katalogowej.

• Monitorowanie

  Metryki na poziomie węzła są zbierane i wyświetlane w interfejsie użytkownika usługi CycleCloud. Te metryki są przydatne do monitorowania obciążenia systemu. Możesz podłączyć je do usług raportowania i zgłaszania alertów.

• Rejestrowanie

  Usługa CycleCloud udostępnia system rejestrowania działań i zdarzeń na poziomie węzła i serwera aplikacji.

• Przenośność

  System nie nakazuje używania określonego obrazu maszyny wirtualnej ani systemu operacyjnego. Usługa CycleCloud obsługuje główne systemy operacyjne Windows i Linux w węzłach HPC. Ponadto możesz utworzyć własny obraz maszyny wirtualnej i użyć go w systemie HPC.

• infrastruktura jako kod

  Ponieważ wszystko utworzone w usłudze CycleCloud jest definiowane w szablonach i skryptach konfiguracji, można wdrożyć systemy HPC za pomocą powtarzalnego i przenośnego rozwiązania CycleCloud. Takie podejście zapewnia spójność operatorów wdrażających systemy HPC w różnych środowiskach: piaskownica, programowanie, testowanie i produkcja. Operatorzy mogą również wdrażać identyczne systemy HPC dla różnych grup biznesowych lub zespołów w celu oddzielenia kwestii księgowych.

• Luźno powiązane lub ściśle powiązane obciążenia

  Klastry HPC utworzone przez usługę CycleCloud są przeznaczone do obsługi nie tylko luźno powiązanych lub żenujących równoległych zadań, w których skalowanie (rozmiar klastra) jest głównym problemem. Klastry CycleCloud są również zaprojektowane z myślą o sieci szkieletowej InfiniBand platformy Azure, obsługując ściśle powiązane lub oparte na interfejsie MPI obciążenia, w których bliskość węzła i opóźnienie sieci są krytyczne. Koncepcje skalowalności w poziomie i ścisłej integracji są wbudowane w integracje harmonogramów obsługiwanych przez usługę CycleCloud.