Bereitstellen von Anwendungen auf Azure-Knoten in einem Windows HPC-Cluster

Ab HPC Pack 2008 R2 mit Service Pack 1 (SP1) umfasst HPC Pack integrierte Dienstprogramme und Mechanismen, mit denen Clusteradministratoren Anwendungen (z. B. ausführbare Dateien, SOA-Dienste, XLL-Dateien und clusterfähige Microsoft Excel-Arbeitsmappen) in Azure-Knoten bereitstellen können, die mit einem lokalen Cluster in einem Azure-Szenario verbunden sind. Standardmäßig können Azure-Knoten nicht direkt auf lokale Ressourcen und freigegebene Ordner zugreifen. Daher unterscheiden sich die Methoden, die Sie zum Bereitstellen von Anwendungen auf Azure-Knoten verwenden, von den Methoden, die Sie zum Bereitstellen von Anwendungen lokal verwenden. Darüber hinaus werden Azure-Knoten, die einem Windows HPC-Cluster hinzugefügt wurden, dynamisch bereitgestellt und neu bereitgestellt, sodass die empfohlenen Methoden für die Anwendungsbereitstellung sicherstellen, dass Anwendungen automatisch in neuen Azure-Knoteninstanzen verfügbar sind.

Überlegungen für HPC-Anwendungsworkloads für Azure Burst

Bevor Sie Anwendungen auf Azure-Knoten bereitstellen, bewerten Sie, ob Ihre vorhandenen oder geplanten HPC-Workloads in Azure ausgeführt oder effizient skaliert werden. Die detaillierten Überlegungen zu Migration, Entwicklung und Design für HPC-Anwendungen, die in einem Azure-Burst-Szenario ausgeführt werden, gehen über den Umfang dieses Themas hinaus. Darüber hinaus entwickeln sich die Funktionen der Azure-Plattform kontinuierlich weiter. Im Folgenden sind jedoch die aktuellen Merkmale eines erfolgreichen Bursts für Azure-Workloads mit HPC Pack aufgeführt, insbesondere für umfangreiche Bereitstellungen von Azure-Knoten:

• Hoch verteilte, Einzelknotenberechnungen Dazu gehören viele parametrische Aufräumen und bestimmte dienstorientierte Architekturaufträge (SOA). Andere Auftragstypen, einschließlich MPI-Aufträge (Message Passing Interface), können in einer Azure-Burst-Konfiguration ausgeführt werden, erfordern jedoch möglicherweise eine Auswahl einer rechenintensiven Instanzgröße, die das Azure RDMA-Netzwerk unterstützt. Allgemeine Informationen zu HPC-Auftragstypen finden Sie unter Understanding Parallel Computing Jobs.

• Berechnungszeit überschreitet die Datenverschiebungszeit Bestimmte HPC-Workloads erfordern das Hochladen großer Datenmengen in Azure für die Berechnung oder zurückgeben große Datenmengen, die verarbeitet wurden. Stellen Sie sicher, dass die Datenverschiebung kein Engpass in Ihrem HPC-Workflow ist.

• Dateibasierter Datenzugriff Vorhandene HPC-Anwendungen, die lokal auf Datendateien zugreifen, können problemlos migriert werden, um in Azure ausgeführt zu werden, indem sie auf Datendateien zugreifen, die in Azure Blob Storage hochgeladen werden. Neue HPC-Anwendungen können entwickelt werden, um auf die Vielzahl von Speichertypen in Azure zuzugreifen. Je nach Vertraulichkeit der Daten, gesetzlichen Anforderungen, Kostenaspekten und anderen Faktoren ist es jedoch möglicherweise nicht möglich, Anwendungsdaten in Azure zu speichern.

• Arbeitsauslastungsmuster "Bursty" Das Azure-Burst-Szenario eignet sich ideal für ressourcenintensive Workloads, die nicht einfach mithilfe der festen Ressourcen eines lokalen Clusters abgeschlossen werden können. Die Workloads können unregelmäßige Berechnungsspitzen, regelmäßig geplante Aufträge oder einmalige Aufträge umfassen.

Weitere Informationen zum Ausführen von Anwendungen auf Azure-Knoten finden Sie unter Richtlinien für das Ausführen von HPC-Anwendungen auf Azure Nodes.

Auswählen einer Methode zum Bereitstellen von Anwendungen und Daten auf Azure-Knoten

Die Methode, die Sie zum Bereitstellen von Anwendungen und Daten (in einigen Fällen) für Azure-Knoten verwenden, hängt davon ab, was für die Installation Ihrer Anwendung erforderlich ist, wie in der folgenden Tabelle beschrieben.

Verwenden von hpcpack und hpcsync

Jede Azure-Knotenbereitstellung ist einem Azure-Speicherkonto zugeordnet, das in der Knotenvorlage angegeben ist. Ein Clusteradministrator kann Dateien (z. B. Anwendungen, SOA-Dienste, XLLs, clusterfähige Excel-Arbeitsmappen und Hilfsprogramme) mithilfe der hpcpack- Befehle auf das Speicherkonto bereitstellen. Sie können hpcpack erstellen, um Dateien oder Ordner in einem komprimierten Format (.zip) zu verpacken, das in Azure Storage hochgeladen werden kann. Jede Anwendung, jeder SOA-Dienst oder XLL muss separat gepackt werden, und das Paket muss alle erforderlichen Abhängigkeiten wie DLLs oder Konfigurationsdateien enthalten. Anschließend können Sie hpcpack upload verwenden, um das Paket in das Speicherkonto hochzuladen. Sie können die hpcpack- Befehle vom Kopfknoten oder auf einem Computer ausführen, auf dem die HPC-Clienthilfsprogramme installiert sind.

Alle Pakete im Speicherkonto werden während des Bereitstellungsprozesses automatisch in neuen Azure-Knoteninstanzen bereitgestellt. Dies geschieht, wenn Sie eine Reihe von Azure-Knoten mithilfe der HPC-Verwaltungsprogramme bereitstellen und ihre Knoteninstanzen automatisch vom Windows Azure-System bereitgestellt werden. Der hpcsync--Befehl wird auf jedem Azure-Knoten ausgeführt und kopiert alle Pakete vom Speicher in den Knoten und extrahiert dann die Dateien. Wenn Sie Pakete nach dem Start der Azure-Knoten in den Speicher hochladen, können Sie die Pakete bereitstellen, indem Sie den befehl hpcsync manuell auf jedem Azure-Knoten ausführen.

Das folgende Diagramm veranschaulicht die grundlegenden Workflow- und Mechanismen zum Kopieren von Anwendungen in Azure-Knoten:

Standardmäßig extrahiert hpcsync Dateien an einen Speicherort, der von der CCP_PACKAGE_ROOT Umgebungsvariable angegeben wird. Diese Variable wird während des Bereitstellungsprozesses auf Azure-Knoten festgelegt. Die extrahierten Dateien werden in einem Ordner platziert, der wie folgt bestimmt wird: %CCP_PACKAGE_ROOT%\<packageName>\<uploadTimeStamp>. Dies ist der erwartete Speicherort für SOA-Dienste, XLLs und Excel-Arbeitsmappen. Dies ist jedoch nicht praktisch für Anwendungen, die Clusterbenutzer in ihren Befehlszeilen aufrufen. Um die Ordnerstruktur für ausführbare Dateien zu vereinfachen, können Sie die relative Pfadeigenschaft für das Paket festlegen, wenn Sie es in den Speicher hochladen. hpcsync- wendet den relativen Pfad beim Extrahieren der Dateien an, sodass der Pfad wie folgt bestimmt wird: %CCP_PACKAGE_ROOT%\<relativePath->. Benutzer können dann den Pfad zu ihrer Anwendung wie im folgenden Beispiel eines Auftrags übermitteln-Befehls angeben: job submit %CCP_PACKAGE_ROOT%\myRelativePath\myapp.exe

Im Folgenden finden Sie wichtige Überlegungen zu hpcsync und CCP_PACKAGE_ROOT:

• Auf Azure-Workerknoten wird der ordner %CCP_PACKAGE_ROOT% auf einer Datenträgerpartition mit 10 GB erstellt. Dies bedeutet, dass alle Anwendungsdateien in einer Knoteninstanz 10 GB nicht überschreiten können. Wenn eine Anwendung über umfangreiche Eingabe- und Ausgabedateien verfügt, können Sie ein Startskript verwenden, um Benutzerberechtigungen für die C:\-Laufwerke zu erteilen, sodass Benutzer in den gesamten verfügbaren Entwurfsbereich auf dem Knoten schreiben können.

• Wenn Sie hpcsync- manuell ausführen, können Sie den Standardspeicherort (%CCP_PACKAGE_ROOT%) überschreiben. Sie können beispielsweise einen Ordner auf jedem Azure-Knoten erstellen und dann diesen Speicherort angeben, wenn Sie hpcsync-ausführen. Alle Pakete werden in diesen Ordner extrahiert. Alle neuen Knoteninstanzen, die bereitgestellt werden (oder automatisch neu bereitgestellt werden), enthalten diesen Ordner jedoch nicht, und Pakete werden automatisch am Standardspeicherort bereitgestellt. Darüber hinaus verfügen Clusterbenutzer nur über Schreibberechtigungen für Ordner in %CCP_PACKAGE_ROOT%. Sofern Sie keine Ordnerberechtigungen auf den Azure-Knoten ändern, können nur Administratoren Anwendungen außerhalb von %CCP_PACKAGE_ROOT%ausführen.

• Wenn hpcsync- ein Paket bereitstellt, kann keine der extrahierten Dateien eine vollständige Pfadlänge aufweisen, die länger als 256 Zeichen ist. Die Stammverzeichnisse, in denen sich die extrahierten Dateien vorübergehend befinden und dann schließlich platziert werden, können bis zu 136 Zeichen dauern, wobei 120 Zeichen für den Dateinamen, Unterverzeichnisse (falls vorhanden) und der relativePath (sofern angegeben) verbleiben. Wenn der Pfad für die extrahierten Dateien 256 Zeichen überschreitet, schlägt die Paketbereitstellung fehl.

Der hpcsync Mechanismus ist ausreichend für die Bereitstellung von SOA-Diensten, XLL-Dateien und Anwendungen, die durch einfaches Kopieren von Dateien in einen Knoten installiert werden können. Wenn Sie ein Installationsprogramm ausführen müssen, um eine Anwendung zu installieren, oder wenn für die Anwendung zusätzliche Konfigurationsschritte erforderlich sind, z. B. Das Festlegen von Umgebungsvariablen, das Hinzufügen von Firewall-Ausnahmen, das Ändern von Ordnerberechtigungen oder das Erstellen von Ordnern, können Sie ein Startskript in die Knotenvorlage aufnehmen. Dieses Skript wird während des Bereitstellungsprozesses ausgeführt, nachdem hpcsync ausgeführt wurde, und kann verwendet werden, um die Knoten zu konfigurieren und die erforderlichen Schritte der Anwendungsinstallation auszuführen.

So stellen Sie Anwendungsdateien in Azure Storage bereit

Dieser Abschnitt enthält Informationen dazu, wie Sie Anwendungen verpacken und in Azure Storage bereitstellen, indem sie hpcpack-verwenden. Mehrstufige Pakete werden automatisch für neue Azure-Knoteninstanzen bereitgestellt, die Sie bereitstellen (oder die automatisch vom Azure-System neu bereitgestellt werden).

Anforderungen

Wenn Sie einen SOA-Dienst verpacken:

• Der Name des Pakets muss der Name des SOA-Diensts sein (d. r. den Dienstnamen, den der SOA-Client im SessionStartInfo-Konstruktor angibt). Beispiel: serviceName.zip oder serviceName_serviceVersion.zip.

• Sie müssen die Dienst-DLL, alle abhängigen DLLs und die Dienstkonfigurationsdateien in das Paket einschließen.

• Die Dienstkonfigurationsdatei muss auch auf dem Kopfknoten bereitgestellt werden. Alle Einstellungen werden durch die lokale Kopie der Konfigurationsdatei bestimmt.

• Geben Sie beim Hochladen des Pakets keinen relativen Pfad an. SOA-Dienste müssen an den Standardspeicherort entpackt werden.

Wenn Sie eine XLL-Datei verpacken:

• Der Name des Pakets muss der Name der XLL-Datei sein. Beispiel: XLLName.zip.

• Wenn die XLL Abhängigkeiten aufweist, platzieren Sie die XLL und unterstützende Dateien in einem Ordner, und packen Sie den Ordner. Die XLL muss sich in der obersten Ebene des Ordners befinden (nicht in einem Unterordner).

• Geben Sie beim Hochladen des Pakets keinen relativen Pfad an. XLLs müssen an den Standardspeicherort entpackt werden.

Wenn Sie eine Excel-Arbeitsmappe verpacken:

• Der Name des Pakets muss der Name der Arbeitsmappe sein. Beispiel: workbookName.zip.

• Wenn die Arbeitsmappe Abhängigkeiten aufweist, platzieren Sie die Arbeitsmappe und die unterstützenden Dateien in einem Ordner, und packen Sie den Ordner. Die Arbeitsmappe muss sich in der obersten Ebene des Ordners (nicht in einem Unterordner) befinden.

• Geben Sie beim Hochladen des Pakets keinen relativen Pfad an. Arbeitsmappen müssen an den Standardspeicherort entpackt werden.

Wenn Sie eine ausführbare Datei (z. B. eine MPI-Anwendung), ein Anwendungsinstallationsprogramm oder ein Hilfsprogramm packen, das Sie von einem Startskript aufrufen:

• Sie müssen alle abhängigen DLLs oder Dateien in das Paket einschließen.

• Geben Sie beim Hochladen des Pakets die relative Pfadeigenschaft an.

Wenn Sie ein Startskript verpacken:

• Der Name des Pakets muss der Name des Startskripts sein. Beispiel: startup.bat.zip.

• Geben Sie beim Hochladen des Pakets keinen relativen Pfad an. Das Startskript muss an den Standardspeicherort entpackt werden.

• Wenn Ihr Startskript Installationsprogramme oder Hilfsprogramme aufruft, stellen Sie sicher, dass Sie die erforderlichen Dateien separat verpacken und stufen.

Schritte

Die folgenden Verfahren veranschaulichen, wie verschiedene Arten von Anwendungsdateien in Azure Storage bereitgestellt werden.

So packen und stufen Sie einen SOA-Dienst in Azure Storage ein

1. Wenn der SOA-Dienst noch nicht registriert und im lokalen Cluster bereitgestellt wird, registrieren Sie den SOA-Dienst, indem Sie eine Kopie der Dienstkonfigurationsdatei im Dienstregistrierungsordner auf dem Kopfknoten ablegen (in der Regel ist dies %CCP_HOME%\ServiceRegistration). Ausführliche Informationen finden Sie unter Bereitstellen und Bearbeiten der Dienstkonfigurationsdatei.

2. Kopieren Sie die Dienstkonfigurationsdatei, die Dienstassembly und alle abhängigen DLLs in einen leeren Ordner. Kopieren Sie z. B. die Dateien in einen Ordner mit dem Namen "C:\myFiles\myServiceFiles".

3. Führen Sie an einer Eingabeaufforderung mit erhöhten Rechten hpcpack erstellen aus, und geben Sie einen Namen für Ihr Paket und den Ordner an, der Ihre Dienstdateien enthält.

   Wichtig

   Der Name des Pakets muss der Name des SOA-Diensts sein (d. r. den Dienstnamen, den der SOA-Client im SessionStartInfo-Konstruktor angibt).

   Um beispielsweise den Inhalt von C:\myFiles\myServiceFiles als myServiceName.zip zu packen (und speichern Sie das Paket in einem Ordner namens AzurePackages):

   hpcpack create C:AzurePackagesmyServiceName.zip C:myFilesmyServiceFiles

4. Führen Sie hpcpack upload aus, um das Paket mithilfe des folgenden Befehls in Azure Storage hochzuladen, wobei myHeadNode der Name Ihres Kopfknotens ist, und myAzureTemplate der Name der Vorlage ist, die Sie zum Bereitstellen der Azure-Knoten verwendet haben. Zum Beispiel:

   hpcpack upload C:\AzurePackages\myServiceName.zip /nodetemplate:myAzureNodeTemplate /scheduler:myHeadNode

So packen und stufen Sie eine XLL-Datei oder Excel-Arbeitsmappe in Azure Storage ein

1. Wenn die XLL oder Arbeitsmappe Abhängigkeiten von DLLs oder anderen Dateien hat, kopieren Sie die XLL oder Arbeitsmappe und deren Abhängigkeiten in einen Ordner, z. B. c:\myFiles\myExcelFiles.

2. Führen Sie an einer Eingabeaufforderung mit erhöhten Rechten hpcpack aus, um zu erstellen, um Ihre XLL oder Arbeitsmappe zu verpacken. Geben Sie einen Namen für das Paket an, und geben Sie die XLL oder Arbeitsmappe an. Der Name des Pakets muss der Name der XLL-Datei oder der Excel-Arbeitsmappe sein.

   Wenn Ihre XLL oder Arbeitsmappe z. B. Abhängigkeiten aufweist, packen Sie den gesamten Ordner (und speichern Sie das Paket in einem Ordner namens AzurePackages):

   hpcpack create C:\AzurePackages\myXLL.zip C:\myFiles\myExcelFiles

   Wenn Ihre XLL oder Arbeitsmappe keine Abhängigkeiten aufweist, können Sie sie direkt packen. Um beispielsweise C:\myFiles\myXLL.xll als myXLL.zipzu packen:

   hpcpack create C:\AzurePackages\myXLL.zip C:\myFiles\myXLL.xll

3. Führen Sie hpcpack upload aus, um das Paket mithilfe des folgenden Befehls in Azure Storage hochzuladen, wobei myHeadNode der Name Ihres Kopfknotens ist, und myAzureTemplate der Name der Vorlage ist, die Sie zum Bereitstellen der Azure-Knoten verwendet haben. Zum Beispiel:

   hpcpack upload C:\AzurePackages\myXLL.zip /nodetemplate:myAzureNodeTemplate /scheduler:myHeadNode

So packen und stufen Sie eine ausführbare Datei in Azure Storage ein

1. Kopieren Sie die ausführbare Datei und alle Abhängigkeiten oder DLLs in einen Ordner, z. B. C:\myFiles\myAppFiles.

2. Führen Sie an einer Eingabeaufforderung mit erhöhten Rechten hpcpack erstellen aus, um Ihre Anwendungsdateien zu verpacken. Geben Sie einen Namen für Ihr Paket an, und geben Sie den Ordner an, der Ihre Anwendungsdateien enthält.

   Um beispielsweise den Inhalt von c:\myFiles\myAppFiles als myApp.zip zu packen (und speichern Sie das Paket in einem Ordner namens AzurePackages):

   hpcpack create c:\AzurePackages\myApp.zip c:\myFiles\myAppFiles

3. Laden Sie das Paket mithilfe des folgenden Befehls in Azure Storage hoch, wobei myHeadNode- der Name Ihres Kopfknotens ist, und myAzureTemplate der Name der Vorlage ist, die Sie zum Bereitstellen der Azure-Knoten verwendet haben. Geben Sie einen relativen Pfad für die Anwendungsdateien an. Zum Beispiel:

   hpcpack upload c:\AzurePackages\myApp.zip /scheduler:myHeadNode /nodetemplate:myAzureTemplate /relativepath:myApp

Bereitstellen von mehrstufigen Paketen auf Azure-Knoten

Pakete, die in Azure Storage bereitgestellt werden, werden automatisch für neue Knoteninstanzen bereitgestellt. Sie können Pakete manuell bereitstellen, z. B. um zu überprüfen, ob alle erforderlichen Abhängigkeiten in einem Paket vorhanden sind, bevor Sie die Bereitstellung für alle neuen Knoten automatisieren oder Pakete auf Knoten bereitstellen, die bereits ausgeführt werden. Sie können clusrun und hpcsync- verwenden, um die Dateien aus dem Azure-Speicherkonto auf den Azure-Knoten bereitzustellen.

Zum Beispiel:

clusrun /nodegroup:AzureWorkerNodes hpcsync

Um eine Liste der Ordner oder Dateien anzuzeigen, die auf den Azure-Knoten bereitgestellt wurden, können Sie den folgenden Befehl ausführen:

clusrun /nodegroup:AzureWorkerNodes dir %CCP_PACKAGE_ROOT% /s

Zugreifen auf Dateien von Azure-Knoten

Wenn Ihre HPC-Anwendung Dateizugriff erfordert, sind die folgenden Optionen für den Zugriff auf Dateien aus den Anwendungen aufgeführt, die auf Azure-Knoten bereitgestellt werden.

Weitere Verweise

• Burst to Azure Worker Instances mit Microsoft HPC Pack