Microsoft HPC 팩을 사용하여 Azure IaaS 컴퓨팅 노드를 추가하기 위한 요구 사항
이 섹션에서는 HPC 클러스터에 Azure IaaS 컴퓨팅 노드를 추가하기 위한 요구 사항을 설명합니다.
지원되는 Microsoft HPC 팩 클러스터 버전
HPC 팩 클러스터에 Azure IaaS 컴퓨팅 노드를 배포하려면 Microsoft HPC Pack 2016 업데이트 1 이상을 실행해야 합니다.
Azure에서 완전히 새 HPC 팩 클러스터를 만들려면 Azure HPC Pack 2016 클러스터 배포로 이동하여 배포할 템플릿을 선택합니다. 그렇지 않으면 먼저 온-프레미스에서 HPC 팩 클러스터를 만들어야 합니다. 하이브리드 HPC 팩 클러스터에 대한 설치 지침은 아래를 참조하세요.
Azure 구독 계정
Azure 구독을 얻거나 구독의 소유자 역할이 할당되어야 합니다.
Azure 구독을 만들려면 Azure 사이트로 이동합니다.
기존 구독에 액세스하려면 Azure Portal로 이동하세요.
비고
각 Azure 구독에 대한 몇 가지 제한(할당량이라고도 함)이 있습니다. 가상 머신 코어에는 지역별 총 제한과 크기별 지역별 제한(Dv2, F 등)이 별도로 적용됩니다. Azure Portal
네트워크 인프라
Azure IaaS 컴퓨팅 노드에 대한 Azure 가상 네트워크 및 서브넷을 제공해야 합니다.
Azure에서 HPC 팩 클러스터를 완전히 만들려는 경우 단일 Azure 가상 네트워크에서 헤드 노드 및 Azure IaaS 컴퓨팅 노드를 만들어야 합니다.
그러나 온-프레미스 회사 네트워크에 헤드 노드가 있는 하이브리드 HPC Pack 클러스터를 만들고 Azure에서 Azure IaaS 컴퓨팅 노드를 만들려는 경우 온-프레미스 네트워크에서 Azure 가상 네트워크로의
Azure 가상 네트워크에 대한 네트워크 보안 그룹 구성
Azure 가상 네트워크 서브넷에 대한 네트워크 보안 그룹을 구성하는 것이 좋습니다. 다음 HPC 포트 테이블 각 HPC 노드 유형에 대한 수신 대기 포트를 나열합니다. 포트에 대한 자세한 내용은 이 문서
| 역할 | 항구 | 프로토콜 |
|---|---|---|
| Linux 컴퓨팅 노드 |
40000, 40002 | TCP |
| windows Compute 노드 |
1856, 6729, 6730, 7998, 8677, 9096, 9100-9611, 42323, 42324 | TCP |
| Broker 노드 | 9087, 9091, 9095, 80, 443 및 Windows 컴퓨팅 노드용 포트 | TCP |
| 헤드 노드 | 445, 5800, 5802, 5969, 5970, 5974, 5999, 7997, 9090, 9092, 9094, 9892-9894 및 |
TCP |
| 헤드 노드 | 9894 | UDP |
Azure에서 헤드 노드가 있는 HPC 팩 클러스터의 경우
전적으로 Azure에서 HPC 팩 클러스터의 경우 다음 NSG 규칙을 구성해야 합니다.
1. 인바운드 보안 규칙
AllowVNetInBound
인터넷을 통해 온-프레미스 클라이언트에서 작업을 제출하려면 다음 인바운드 보안 규칙을 추가해야 합니다.
| 이름 | 항구 | 프로토콜 | 출처 | 목적지 | 조치 |
|---|---|---|---|---|---|
| AllowHttpsInBound | 443 | TCP | 어느 것이든 | 어느 것이든 | 허용하다 |
| AllowHpcSoaInbound | 9087,9090,9091,9094 | TCP | 어느 것이든 | 어느 것이든 | 허용하다 |
2. 아웃바운드 보안 규칙
AllowVNetOutBound
AllowInternetOutBound
| 이름 | 항구 | 프로토콜 | 출처 | 목적지 | 조치 |
|---|---|---|---|---|---|
| AllowKeyVaultOutBound | 어느 것이든 | 어느 것이든 | VirtualNetwork | AzureKeyVault | 허용하다 |
| AllowAzureCloudOutBound | 어느 것이든 | 어느 것이든 | VirtualNetwork | AzureCloud | 허용하다 |
| AllowHttpsOutBound | 443 | TCP | VirtualNetwork | 어느 것이든 | 허용하다 |
온-프레미스 헤드 노드가 있는 하이브리드 HPC 팩 클러스터의 경우
온-프레미스 헤드 노드와 브로커 노드 및 Azure IaaS 컴퓨팅 노드가 있는 하이브리드 HPC 팩 클러스터의 경우 Azure IaaS 컴퓨팅 노드의 관점에서 다음 NSG 규칙을 구성해야 합니다.
1. 인바운드 보안 규칙
AllowVNetInBound
비고
회사 네트워크와 Azure 가상 네트워크 사이에 방화벽이 있는 경우 헤드 노드의 관점에서 이러한 포트를 허용하도록 아웃바운드 방화벽 규칙을 구성합니다.
2. 아웃바운드 보안 규칙
AllowVNetOutBound
| 이름 | 항구 | 프로토콜 | 출처 | 목적지 | 조치 |
|---|---|---|---|---|---|
| AllowHpcIntraVNetTcpOutBound | 443, 5970, 6729, 6730, 8677, 9892, 9893, 9894 | TCP | 어느 것이든 | VirtualNetwork | 허용하다 |
| AllowHpcIntraVNetUdpOutBound | 9894 | UDP | 어느 것이든 | VirtualNetwork | 허용하다 |
비고
회사 네트워크와 Azure 가상 네트워크 사이에 방화벽이 있는 경우 헤드 노드 관점에서 이러한 포트를 허용하도록 인바운드 방화벽 규칙을 구성합니다.
AllowInternetOutBound
| 이름 | 항구 | 프로토콜 | 출처 | 목적지 | 조치 |
|---|---|---|---|---|---|
| AllowKeyVaultOutBound | 어느 것이든 | 어느 것이든 | VirtualNetwork | AzureKeyVault | 허용하다 |
| AllowAzureCloudOutBound | 어느 것이든 | 어느 것이든 | VirtualNetwork | AzureCloud | 허용하다 |
| AllowHttpsOutBound | 443 | TCP | VirtualNetwork | 어느 것이든 | 허용하다 |
HPC 팩 헤드 노드는 Azure 배포 구성 설정
https://management.core.windows.net
https://management.azure.com
https://login.microsoftonline.com
https://hpcazuresasdispatcher.azurewebsites.net
https://hpcazureconsumptionsb.servicebus.windows.net
https://*.vault.azure.net
https://*.microsoft.com
https://*.msauth.net
https://*.msftauth.net
https://*.core.windows.net
1단계. Azure IaaS 컴퓨팅 노드의 배포를 지원하도록 클러스터 구성
1.1단계 Azure 배포 구성 설정
HPC 클러스터 관리자 또는 PowerShell 명령사용하여 Azure 배포 구성을 설정할 수 있습니다.
HPC 클러스터 관리자를 사용하여 Azure 배포 구성 설정
비고
이 문서의 azure 배포 구성 설정
Azure 배포 구성 설정을 클릭하고 마법사에 따라 구성을 완료할 수 있습니다.
1. Azure 서비스 주체 구성
Azure 서비스 주체는 HPC Pack 서비스에서 Azure IaaS VM을 프로비전, 시작, 중지 및 삭제하는 데 사용됩니다. Azure 서비스 주체를 구성하려면 로그인
비고
Microsoft Entra ID(Azure AD) 계정으로 로그인해야 합니다. 개인 Microsoft 계정으로 로그인하면 "이 사용자 이름이 올바르지 않을 수 있습니다. 올바르게 입력했는지 확인합니다. 그렇지 않으면 관리자에게 문의하세요."
계정 유형을 확인하려면 Azure Portal에 로그인하고 Microsoft Entra ID ->사용자 및 그룹을 클릭하고 계정을 찾습니다. 해당 ID가 디렉터리의 도메인 이름이 아닌 MicrosoftAccount인 경우 계정은 Microsoft 개인 계정입니다. 해결 방법은 계정의 사용자 계정 이름을 찾아 로그인하는 것입니다.
계정이 둘 이상의 Azure AD 테넌트에 대한 액세스 권한을 제공하는 경우 오른쪽 위 모서리에 있는 계정을 클릭합니다. 그런 다음 포털 세션을 원하는 테넌트에 설정합니다. 디렉터리의 리소스에 액세스할 수 있는 권한이 있어야 합니다.
왼쪽 서비스 탐색 창에서 Microsoft Entra ID를 클릭하고 사용자 및 그룹을 클릭한 다음 이미 만들거나 구성된 사용자 계정이 있는지 확인합니다.
Azure 계정과 연결된 여러 Azure 구독이 있는 경우 선택
새 Azure 서비스 주체를 만들도록 선택한 경우
비고
Azure 서비스 주체에 대한 인증서는 HPC 노드 간의 통신을 보호하는 데 사용되는 인증서와 달라야 합니다.
Azure 서비스 주체를 만들려면 Azure 계정이 Azure 구독의
소유자 역할이어야 하며 Azure 서비스 주체는 기본적으로 Azure 구독의기여자 역할로 부여됩니다. 사용자 시나리오에 따라 Azure 서비스 주체에 대한 액세스 권한을 수동으로 다시 구성하기 위해 HPC Pack 클러스터 Azure 리소스에 대한액세스 제어를 참조할 수 있습니다.
2. Azure Virtual Network 지정
Azure 가상 네트워크 페이지에서 Azure IaaS 컴퓨팅 노드를 만들 Azure 가상 네트워크의 정보를 지정합니다.
Azure 위치: 가상 네트워크가 찾는 azure 위치
리소스 그룹 이름: 가상 네트워크를 만든 리소스 그룹
Virtual Network 이름: Azure IaaS 컴퓨팅 노드를 만들 가상 네트워크의 이름입니다.
서브넷 이름: Azure IaaS 컴퓨팅 노드를 만들 서브넷의 이름입니다.
비고
지정한 가상 네트워크에는 사이트 간 VPN 또는 헤드 노드가 있는 온-프레미스 네트워크에 대한 Express 경로 연결이 있어야 합니다.
3. Azure Key Vault 인증서 구성
HPC 팩 서비스는 X.509 인증서를 사용하여 HPC 노드 통신을 보호합니다. 따라서 프로비전하는 동안 Azure IaaS VM에 설치할 수 있도록 이 인증서를 Azure Key Vault로 가져와야 합니다. Azure Key Vault 인증서
새 Key Vault 비밀을 만들도록 선택한 경우 자격 증명 모음 이름 목록에서 기존 Azure Key Vault 이름을 선택하거나 만들기 클릭하여 새 Azure Key Vault를 만들 수 있습니다. 그런 다음 친숙한
비고
HPC 노드 통신에 헤드 노드에서 자체 서명된 인증서를 사용하는 경우 동일한 인증서(헤드 노드 설치 중에 사용되는 인증서)를 Azure Key Vault 비밀에 업로드해야 합니다. 이렇게 하지 않으면 신뢰할 수 없는 인증서 문제로 인해 헤드 노드에 Azure IaaS 컴퓨팅 노드에 연결할 수 없습니다. 또한 다음 PowerShell 명령을 사용하여 노드 통신에 사용되는 인증서 지문을 가져올 수 있습니다. Get-HPCClusterRegistry -propertyName SSLThumbprint
설정을 검토하고 마침 클릭하여 구성을 완료합니다.
PowerShell을 사용하여 Azure 배포 구성 설정
이미 있는 경우 다음 PowerShell 명령을 실행하여 Azure 배포 구성을 설정할 수도 있습니다.
- Azure 서비스 주체 및 Azure Key Vault 인증서를 만들었습니다.
- Azure 서비스 주체가 모든 헤드 노드 머신에 프라이빗 키 있는 로컬 컴퓨터\개인 인증서 저장소
인증서를 설치했습니다.
Add-PSSnapin Microsoft.Hpc
# Set Azure subscription and Service Principal information
Set-HpcClusterRegistry -PropertyName SubscriptionId -PropertyValue <subscriptionId>
Set-HpcClusterRegistry -PropertyName TenantId -PropertyValue <tenantId>
Set-HpcClusterRegistry -PropertyName ApplicationId -PropertyValue <ServiceprincipalApplicationId>
Set-HpcClusterRegistry -PropertyName Thumbprint -PropertyValue <ServiceprincipalCertThumbprint>
# Set Virtual network information
Set-HpcClusterRegistry -PropertyName VNet -PropertyValue <VNetName>
Set-HpcClusterRegistry -PropertyName Subnet -PropertyValue <SubnetName>
Set-HpcClusterRegistry -PropertyName Location -PropertyValue <VNetLocation>
Set-HpcClusterRegistry -PropertyName ResourceGroup -PropertyValue <VNetResourceGroup>
# Set Azure Key vault certificate
Set-HpcKeyVaultCertificate -ResourceGroup <KeyVaultResourceGroupName> -CertificateUrl <KeyVaultSecretUrlWithVersion> -CertificateThumbprint <KeyVaultCertificateThumbprint>
1.2단계 다른 클러스터 속성 구성
헤드 노드가 있는 다른 서브넷 도메인에 가입되지 않은 Azure IaaS Windows 컴퓨팅 노드 또는 Linux 컴퓨팅 노드를
Set-HpcClusterRegistry -PropertyName HostFileForOtherSubnet -PropertyValue 1
if($env:CCP_CONNECTIONSTRING -like "*,*,*") {
Connect-ServiceFabricCluster
$opId = [Guid]::NewGuid()
Start-ServiceFabricPartitionRestart -OperationId $opId -RestartPartitionMode AllReplicasOrInstances -ServiceName fabric:/HpcApplication/ManagementStatelessService -ErrorAction Stop
}
HPC Pack 2016 업데이트 2 이전 버전을 실행하고Azure IaaS 노드 템플릿으로 만든 Azure IaaS Linux 컴퓨팅 노드를 만들 계획인 경우 헤드 노드에서 다음 PowerShell 명령을 실행하여 헤드 노드와 Linux 컴퓨팅 노드 간에 Http를 통한 통신을 사용하도록 설정합니다.
Set-HpcClusterRegistry -PropertyName LinuxHttps -PropertyValue 0
if($env:CCP_CONNECTIONSTRING -like "*,*,*") {
Connect-ServiceFabricCluster
$opId = [Guid]::NewGuid()
Start-ServiceFabricPartitionRestart -OperationId $opId -RestartPartitionMode AllReplicasOrInstances -ServiceName fabric:/HpcApplication/SchedulerStatefulService -ErrorAction Stop
} else {
Restart-Service -Name HpcScheduler
}
HPC Pack 2019 업데이트 2 이전 버전실행하고 Azure IaaS 노드 템플릿 사용하여 만든Azure IaaS Linux 컴퓨팅 노드를 만들 계획인 경우 Linux 컴퓨팅 노드에 대한 Linux 인증 키를 설정했는지 확인하려면 HPC Pack 대한 Linux 인증 키 관리를 참조하세요.
2단계. Azure IaaS 노드 템플릿 만들기
중요합니다
- 사용자 지정 이미지 또는 공유 이미지를 사용하도록 선택하는 경우 VM 이미지의 운영 체제가
요구 사항을 충족해야 합니다. - 공유 이미지 HPC Pack 2016 업데이트 2 이전 버전에서는 지원되지 않습니다.
- Azure Spot VM은 HPC Pack 2019부터 지원됩니다.
구성 패널에서 노드 템플릿클릭하고 작업 목록에서 새 클릭하여 Azure IaaS 노드 템플릿을 만듭니다.
템플릿 이름 지정 페이지에서 템플릿 이름 지정하고 선택적으로 설명지정합니다.
VM 그룹 정보 지정 페이지에서 IaaS 컴퓨팅 노드를 만들 Azure 리소스 그룹의 리소스 그룹 이름 지정합니다. 기존 리소스 그룹을 선택하거나 새 리소스 그룹 이름을 지정할 수 있습니다. 새 리소스 그룹 이름을 지정하는 경우 HPC 팩 클러스터는 이 노드 템플릿을 사용하여 첫 번째 Azure IaaS 컴퓨팅 노드를 배포할 때 리소스 그룹을 만듭니다.
Azure 가용성 집합에서 노드를 만들 것인지 여부를 지정하고 필요한 경우 가용성 집합 이름을 지정합니다. 새 가용성 집합 이름을 지정하는 경우 HPC Pack 클러스터는 이 노드 템플릿을 사용하여 첫 번째 Azure IaaS 컴퓨팅 노드를 배포할 때 만듭니다.
VM 이미지 지정 페이지에서 IaaS 컴퓨팅 노드를 배포하는 데 사용되는 VM 이미지를 지정합니다. 다음
이미지 유형CustomImage선택하는 경우 OS 유형, 사용자 지정된 VM 이미지의 이미지 이름, 이미지가 저장되는 리소스 그룹 지정합니다. VM 이미지는 Azure IaaS 컴퓨팅 노드가 만들어지는 동일한 Azure 위치에 만들어졌어야 하며, 1.1단계에서 지정한 Azure 서비스 주체에 사용자 지정 이미지에 대한 읽기 권한이 부여되었는지 확인합니다. 사용자 지정 이미지 만들기
HPC 팩 컴퓨팅 노드 대한 사용자 지정 VM 이미지에 대한 자세한
이미지 유형SharedImage선택하는 경우 Azure 공유 이미지 갤러리에서 공유 VM 이미지의 OS 유형Azure 리소스 ID 지정합니다. 1.1단계에서 지정한 Azure 서비스 주체에 공유 이미지 갤러리에 대한 읽기 권한이
검토 페이지에서 지정한 설정을 검토하고 만들기 클릭하여 노드 템플릿을 만듭니다.
노드 템플릿을 사용하여 새 Azure IaaS 컴퓨팅 노드를 만들기 전에 몇 가지 고급 옵션(예: Azure Spot VM 사용)을 지정하려면 IaaS 노드 템플릿에 대한 고급 옵션을 참조하세요.
3단계. IaaS 컴퓨팅 노드 만들기 및 관리
HPC 클러스터 관리자 콘솔을 열고 리소스 관리 표시줄을 클릭한 다음 노드 추가를 클릭하여 노드 추가 마법사시작합니다.
마침클릭하면 노드 목록에서 두 개의 새 노드를 찾을 수 있습니다. 이러한 두 노드에 해당하는 Azure 가상 머신은 실제로 Azure 쪽에서 아직 만들어지지 않았습니다.
그런 다음 노드를 선택하고 시작 클릭하여 Azure에서 가상 머신을 만들 수 있습니다.
Azure IaaS 컴퓨팅 노드의 프로비저닝을 기다립니다.
Azure IaaS 컴퓨팅 노드의 배포가 완료되고 Node HealthOK되면 이러한 노드에 작업을 제출할 수 있습니다.
중지를 클릭하여 노드를 수동으로 중지할 수 있으며 Azure의 가상 머신은 할당이 해제됩니다.
더 이상 필요하지 않은 경우 노드 삭제를
IaaS 노드 템플릿에 대한 고급 옵션
대부분의 시나리오에서는 2단계 에서 만든 노드 템플릿을 직접 사용하여 Azure IaaS 컴퓨팅 노드를 만들 수 있으므로 고급 옵션을 지정할 필요가 없습니다. 고급 옵션을 지정하려면 구성 ->노드 템플릿으로 이동하여 방금 만든 노드 템플릿을 선택하고 편집을 클릭합니다.
비고
Azure IaaS 노드 템플릿은 생성된 컴퓨팅 노드가 없는 경우에만 편집할 수 있습니다.
Azure Spot VM 사용
Azure Spot VM을 사용하여 Azure IaaS 컴퓨팅 노드를 만드는 기능은 HPC Pack 2019에서 도입된 기능입니다. Azure Spot VM을 사용하면 사용하지 않는 Azure 컴퓨팅 용량을 상당한 비용 절감으로 활용할 수 있습니다. 그러나 Azure Spot VM에 대한 SLA는 없습니다.
지정된 Azure 지역에서 사용할 수 있는 스폿 용량이 없는 경우 IaaS 컴퓨팅 노드의 배포가 실패할 수 있습니다.
실행 중인 모든 Azure Spot VM은 Azure 인프라에 용량이 다시 필요할 때 언제든지 제거 및 중지된 할당 취소 상태로 이동할 수 있습니다. 이 경우 해당 HPC 컴퓨팅 노드가 오류 노드 상태에 표시되고 노드에서 실행되는 모든 작업이 중단되고 다시 큐에 추가됩니다.
스폿 용량을 다시 사용할 수 있는 경우 Azure 인프라는 제거된 Azure Spot VM을 자동으로 다시 배포하지 않습니다. 노드를 수동으로 오프라인으로 전환한 다음 HPC 클러스터 관리자에서 다시 부팅하여 나중에 Azure Spot VM을 다시 배포할 수 있지만 사용 가능한 스폿 용량이 없어서 다시 배포가 실패할 수 있습니다.
DNS 서버
기본적으로 DNS 서버 옵션은 설정되지 않으며 Azure VM의 네트워크 인터페이스는 가상 네트워크에서 DNS 서버 설정을 가져옵니다. 네트워크 인터페이스에 대한 DNS 서버를 명시적으로 설정하려면 쉼표로 구분된 DNS 서버 목록을 지정합니다.
HPC 자동 업데이트
HPC 팩은 Azure VM 확장을 사용하여 Azure VM 에 HPC 팩 구성 요소를 배포합니다. HPC 자동 업데이트 옵션은 새 버전의 HPC 팩 컴퓨팅 노드 VM 확장이 게시된 경우 Azure VM 에이전트가 HPC 팩 버전을 자동으로 업그레이드해야 하는지 여부를 지정합니다. 기본값은 False입니다. 실행 중인 작업이 중단되고 HPC 작업도 실패할 수 있으므로 True로 설정 하지 않는 것이 좋습니다.