Microsoft HPC Pack

O Microsoft HPC Pack é uma solução HPC gratuita criada no Microsoft Azure com tecnologias do Windows Server e dá suporte a uma ampla gama de cargas de trabalho de HPC. Esta página articula os recursos e os detalhes de configuração para a integração do HPC Pack ao Cyclecloud.

Limitações e versões com suporte

O Microsoft HPC Pack 2016 (com a Atualização 3) e o Microsoft HPC Pack 2019 têm suporte no CycleCloud com limitações abaixo:

• O cluster deve ser criado em um Domínio do Active Directory.
• O cluster pode só conter um nó principal.
• Ainda não há suporte para a alta disponibilidade no nó principal.
• Não há suporte para a personalização da imagem de VM no nó principal.
• Os nós de computação do Linux ainda não têm suporte.
• O nó principal exige acesso à Internet de saída para baixar o binário do Nuget e o Python3.
• A CLI e a configuração de cloud-init ainda não têm suporte.

Pré-requisitos

Domínio do Active Directory

Atualmente, todos os nós do HPC Pack devem ser integrados a um Domínio do Active Directory. Se você estiver implantando o cluster HPC Pack em uma rede virtual que tenha uma conexão VPN site a site ou ExpressRoute com sua rede corporativa, normalmente já existe um Domínio do Active Directory existente. Se você ainda não tiver um domínio do AD em sua rede virtual, poderá optar por criar um novo domínio do AD promovendo o nó principal como controlador de domínio.

Azure Key Vault

O Microsoft HPC Pack requer um certificado PFX para proteger a comunicação do nodo e também requer credenciais de um usuário de domínio do AD para associar os nós ao domínio do AD. Embora você possa especificar diretamente um arquivo PFX, senha de proteção e senha de usuário no modelo, é altamente recomendável usar o Azure Key Vault para o tratamento seguro do certificado e da senha do usuário. Consulte a seção Criar um certificado do Azure Key Vault.

O cluster também requer o nome de usuário e a senha de uma conta de administrador do AD para conectar os nós ao domínio à medida que eles são criados. É altamente recomendável usar o Azure Key Vault.

Identidade Gerenciada Atribuída ao Usuário do Azure

Para usar o Azure Key Vault para o certificado e as credenciais, você precisa criar uma Identidade Gerenciada Atribuída pelo Usuário no Azure e conceder a permissão Get tanto para o Segredo quanto para o Certificado do Azure Key Vault.

Você pode consultar este tutorial do Key Vault para criar seu Key Vault e uma Identidade Gerenciada com acesso ao Key Vault.

É recomendável usar o Controle de Acesso Role-Based do Azure para atribuir permissões do Key Vault à Identidade Gerenciada.

Funções de nó do HPC Pack

Há três funções de nó diferentes no cluster do HPC Pack:

• Nó principal: fornece os serviços de gerenciamento de cluster e agendamento de trabalho. Atualmente, só há suporte para um nó principal com bancos de dados locais.
• Nó do agente: recebe solicitações de um cliente SOA, distribui-as para os hosts de serviço nos nós de computação e, em seguida, coleta respostas e as envia de volta para o cliente. Os nós do broker são criados na matriz de nós do broker. Você deve criar nós de broker se quiser executar uma carga de trabalho SOA no cluster.
• Nó de computação: aceita e executa tarefas de cluster. Os nós de computação são criados na matriz de nós cn .

Criar um novo cluster do HPC Pack

Você pode clicar no ícone do Microsoft HPC Pack emAgendadores para criar um novo cluster do Microsoft HPC Pack.

Na página Sobre , especifique um nome de cluster exclusivo para o cluster. Como é utilizado como o nome do computador NetBIOS do nó principal, assegure-se de que seja único no domínio do AD e esteja em conformidade com as convenções de nomenclatura.

Configurações Básicas

• Versão do HPC Pack: você pode selecionar hpc pack 2019 ou HPC Pack 2016 (com a Atualização 3). Recomendamos que você use a versão mais recente do HPC Pack, ou seja, HPC Pack 2019.
• Máquinas Virtuais: você pode selecionar a Região do Azure em que deseja criar o cluster do HPC Pack e o Tipo de VM para cada função de nó de cluster. Você também pode especificar Num. Brokers para criar um ou mais nós do Broker se quiser executar cargas de trabalho SOA no cluster.

Dimensionamento automático

O cluster é iniciado sem quaisquer nós de computação. Você pode habilitar o Dimensionamento Automático para escalar verticalmente/reduzir automaticamente os nós de computação, dependendo das cargas de trabalho do cluster, você pode usar Núcleos Máximos para especificar o número máximo de núcleos de vCPU de computação do cluster. O dimensionador automático é executado a cada minuto como uma tarefa agendada do Windows no nó principal.

Há duas opções de redução de escala para nós de computação: Desalocar ou Encerrar. Se você escolher a opção Encerrar, o cluster do HPC Pack sempre removerá as VMs dos nós de computação durante a redução vertical. Se você escolher a opção Desalocar, o cluster HPC Pack desalocará as VMs do nó de computação na redução horizontal e as manterá por até um número configurável de dias (Dias de Retenção de VM). Os nós de computação desalocados não são removidos do cluster HPC Pack desde que ainda estejam retidos. No entanto, eles são colocados offline e mostrados como inacessíveis no cluster do HPC Pack. A opção Desalocar é recomendada para o cluster HPC Pack, pois eça pode reduzir significativamente o tempo de preparação dos nós ao escalar verticalmente e você paga apenas pelo armazenamento em disco das VMs desalocadas.

Configurações de infraestrutura

• Rede Virtual: você pode selecionar uma rede virtual existente e uma sub-rede na qual o cluster do HPC Pack é criado.
• Domínio do Active Directory: se já houver um domínio do AD em sua rede virtual, especifique o Nome de Domínio completo e o Caminho da UO no qual os nós de cluster são adicionados. Ou, então, selecione Novo Domínio do AD para criar um domínio do AD ao promover o nó principal como um controlador de domínio.
• Segredos e Certificado: é altamente recomendável que você selecione Usar KeyVault para usar o Azure Key Vault para passar o certificado de comunicação do nó e a senha do usuário. Na MSI Identity, selecione a Identidade Atribuída de Usuário do Azure que você criou em Pré-requisitos na lista suspensa, e especifique o Nome do Azure Key Vault criado em Pré-requisitos.
• Credenciais do usuário: no nome de usuário, especifique o nome de usuário do domínio. Em Segredo de Senha, especifique o nome do segredo do Azure Key Vault que você criou nos pré-requisitos para armazenar a senha do usuário do domínio.
• Certificado PFX: no nome do certificado, especifique o nome do certificado do Azure Key Vault que você criou em pré-requisitos.

Configurações Avançadas

• Configurações do Azure: selecione as credenciais de nuvem do Azure na lista de opções.
• Software de Cluster: especifique o sistema operacional (SO) para cada função de nó de cluster.
• Rede Avançada: por padrão, os servidores DNS configurados na rede virtual são aplicados a todos os nós HPC, você pode, opcionalmente, especificar o servidor DNS se quiser usar um servidor DNS diferente. Opcionalmente, você também pode selecionar IP público HN para que seja atribuído um endereço IP público para o nó principal.

azhpcpack CLI

A CLI do azhpcpack.ps1 é a interface principal para todo o comportamento de dimensionamento automático (as chamadas azhpcpack.ps1 autoscaleda Tarefa Agendada). A CLI está disponível em C:\cycle\hpcpack-autoscaler\bin)

A CLI pode ser usada para diagnosticar problemas com o dimensionamento automático ou para controlar manualmente o dimensionamento de cluster de dentro do Nó Principal.