Exercício – criar um cluster de HPC com base em modelos integrados
Você pode criar novos clusters diretamente da interface gráfica do aplicativo Web do Azure CycleCloud. O CycleCloud oferece muitos modelos predefinidos específicos para agendadores, que simplificam o provisionamento de clusters para os agendadores correspondentes.
Agora que você provisionou uma máquina virtual do Azure que hospeda os aplicativos Web CycleCloud, está pronto para avaliar seu uso para implantação de um cluster HPC baseado em Slurm no Azure. Primeiro, você precisa garantir que sua assinatura do Azure acomode os requisitos de recursos do cluster. Você também deseja considerar se sua equipe de gerenciamento deseja manter o custo do cluster dentro do orçamento do projeto. Portanto, você planeja configurar alertas de orçamento do CycleCloud e desprovisionar o ambiente de laboratório depois de concluir a avaliação.
Neste exercício, você percorre a implantação de um cluster HPC baseado em Slurm no Azure usando o Azure CycleCloud. O exercício é composto pelas seguintes tarefas:
- Tarefa 1: Preparar para a implantação de um cluster HPC
- Tarefa 2: Criar um cluster HPC usando o Azure CycleCloud
- Tarefa 3: Configurar e iniciar um cluster HPC usando o Azure CycleCloud
- Tarefa 4: Limpar o ambiente de laboratório
Tarefa 1: Preparar para a implantação de um cluster HPC
Antes de implantar um cluster HPC, primeiro você deve garantir que tenha recursos suficientes de rede e computação para acomodar seu uso.
Observação
Para concluir este exercício, você não precisa atender aos requisitos de cota para acomodar o provisionamento dos nós de computação porque não executará nenhum trabalho no cluster criado. No entanto, se esse for o caso, você poderá observar uma incompatibilidade entre as capturas de tela neste exercício e a interface da Web do CycleCloud, pois o CycleCloud não criará previamente nós de computação de espaço reservado se você não tiver o número suficiente de núcleos disponíveis.
Em seu computador, alterne para a janela do navegador da Web exibindo o portal do Azure.
No portal do Azure, use a caixa de pesquisa na parte superior da interface do portal para pesquisar o grupo de recursos cyclecloud-rg .
No portal do Azure, na página cyclecloud-rg , na lista de recursos, selecione a entrada cyclecloud-rg-vnet , representando a rede virtual provisionada no exercício anterior deste módulo.
Na página cyclecloud-rg-vnet, no menu vertical do lado esquerdo, selecione Sub-redes.
No painel cyclecloud-rg-vnet | Sub-redes, selecione + Sub-rede.
No painel Adicionar sub-rede , na caixa de texto Nome , insira contoso-slurm-lab-cluster-subnet, aceite o intervalo de sub-rede padrão e selecione Salvar.
Observação
É recomendável separar a sub-rede que hospeda a VM do CycleCloud do Azure das sub-redes que hospedam recursos de computação de cluster. Para clusters maiores, você deve alocar intervalos de endereços IP de tamanho suficiente.
No portal do Azure, use a caixa de pesquisa para pesquisar assinaturas.
Na página Assinaturas , selecione a assinatura do Azure que você está usando para exercícios neste módulo.
Na página que exibe a assinatura do Azure, no menu vertical à esquerda, na seção Configurações , selecione Uso + cotas.
No painel Uso + cotas , defina as seguintes configurações de filtragem (deixe outras pessoas com seus valores padrão):
Configurações Valor Selecionar um serviço Selecione as entradas vCPUs da Família Dv3 Standard, vCPUs da Família FSv2 Standard e vCPUs Regionais Totais. Selecionar um provedor Selecione a entrada Microsoft.Compute . Selecione um local Selecione o nome da região do Azure em que você pretende implantar o cluster neste exercício. Examine a saída e identifique o número de vCPUs disponíveis em cada grupo.
Tarefa 2: Criar um cluster HPC usando o Azure CycleCloud
Agora você tem o aplicativo Web CycleCloud instalado em uma VM do Azure, núcleos de vCPU suficientes disponíveis em sua assinatura do Azure e uma sub-rede de rede designada capaz de acomodar o dimensionamento automático de nós de cluster. Você está pronto para continuar com a implantação de um cluster baseado em Slurm.
No computador, na janela do navegador da Web exibindo a página Assinaturas do aplicativo Web do Azure CycleCloud, no canto superior esquerdo, selecione o link Voltar para clusters .
Na página Criar um Novo Cluster , examine as opções disponíveis e, na seção Agendadores , selecione Slurm.
Na guia Sobre da página Novo Cluster SLURM, na caixa de texto Nome do Cluster, insira contoso-slurm-lab-cluster.
Na guia Configurações Necessárias da página Novo Cluster de Slurm, na caixa de texto Nome do Cluster, defina as seguintes configurações (deixe os outros com seus valores padrão):
Configurações Valor Região Selecione o nome da região do Azure em que você pretende implantar o cluster neste exercício. Tipo de VM do agendador Selecione Escolher e, em seguida, na janela pop-up Selecionar um tipo de computador , na caixa de texto Pesquisa de SKU , insira "D2ds_v5". Na lista de resultados, marque a caixa de seleção ao lado da entrada D2ds_v5 e selecione Aplicar.
Configurações Valor Número máximo de núcleos HPC Insira 100 Máximo de núcleos do HTC Insira 100 Número máximo de VMs por conjunto de dimensionamento Insira 40 ID da sub-rede Selecione cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet
Observação
A configuração Número Máx. de VMs por Conjunto de Dimensionamento limita o tamanho máximo de um trabalho da Interface de Passagem de Mensagem que pode ser executado no cluster, pois atualmente o conjunto de dimensionamento é o limite da malha InfiniBand.
Na guia NAS da página Novo Cluster do SLURM, verifique se Tipo de NFS está definido como Interno. Aceite o valor padrão de Tamanho (GB) definido como 100 e selecione Avançar.
Na guia Configurações Avançadas da página Novo Cluster de Slurm , examine as opções disponíveis sem fazer alterações e selecione Avançar.
Na guia Cloud-init da página Novo Cluster Slurm, examine as opções disponíveis sem fazer alterações e selecione Salvar.
Tarefa 3: Configurar e iniciar um cluster HPC usando o Azure CycleCloud
Para se preparar para a operacionalização do cluster, defina alertas para notificá-lo quando os custos de uso do cluster atingirem o orçamento alocado para o custo dos recursos do Azure. Você também valida sua implantação iniciando o cluster com a interface gráfica do aplicativo Web CycleCloud.
No computador, no navegador da Web que exibe a interface gráfica do aplicativo Web do Azure CycleCloud, examine as propriedades do cluster recém-implantado.
Captura de tela que mostra a página do contoso-slurm-lab-cluster no estado desligado no aplicativo do Azure CycleCloud.
Na página contoso-slurm-lab-cluster, selecione o link Criar novo alerta.
No alerta de uso do cluster para a janela pop-up contoso-slurm-lab-cluster , especifique as seguintes configurações e selecione Salvar:
Configurações Valor Orçamento US$ 100,00 Por Mês Enviar notificação Habilitado Destinatários cc-admin@contoso.com
De volta à página contoso-slurm-lab-cluster , selecione o link Iniciar e, quando solicitado a confirmar, selecione OK.
Monitore o processo de inicialização.
Observação
O processo envolve o provisionamento da VM do Azure que atende à função do nó principal do cluster e a instalação e configuração do agendador do Slurm. Isso pode levar cerca de cinco minutos.
Tarefa 4: Limpar o ambiente de laboratório
Você concluiu o teste do processo de implantação de cluster usando o aplicativo Azure CycleCloud. Para evitar custos desnecessários associados ao uso de recursos do Azure, encerre o cluster e remova todos os recursos provisionados ao longo dos exercícios deste curso.
Em seu computador, no navegador da web exibindo a interface gráfica da aplicação web do Azure CycleCloud, na página contoso-slurm-lab-cluster, selecione o link Encerrar e, quando solicitado a confirmar, selecione OK.
Monitore o processo de encerramento.
Observação
O processo envolve o desprovisionamento da VM do Azure que atende à função do nó de cabeçalho do cluster. Isso pode levar cerca de cinco minutos.
Observação
Você deve excluir os recursos implantados como parte deste exercício, conforme descrito nesta tarefa. Se você não excluir os recursos, poderá incorrer em custos adicionais na sua assinatura.
Observação
Para excluir todos os outros recursos provisionados neste laboratório, exclua o grupo de recursos cyclecloud-rg .
No seu computador, mude para a janela do navegador exibindo o portal do Azure.
No portal do Azure, navegue até a folha cyclecloud-rg. Selecione a entrada Excluir grupo de recursos na barra de ferramentas e, na caixa de texto TYPE THE RESOURCE GROUP NAME , insira cyclecloud-rg e selecione Excluir.
Repita a etapa anterior para excluir o grupo de recursos com o nome começando com contoso-slurm-lab-cluster, que contém o recurso de disco usado pelo cluster.
Parabéns! Você concluiu com sucesso o segundo exercício deste módulo. Você garantiu a disponibilidade de recursos de computação e rede necessários para acomodar a implantação de um novo cluster. Em seguida, você implantou o cluster usando o Azure CycleCloud, configurou seus alertas de orçamento e iniciou-o para validar sua funcionalidade. Por fim, você encerrou o cluster e excluiu todos os recursos provisionados neste módulo para evitar custos desnecessários.