Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Slurm é um dos gerentes de carga de trabalho de software livre mais populares e amplamente usados para IA, HPC e computação em nuvem. Com o Slurm, você pode executar aplicativos paralelos e distribuídos em larga escala em um conjunto de nós de computação. Ele fornece recursos como agendamento de trabalho, gerenciamento de recursos, tolerância a falhas e gerenciamento de energia. Muitos dos principais supercomputadores, institutos de pesquisa, universidades e empresas do mundo usam Slurm.
No entanto, configurar e gerenciar clusters slurm na nuvem pode ser desafiador e demorado, especialmente se você não estiver familiarizado com o ambiente de nuvem ou com a configuração do Slurm. Você precisa lidar com tarefas como provisionamento e dimensionamento de nós de computação, instalação e atualização de software Slurm, configuração de rede e armazenamento, monitoramento da integridade e desempenho do cluster e solução de problemas. Essas tarefas podem distraí-lo de seus principais objetivos de pesquisa ou negócios e reduzir a produtividade e a eficiência de suas cargas de trabalho de IA e HPC.
O Workspace do Azure CycleCloud para Slurm é um modelo de solução do Azure Marketplace que você pode usar para criar, configurar e implantar clusters slurm predefinidos com o CycleCloud no Azure. Você não precisa de nenhum conhecimento prévio do Azure ou do Slurm. A solução pré-configura clusters Slurm com PMix v4, Pyxis e enroot para dar suporte a trabalhos de IA/HPC Slurm em contêineres. Você pode acessar o nó de entrada provisionado usando o SSH ou o Visual Studio Code para executar tarefas comuns, como enviar e gerenciar trabalhos do Slurm.
Embora o Azure CycleCloud já permita que você execute algumas dessas tarefas, ele não implanta a infraestrutura de IA/HPC para você. Você deve lidar com tarefas como instalar e configurar o CycleCloud, configurar a rede e o armazenamento e criar e configurar o cluster Slurm. O Workspace do Azure CycleCloud para Slurm executa essas tarefas para você em um modelo de solução do Marketplace que você pode implantar diretamente no portal do Azure ou por meio da CLI do Azure. Você está pronto em minutos e não em dias ou semanas.
Benefícios do workspace do Azure CycleCloud para Slurm
O Azure CycleCloud é uma ótima solução quando você deseja criar um ambiente de IA/HPC no Azure, seja para levantar e deslocar parte da carga de trabalho de IA/HPC local ou para criar um novo. No entanto, criar um ambiente completo de IA/HPC de ponta a ponta não é uma tarefa fácil. Você precisa decidir como projetar sua rede, qual componente de armazenamento usar como um sistema de arquivos compartilhado, qual tipo de VM usar para executar sua carga de trabalho e muitas pequenas coisas que podem tornar seu projeto complexo de entregar.
O Workspace do Azure CycleCloud para Slurm oferece vários benefícios para usuários que desejam executar cargas de trabalho do Slurm no Azure, como:
Criação de cluster fácil e rápida: você pode criar clusters slurm no Azure em minutos seguindo algumas etapas simples na GUI. Esse processo é mais rápido do que dias ou semanas de trabalho no passado, sem o Espaço de Trabalho do Azure CycleCloud para Slurm. Você pode escolher entre vários tamanhos e tipos de VM (máquina virtual) do Azure. Você pode personalizar as configurações do cluster, como o número de nós, a configuração de rede, as opções de armazenamento de Azure NetApp Files a Azure Managed Lustre Filesystem e os parâmetros Slurm.
Gerenciamento de cluster flexível e dinâmico: o Azure CycleCloud escalona os clusters Slurm. Você pode monitorar o status, o desempenho e a utilização do cluster. Você pode exibir os logs de cluster e as métricas na GUI. Você também pode excluir seus clusters Slurm quando eles não forem mais necessários e pagar apenas pelos recursos usados.
Como criar um workspace do Azure CycleCloud para Slurm?
Você pode implantar um workspace do Azure CycleCloud para Slurm do Azure Marketplace ou usando a CLI do Azure. Para implantar no Marketplace, pesquise por Slurm e, em seguida, selecione Criar. Para implantar usando a CLI do Azure, você precisa criar um arquivo de parâmetro de entrada primeiro e, em seguida, implantar usando o az deployment sub create comando. Para obter instruções detalhadas, consulte Como implantar um ambiente de workspace do CycleCloud Slurm usando a CLI.
O que o Workspace do Azure CycleCloud para Slurm não é?
O Workspace do Azure CycleCloud para Slurm não é um serviço de PaaS. Toda a infraestrutura é implantada no locatário, o que permite implantar tudo (implantação "greenfield") ou especificar recursos atuais para reutilização (implantação "brownfield"), como o grupo de recursos de destino, a rede virtual, o Azure NetApp Files, entre outros.
Como é um Ambiente Implantado do Workspace do Azure CycleCloud para Slurm
Aqui está a arquitetura típica do que o ambiente de trabalho do Azure CycleCloud para Slurm implanta. A arquitetura inclui recursos obrigatórios, como uma máquina virtual para executar o CycleCloud, um sistema de arquivos compartilhado para diretórios domésticos do usuário e uma conta de armazenamento para o armazenamento de projetos do CycleCloud.
O Workspace do Azure CycleCloud para Slurm pode implantar a rede virtual ou você pode usar uma rede virtual existente para a criação de recursos. Opcionalmente, você pode criar um sistema de arquivos lustre gerenciado do Azure em sua própria sub-rede.
Se as regras de segurança da sua empresa não permitirem endereços IP públicos (muitas não permitem), crie um emparelhamento de rede virtual com uma rede virtual atual em um padrão de hub e spoke. O hub contém todos os serviços de conectividade, como um gateway de rede virtual ou um Azure Bastion.
Por fim, em um ambiente sem IP público e sem VPN, você precisa de um Bastion. O Bastion fornece acesso seguro ao portal da Web do CycleCloud e permite que você use o SSH para se conectar aos nós de autenticação.