Usar o Armazenamento de Contêineres do Azure (versão 1.x.x) com NVMe local

O Armazenamento de Contêineres do Azure é um serviço de gerenciamento de volume, implantação e orquestração baseado em nuvem criado nativamente para contêineres. Este artigo mostra como configurar o Armazenamento de Contêineres do Azure (versão 1.x.x) para usar o Disco Efêmero com NVMe local como armazenamento de back-end para suas cargas de trabalho do Kubernetes. Ao final, você terá um pod que está usando o NVMe local como armazenamento.

O que é Disco Efêmero?

Quando seu aplicativo precisa de latência de armazenamento de sub milissegundos e não requer durabilidade de dados, você pode usar o Disco Efêmero com o Armazenamento de Contêiner do Azure para atender aos seus requisitos de desempenho. Efêmero significa que os discos são implantados na VM (máquina virtual) local que hospeda o cluster do AKS e não são salvos em um serviço de armazenamento do Azure. Os dados serão perdidos nesses discos se você parar/desalocar sua VM.

Há dois tipos de Disco Efêmero disponíveis: NVMe local e SSD temporário. O NVMe foi projetado para transferência de dados de alta velocidade entre armazenamento e CPU. Escolha NVMe quando seu aplicativo precisar de IOPS ou taxa de transferência maior do que o SSD temporário ou exigir mais espaço de armazenamento. Lembre-se de que o Armazenamento de Contêineres do Azure dá suporte apenas à replicação de dados síncrona para NVMe local.

Devido à natureza efêmera desses discos, o Armazenamento de Contêineres do Azure dá suporte ao uso de volumes efêmeros genéricos por padrão ao usar disco efêmero. No entanto, determinados casos de uso podem exigir volumes persistentes mesmo que os dados não sejam duráveis; por exemplo, se você quiser usar arquivos YAML existentes ou modelos de implantação codificados para usar volumes persistentes, e sua carga de trabalho oferecer suporte à replicação no nível do aplicativo para garantir a durabilidade. Nesses casos, você pode atualizar a instalação do Armazenamento de Contêineres do Azure e adicionar a anotação acstor.azure.com/accept-ephemeral-storage=true na definição de declaração de volume persistente para dar suporte à criação de volumes persistentes de pools de armazenamento de disco efêmero.

Pré-requisitos

• Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

• Este artigo requer a versão mais recente da CLI do Azure. Consulte Como instalar a CLI do Azure. Se você estiver usando o ambiente bash no Azure Cloud Shell, provavelmente a versão mais recente já está instalada. Se você planeja executar os comandos localmente em vez de no Azure Cloud Shell, execute-os com privilégios administrativos. Para obter mais informações, confira Introdução ao Azure Cloud Shell.

• Você precisará do cliente de linha de comando do Kubernetes. kubectl Ele já está instalado se você estiver usando o Azure Cloud Shell ou pode instalá-lo localmente executando o az aks install-cli comando.

• Verifique se a região de destino tem suporte nas regiões do Armazenamento de Contêineres do Azure.

Escolher um tipo de VM que dê suporte ao NVMe local

O Disco NVMe local só está disponível em determinados tipos de VMs, por exemplo, SKUs de VM otimizadas para armazenamento ou SKUs de VM aceleradas por GPU. Se você planeja usar a capacidade de NVMe local, escolha um desses SKUs de VM.

Execute o comando a seguir para obter o tipo de VM usado com o pool de nós. Substitua <resource group> e <cluster name> pelos seus próprios valores. Você não precisa fornecer valores para PoolName ou VmSize, portanto, mantenha a consulta como mostrado aqui.

az aks nodepool list --resource-group <resource group> --cluster-name <cluster name> --query "[].{PoolName:name, VmSize:vmSize}" -o table

Veja a seguir um exemplo de saída.

PoolName    VmSize
----------  ---------------
nodepool1   standard_l8s_v3

Recomendamos que cada VM tenha no mínimo quatro CPUs virtuais (vCPUs) e cada pool de nós tenha pelo menos três nós.

Criar e anexar volumes efêmeros genéricos

Siga estas etapas para criar e anexar um volume efêmero genérico.

1. Criar um pool de armazenamento

Primeiro, crie um pool de armazenamento, que é um agrupamento lógico de armazenamento para seu cluster kubernetes, definindo-o em um arquivo de manifesto YAML.

Se você habilitou o Armazenamento de Contêineres do Azure usando az aks create ou az aks update comandos, talvez já tenha um pool de armazenamento. Use kubectl get sp -n acstor para obter a lista de pools de armazenamento. Se você já tiver um pool de armazenamento disponível que deseja usar, ignore esta seção e prossiga para Exibir as classes de armazenamento disponíveis.

Siga estas etapas para criar um pool de armazenamento usando o NVMe local.

1. Use seu editor de texto favorito para criar um arquivo de manifesto YAML, como code acstor-storagepool.yaml.

2. Cole o código a seguir e salve o arquivo. O valor do nome do pool de armazenamento pode ser o que você quiser.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: ephemeraldisk-nvme
     namespace: acstor
   spec:
     poolType:
       ephemeralDisk:
         diskType: nvme
   

3. Aplique o arquivo de manifesto YAML para criar o pool de armazenamento.

   kubectl apply -f acstor-storagepool.yaml 
   

   Quando a criação do pool de armazenamento for concluída, você verá uma mensagem como:

   storagepool.containerstorage.azure.com/ephemeraldisk-nvme created
   

   Você também pode executar esse comando para verificar o status do pool de armazenamento. Substitua <storage-pool-name> pelo valor do nome do pool de armazenamento. Para este exemplo, o valor seria efêmerodisk-nvme.

   kubectl describe sp <storage-pool-name> -n acstor
   

Quando o pool de armazenamento for criado, o Armazenamento de Contêineres do Azure criará uma classe de armazenamento em seu nome, usando a convenção acstor-<storage-pool-name>de nomenclatura.

2. Exibir as classes de armazenamento disponíveis

Quando o pool de armazenamento estiver pronto para uso, você deverá selecionar uma classe de armazenamento para definir como o armazenamento é criado dinamicamente ao criar e implantar volumes.

Execute kubectl get sc para exibir as classes de armazenamento disponíveis. Você deve ver uma classe de armazenamento chamada acstor-<storage-pool-name>.

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

3. Implantar um pod com um volume efêmero genérico

Crie um pod usando o Fio (testador de E/S flexível) para parâmetro de comparação e simulação de carga de trabalho, a fim de usar um volume efêmero genérico.

1. Use seu editor de texto favorito para criar um arquivo de manifesto YAML, como code acstor-pod.yaml.

2. Cole o código a seguir e salve o arquivo.

   kind: Pod
   apiVersion: v1
   metadata:
     name: fiopod
   spec:
     nodeSelector:
       acstor.azure.com/io-engine: acstor
     containers:
       - name: fio
         image: nixery.dev/shell/fio
         args:
           - sleep
           - "1000000"
         volumeMounts:
           - mountPath: "/volume"
             name: ephemeralvolume
     volumes:
       - name: ephemeralvolume
         ephemeral:
           volumeClaimTemplate:
             metadata:
               labels:
                 type: my-ephemeral-volume
             spec:
               accessModes: [ "ReadWriteOnce" ]
               storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
               resources:
                 requests:
                   storage: 1Gi
   

   Ao alterar o tamanho de armazenamento de seus volumes, verifique se o tamanho é menor do que a capacidade disponível do disco efêmero de um único nó. Consulte Verificar a capacidade do disco efêmero do nó.

3. Aplique o arquivo de manifesto YAML para implantar o pod.

   kubectl apply -f acstor-pod.yaml
   

   Você deverá ver uma saída semelhante à seguinte:

   pod/fiopod created
   

4. Verifique se o pod está em execução e se a declaração de volume efêmero foi vinculada a ele:

   kubectl describe pod fiopod
   kubectl describe pvc fiopod-ephemeralvolume
   

5. Verifique o teste do fio e veja seu status atual.

   kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60
   

Agora você implantou um pod que está usando o NVMe local como armazenamento e pode usá-lo para suas cargas de trabalho do Kubernetes.

Criar e vincular volumes persistentes

Para criar um volume persistente a partir de um pool de armazenamento de disco efêmero, você deve incluir uma anotação em suas solicitações de volumes persistentes (PVCs) como garantia para garantir que você pretenda utilizar volumes persistentes mesmo quando os dados sejam efêmeros. Além disso, você precisa habilitar o sinalizador --ephemeral-disk-volume-type com o valor PersistentVolumeWithAnnotation em seu cluster antes de criar suas declarações de volume persistentes.

Siga estas etapas para criar e anexar um volume persistente.

1. Atualizar a instalação do Armazenamento de Contêineres do Azure

Execute o comando a seguir para atualizar a instalação do Armazenamento de Contêineres do Azure para permitir a criação de volumes persistentes de pools de armazenamento de disco efêmero.

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage ephemeralDisk --storage-pool-option NVMe --ephemeral-disk-volume-type PersistentVolumeWithAnnotation 

2. Criar um pool de armazenamento

Crie um pool de armazenamento, que é um agrupamento lógico de armazenamento para o cluster kubernetes, definindo-o em um arquivo de manifesto YAML.

Se você habilitou o Armazenamento de Contêineres do Azure usando az aks create ou az aks update comandos, talvez já tenha um pool de armazenamento. Use kubectl get sp -n acstor para obter a lista de pools de armazenamento. Se você já tiver um pool de armazenamento disponível que deseja usar, ignore esta seção e prossiga para Exibir as classes de armazenamento disponíveis.

Siga estas etapas para criar um pool de armazenamento usando o NVMe local.

1. Use seu editor de texto favorito para criar um arquivo de manifesto YAML, como code acstor-storagepool.yaml.

2. Cole o código a seguir e salve o arquivo. O valor do nome do pool de armazenamento pode ser o que você quiser.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: ephemeraldisk-nvme
     namespace: acstor
   spec:
     poolType:
       ephemeralDisk:
         diskType: nvme
   

3. Aplique o arquivo de manifesto YAML para criar o pool de armazenamento.

   kubectl apply -f acstor-storagepool.yaml 
   

   Quando a criação do pool de armazenamento for concluída, você verá uma mensagem como:

   storagepool.containerstorage.azure.com/ephemeraldisk-nvme created
   

   Você também pode executar esse comando para verificar o status do pool de armazenamento. Substitua <storage-pool-name> pelo valor do nome do pool de armazenamento. Para este exemplo, o valor seria efêmerodisk-nvme.

   kubectl describe sp <storage-pool-name> -n acstor
   

Quando o pool de armazenamento for criado, o Armazenamento de Contêineres do Azure criará uma classe de armazenamento em seu nome, usando a convenção acstor-<storage-pool-name>de nomenclatura.

3. Exibir as classes de armazenamento disponíveis

Quando o pool de armazenamento estiver pronto para uso, você deverá selecionar uma classe de armazenamento para definir como o armazenamento é criado dinamicamente ao criar e implantar volumes.

Execute kubectl get sc para exibir as classes de armazenamento disponíveis. Você deve ver uma classe de armazenamento chamada acstor-<storage-pool-name>.

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

4. Criar uma declaração de volume persistente

Uma declaração de volume persistente é usada para provisionar automaticamente o armazenamento com base em uma classe de armazenamento. Siga estas etapas para criar um PVC usando a nova classe de armazenamento.

1. Use seu editor de texto favorito para criar um arquivo de manifesto YAML, como code acstor-pvc.yaml.

2. Cole o código a seguir e salve o arquivo. O valor de PVC name pode ser o que você quiser.

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: ephemeralpvc
     annotations:
       acstor.azure.com/accept-ephemeral-storage: "true"
   spec:
     accessModes:
       - ReadWriteOnce
     storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
     resources:
       requests:
         storage: 100Gi
   

   Ao alterar o tamanho de armazenamento de seus volumes, verifique se o tamanho é menor do que a capacidade disponível do disco efêmero de um único nó. Consulte Verificar a capacidade do disco efêmero do nó.

3. Aplique o arquivo de manifesto YAML para criar o PVC.

   kubectl apply -f acstor-pvc.yaml
   

   Você deverá ver uma saída semelhante a:

   persistentvolumeclaim/ephemeralpvc created
   

   Você pode verificar o status do PVC executando o seguinte comando:

   kubectl describe pvc ephemeralpvc
   

Depois que o PVC for criado, ele estará pronto para uso por um pod.

5. Implantar um pod e anexar um volume persistente

Crie um pod usando Fio (Testador de E/S Flexível) para comparação e simulação de carga de trabalho e especifique um caminho de montagem para o volume persistente. Para claimName, use o valor de nome que você usou ao criar a declaração de volume persistente.

1. Use seu editor de texto favorito para criar um arquivo de manifesto YAML, como code acstor-pod.yaml.

2. Cole o código a seguir e salve o arquivo.

   kind: Pod
   apiVersion: v1
   metadata:
     name: fiopod
   spec:
     nodeSelector:
       acstor.azure.com/io-engine: acstor
     volumes:
       - name: ephemeralpv
         persistentVolumeClaim:
           claimName: ephemeralpvc
     containers:
       - name: fio
         image: nixery.dev/shell/fio
         args:
           - sleep
           - "1000000"
         volumeMounts:
           - mountPath: "/volume"
             name: ephemeralpv
   

3. Aplique o arquivo de manifesto YAML para implantar o pod.

   kubectl apply -f acstor-pod.yaml
   

   Você deverá ver uma saída semelhante à seguinte:

   pod/fiopod created
   

4. Verifique se o pod está em execução e se a declaração de volume persistente foi associada com êxito ao pod:

   kubectl describe pod fiopod
   kubectl describe pvc ephemeralpvc
   

5. Verifique o teste do fio e veja seu status atual.

   kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60
   

Agora você implantou um pod que está usando o NVMe local e que pode ser usado para suas cargas de trabalho do Kubernetes.

Gerenciar volumes e pools de armazenamento

Nesta seção, você aprenderá a verificar a capacidade disponível do disco efêmero para um único nó, como expandir ou excluir um pool de armazenamento e como otimizar o desempenho.

Verificar a capacidade do disco efêmero do nó

Um volume efêmero é alocado em um único nó. Ao configurar o tamanho dos volumes efêmeros, o tamanho deve ser menor do que a capacidade disponível do disco efêmero do nó único.

Execute o comando a seguir para verificar a capacidade disponível do disco efêmero para um único nó.

kubectl get diskpool -n acstor

Você deve ver saídas semelhantes às seguintes:

NAME                                CAPACITY      AVAILABLE     USED        RESERVED    READY   AGE
ephemeraldisk-nvme-diskpool-jaxwb   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-wzixx   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-xbtlj   75660001280   75031990272   628011008   560902144   True    21h

Neste exemplo, a capacidade disponível de disco efêmero para um único nó é 75031990272 bytes ou 69 GiB.

Expandir um pool de armazenamento

Você pode expandir os pools de armazenamento com suporte de NVMe local para aumentar a capacidade rapidamente e sem tempo de inatividade. Atualmente, não há suporte para redução de pools de armazenamento.

Como um pool de armazenamento apoiado pelo Disco Efêmero usa recursos de armazenamento local nas VMs (nós de cluster) do AKS, a expansão do pool de armazenamento requer a adição de outro nó ao cluster. Siga estas instruções para expandir o pool de armazenamento.

1. Execute o comando a seguir para adicionar um nó ao cluster do AKS. Substitua <cluster-name>, <nodepool name> e <resource-group-name> por valores próprios. Para obter o nome do pool de nós, execute kubectl get nodes.

   az aks nodepool add --cluster-name <cluster name> --name <nodepool name> --resource-group <resource group> --node-vm-size Standard_L8s_v3 --node-count 1 --labels acstor.azure.com/io-engine=acstor
   

2. Execute kubectl get nodes e você poderá verificar que um nó foi adicionado ao cluster.

3. Execute kubectl get sp -A e você verá que a capacidade do pool de armazenamento aumentou.

Excluir um pool de armazenamento

Se você quiser excluir um pool de armazenamento, execute o comando a seguir. Substitua <storage-pool-name> pelo nome do pool de armazenamento.

kubectl delete sp -n acstor <storage-pool-name>

Otimizar o desempenho ao usar o NVMe local

Dependendo dos requisitos de desempenho da carga de trabalho, você pode escolher entre três camadas de desempenho diferentes: Basic, Standard e Premium. Sua seleção afetará o número de vCPUs que os componentes do Armazenamento de Contêiner do Azure consomem nos nós onde estão instalados. Standard é a configuração padrão se você não atualizar a camada de desempenho.

Essas três camadas oferecem um intervalo diferente de IOPS. A tabela a seguir contém diretrizes sobre o que você poderia esperar com cada uma dessas camadas. Usamos a FIO, uma ferramenta de benchmarking popular, para alcançar esses números com a seguinte configuração:

• AKS: SKU do nó – Standard_L16s_v3
• FIO: Tamanho do bloco – 4 KiB; Profundidade da fila – 32; Numjobs – número de núcleos atribuídos a componentes de armazenamento de contêiner; Padrão de acesso – aleatório; Tamanho do conjunto de trabalho – 32 GiB

Depois de identificar a camada de desempenho que se alinha melhor às suas necessidades, você pode executar o comando a seguir para atualizar a camada de desempenho da instalação do Armazenamento de Contêineres do Azure. Substitua por <performance tier> básico, standard ou premium.

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage <storage-pool-type> --ephemeral-disk-nvme-perf-tier <performance-tier>

Consulte também

• O que é o Armazenamento de Contêineres do Azure (versão 1.x.x)?