Gerenciar o dimensionamento horizontal do cluster (expansão horizontal) no Azure Data Explorer para acomodar demandas variáveis.

Dimensionar um cluster adequadamente é fundamental para o desempenho do Azure Data Explorer. Um tamanho de cluster estático pode levar à subutilização ou à superutilização, nenhuma das quais é ideal. Como a demanda em um cluster não pode ser prevista com precisão absoluta, é melhor dimensionar um cluster, adicionando e removendo recursos de capacidade e CPU com a demanda em mudança.

Há dois fluxos de trabalho para dimensionar um cluster do Azure Data Explorer:

• Escalabilidade horizontal, também chamada de escalabilidade de expansão e redução.
• Dimensionamento vertical, também chamado de escalar para cima e para baixo. Este artigo explica o fluxo de trabalho de dimensionamento horizontal.

Configurar o dimensionamento horizontal

Usando o dimensionamento horizontal, você pode dimensionar a contagem de instâncias automaticamente, com base em regras e agendamentos predefinidos. Para especificar as configurações de dimensionamento automático para seu cluster:

1. No portal do Azure, acesse o recurso de cluster do Azure Data Explorer. Em Configurações, selecione Escalar horizontalmente.

2. Na janela Ampliação, selecione o método de dimensionamento automático desejado: Escala manual, Dimensionamento automático otimizado ou Dimensionamento automático personalizado.

Escala manual

Na opção de escala manual, o cluster tem uma capacidade estática que não é alterada automaticamente. Selecione a capacidade estática usando a barra de contagem de instâncias . O dimensionamento do cluster permanece na configuração selecionada até ser alterado.

Dimensionamento automático otimizado (opção recomendada)

O dimensionamento automático otimizado é a configuração padrão durante a criação do cluster e o método de dimensionamento recomendado. Esse método otimiza o desempenho e o custo do cluster, da seguinte maneira:

• Se o cluster for subutilizado, ele será dimensionado para reduzir o custo sem afetar o desempenho necessário.
• Se o cluster estiver excessivamente utilizado, ele se expande para manter o desempenho ideal.

Para configurar o dimensionamento automático otimizado:

1. Selecione Dimensionamento automático otimizado.

2. Especifique uma contagem mínima e máxima de instâncias. O dimensionamento automático do cluster varia entre esses valores com base na carga.

3. Clique em Salvar.

   

O dimensionamento automático otimizado começa a funcionar. Você pode visualizar suas ações no registro de atividades do cluster no Azure.

Lógica do autoescalonamento otimizado

O dimensionamento automático otimizado usa lógica preditiva ou reativa. A lógica preditiva rastreia o padrão de uso do cluster e, quando identifica a sazonalidade com alta confiança, gerencia o dimensionamento do cluster. Caso contrário, a lógica reativa que acompanha o uso real do cluster é usada para tomar decisões sobre operações de escala de cluster com base no nível atual de uso de recursos.

As principais métricas para fluxos preditivos e reativos são:

• CPU
• Fator de utilização do cache
• Utilização de ingestão

A lógica preditiva e reativa está associada aos limites de tamanho do cluster, ao número mínimo e máximo de instâncias, conforme definido na configuração de dimensionamento automático otimizada. Operações frequentes de scale-out e scale-in são indesejáveis devido ao impacto nos recursos do cluster e ao tempo necessário para adicionar ou remover instâncias, bem como ao rebalanceamento do cache quente em todos os nós.

Dimensionamento automático preditivo

A lógica preditiva prevê o uso do cluster para o dia seguinte com base em seu padrão de uso nas últimas semanas. A previsão é usada para criar um agendamento de operações de redução de escala ou ampliação de escala para ajustar o tamanho do cluster com antecedência. Essa abordagem permite que o dimensionamento de cluster e o reequilíbrio de dados sejam concluídos a tempo de quando a carga for alterada. Essa lógica é especialmente eficaz para padrões sazonais, como picos de uso diários ou semanais.

No entanto, em cenários em que um pico exclusivo de uso excede a previsão, o dimensionamento automático otimizado volta à lógica reativa. Quando essa situação ocorre, operações de redução ou ampliação acontecem sem planejamento, com base no nível mais recente de uso de recursos.

Dimensionamento automático reativo

Escalar horizontalmente

Quando o cluster se aproxima de um estado de superutilização, ocorre uma operação de scale-out para manter o desempenho ideal. Uma operação de scale-out ocorre quando pelo menos uma das seguintes condições é atendida:

• A utilização do cache é alta por mais de uma hora
• A CPU é alta por mais de uma hora
• A utilização da ingestão é alta por mais de uma hora

Reduzir escala

Quando o cluster é subutilizado, uma operação de redução ocorre para reduzir custos, enquanto continua a manter o desempenho ideal. Várias métricas verificam que é seguro escalar para dentro do cluster.

Para garantir que não haja sobrecarga de recursos, as seguintes métricas são avaliadas antes que a redução de escala seja executada.

• A utilização do cache não é alta
• A CPU está abaixo da média
• A utilização da ingestão está abaixo da média
• Se a ingestão de streaming for usada, a utilização da ingestão de streaming não será alta
• A métrica de keep alive está acima de um mínimo definido, processada corretamente e em tempo hábil, indicando que o cluster está respondendo.
• O serviço não limita as consultas.
• O número de consultas com falha permanece abaixo de um mínimo definido.

Dimensionamento automático personalizado

Embora o dimensionamento automático otimizado seja a opção de dimensionamento recomendada, o dimensionamento automático personalizado do Azure também tem suporte. Usando o dimensionamento automático personalizado, você pode dimensionar seu cluster dinamicamente com base nas métricas especificadas. Siga as etapas a seguir para configurar o dimensionamento automático personalizado.

1. Na caixa de nome de configuração de Autoscale, insira um nome, como Scale-out: utilização de cache.

2. Para o modo Escala, selecione Dimensionar com base em uma métrica. Esse modo fornece dimensionamento dinâmico. Você também pode selecionar Dimensionar para uma contagem de instâncias específica.

3. Selecione + Adicionar uma regra.

4. Na seção Regra de escala à direita, insira valores para cada configuração.

   Critérios

   Configurações	Descrição e valor
   Agregação de tempo	Selecione um critério de agregação, como Média.
   Nome da métrica	Selecione a métrica na qual você deseja que a operação de escala seja baseada, como a Utilização do Cache.
   Estatística de granularidade de tempo	Escolha entre Média, Mínimo, Máximo e Soma.
   Operator	Escolha a opção apropriada, como Maior ou igual a.
   Limite	Escolha um valor apropriado. Por exemplo, para a utilização do cache, 80% é um bom ponto de partida.
   Duração (em minutos)	Escolha uma quantidade apropriada de tempo para o sistema olhar para trás ao calcular as métricas. Comece com o padrão de 10 minutos.

   Ação

   Configurações	Descrição e valor
   Operation	Escolha a opção apropriada para escalar verticalmente ou escalar horizontalmente.
   Contagem de instâncias	Escolha o número de nós ou instâncias que você deseja adicionar ou remover quando uma condição de métrica for atendida.
   Resfriamento (minutos)	Escolha um intervalo de tempo apropriado para aguardar entre operações de escala. Comece com o padrão de cinco minutos.

5. Selecione Adicionar.

6. Na seção Limites da Instância à esquerda, insira valores para cada configuração.

   Configurações	Descrição e valor
   Mínimo	O número de instâncias que o cluster não dimensiona abaixo, independentemente da utilização.
   máximo de	O número de instâncias que o cluster não dimensiona acima, independentemente da utilização.
   Default	O número padrão de instâncias. Essa configuração será usada se houver problemas com a leitura das métricas de recurso.

7. Clique em Salvar.

Agora você configurou o dimensionamento horizontal para o cluster do Azure Data Explorer. Adicione outra regra para dimensionamento vertical. Se você precisar de assistência com problemas de dimensionamento de cluster, abra uma solicitação de suporte no portal do Azure.

Conteúdo relacionado

• Monitorar o desempenho, a integridade e o uso do Azure Data Explorer com métricas
• Gerencie o escalonamento vertical do cluster para dimensionar adequadamente um cluster.