Planejar, dimensionar e manter uma solução de gateway comercialmente crítica

Este artigo destina-se a qualquer pessoa que planeje implantar um gateway de dados local em um cenário comercialmente crítico. Um gateway de dados local será comercialmente crítico se for vital para a operação normal da sua empresa e lidar com dados críticos para os negócios.

Se os gateways comercialmente críticos não forem gerenciados corretamente, você poderá experimentar consultas com falha ou desempenho lento. Quando você planeja, dimensiona e mantém corretamente sua solução de gateway comercialmente crítica, a probabilidade de um problema que afeta os negócios pode ser minimizada.

Terminologia

Os seguintes termos importantes são usados ao longo deste artigo:

• Gateway: o aplicativo de gateway de dados local instalado em um computador.
• Servidor de gateway: um computador Windows (máquina virtual ou computador físico/servidor) que tem o aplicativo de gateway de dados local instalado.
• Cluster de gateway: um conjunto de gateways que funcionam juntos (e podem ser balanceados por carga).
• Membro do gateway: um gateway que faz parte de um cluster de gateways.

A imagem a seguir demonstra a relação entre os conceitos definidos acima.

Recomendações para gateways comercialmente críticos

Para gateways comercialmente críticos, os gateways precisam ser implantados e gerenciados corretamente para garantir alta disponibilidade, bom desempenho e escalabilidade mantenedível. Implantar gateways incorretamente pode resultar em desempenho ruim, consultas com falha e dificuldade para diagnosticar possíveis problemas. Ele também pode impedir sua capacidade de expandir e escalar os gateways à medida que o uso aumenta.

Para garantir a escalabilidade, o desempenho e a taxa de transferência ideais, siga as recomendações nas próximas seções.

Conheça todas as chaves de recuperação do gateway

Verifique se todas as chaves de recuperação do gateway são conhecidas e mantidas em um local seguro. Sem uma chave de recuperação, os gateways não podem ser recuperados ou rebaixados. Esta limitação é por predefinição. Se você perder suas chaves de recuperação, a única opção é criar novos gateways e recriar as fontes de dados. Além disso, você não pode adicionar novos gateways ao cluster sem a chave de recuperação, o que limitaria a escalabilidade futura.

Armazene suas chaves de recuperação em um local seguro, assim como armazenaria credenciais administrativas, como uma senha segura, que pode ser acessada somente por administradores autorizados.

Se você atualmente não conhece todas as chaves de recuperação do gateway, esse é um risco comercial significativo. Crie imediatamente novos clusters de gateway e comece a migrar cargas de trabalho para os novos clusters de gateway.

Cargas de trabalho de desenvolvimento e cargas de trabalho comercialmente críticas

Separe as cargas de trabalho de desenvolvimento das críticas aos negócios configurando um ou mais clusters de gateway de desenvolvimento e um ou mais clusters de gateway de produção.

Use um cluster de gateway de desenvolvimento para testar novos modelos semânticos, relatórios, consultas e assim por diante. Depois que uma nova carga de trabalho tiver sido verificada, migre-a para um cluster de gateway comercialmente crítico. Esse processo impede que cargas de trabalho novas, não testadas ou experimentais tenham impactos de desempenho nas cargas de trabalho de produção.

Use também seus clusters de gateway de desenvolvimento para testar novas atualizações de gateway antes de aplicar atualizações aos clusters de gateway comercialmente críticos. As novas atualizações de gateway devem ser implantadas por no mínimo 24 horas nos clusters do gateway de desenvolvimento antes de serem usadas em clusters de gateway comercialmente críticos.

Usar vários clusters de gateway

Se você estiver criando um cluster de gateway para um grande número de usuários em sua organização, precisará criar vários clusters de gateway com base em unidades de negócios ou menores para limitar qualquer impacto potencial de desempenho a um pequeno subconjunto de usuários.

Não recomendamos que um único cluster de gateway comercialmente crítico seja usado para uma empresa inteira (a menos que a empresa seja pequena). Em um único cenário de cluster de gateway, um usuário poderia enviar uma consulta que causasse um impacto significativo no desempenho para todo o tráfego no gateway. Se o gateway for usado em toda a empresa, o impacto no desempenho poderá afetar toda a empresa. Além disso, quando um cluster de gateway é usado em toda uma empresa, pode ser mais difícil identificar qual consulta pode estar causando um problema de desempenho ao usar o recurso de monitoramento de desempenho do gateway .

Utilize os recursos de alta disponibilidade e balanceamento de carga do gateway

Sempre use os recursos de alta disponibilidade e balanceamento de carga do gateway para qualquer cluster de gateway comercialmente crítico.

• Alta disponibilidade: elimina ter um único ponto de falha.
• Balanceamento de carga: distribui automaticamente a carga de trabalho em todos os servidores de gateway no cluster.

Configure um mínimo de dois gateways por cluster de gateway no caso de um gateway ficar offline por qualquer motivo. Essa configuração garante que uma única falha de gateway não faça com que todo o cluster de gateway falhe. Além disso, os limites de CPU, memória e simultaneidade podem ser habilitados nos gateways para distribuir melhor a carga pelo cluster do gateway.

Planejar e manter a escalabilidade do cluster de gateway

Configurar um cluster de gateway usando nossas diretrizes de hardware e software recomendadas garante que o cluster seja executado com bom desempenho. Gateways que não são dimensionados corretamente podem resultar em um desempenho ruim. Há muitos fatores que você deve considerar para ter um bom desempenho em seu cluster de gateway.

Determinar as especificações de hardware do servidor de gateway

As especificações do servidor de gateway (CPU, memória, disco e assim por diante) são um fator importante, pois, na maioria dos casos, as transformações do Power Query são aplicadas aos dados no servidor de gateway. Dessa forma, um servidor de gateway precisa ter recursos, memória e poder de processamento suficientes para lidar com todas as transformações de dados.

Quando você precisa escolher um tamanho de servidor, há duas métricas que são mais importantes: memória e CPU. Você precisa de memória ampla e poder de CPU para processar as etapas de transformação de dados do Power Query no gateway. É importante que o servidor de gateway seja poderoso o suficiente para processar a carga de trabalho mais alta que você tem. Se o servidor de gateway não for capaz de lidar com a carga de trabalho, sua consulta direta ou atualização de dados falhará. Também é importante entender quantas consultas são executadas ao mesmo tempo.

Essas diferentes opções de consulta têm um efeito diferente no servidor de gateway.

Durante uma importação, todo o conjunto de dados precisa ser consultado e processado, o que é uma tarefa pesada de memória. Essa importação geralmente leva mais tempo também. DirectQueries e LiveConnections geralmente são pesados para CPU. Na maioria dos casos, as consultas diretas são executadas muitas vezes para processar apenas uma pequena parte dos dados. Como apenas uma pequena parte dos dados é processada, essas consultas diretas normalmente não são uma tarefa pesada de memória. No entanto, como as consultas são executadas muitas vezes sob demanda, isso pode ser intensivo de CPU.

Dependendo da carga de trabalho, considere otimizar o servidor de gateway para memória ou CPU.

Quando dimensionar um cluster de gateway

O dimensionamento é um aspecto importante de um cluster de gateway comercialmente crítico. À medida que o uso com o cluster de gateway aumenta, o cluster de gateway precisa ser escalado verticalmente e/ou dimensionado para garantir um bom desempenho. Recomendamos que você comece a dimensionar um cluster de gateway se tiver dimensionado previamente os gateways no cluster.

Dimensionar e distribuir a carga de tráfego entre nós individuais em um cluster é um processo complexo que varia dependendo de cada cenário individual. Embora não haja um modelo definitivo para garantir que todo o tráfego de gateway seja previsívelmente atendido, os limites listados abaixo indicam uma necessidade de dimensionamento. Em geral, é recomendável escalar horizontalmente (adicionando nós ao cluster) do que escalar verticalmente (aumentando o espaço em CPU, RAM ou disco em nós individuais). O escalonamento horizontal tende a ser mais eficaz de forma geral melhorando a capacidade do sistema como um todo de lidar com o tráfego extra. O dimensionamento horizontal também tem um impacto positivo na largura de banda total que o cluster pode processar, enquanto o dimensionamento vertical não. Quando um ou mais nós de gateway mostram indicações de atingir os seguintes limites, o dimensionamento do cluster deve ser fortemente considerado.

• CPU: A CPU está acima de 80% por longos períodos de tempo, porém picos ocasionais curtos (menos de 5 minutos) que maximizam as CPUs não são anormais.

• RAM: A memória disponível cai abaixo de 20% regularmente.

• Disco: O espaço livre em disco cai abaixo de 5 GB com frequência. Essa queda também pode indicar a necessidade de configurar diretórios de cache ou spooling de forma mais estratégica.

• Concorrência: executando mais de 40 consultas simultaneamente em um único nó.

Como atualizações e consultas distribuídas entre nós do gateway podem ter perfis muito diferentes, também recomendamos que um escrutínio extra seja colocado em tarefas prolongadas ou intensivas em memória. A otimização de consulta nesses casos pode ter um enorme impacto no desempenho e na escalabilidade, não apenas para os relatórios e atualizações individuais, mas no sistema como um todo. Recomendamos isolar as atualizações em questão em um único cluster de gateway dedicado, a fim de avaliar as características de desempenho e executar a otimização usando diagnósticos do plano de consulta, indicadores de simplificação e todas as demais recomendações de desempenho publicadas. Esse isolamento minimiza a quantidade de dados recuperados e a quantidade de pós-processamento necessária. Esse isolamento também pode ser usado como uma estratégia de longo prazo para isolar trabalhos ETL de longa execução em um cluster de gateway dedicado, para reduzir a contenção com outras atualizações típicas em toda a organização.

Dimensionando um cluster de gateway

Ampliar a escala é quando você aumenta as especificações (CPU, memória, disco e assim por diante) dos servidores de gateway.

O aumento de dimensionamento poderá ser necessário se a CPU ou memória máxima for atingida durante a execução de uma ou mais consultas pelo gateway. Uma consulta só pode ser executada em um servidor de gateway, razão pela qual o servidor de gateway deve ter recursos suficientes disponíveis para processar toda a consulta junto com os dados resultantes.

Dimensionamento de um cluster de gateway

O dimensionamento é necessário se o servidor de gateway já tiver especificações altas (em outras palavras, o servidor de gateway já foi dimensionado) ou se você atingiu os limites do que um único servidor de gateway pode gerenciar devido ao número de consultas simultâneas sendo executadas. O aumento de carga abrangente em todo o conjunto de membros do gateway é uma boa indicação de que dimensionar um cluster adicionando nós é a ação correta a tomar. Quando dimensionar um cluster de gateway fornece limites específicos que indicam quando é hora de dimensionar. Para obter mais informações sobre o dimensionamento, acesse Usar os recursos de alta disponibilidade e balanceamento de carga do gateway.

Escalonamento por meio da criação de novos clusters de gateway

Se o uso de recursos do cluster de gateway for alto ou um número excepcionalmente grande de usuários depender de um cluster de gateway, um novo cluster de gateway poderá ser criado. Um subconjunto da carga de trabalho pode ser migrado para o novo cluster de gateway. Quando um grande número de usuários depende de um único cluster de gateway, a probabilidade de um usuário enviar uma consulta que causa um impacto significativo no desempenho em todo o cluster de gateway aumenta significativamente.

Um número excepcionalmente grande de usuários que dependem de um único cluster de gateway é um indicador de que um novo cluster de gateway deve ser criado.

Monitoramento e solução de problemas de desempenho do gateway

É importante monitorar o desempenho geral de gateways comercialmente críticos usando o recurso de monitoramento de desempenho do gateway . Você também pode usar esse recurso para solucionar problemas de desempenho, identificar gargalos e identificar consultas que estão afetando o desempenho geral do gateway. Esse recurso também é uma ferramenta importante para ajudar você a determinar quando dimensionar um cluster de gateway.

Se você identificar uma consulta como tendo um impacto pesado no gateway, resultando em um desempenho geral ruim, você poderá reescrever a consulta para ser mais eficiente e minimizar o impacto no desempenho.

Se a Microsoft identificar um desempenho ruim causado por um gateway ou um componente relacionado ao gateway, como uma capacidade do Power BI Premium sobrecarregada, o componente sobrecarregado deverá ser ajustado por meio de dimensionamento ou redução de carga. A Microsoft não investiga o desempenho ruim quando um gateway ou um componente relacionado ao gateway é sobrecarregado.