Como criar pools personalizados do Spark no Microsoft Fabric

Este artigo mostra como criar pools personalizados do Apache Spark no Microsoft Fabric para suas cargas de trabalho de análise. Os pools do Apache Spark permitem criar ambientes de computação personalizados com base em seus requisitos, para que você obtenha o desempenho ideal e o uso de recursos.

Especifique os nós mínimos e máximos para dimensionamento automático. O sistema obtém e retira nós à medida que as necessidades de computação do trabalho mudam, assim, o dimensionamento é eficiente e o desempenho melhora. Os pools do Spark ajustam o número de executores automaticamente para que você não precise defini-los manualmente. O sistema ajusta a quantidade de executores com base no volume de dados e nas necessidades de computação do trabalho, permitindo que você se concentre em suas cargas de trabalho em vez de ajustes de desempenho e gerenciamento de recursos.

Pré-requisitos

Para criar um pool personalizado do Spark, verifique se você tem acesso de administrador ao workspace. O administrador de capacidade habilita a opção pools de espaços de trabalho personalizados na seção Computação do Spark nas configurações do Administrador de Capacidade. Para obter mais informações, consulte Configurações de Computação do Spark para Capacidades de Malha.

Criar pools personalizados do Spark

Para criar ou gerenciar o pool do Spark associado ao seu workspace:

1. Vá para seu workspace e selecione Configurações do workspace.

2. Selecione a opção Engenharia de Dados/Ciência para expandir o menu e selecione configurações do Spark.

   

3. Selecione a opção Novo Pool. Na tela Criar Pool, nomeie o pool do Spark. Escolha também a Família do Nó e selecione um Tamanho do nó dos tamanhos disponíveis (Pequeno, Médio, Grande, Extra grande e Super extra grande), com base nos requisitos de computação para suas cargas de trabalho.

   

4. Você também pode definir a configuração mínima do nó para os pools personalizados como 1. Como o Fabric Spark fornece disponibilidade restaurável para clusters com um único nó, você não precisa se preocupar com falhas de tarefas, interrupção de sessão durante falhas ou pagar em excesso por computação para tarefas menores do Spark.

5. Você pode habilitar ou desabilitar o dimensionamento automático para seus pools personalizados do Spark. Quando o dimensionamento automático estiver habilitado, o pool adquirirá dinamicamente novos nós até o limite máximo de nós especificado pelo usuário, e os desativará após a execução do trabalho. Esse recurso garante um melhor desempenho ajustando os recursos com base nos requisitos de trabalho. Você tem permissão para dimensionar os nós, que se ajustam às unidades de capacidade adquiridas como parte do SKU de capacidade do Fabric.

   

6. Você pode ajustar o número de executores usando um controle deslizante. Cada executor é um processo do Spark que executa tarefas e mantém dados na memória. Aumentar executores pode melhorar o paralelismo, mas também aumenta o tamanho e o tempo de inicialização do cluster. Você também pode optar por habilitar a alocação de executor dinâmico para o pool do Spark, que determina automaticamente o número ideal de executores dentro do limite máximo especificado pelo usuário. Esse recurso ajusta o número de executores com base no volume de dados, resultando em melhor desempenho e utilização de recursos.

Esses pools personalizados têm uma duração padrão de pausa automática de 2 minutos após o término do período de inatividade. Quando a duração da pausa automática for atingida, a sessão expirará e os clusters serão desalocados. Você é cobrado com base no número de nós e na duração para a qual os pools personalizados do Spark são usados.

Opções de tamanho do nó

Ao configurar um pool personalizado do Spark, você escolhe entre os seguintes tamanhos de nós:

Conteúdo relacionado

• Saiba mais na documentação pública do Apache Spark .
• Introdução às Configurações de administração de workspace do Spark no Microsoft Fabric.