Fila de trabalhos no Apache Spark for Microsoft Fabric

Aplica-se a:✅ Engenharia de Dados e Ciência de Dados no Microsoft Fabric

O Microsoft Fabric oferece suporte ao enfileiramento de trabalhos em segundo plano quando você atinge os limites de computação do Spark para sua capacidade de malha. O sistema de fila de tarefas oferece repetições automáticas para trabalhos que são adicionados à fila até atingirem a expiração da fila. Quando os usuários criam uma capacidade do Microsoft Fabric no Azure, eles escolhem um tamanho de capacidade com base no tamanho de sua carga de trabalho de análise.

Depois de comprar a capacidade, os administradores podem criar espaços de trabalho dentro da capacidade no Microsoft Fabric. Os trabalhos do Spark executados nesses espaços de trabalho podem usar até o máximo de núcleos alocados para uma determinada capacidade e, uma vez atingido o limite máximo, os trabalhos são limitados ou enfileirados.

Saiba mais sobre os limites de simultaneidade do Spark no Microsoft Fabric

A fila de trabalhos é suportada para trabalhos do Bloco de Anotações e definições de trabalho do Spark que são acionadas por pipelines ou por meio do agendador. Não há suporte para enfileiramento para trabalhos de bloco de anotações interativos e trabalhos de bloco de anotações acionados por meio da API pública do bloco de anotações.

A fila opera de maneira FIFO (First-In-First-Out), onde os trabalhos são adicionados à fila com base no tempo de seu envio e são constantemente repetidos e começam a ser executados quando a capacidade é liberada.

Como funciona a fila de trabalhos

Quando um trabalho do Spark é enviado, se a capacidade do Fabric já estiver em seu limite máximo de computação, o trabalho não poderá ser executado imediatamente. Nesses casos, você pode enfileirar o trabalho para execução. Use as seguintes etapas para enfileirar um bloco de anotações a partir de um pipeline:

1. Crie um novo item de Pipeline e uma nova atividade de Pipeline dentro dele para executar o notebook.

2. Na atividade do pipeline, abra a guia Configurações e escolha o bloco de anotações que deseja colocar na fila e Executar o pipeline.

   

3. O trabalho entra na fila FIFO. Navegue até o hub Monitor e observe que o status do trabalho é Não iniciado , indicando que ele foi enfileirado e aguarda capacidade.

4. À medida que os trabalhos existentes são concluídos e liberam recursos de computação, os trabalhos da fila são selecionados. Quando a execução começa, o status muda de Não iniciado para Em andamento. A fila expira após 24 horas para todos os trabalhos a partir do momento em que foram admitidos na fila. Uma vez atingido o tempo de expiração, os trabalhos devem ser reenviados.

Tamanhos das filas

O Fabric Spark impõe tamanhos de fila com base no tamanho da SKU de capacidade anexada a um espaço de trabalho, fornecendo um mecanismo de limitação e enfileiramento onde os usuários podem enviar trabalhos com base nas SKUs de capacidade de malha adquiridas.

A seção a seguir lista vários tamanhos de fila para cargas de trabalho do Spark com base no Microsoft Fabric com base nas SKUs de capacidade:

Depois que o limite máximo de fila for atingido para uma capacidade de malha, os novos trabalhos enviados serão limitados com uma mensagem de erro [TooManyRequestsForCapacity] Esse trabalho de faísca não pode ser executado porque você atingiu um limite de taxa de API ou computação de faísca. Para executar esse trabalho de faísca, cancele um trabalho ativo do Spark por meio do hub de monitoramento, escolha uma SKU de capacidade maior ou tente novamente mais tarde. Código de status HTTP: 430 {Saiba mais} Código de status HTTP: 430.

Conteúdos relacionados

• Saiba mais sobre o Faturamento e a utilização do Spark no Microsoft Fabric.
• Saiba mais sobre a computação Spark para experiências de engenharia de dados e ciência de dados do Fabric .