Mise en file d’attente des travaux dans Apache Spark pour Microsoft Fabric

S’applique à :✅ l’engineering et la science des données dans Microsoft Fabric

Microsoft Fabric prend en charge la mise en file d’attente des travaux en arrière-plan lorsque vous avez atteint vos limites de calcul Spark pour votre capacité Fabric. Le système de mise en file d’attente des travaux permet de réessayer automatiquement les travaux qui sont ajoutés à la file d’attente jusqu’à ce qu’ils atteignent le délai d’expiration de la file d’attente. Lorsque les utilisateurs créent une capacité Microsoft Fabric sur Azure, ils choisissent une taille de capacité en fonction de la taille de leur charge de travail d’analyse.

Une fois la capacité achetée, les administrateurs peuvent créer des espaces de travail dans la capacité dans Microsoft Fabric. Les travaux Spark qui s’exécutent dans ces espaces de travail peuvent utiliser jusqu’au nombre maximum de cœurs alloués pour une capacité donnée, et une fois la limite maximale atteinte, les travaux sont soit limités, soit mis en file d’attente.

En savoir plus sur les limites de simultanéité de Spark dans Microsoft Fabric

La mise en file d’attente de travaux est prise en charge pour les travaux Notebook et les définitions de travaux Spark déclenchées par des pipelines ou par le biais du planificateur. La mise en file d’attente n’est pas prise en charge pour les tâches de notebook interactif et les tâches de notebook déclenchées via l’API publique du notebook.

La file d’attente fonctionne selon le mode FIFO (First-In-First-Out), dans lequel les travaux sont ajoutés à la file d’attente en fonction de l’heure de leur soumission et qu’ils sont constamment réessayés et commencent à s’exécuter lorsque la capacité est libérée.

Fonctionnement de la file d’attente des travaux

Lorsqu’un travail Spark est envoyé, si la capacité Fabric est déjà à sa limite de calcul maximale, le travail ne peut pas être exécuté immédiatement. Dans ce cas, vous pouvez mettre en file d’attente le travail à exécuter. Procédez comme suit pour mettre en file d’attente un bloc-notes à partir d’un pipeline :

1. Créez un nouvel élément Pipeline et une nouvelle activité de pipeline dans celui-ci pour exécuter le notebook.

2. Dans l’activité du pipeline, ouvrez l’onglet Paramètres, spécifiez le bloc-notes que vous souhaitez mettre en file d’attente, puis exécutez le pipeline.

   

3. Le Job entre dans la file d’attente FIFO. Accédez au hub Monitor et notez que l’état du travail est pas démarré, ce qui indique qu’il est mis en file d'attente et attend une capacité disponible.

4. À mesure que les tâches existantes se terminent et libèrent des ressources de calcul, les tâches en attente sont sélectionnées. Lorsque l’exécution commence, l’état passe de Not Started to In Progress. La file d’attente expire après 24 heures pour tous les travaux à partir du moment où ils ont été admis dans la file d’attente. Une fois le délai d'expiration atteint, les travaux doivent être soumis de nouveau.

Tailles de file d’attente

Fabric Spark applique des tailles de file d’attente en fonction de la taille de SKU de capacité attachée à un espace de travail, fournissant un mécanisme de limitation et de mise en file d’attente dans lequel les utilisateurs peuvent soumettre des travaux en fonction des SKU de capacité Fabric achetés.

La section suivante répertorie diverses tailles de file d’attente pour les charges de travail Spark en fonction des SKU de capacité Microsoft Fabric :

Une fois la limite maximale de file d'attente atteinte pour une capacité Fabric, les nouveaux projets envoyés sont limités par un message d'erreur [TooManyRequestsForCapacity] Ce projet Spark ne peut pas être exécuté, car vous avez atteint une limite de débit de calcul Spark ou d'API. Pour exécuter ce projet Spark, annulez un projet Spark actif via le hub de surveillance, choisissez une SKU de capacité plus grande ou réessayez ultérieurement. Code d'état HTTP: 430 {En savoir plus} Code d'état HTTP: 430.

Contenu connexe

• Découvrez la facturation et l’utilisation de Spark dans Microsoft Fabric.
• Découvrez-en davantage sur les expériences d’engineering et de science des données de Calcul Spark pour Fabric.