Kolejkowanie zadań na platformie Apache Spark dla usługi Microsoft Fabric

Dotyczy:✅ inżynierowie danych i Nauka o danych w usłudze Microsoft Fabric

Usługa Microsoft Fabric obsługuje kolejkowanie zadań w tle po osiągnięciu limitów obliczeniowych platformy Spark dla pojemności sieci szkieletowej. System kolejkowania zadań oferuje automatyczne ponawianie prób dla zadań dodawanych do kolejki do momentu wygaśnięcia kolejki. Gdy użytkownicy tworzą pojemność usługi Microsoft Fabric na platformie Azure, wybierają rozmiar pojemności na podstawie rozmiaru obciążenia analitycznego.

Po zakupie pojemności administratorzy mogą tworzyć obszary robocze w ramach pojemności w usłudze Microsoft Fabric. Zadania platformy Spark uruchamiane w tych obszarach roboczych mogą używać maksymalnie rdzeni przydzielonych dla danej pojemności, a po osiągnięciu maksymalnego limitu zadania są ograniczane lub kolejkowane.

Dowiedz się więcej o limitach współbieżności platformy Spark w usłudze Microsoft Fabric

Kolejkowanie zadań jest obsługiwane w przypadku zadań notesu i definicji zadań platformy Spark wyzwalanych przez potoki lub za pośrednictwem harmonogramu. Kolejkowanie nie jest obsługiwane w przypadku zadań notesu interaktywnego i zadań notesu wyzwalanych za pośrednictwem publicznego interfejsu API notesu.

Kolejka działa w sposób pierwszy na pierwszym wyjściu (FIFO), gdzie zadania są dodawane do kolejki na podstawie czasu ich przesłania i są stale ponawiane i uruchamiane po zwolnieniu pojemności.

Jak działa kolejkowanie zadań

Po przesłaniu zadania platformy Spark, jeśli pojemność sieci szkieletowej jest już na maksymalnym limicie obliczeniowym, nie można wykonać zadania natychmiast. W takich przypadkach można kolejkować zadanie do wykonania. Wykonaj następujące kroki, aby utworzyć kolejkę notesu z potoku:

1. Utwórz nowy element potoku i nowe działanie potoku w nim, aby uruchomić notes.

2. W działaniu potoku otwórz kartę Ustawienia i wybierz notes, który chcesz umieścić w kolejce i Uruchom potok.

   

3. Zadanie wprowadza kolejkę FIFO. Przejdź do centrum Monitor i zwróć uwagę, że stan zadania to Not Started (Nie uruchomiono ) wskazujący, że został on w kolejce i oczekuje na pojemność.

4. Gdy istniejące zadania zakończą się i zwolnią zasoby obliczeniowe, zadania z kolejki zostaną pobrane. Po rozpoczęciu wykonywania stan zmieni się z Nie rozpoczęto na W toku. Kolejka wygasa po 24 godzinach dla wszystkich zadań od czasu ich przyjęcia do kolejki. Po osiągnięciu czasu wygaśnięcia należy ponownie przesłać zadania.

Rozmiary kolejek

Platforma Spark sieci szkieletowej wymusza rozmiary kolejek na podstawie rozmiaru jednostki SKU pojemności dołączonej do obszaru roboczego, zapewniając mechanizm ograniczania przepustowości i kolejkowania, w którym użytkownicy mogą przesyłać zadania na podstawie zakupionych jednostek SKU pojemności sieci szkieletowej.

W poniższej sekcji wymieniono różne rozmiary kolejek dla obciążeń platformy Spark w oparciu o jednostki SKU pojemności:

Po osiągnięciu maksymalnego limitu kolejki dla pojemności sieci szkieletowej nowe przesłane zadania zostaną ograniczone z komunikatem o błędzie [TooManyRequestsForCapacity] Nie można uruchomić tego zadania platformy Spark, ponieważ przekroczono limit liczby zasobów obliczeniowych platformy Spark lub szybkości interfejsu API. Aby uruchomić to zadanie platformy Spark, anuluj aktywne zadanie platformy Spark za pośrednictwem centrum Monitorowania, wybierz większą jednostkę SKU pojemności lub spróbuj ponownie później. Kod stanu HTTP: 430 {Dowiedz się więcej} kod stanu HTTP: 430.

Powiązana zawartość

• Dowiedz się więcej o rozliczeniach i wykorzystaniu platformy Spark w usłudze Microsoft Fabric.
• Dowiedz się więcej o obliczeniach platformy Spark na potrzeby inżynierii danych sieci szkieletowej i środowisk nauki o danych.