Freigeben über

Auftragswarteschlange in Apache Spark für Microsoft Fabric

Gilt für:✅ Datentechnik und Data Science in Microsoft Fabric

Microsoft Fabric unterstützt die Einreihung von Hintergrundaufträgen in eine Warteschlange, wenn Sie die Spark-Berechnungsgrenzen für Ihre Fabric-Kapazität erreicht haben. Das Warteschlangensystem bietet automatische Wiederholungsversuche für Aufträge, die in die Warteschlange aufgenommen werden, bis sie das Ende der Warteschlange erreichen. Wenn Benutzer eine Microsoft Fabric-Kapazität auf Azure erstellen, wählen sie eine Kapazitätsgröße, die auf der Größe ihres Analyse-Workloads basiert.

Nach dem Erwerb der Kapazität können Administrator*innen Arbeitsbereiche innerhalb der Kapazität in Microsoft Fabric erstellen. Spark-Aufträge, die in diesen Arbeitsbereichen ausgeführt werden, können die maximale Anzahl von Kernen nutzen, die für eine bestimmte Kapazität zugewiesen wurden. Wenn die maximale Grenze erreicht ist, werden die Aufträge entweder gedrosselt oder in eine Warteschlange gestellt.

Erfahren Sie mehr über die Parallelitätsgrenzen von Spark in Microsoft Fabric

Die Auftragswarteschlange wird für Notizbuchaufträge und Spark-Auftragsdefinitionen unterstützt, die von Pipelines oder über den Zeitplan ausgelöst werden. Die Warteschlange wird für interaktive Notizbuchaufträge und Notizbuchaufträge , die über die öffentliche API des Notizbuchs ausgelöst werden, nicht unterstützt.

Die Warteschlange arbeitet nach dem FIFO-Prinzip (First-In-First-Out), d. h., die Aufträge werden entsprechend dem Zeitpunkt ihrer Einreichung in die Warteschlange aufgenommen und ständig wiederholt und ausgeführt, sobald die Kapazität wieder frei ist.

Hinweis

Die Warteschlange von Spark-Aufträgen wird nicht unterstützt, wenn sich die Fabric-Kapazität im eingeschränkten Zustand befindet. Alle übermittelten neuen Aufträge werden abgelehnt.

Funktionsweise der Auftragswarteschlange

Wenn ein Spark-Auftrag übermittelt wird, kann der Auftrag nicht sofort ausgeführt werden, wenn die Fabric-Kapazität bereits an seinem maximalen Computelimit liegt. In solchen Fällen können Sie den Auftrag für die Ausführung in die Warteschlange stellen. Führen Sie die folgenden Schritte aus, um ein Notizbuch aus einer Pipeline in die Warteschlange zu stellen:

  1. Erstellen Sie ein neues Pipelineelement und eine neue Pipelineaktivität darin, um das Notizbuch auszuführen.

  2. Öffnen Sie in der Pipelineaktivität die Registerkarte "Einstellungen ", und wählen Sie das Notizbuch aus, das Sie in die Warteschlange stellen möchten, und führen Sie die Pipeline aus.

    Screenshot, der zeigt, wie ein Notizbuch aus einer Pipeline ausgeführt wird.

  3. Der Auftrag gibt die FIFO-Warteschlange ein. Navigieren Sie zum Monitor-Hub , und beachten Sie, dass der Auftragsstatus nicht gestartet ist, der angibt, dass er in die Warteschlange eingereiht wurde und auf die Kapazität wartet.

  4. Wenn vorhandene Aufträge abgeschlossen sind und Computeressourcen freigeben, werden Aufträge aus der Warteschlange aufgenommen. Wenn die Ausführung beginnt, ändert sich der Status von "Nicht gestartet " in "In Bearbeitung". Die Warteschlange läuft nach 24 Stunden für alle Aufträge ab dem Zeitpunkt ab, zu dem sie in die Warteschlange aufgenommen wurden. Sobald die Ablaufzeit erreicht ist, müssen die Aufträge erneut gesendet werden.

Warteschlangengrößen

Fabric Spark erzwingt Warteschlangengrößen basierend auf der Kapazitäts-SKU-Größe, die einem Arbeitsbereich zugeordnet ist, und bietet einen Drosselungs- und Warteschlangenmechanismus, bei dem Benutzer Aufträge basierend auf den erworbenen Fabric-Kapazitäts-SKUs einreichen können.

Im folgenden Abschnitt werden verschiedene Warteschlangengrößen für Spark-Workloads auf der Basis von Microsoft Fabric auf der Grundlage der Kapazitäts-SKUs aufgeführt:

Fabric-Kapazitäts-SKU Entsprechende Power BI-SKU Warteschlangenlimit
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Testkapazität P1 NV

Hinweis

Die Warteschlangen werden für Fabric-Testkapazitäten nicht unterstützt. Benutzer*innen müssten zu einer kostenpflichtigen Fabric F- oder P-SKU wechseln, um die Warteschlangenfunktion für Spark-Aufträge nutzen zu können.

Nach Erreichen der Warteschlangen-Obergrenze für eine Fabric-Kapazität werden die übermittelten neuen Aufträge gedrosselt, und es wird folgende Fehlermeldung angezeigt: [TooManyRequestsForCapacity] Dieser Spark-Auftrag kann nicht ausgeführt werden, weil Sie einen Grenzwert für die Compute- oder API-Rate von Spark erreicht haben. Zur Ausführung dieses Spark-Auftrags brechen Sie einen aktiven Spark-Auftrag über den Monitoring-Hub ab, wählen Sie eine SKU mit größerer Kapazität aus, oder versuchen Sie es später erneut. HTTP-Statuscode: 430 {Weitere Informationen} HTTP-Statuscode: 430.

Zugehöriger Inhalt

  • Last updated on