Freigeben über

Spickzettel für die Compute-Erstellung

Dieser Artikel soll eine klare und fundierte Anleitung für die Compute-Erstellung bieten. Indem Sie die richtigen Compute-Typen für Ihren Workflow verwenden, können Sie die Leistung verbessern und Kosten sparen.

Bewährte Methode Auswirkung Doktoren
Wenn Sie noch nicht mit Azure Databricks vertraut sind, verwenden Sie zunächst allgemeine universelle Instanztypen Die Auswahl des geeigneten Instanztyps für die Workload führt zu einer höheren Effizienz.
Verwenden des Standardzugriffsmodus, es sei denn, Ihre erforderliche Funktionalität wird nicht unterstützt Compute mit Standardzugriffsmodus kann von mehreren Benutzern mit Datenisolation zwischen Benutzern verwendet werden.
Verwenden Sie die Instanztypen der neuesten Generation, wenn genügend verfügbar sind Die neueste Generation von Instanztypen bietet die beste Leistung und die neuesten Features.
Legen Sie die Balance zwischen On-Demand- und Spot-Instanzen fest, je nachdem, wie schnell Ihre Workload ausgeführt werden muss Spot-Instanzen sparen Kosten, können sich aber auf die Gesamtlaufzeit eines Vorgangs auswirken, wenn die Spot-Instanzen erneut beansprucht werden.
Wählen Sie die Größe Ihrer Knoten und die Anzahl der Workers basierend auf den Typen der Vorgänge aus, die Ihre Workload ausführt Wenn Sie beispielsweise viele Umschichtungen erwarten, kann es effizienter sein, einen großen einzelnen Knoten anstelle mehrerer kleinerer Knoten zu verwenden.
Führen Sie VACUUM auf einem Cluster aus, für den die automatische Skalierung für 1 bis 4 Worker festgelegt ist und jeder Worker über 8 Kerne verfügt.
Wählen Sie einen Treiber mit 8 bis 32 Kernen aus. Erhöhen Sie die Größe des Treibers, wenn Sie OOM (Out-of-Memory)-Fehler erhalten.		 VACUUM-Anweisungen erfolgen in zwei Phasen, die zweite davon ist treiberlastig. Wenn Sie den cluster in der richtigen Größe nicht verwenden, kann der Vorgang zu einer Verlangsamung führen und ist möglicherweise nicht erfolgreich.
Bewerten, ob Ihr Batchworkflow von Photon profitieren würde Photon bietet schnellere Abfragen und reduziert Ihre Gesamtkosten pro Workload.
  • Last updated on