Planen, Skalieren und Verwalten einer unternehmenskritischen Gatewaylösung

Dieser Artikel richtet sich an alle Benutzer, die ein lokales Datengateway in einem geschäftskritischen Szenario bereitstellen möchten. Ein lokales Datengateway ist unternehmenskritisch, wenn es für den normalen Betrieb Ihres Unternehmens von entscheidender Bedeutung ist und geschäftskritische Daten verarbeitet.

Wenn unternehmenskritische Gateways nicht ordnungsgemäß verwaltet werden, treten möglicherweise fehlgeschlagene Abfragen oder eine langsame Leistung auf. Wenn Sie Ihre unternehmenskritische Gatewaylösung ordnungsgemäß planen, skalieren und verwalten, kann die Wahrscheinlichkeit eines Problems mit geschäftlichen Auswirkungen minimiert werden.

Terminologie

Die folgenden wichtigen Begriffe werden in diesem Artikel verwendet:

• Gateway: Die lokale Datengatewayanwendung, die auf einem Computer installiert ist.
• Gatewayserver: Ein Windows-Computer (virtueller Computer oder physischer Computer/Server), auf dem die lokale Datengatewayanwendung installiert ist.
• Gateway-Cluster: Eine Gruppe von Gateways, die zusammenarbeiten und möglicherweise lastverteilt sind.
• Gatewaymitglied: Ein Gateway, das Teil eines Gatewayclusters ist.

Die folgende Abbildung zeigt die Beziehung zwischen den oben definierten Konzepten.

Empfehlungen für unternehmenskritische Gateways

Für unternehmenskritische Gateways müssen die Gateways bereitgestellt und ordnungsgemäß verwaltet werden, um hohe Verfügbarkeit, gute Leistung und wartungsfähige Skalierbarkeit sicherzustellen. Das falsche Bereitstellen von Gateways kann zu einer schlechten Leistung, fehlgeschlagenen Abfragen und Schwierigkeiten bei der Diagnose potenzieller Probleme führen. Es kann auch Ihre Fähigkeit beeinträchtigen, die Gateways nach oben und außen zu skalieren, wenn die Nutzung wächst.

Um eine optimale Skalierbarkeit, Leistung und Durchsatz zu gewährleisten, befolgen Sie die Empfehlungen in den nächsten Abschnitten.

Alle Ihre Gateway-Wiederherstellungsschlüssel kennen

Stellen Sie sicher, dass alle Gatewaywiederherstellungsschlüssel bekannt sind und an einem sicheren Ort aufbewahrt werden. Ohne einen Wiederherstellungsschlüssel können Gateways nicht wiederhergestellt oder herabgestuft werden. Diese Einschränkung ist beabsichtigt. Wenn Sie Ihre Wiederherstellungsschlüssel verlieren, besteht die einzige Option darin, neue Gateways zu erstellen und die Datenquellen neu zu erstellen. Außerdem können Sie dem Cluster keine neuen Gateways ohne den Wiederherstellungsschlüssel hinzufügen, was die zukünftige Skalierbarkeit einschränken würde.

Speichern Sie Ihre Wiederherstellungsschlüssel an einem sicheren Ort, wie Sie administrative Anmeldeinformationen speichern würden, z. B. ein Kennwortsicher, auf das nur von autorisierten Administratoren zugegriffen werden kann.

Wenn Sie derzeit nicht alle Ihre Gatewaywiederherstellungsschlüssel kennen, ist dies ein erhebliches Geschäftsrisiko. Erstellen Sie sofort neue Gatewaycluster, und beginnen Sie mit der Migration von Workloads zu den neuen Gatewayclustern.

Entwicklungsarbeitslasten und geschäftskritische Arbeitslasten

Trennen Sie Entwicklungsarbeitslasten von geschäftskritischen Workloads, indem Sie einen oder mehrere Entwicklungsgatewaycluster und einen oder mehrere Produktionsgatewaycluster einrichten.

Verwenden Sie einen Entwicklungsgatewaycluster, um neue semantische Modelle, Berichte, Abfragen usw. zu testen. Nachdem eine neue Workload überprüft wurde, migrieren Sie sie zu einem unternehmenskritischen Gatewaycluster. Dieser Prozess verhindert, dass neue, nicht getestete oder experimentelle Workloads Leistungseinbußen auf Produktionsworkloads haben.

Verwenden Sie außerdem Ihren Entwicklungsgatewaycluster(n), um neue Gatewayupdates zu testen, bevor Sie Updates auf Ihre unternehmenskritischen Gatewaycluster anwenden. Neue Gatewayupdates sollten mindestens 24 Stunden im Entwicklungsgatewaycluster(n) bereitgestellt werden, bevor sie für unternehmenskritische Gatewaycluster verwendet werden.

Verwenden mehrerer Gatewaycluster

Wenn Sie einen Gatewaycluster für eine große Anzahl von Benutzern in Ihrer Organisation erstellen, müssen Sie mehrere Gatewaycluster basierend auf Geschäftseinheiten oder kleiner erstellen, um potenzielle Leistungseinbußen auf eine kleine Teilmenge von Benutzern zu beschränken.

Es wird nicht empfohlen, einen einzelnen unternehmenskritischen Gatewaycluster für ein gesamtes Unternehmen zu verwenden (es sei denn, das Unternehmen ist klein). In einem einzelnen Gatewayclusterszenario könnte ein Benutzer eine Abfrage senden, die erhebliche Leistungseinbußen für den gesamten Datenverkehr über das Gateway verursacht. Wenn das Gateway im gesamten Unternehmen verwendet wird, kann sich die Leistung auf das gesamte Unternehmen auswirken. Wenn ein Gatewaycluster in einem gesamten Unternehmen verwendet wird, ist es möglicherweise schwieriger, zu ermitteln, welche Abfrage bei Verwendung des Features zur Gatewayleistungsüberwachung ein Leistungsproblem verursachen könnte.

Verwenden der Gatewayfunktionen für hohe Verfügbarkeit und Lastenausgleich

Verwenden Sie immer die Hochverfügbarkeits- und Lastenausgleichsfunktionen des Gateways für alle unternehmenskritischen Gatewaycluster.

• Hohe Verfügbarkeit: Beseitigt einen einzelnen Fehlerpunkt.
• Lastenausgleich: Verteilt die Workload automatisch auf alle Gatewayserver im Cluster.

Richten Sie mindestens zwei Gateways pro Gatewaycluster ein, falls ein Gateway aus irgendeinem Grund offline ist. Dieses Setup stellt sicher, dass ein einzelner Gatewayfehler nicht dazu führt, dass der gesamte Gatewaycluster fehlschlägt. Darüber hinaus können CPU-, Arbeitsspeicher- und Parallelitätsgrenzwerte auf den Gateways aktiviert werden, um die Last besser über den Gatewaycluster zu verteilen.

Planen und Verwalten der Skalierbarkeit von Gatewayclustern

Durch das Einrichten eines Gatewayclusters mit unseren empfohlenen Hardware- und Softwarerichtlinien wird sichergestellt, dass der Cluster mit guter Leistung ausgeführt wird. Gateways, die nicht ordnungsgemäß skaliert werden, können zu einer schlechten Leistung führen. Es gibt viele Faktoren, die Sie berücksichtigen müssen, um eine gute Leistung in Ihrem Gatewaycluster zu erzielen.

Ermitteln von Hardwarespezifikationen für Gatewayserver

Gatewayserverspezifikationen (CPU, Arbeitsspeicher, Datenträger usw.) sind ein wichtiger Faktor, da in den meisten Fällen die Power Query-Transformationen auf die Daten auf dem Gatewayserver angewendet werden. Daher muss ein Gatewayserver über genügend Ressourcen, Arbeitsspeicher und Verarbeitungsleistung verfügen, um alle Datentransformationen zu verarbeiten.

Wenn Sie eine Servergröße auswählen müssen, gibt es zwei Metriken, die am wichtigsten sind: Arbeitsspeicher und CPU. Sie benötigen sowohl ausreichend Arbeitsspeicher als auch CPU-Leistung, um die Power Query-Datentransformationsschritte auf dem Gateway zu verarbeiten. Es ist wichtig, dass Ihr Gatewayserver leistungsfähig genug ist, um die höchste Workload zu verarbeiten, die Sie haben. Wenn der Gatewayserver die Workload nicht verarbeiten kann, schlägt die direkte Abfrage oder Die Datenaktualisierung fehl. Außerdem ist es wichtig zu verstehen, wie viele Abfragen gleichzeitig ausgeführt werden.

Diese verschiedenen Abfrageoptionen wirken sich auf Ihren Gatewayserver anders aus.

Während eines Imports muss die gesamte Datenmenge abgefragt und verarbeitet werden, was eine speicherintensive Aufgabe ist. Diese Importierung dauert oft auch länger. DirectQueries und LiveConnections sind häufig CPU-schwer. In den meisten Fällen werden direkte Abfragen mehrmals ausgeführt, um nur einen kleinen Teil der Daten zu verarbeiten. Da nur ein kleiner Teil der Daten verarbeitet wird, sind diese direkten Abfragen normalerweise keine speicherintensive Aufgabe. Da die Abfragen jedoch oft bei Bedarf ausgeführt werden, kann dies CPU-intensiv sein.

Je nach Workload sollten Sie den Gatewayserver für Arbeitsspeicher oder CPU optimieren.

Wann ein Gatewaycluster skaliert werden soll

Die Skalierung ist ein wichtiger Aspekt eines unternehmenskritischen Gatewayclusters. Wenn sich Ihre Nutzung des Gatewayclusters erhöht, muss der Gatewaycluster hochskaliert und/oder erweitert werden, um eine gute Leistung sicherzustellen. Wir raten Ihnen, die Skalierung eines Gatewayclusters einzuleiten, wenn Sie die Gateways im Cluster bereits skaliert haben.

Das Skalieren und Verteilen der Datenverkehrslast über einzelne Knoten innerhalb eines Clusters hinweg ist ein komplexer Prozess, der je nach einzelnen Szenario variiert. Obwohl es kein endgültiges Modell gibt, um sicherzustellen, dass der gesamte Gatewaydatenverkehr vorhersehbar ist, weisen die unten aufgeführten Grenzwerte auf einen Skalierungsbedarf hin. Im Allgemeinen empfehlen wir, das Skalieren durch Hinzufügen von Knoten zum Cluster im Vergleich zum Hochskalieren (Erhöhung der CPU, des RAM oder des Speicherplatzes auf einzelnen Knoten) vorzuziehen. Das Ausskalieren ist in der Regel insgesamt effektiver, da das System insgesamt zusätzlichen Datenverkehr verarbeiten kann. Die horizontale Skalierung hat auch positive Auswirkungen auf die gesamte Bandbreite, die der Cluster verarbeiten kann, während die vertikale Skalierung im Allgemeinen keinen Einfluss darauf hat. Wenn mindestens ein Gatewayknoten Anzeichen dafür zeigt, dass die folgenden Schwellenwerte erreicht werden, sollte das Erweitern des Clusters dringend erwogen werden.

• CPU: Die CPU liegt über 80% für längere Zeiträume, jedoch sind gelegentliche kurze (unter 5 Minuten) Spitzen, die die CPU auslasten, nicht unüblich.

• RAM: Der verfügbare Arbeitsspeicher sinkt regelmäßig unter 20%.

• Datenträger: Freier Speicherplatz sinkt häufig unter 5 GB. Diese Dip könnte auch darauf hindeuten, dass Zwischenspeicherungs- oder Spoolingverzeichnisse strategischer konfiguriert werden müssen.

• Konkurrenz: Gleichzeitige Ausführung von mehr als 40 Abfragen auf einem einzelnen Knoten.

Da Aktualisierungen und Abfragen, die über Gatewayknoten verteilt sind, sehr unterschiedliche Profile aufweisen können, empfehlen wir auch, dass lange laufende oder speicherintensive Aufträge besondere Aufmerksamkeit erhalten. Die Abfrageoptimierung kann in solchen Fällen enorme Auswirkungen auf Leistung und Skalierbarkeit haben, nicht nur für die einzelnen Berichte und Aktualisierungen, sondern auch für das gesamte System. Es wird empfohlen, die betreffenden Aktualisierungen zu einem einzigen dedizierten Gatewaycluster zu isolieren, um Leistungsmerkmale zu bewerten und Optimierungen durchzuführen. Dabei sollen Diagnosen zu Abfrageplänen, Faltungshinweise sowie alle anderen veröffentlichten Empfehlungen zur Leistungsverbesserung genutzt werden. Diese Isolation minimiert die Menge der abgerufenen Daten und die Menge der nach der Verarbeitung erforderlichen Daten. Diese Isolation kann auch als langfristige Strategie verwendet werden, um ETL-Aufträge mit langer Laufzeit einem dedizierten Gateway-Cluster zuzuordnen, um Konflikte mit anderen typischen Aktualisierungen innerhalb der gesamten Organisation zu reduzieren.

Skalieren eines Gatewayclusters

Die Skalierung erfolgt, wenn Sie die Spezifikationen (CPU, Arbeitsspeicher, Datenträger usw.) Ihrer Gatewayserver erhöhen.

Die Skalierung kann erforderlich sein, wenn die maximale CPU oder der maximale Arbeitsspeicher erreicht ist, wenn das Gateway eine oder mehrere Abfragen ausführt. Eine Abfrage kann nur auf einem Gatewayserver ausgeführt werden, weshalb der Gatewayserver über genügend Ressourcen verfügen muss, um die gesamte Abfrage zusammen mit den resultierenden Daten zu verarbeiten.

Skalieren eines Gatewayclusters

Die Skalierung ist erforderlich, wenn der Gatewayserver bereits über hohe Spezifikationen verfügt (d. h. der Gatewayserver wurde bereits skaliert), oder Sie haben die Grenzen erreicht, die ein einzelner Gatewayserver aufgrund der Anzahl der gleichzeitig ausgeführten Abfragen verwalten kann. Eine breite Auslastungssteigerung über den gesamten Gatewaymemmsatz hinweg ist ein guter Hinweis darauf, dass das Skalieren eines Clusters durch Hinzufügen von Knoten der richtige Aktionsverlauf ist. Wann ein Gatewaycluster skaliert werden soll , werden bestimmte Schwellenwerte bereitgestellt, die angeben, wann es zeit für die Skalierung ist. Weitere Informationen zum Skalieren finden Sie unter zur Verwendung der Funktionen für Hochverfügbarkeit und Lastenausgleich des Gateways.

Skalierung durch Erstellen neuer Gatewaycluster

Wenn die Ressourcennutzung Ihres Gatewayclusters hoch ist oder eine außergewöhnlich große Anzahl von Benutzern von einem Gatewaycluster abhängt, kann ein neuer Gatewaycluster erstellt werden. Eine Teilmenge der Workload kann dann zum neuen Gatewaycluster migriert werden. Wenn eine große Anzahl von Benutzern auf einen einzelnen Gatewaycluster angewiesen ist, kann ein Benutzer eine Abfrage senden, die erhebliche Leistungseinbußen im gesamten Gatewaycluster verursacht.

Eine außergewöhnlich große Anzahl von Benutzern, die auf einem einzelnen Gatewaycluster vertrauen, ist ein Indikator, dass ein neuer Gatewaycluster erstellt werden soll.

Überwachen und Problembehandlung der Gatewayleistung

Es ist wichtig, die Gesamtleistung von unternehmenskritischen Gateways mithilfe der Gatewayleistungsüberwachungsfunktion zu überwachen. Sie können dieses Feature auch verwenden, um Leistungsprobleme zu beheben, Engpässe zu identifizieren und Abfragen zu identifizieren, die sich auf die Gesamtleistung des Gateways auswirken. Dieses Feature ist auch ein wichtiges Tool, mit dem Sie bestimmen können, wann ein Gatewaycluster skaliert werden soll.

Wenn Sie eine Abfrage als stark belastend für das Gateway identifizieren, was zu einer verschlechterten Gesamtleistung führt, könnten Sie in der Lage sein, die Abfrage umzuformulieren, um sie effizienter zu gestalten und die Auswirkungen auf die Leistung zu verringern.

Wenn Microsoft eine schlechte Leistung identifiziert, die durch ein Gateway oder eine gatewaybezogene Komponente verursacht wird, z. B. eine überlastete Power BI Premium-Kapazität, muss die überladene Komponente durch Skalieren oder Verringern der Last behoben werden. Microsoft untersucht keine schlechte Leistung, wenn ein Gateway oder eine gatewaybezogene Komponente überlastet ist.