Freigeben über


Bereitstellen der Cloud-Skalierungsanalysen

Bereitstellungsprozess für die Datenmanagement-Landing-Zone

Das Datenplattform-Betriebsteam ist für die Bereitstellung einer Datenverwaltungs-Landezone verantwortlich. Die Datenverwaltungs-Zielzone sollte über ein eigenes Repository verfügen, das vom Datenplattform-Betriebsteam verwaltet wird.

Vorsicht

Erstellen und bereitstellen Sie eine Datenmanagement-Zielzone, bevor eine Datenlandungszone bereitgestellt wird.

Bereitstellungsprozess der Datenlandezone

Teams können Vorlagen verwenden, die vom Datenplattform-Betriebsteam bereitgestellt werden, um zu vermeiden, dass sie für jede Ressource von Grund auf neu beginnen. Wir empfehlen ein Forking-Muster, um die Bereitstellung einer neuen Landing Zone zu automatisieren.

Beispielsweise fordert ein Team für Datenlandezone-Vorgänge eine neue Datenlandungszone mit einem IT-Verwaltungstool oder Power Apps an. Starten Sie nach Genehmigung der Anforderung den folgenden Workflow mithilfe von Parametern aus der Anforderung:

  1. Stellen Sie ein neues Abonnement für die neue Datenlandungszone bereit.
  2. Forken Sie den Hauptzweig der Vorlage für die Datenlandezone, um ein neues Repository zu erstellen.
  3. Erstellen Sie eine Dienstverbindung im neuen Repository.
  4. Aktualisieren Sie Parameter im neuen Repository basierend auf Parametern aus der Anforderung.
  5. Erstellen Sie eine Bereitstellungspipeline, um die Dienste bereitzustellen, die durch das Einchecken der aktualisierten Parameter ausgelöst werden.
  6. Benachrichtigen Sie das Datenlandezone-Betriebsteam, dass die neue Zielzone verfügbar ist.

Das Team für Datenanlandungszonen-Vorgänge kann jetzt Azure Resource Manager-Vorlagen ändern oder hinzufügen.

Dieser Workflow kann mithilfe mehrerer Dienstsätze auf der Azure-Plattform automatisiert werden. Behandeln Sie einige der Schritte, z. B. das Umbenennen von Parametern in Parameterdateien, mithilfe von CI/CD-Pipelines. Andere Schritte können mit anderen Workflow-Orchestrierungstools wie Logik-Apps ausgeführt werden.

Diagramm des abgezweigten DevOps-Modells.

Mit dem Zweigmuster können Teams ihre Vorlagen aus den Originalvorlagen aktualisieren, die zum Verzweigen verwendet wurden. Wenn Verbesserungen oder neue Funktionen in den Vorlagenrepositorys implementiert werden, können Betriebsteams diese in ihre eigenen Forks integrieren.

Bewährte Methoden für Repositorys übernehmen, z. B.:

  • Sichern Sie den Hauptzweig.
  • Verwenden Sie Branches für Änderungen, Updates und Verbesserungen.
  • Definieren Sie die Code-Eigentümer, die Pull-Requests genehmigen, bevor Sie Änderungen in den Main-Branch zusammenführen.
  • Validieren Sie Zweige durch automatisierte Tests.
  • Beschränken Sie die Anzahl der Aktionen und Personen im Team, indem Sie festlegen, wer die Build- und Freigabepipelines auslösen kann.

Tipp

Koordinieren Sie Aktivitäten zwischen Teams, um sicherzustellen, dass Verbesserungen oder neue Features in den ursprünglichen Vorlagen in allen Datenlandungszoneninstanzen repliziert werden. Betriebsteams können ursprüngliche Vorlagenänderungen in ihren Fork ziehen.

Diagramm eines Automatisierungsprozesses für die Data Landing Zone.

Der Onboarding-Prozess ist vom Bereitstellungsprozess der Datenlandezone getrennt. Diese Trennung basiert auf der Annahme, dass die meisten Organisationen im Rahmen ihres Cloudbetriebsmodells über einen standardmäßigen Azure-Abonnementbereitstellungsprozess verfügen. Der Onboardingprozess stellt standardmäßige Unternehmenskomponenten bereit (z. B. ein IT-Dienstverwaltungstool von Drittanbietern). Datenlandungszonenspezifische Komponenten werden als Nächstes bereitgestellt.

Es sind keine Git-APIs zum Klonen/Update/Commit/Push in der vorgeschlagenen Automatisierungslösung verfügbar. Daher besteht unser Ansatz darin, ein Azure Automation-Konto zu verwenden, das PowerShell-Runbooks enthält, die:

  • Einrichten einer Datenlandungszone
  • Forken Sie das Haupt-Repository auf ein Git-Repository der Datenplattform.
  • Einrichten der Subnetzkonfigurationen für die Datenlandungszone
  • Einrichten Microsoft Entra ID

Die Runbooks verwenden Git-Funktionen aus dem GitAutomation PowerShell-Modul für die Arbeit mit Git-Repositorys. Durch die Installation dieses Moduls in einem Azure Automation-Konto können Benutzer in Git-Repositorys Vorgänge wie Erstellen, Klonen, Abfragen, Push, Pull und Commit durchführen. Die folgende Abbildung zeigt das GitAutomation Modul, das in einem Azure Automation-Konto installiert ist.

Diagramm des Moduls

Verwenden Sie die Copy-GitRepository Funktion aus dem GitAutomation Modul, um das Haupt-Git-Repository von der durch URL angegebenen URL zum Git-Pfad der Datenplattform zu klonen, der durch DestinationPath angegeben wird.

Dieser Ansatz für die Bereitstellung der Datenlandzone ist flexibel und stellt gleichzeitig sicher, dass Aktionen den Organisationsanforderungen entsprechen. Die Lebenszyklusverwaltung wird durch Anwenden neuer Features oder Optimierungen aus den ursprünglichen Vorlagen ermöglicht.

Bereitstellungsprozess für Datenanwendungen

Nachdem eine Datenlandungszone erstellt wurde, kann das Onboarding für die Datenanwendungsteams gestartet werden. Die Datenplattform oder datenlandezone-Betriebsteams erteilen die Bereitstellungsgenehmigung.

Die Bereitstellung erfolgt entweder direkt mithilfe von DevOps-Tools oder über Pipelines/Workflows, die als APIs verfügbar gemacht werden. Ähnlich wie bei der Datenlandungszone beginnt die Bereitstellung mit dem Forken des ursprünglichen Datenanwendungs-Repositorys.

Diagramm der Automatisierung der Datenanwendungsbereitstellung.

  1. Der Benutzer fordert neue Datenanwendungsdienste an.
  2. Der Workflowprozess fordert die Genehmigung vom Datenplattform- oder Datenlandezonen-Betriebsteam an.
  3. Der Workflow ruft die IT-Dienstverwaltungs-API auf, um erforderliche Ressourcengruppen zu erstellen und eine Azure DevOps-Dienstverbindung zu erstellen. Der Workflow weist dem Azure DevOps-Projekt ein Team zu.
  4. Der Workflow gabelt das ursprüngliche Datenanwendungs-Repository, um das Zielprojekt in Azure DevOps zu erstellen.
  5. Der Workflow erstellt eine Azure Resource Manager-Vorlagenparameterdatei und -pipelines.
  6. Der Workflow startet dann eine Azure-Pipeline zum Erstellen der Netzwerkanforderungen und eine andere Azure-Pipeline zum Bereitstellen der Datenanwendungsdienste.
  7. Der Workflow benachrichtigt den Benutzer nach Abschluss.

Tipp

de-DE: Wenn Sie neu bei DataOps sind, überprüfen Sie das DataOps für das moderne Data Warehouse: ein praktisches Labor im Azure Architecture Center. Das Szenario des Labors beschreibt ein fiktives Stadtplanungsbüro, das diese Bereitstellungslösung verwenden kann. Die Bereitstellungslösung bietet eine End-to-End-Datenpipeline, die dem modernen Architekturmuster des Data Warehouse folgt, zusammen mit den entsprechenden DevOps- und DataOps-Prozessen, um den Parkplatz zu bewerten und fundierte Geschäftsentscheidungen zu treffen.

Zusammenfassung

Die oben genannten Muster bieten Kontrolle, Flexibilität, Self-Service und Lebenszyklusverwaltung von Richtlinien.

Diagramm des gesamten DataOps-Modells.

Zu Beginn des Projekts verfügt die Datenplattform über ein Azure DevOps-Projekt mit einem oder mehreren Azure Boards. Einzelne DevOps-Teams konzentrieren sich auf:

  • Ein Repository für die Datenverwaltungs-Zielzone, Pipelines und eine Dienstverbindung mit der Cloudumgebung.
  • Ein Vorlagen-Repository für die Datenlandezone, Pipelines zur Bereitstellung einer Datenlandezoneninstanz und Serviceverbindungen zu Cloudumgebungen.
  • Ein Vorlagen-Repository für Datenproduktdienste, Pipelines zur Bereitstellung einer Datenproduktinstanz und Dienstverbindungen mit Cloudumgebungen. Diese Verbindungen verzweigen sich aus Azure DevOps-Projekten in der Data Landing Zone.

Nachdem Datenlandungszonen bereitgestellt wurden, schreibt Cloud-Skalierungsanalysen Folgendes vor:

  • Jede Datenlandungszone verfügt über ein eigenes Azure DevOps-Projekt mit einem oder mehreren Azure Boards.
  • Für jede Datenanwendung wird nach genehmigter Anforderung eine Fork der Daten-Landezone des Azure DevOps-Projekts erstellt.
  • Jede Datenanwendung umfasst:
    • Eine Dienstverbindung.
    • Eine registrierte Pipeline.
    • Ein DevOps-Team mit Zugriff auf sein Azure-Board und -Repository.
    • Ein anderer Satz von Richtlinien für das geforkte Repository.

Führen Sie die folgenden Methoden aus, um die Bereitstellung von Datenanwendungen zu steuern:

  • Das Team für datenlandezone-Vorgänge besitzt und sichert die Haupt-Repository-Verzweigung.
  • Nur die Hauptzweigung wird verwendet, um Test- und Produktionsumgebungen bereitzustellen.
  • Featurezweige können in Entwicklungsumgebungen bereitgestellt werden.
  • Feature-Branches gehören den DataOps-Teams. Sie werden verwendet, um neue oder geänderte Features zu testen.
  • DataOps-Teams können Funktionszweige ohne Genehmigung in andere Featurezweige zusammenführen.
  • DataOps-Teams erstellen einen Pull-Request zum Zusammenführen von Funktionszweigen in den Hauptzweig, und das Datenlanding-Zone-Betriebsteam erteilt die Genehmigung.
  • Neue Features oder Verbesserungen an den ursprünglichen Vorlagen werden in das verzweigte Repository zusammengeführt, um sie aktuell zu halten.

Nächste Schritte