Konfigurieren einer Firewall für serverlosen Computezugriff

Auf dieser Seite wird beschrieben, wie Sie eine Azure-Speicherfirewall für serverlose Berechnungen mithilfe der Azure Databricks-Kontokonsolen-Benutzeroberfläche konfigurieren. Sie können auch die Netzwerkkonnektivitätskonfigurations-API verwenden.

Informationen zum Konfigurieren eines privaten Endpunkts für den serverlosen Computezugriff finden Sie unter Konfigurieren der privaten Konnektivität mit Azure-Ressourcen.

Übersicht über die Firewallaktivierung für serverlose Berechnung

Serverlose Netzwerkkonnektivität wird mit Netzwerkkonnektivitätskonfigurationen (NCCs) verwaltet. Kontoadministratoren erstellen NCCs in der Kontokonsole, und ein NCC kann an einen oder mehrere Arbeitsbereiche angefügt werden. NCCs sind regionale Konstrukte auf Kontoebene, die verwendet werden, um die Erstellung privater Endpunkte und die Firewallaktivierung im großen Maßstab zu verwalten.

Ein NCC definiert Netzwerkidentitäten für Azure-Ressourcen als Standardregeln. Wenn eine NCC an einen Arbeitsbereich angefügt ist, verwendet serverlose Berechnungen in diesem Arbeitsbereich eines dieser Netzwerke, um eine Verbindung mit der Azure-Ressource herzustellen. Sie können diese Netzwerke in Ihren Azure-Ressourcenfirewalls zulassen. Wenden Sie sich für nicht speicherfreie Azure-Ressourcenfirewalls an Ihr Kontoteam, um mehr über die Verwendung stabiler NAT-IPs zu erfahren.

Die Aktivierung der NCC-Firewall wird von serverlosen SQL-Lagerhäusern, Aufträgen, Notizbüchern, Lakeflow Spark Declarative Pipelines und modellgestützten Endpunkten unterstützt.

Sie können auch den Zugriff des Arbeitsbereichsspeicherkontos auf autorisierte Netzwerke einschränken, einschließlich serverloser Berechnung. Wenn eine NCC angefügt ist, werden ihre Netzwerkregeln dem Speicherkonto des Arbeitsbereichs automatisch hinzugefügt. Weitere Informationen finden Sie unter Aktivieren der Firewallunterstützung für das Speicherkonto des Arbeitsbereichs.

Weitere Informationen zu NCCs finden Sie unter Was ist eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC)?.

Kostenauswirkungen des regionsübergreifenden Speicherzugriffs

Die Firewall gilt nur, wenn sich die Azure-Ressourcen in derselben Region wie der Azure Databricks-Arbeitsbereich befinden. Beim regionsübergreifenden Datenverkehr über serverloses Computing in Azure Databricks leitet Azure Databricks den Datenverkehr über einen Azure NAT Gateway-Dienst weiter. Beispiel: Der Arbeitsbereich befindet sich in der Region USA, Osten und der ADLS-Speicher in der Region Europa, Westen.

Anforderungen

• Ihr Arbeitsbereich muss sich im Premium-Plan befinden.

• Sie müssen ein Azure Databricks-Kontoadministrator sein.
• Jede NCC kann an bis zu 50 Arbeitsbereiche angefügt werden.
• Jedes Azure Databricks-Konto kann über bis zu 10 NCCs pro unterstützte Region verfügen. NCCs bieten gemeinsam genutzte stabile IP-CIDR-Blöcke anstelle unterschiedlicher IP-Blöcke pro Konfiguration, und diese IP-Bereiche sind regionsspezifisch. Eine Liste der unterstützten Regionen finden Sie unter Azure Databricks-Regionen.

• Sie müssen Zugriff auf die Netzwerkregeln Ihres Azure-Speicherkontos haben WRITE .

Schritt 1: Erstellen einer Netzwerkkonnektivitätskonfiguration und Kopieren von Subnetz-IDs

Databricks empfiehlt, NCCs zwischen Arbeitsbereichen in derselben Geschäftseinheit und den Arbeitsbereichen freizugeben, die dieselben Konnektivitätseigenschaften aufweisen. Wenn beispielsweise einige Arbeitsbereiche Speicherfirewall und andere Arbeitsbereiche den alternativen Ansatz von Private Link verwenden, verwenden Sie separate NCCs für diese Anwendungsfälle.

1. Melden Sie sich als Kontoadministrator*in bei der Kontokonsole an.
2. Klicken Sie in der Randleiste auf "Sicherheit".
3. Klicken Sie auf Netzwerkkonnektivitätskonfigurationen.
4. Klicken Sie auf "Netzwerkkonfiguration hinzufügen".
5. Geben Sie einen Namen für das NCC ein.
6. Wählen Sie die Region aus. Diese muss mit Ihrer Arbeitsbereichsregion übereinstimmen.
7. Klicken Sie auf "Hinzufügen".
8. Klicken Sie in der Liste der NCCs auf Ihr neues NCC.
9. Klicken Sie in "Standardregeln " unter "Netzwerkidentitäten" auf " Alle anzeigen".
10. Klicken Sie im Dialogfeld auf die Schaltfläche " Subnetze kopieren ".

Schritt 2: Anfügen einer NCC an Arbeitsbereiche

Sie können ein NCC mit bis zu 50 Arbeitsbereichen in derselben Region wie das NCC verknüpfen.

Informationen zur Verwendung der API zum Anfügen eines NCC an einen Arbeitsbereich finden Sie in der Kontoarbeitsbereichs-API.

1. Klicken Sie in der Randleiste der Kontokonsole auf "Arbeitsbereiche".
2. Klicken Sie auf den Namen Ihres Arbeitsbereichs.
3. Klicken Sie auf " Arbeitsbereich aktualisieren".
4. Wählen Sie im Feld "Netzwerkkonnektivitätskonfigurationen " Ihre NCC aus. Wenn es nicht sichtbar ist, vergewissern Sie sich, dass Sie denselben Bereich sowohl für den Arbeitsbereich als auch für den NCC ausgewählt haben.
5. Klicken Sie auf "Aktualisieren".
6. Warten Sie zehn Minuten, bis die Änderung wirksam wird.
7. Starten Sie alle laufenden serverlosen Computing-Ressourcen im Arbeitsbereich neu.

Wenn Sie dieses Feature zum Herstellen einer Verbindung mit dem Speicherkonto des Arbeitsbereichs verwenden, ist Ihre Konfiguration abgeschlossen. Die Netzwerkregeln werden dem Speicherkonto des Arbeitsbereichs automatisch hinzugefügt. Fahren Sie für zusätzliche Speicherkonten mit dem nächsten Schritt fort.

Schritt 3: Sperren Ihres Speicherkontos

Wenn Sie noch nicht beschränkten Zugriff auf das Azure-Speicherkonto haben, um nur aufgelistete Netzwerke zuzulassen, tun Sie dies jetzt. Für das Speicherkonto des Arbeitsbereichs ist dieser Schritt nicht erforderlich.

Das Erstellen einer Speicherfirewall wirkt sich auch auf die Konnektivität von der klassischen Computeebene mit Ihren Ressourcen aus. Außerdem müssen Sie Netzwerkregeln hinzufügen, um über klassische Computeressourcen eine Verbindung mit Ihren Speicherkonten herzustellen.

1. Öffnen Sie das Azure-Portal.
2. Navigieren Sie zu Ihrem Speicherkonto für die Datenquelle.
3. Klicken Sie im linken Navigationsgerät auf "Netzwerk".
4. Überprüfen Sie im Feld " Öffentlicher Netzwerkzugriff" den Wert. Standardmäßig ist der Wert von allen Netzwerken aktiviert. Ändern Sie dies in "Aktiviert" aus ausgewählten virtuellen Netzwerken und IP-Adressen.

Schritt 4: Hinzufügen von Netzwerkregeln für Azure-Speicherkonten

Für das Speicherkonto des Arbeitsbereichs ist dieser Schritt nicht erforderlich.

1. Kopieren Sie in einem Text-Editor das folgende Skript, und fügen Sie es ein, und ersetzen Sie die Parameter durch Werte für Ihr Azure-Konto:

   # Define parameters
   
   $subscription = `<YOUR_SUBSCRIPTION_ID>` # Replace with your Azure subscription ID or name
   $resourceGroup = `<YOUR_RESOURCE_GROUP>` # Replace with your Azure resource group name
   $accountName = `<YOUR_STORAGE_ACCOUNT_NAME>` # Replace with your Azure storage account name
   $subnets = `<SUBNET_NAME_1>` # Replace with your actual subnet names
   
   # Add network rules for each subnet
   foreach ($subnet in $subnets) {
      az storage account network-rule add --subscription $subscription `
         --resource-group $resourceGroup `
         --account-name $accountName `
         --subnet $subnet
   }
   

2. Starten Sie Azure Cloud Shell.

3. Erstellen Sie in Azure Cloud Shell mit einem Editor eine neue Datei, die mit der .ps1 Erweiterung endet:

   vi ncc.ps1
   

4. Fügen Sie das Skript aus Schritt 1 in Ihren Editor ein und drücken Sie Esc, geben Sie :wq ein und drücken Sie Enter.

5. Führen Sie den folgenden Befehl aus, um Ihr Skript auszuführen:

   ./ncc.ps1
   

6. Nachdem Sie alle Befehle ausgeführt haben, können Sie das Azure-Portal verwenden, um Ihr Speicherkonto anzuzeigen und zu bestätigen, dass in der Tabelle "Virtuelle Netzwerke " ein Eintrag vorhanden ist, der das neue Subnetz darstellt.

   Tipp

   • Wenn Sie Netzwerkregeln für Speicherkonten hinzufügen, verwenden Sie die Netzwerkkonnektivitäts-API , um die neuesten Subnetze abzurufen.
   • Vermeiden Sie es, NCC-Informationen lokal zu speichern.
   • Ignorieren Sie die Meldung „Unzureichende Berechtigungen“ in der Spalte „Endpunktstatus“ oder die Warnung unterhalb der Netzwerkliste. Diese geben lediglich an, dass Sie nicht über Leseberechtigungen für Azure Databricks-Subnetze verfügen. Das beeinträchtigt jedoch nicht die Fähigkeit eines serverlosen Azure Databricks-Subnetzes, sich mit Ihrem Azure-Speicher zu verbinden.

   

7. Um zu bestätigen, dass Ihr Speicherkonto diese Einstellungen aus dem Azure-Portal verwendet, navigieren Sie zu Networking in Ihrem Speicherkonto. Vergewissern Sie sich, dass der Zugriff auf öffentliche Netzwerke auf Aktiviert aus ausgewählten virtuellen Netzwerken und IP-Adressen und zulässigen Netzwerken im Abschnitt virtuelle Netzwerke eingestellt ist.

Nächste Schritte

• Verwalten sie private Endpunktregeln: Steuern sie den Netzwerkdatenverkehr an und von Ihren privaten Endpunkten, indem Sie bestimmte Regeln definieren, die Verbindungen zulassen oder verweigern. Weitere Informationen finden Sie unter Verwalten von Regeln für private Endpunkte.
• Konfigurieren von Netzwerkrichtlinien: Implementieren Sie Netzwerkrichtlinien, um zusätzliche Sicherheitskontrollen und Zugriffsbeschränkungen für Ihre serverlosen Computeumgebungen bereitzustellen. Siehe Was ist serverlose Ausgangskontrolle?
• Verstehen der Kosten für Datenübertragung und Konnektivität: Erfahren Sie mehr über die Kosten für das Verschieben von Daten in und aus serverlosen Umgebungen und Netzwerkkonnektivitätskonfigurationen. Siehe Verstehen Sie Databricks serverless Netzwerkkosten.