Netzwerkrichtlinien zur serverlosen Egress-Kontrolle verwalten

Auf dieser Seite wird erläutert, wie Sie Netzwerkrichtlinien konfigurieren und verwalten, um ausgehende Netzwerkverbindungen von Ihren serverlosen Workloads in Azure Databricks zu steuern.

Informationen zur Zugriffskontrolle finden Sie unter Kontextbasierte Zugriffskontrolle.

Anforderungen

• Ihr Azure Databricks-Arbeitsbereich muss sich auf der Premium-Ebene befinden.

• Berechtigungen für die Verwaltung von Netzwerkrichtlinien sind auf Kontoadministratoren beschränkt.

Zugreifen auf Netzwerkrichtlinien

So erstellen, anzeigen und aktualisieren Sie Netzwerkrichtlinien in Ihrem Konto:

1. Klicken Sie in der Kontokonsole auf "Sicherheit".
2. Klicken Sie auf die Registerkarte "Netzwerk ".
3. Klicken Sie unter "Richtlinien" auf "Kontextbasiertes Eingangs- und Ausgangssteuerelement".

Erstellen einer Netzwerkrichtlinie

1. Klicken Sie auf Neue Netzwerkrichtlinieerstellen.

2. Geben Sie einen Richtliniennamen ein.

3. Klicken Sie auf die Registerkarte " Ausgang ".

   Informationen zum Festlegen von Eingangsregeln finden Sie unter Festlegen von Eingangsregeln.

4. Wählen Sie einen Netzwerkzugriffsmodus aus:

   • Zugriff auf alle Ziele zulassen: Uneingeschränkter ausgehender Internetzugriff. Wenn Sie "Vollzugriff" auswählen , bleibt der ausgehende Internetzugriff uneingeschränkt.
   • Eingeschränkter Zugriff auf bestimmte Ziele: Ausgehender Zugriff ist auf bestimmte Ziele beschränkt.

Konfigurieren von Netzwerkrichtlinien

In den folgenden Schritten werden optionale Einstellungen für den eingeschränkten Zugriffsmodus beschrieben.

Festlegen der Egress-Regeln

Beachten Sie vor dem Festlegen von Ausgangsregeln Folgendes:

• Wenn Sie einen S3-Bucket in Ihrem Metastore verwenden, müssen Sie die REST-API verwenden, um den Bucket explizit zur Zulassungsliste für den Ausgang hinzuzufügen, damit der Zugriff erfolgreich ist.
• Die maximale Anzahl unterstützter Ziele beträgt 2500.
• Die Anzahl der FQDNs, die als zulässige Domänen hinzugefügt werden können, ist auf 100 pro Richtlinie beschränkt.

• Domänen, die als Private Link-Einträge für einen Lastenausgleich hinzugefügt werden, sind in Netzwerkrichtlinien implizit auf der Liste "Zulassen". Wenn eine Domäne entfernt oder der private Endpunkt gelöscht wird, kann es bis zu 24 Stunden dauern, bis Netzwerkrichtliniensteuerelemente die Änderung vollständig erzwingen. Siehe Konfigurieren der privaten Konnektivität mit Ressourcen in Ihrem VNet.
• Delta Sharing Buckets sind implizit in Netzwerkrichtlinien erlaubt.

1. Um serverlosem Computing Zugriff auf zusätzliche Domänen zu gewähren, klicken Sie über der Liste Zulässige Domänen auf Ziel hinzufügen.

   

   Der FQDN-Filter ermöglicht den Zugriff auf alle Domänen, die dieselbe IP-Adresse verwenden. Modellbereitstellungsendpunkte mit bereitgestelltem Durchsatz verhindern den Internetzugriff, wenn der Netzwerkzugriff auf „Eingeschränkt“ festgelegt ist. Die granulare Steuerung mit FQDN-Filterung wird jedoch nicht unterstützt.

2. Um Ihrem Arbeitsbereich den Zugriff auf zusätzliche Azure-Speicherkonten zu ermöglichen, klicken Sie auf die Schaltfläche "Ziel hinzufügen " oberhalb der Liste zulässiger Speicherziele .

   

Richtlinienerzwingung

Im Trockenlaufmodus können Sie Die Richtlinienkonfiguration testen und ausgehende Verbindungen überwachen, ohne den Zugriff auf Ressourcen zu unterbrechen. Wenn der Trockenlaufmodus aktiviert ist, werden Anforderungen, die gegen die Richtlinie verstoßen, protokolliert, aber nicht blockiert. Sie können aus den folgenden Optionen auswählen:

1. Databricks SQL: Databricks SQL Warehouses arbeiten im Trockenlaufmodus.

2. KI-Modell-Dienst: Modell-Dienstendpunkte arbeiten im Trockenlaufmodus.

3. Alle Produkte: Alle Azure Databricks-Dienste arbeiten im Trockenlaufmodus, wobei alle anderen Auswahlen außer Kraft gesetzt werden.

   

Aktualisieren der Standardrichtlinie

Jedes Azure Databricks-Konto enthält eine Standardrichtlinie. Die Standardrichtlinie ist allen Arbeitsbereichen ohne explizite Netzwerkrichtlinienzuweisung zugeordnet, einschließlich neu erstellter Arbeitsbereiche. Sie können diese Richtlinie ändern, aber sie kann nicht gelöscht werden.

Standardrichtlinien werden nur auf Arbeitsbereiche mit mindestens Premiumebene angewendet.

Zuordnen einer Netzwerkrichtlinie zu Arbeitsbereichen

Wenn Sie Ihre Standardrichtlinie mit zusätzlichen Konfigurationen aktualisiert haben, werden sie automatisch auf Arbeitsbereiche angewendet, die nicht über eine vorhandene Netzwerkrichtlinie verfügen.

Ihr Arbeitsbereich muss sich in der Premium-Stufe befinden.

Gehen Sie wie folgt vor, um Ihren Arbeitsbereich einer anderen Richtlinie zuzuordnen:

1. Wählen Sie einen Arbeitsbereich aus.
2. Klicken Sie unter Netzwerkrichtlinie auf Netzwerkrichtlinie aktualisieren.
3. Wählen Sie die gewünschte Netzwerkrichtlinie aus der Liste aus.
4. Klicken Sie auf "Richtlinie übernehmen".

Anwenden von Netzwerkrichtlinienänderungen

Die meisten Netzwerkkonfigurationsupdates werden in zehn Minuten automatisch an Ihre serverlosen Rechenressourcen verteilt. Dies umfasst:

• Hinzufügen eines neuen externen Speicherorts im Unity-Katalog oder einer neuen Verbindung.
• Anhängen Ihres Arbeitsbereichs an einen anderen Metastore.
• Ändern der zulässigen Speicher- oder Internetziele.

Serverlose Arbeitsauslastungen neu starten oder erneut bereitstellen

Sie müssen nur beim Wechseln des Internetzugriffsmodus oder beim Aktualisieren des Trockenlaufmodus aktualisieren.

Informationen zum Ermitteln des entsprechenden Neustartverfahrens finden Sie in der folgenden Liste nach Produkt:

• Databricks ML-Bereitstellung: Stellen Sie Ihren ML-Bereitstellungsendpunkt erneut bereit. Weitere Informationen finden Sie unter Erstellen von benutzerdefinierten Modellbereitstellungsendpunkten.
• Pipelines: Beenden Sie die Ausführung von Lakeflow Spark Declarative Pipelines, und starten Sie sie dann neu. Siehe Ausführen eines Pipelineupdates.
• Serverless SQL Warehouse: Beenden und starten Sie das SQL-Lager neu. Siehe Verwalten eines SQL-Warehouses.
• Lakeflow-Aufträge: Netzwerkrichtlinienänderungen werden automatisch angewendet, wenn eine neue Auftragsausführung ausgelöst wird oder eine vorhandene Auftragsausführung neu gestartet wird.
• Notizbücher:
  • Wenn Ihr Notizbuch nicht mit Spark interagiert, können Sie das serverlose Rechnen beenden und anschließend erneut verbinden, um die Netzwerkrichtlinie zu aktualisieren.
  • Wenn Ihr Notizbuch mit Spark interagiert, wird die Serverlose Ressource aktualisiert und erkennt die Änderung automatisch. Die meisten Änderungen werden in zehn Minuten aktualisiert, das Wechseln von Internetzugriffsmodi, das Aktualisieren des Trockenlaufmodus oder das Ändern zwischen angefügten Richtlinien mit unterschiedlichen Erzwingungstypen kann bis zu 24 Stunden dauern. Um eine Aktualisierung dieser bestimmten Arten von Änderungen zu beschleunigen, deaktivieren Sie alle zugehörigen Notizbücher und Aufträge.

Databricks Asset Bundles UI-Abhängigkeiten

Wenn Sie den eingeschränkten Zugriffsmodus mit serverloser Ausstiegssteuerung verwenden, müssen die UI-Funktionen der Databricks Asset Bundles auf bestimmte externe Domänen zugreifen. Wenn der ausgehende Zugriff vollständig eingeschränkt ist, werden Benutzern möglicherweise Fehler in der Arbeitsbereichsoberfläche angezeigt, wenn Sie mit Databricks-Objektbündeln arbeiten.

Um sicherzustellen, dass die Databricks Asset Bundle UI-Features mit eingeschränkten Netzwerkrichtlinien kompatibel bleiben, fügen Sie diese Domains zu den zulässigen Domänen in Ihrer Richtlinie hinzu.

• github.com
• objects.githubusercontent.com
• release-assets.githubusercontent.com
• checkpoint-api.hashicorp.com
• releases.hashicorp.com
• registry.terraform.io

Überprüfen der Durchsetzung von Netzwerkrichtlinien

Sie können überprüfen, ob Ihre Netzwerkrichtlinie ordnungsgemäß erzwungen wird, indem Sie versuchen, auf eingeschränkte Ressourcen aus verschiedenen serverlosen Workloads zuzugreifen. Der Überprüfungsprozess variiert je nach serverlosem Produkt.

Validieren mit deklarativen Pipelines von Lakeflow Spark

1. Erstellen Sie ein Python-Notebook. Sie können das Beispielnotizbuch verwenden, das im Wikipedia-Python-Lernprogramm "Lakeflow Spark Declarative Pipelines" bereitgestellt wird.
2. Erstellen einer Pipeline:
   1. Klicken Sie in Ihrem Arbeitsbereich auf Aufträge & Pipelines in der Randleiste.
   2. Klicken Sie auf "Erstellen" und dann auf "ETL-Pipeline".
   3. Konfigurieren Sie die Pipeline mit den folgenden Einstellungen:
      • Pipelinemodus: Serverlos
      • Quellcode: Wählen Sie das Notizbuch aus, das Sie erstellt haben.
      • Speicheroptionen: Unity-Katalog. Wählen Sie Ihren gewünschten Katalog und Ihr gewünschtes Schema aus.
   4. Klicken Sie auf Erstellen.
3. Ausführen der Pipeline.
4. Klicken Sie auf der Pipelineseite auf "Start".
5. Warten Sie, bis die Pipeline abgeschlossen ist.
6. Überprüfen der Ergebnisse
   • Vertrautes Ziel: Die Pipeline wird erfolgreich ausgeführt und schreibt Daten an das Ziel.
   • Nicht vertrauenswürdiges Ziel: Die Pipeline schlägt mit Fehlern fehl, was angibt, dass der Netzwerkzugriff blockiert ist.

Überprüfen mit Databricks SQL

1. Erstellen Sie ein SQL-Lagerhaus.

2. Führen Sie eine Testabfrage im SQL-Editor aus, die versucht, auf eine Ressource zuzugreifen, die von Ihrer Netzwerkrichtlinie gesteuert wird.

3. Überprüfen Sie die Ergebnisse:

   • Vertrauenswürdiges Ziel: Die Abfrage ist erfolgreich.
   • Nicht vertrauenswürdiges Ziel: Die Abfrage schlägt mit einem Netzwerkzugriffsfehler fehl.

4. Führen Sie die folgende UDF-Definition aus, um eine Verbindung mit einem Netzwerk aus einer UDF mithilfe einer Standard-Python-Bibliothek herzustellen:

   CREATE OR REPLACE TEMPORARY FUNCTION ping_google(value DOUBLE)
   RETURNS STRING
   LANGUAGE python
   AS $$
   import requests
   
   url = "https://www.google.com"
   response = requests.get(url, timeout=5)
   
   if response.status_code == 200:
      return "UDF has network!"
   else:
    return "UDF has no network!"
   $$;
   

Überprüfen mit Modell-Dienst

Bevor Sie anfangen

Wenn ein Modellbereitstellungsendpunkt erstellt wird, wird ein Containerimage erstellt, um Ihr Modell bereitzustellen. Netzwerkrichtlinien werden während dieser Buildphase erzwungen. Berücksichtigen Sie bei der Verwendung der Modellbereitstellung mit Netzwerkrichtlinien Folgendes:

• Abhängigkeitszugriff: Jegliche externen Build-Abhängigkeiten wie Python-Pakete von PyPI und conda-forge, Basiscontainer-Images oder Dateien aus externen URLs, die in der Umgebung Ihres Modells oder im Docker-Kontext angegeben werden, müssen von Ihrer Netzwerkrichtlinie zugelassen werden.

  • Wenn Ihr Modell beispielsweise eine bestimmte Version von Scikit-Learn erfordert, die während des Builds heruntergeladen werden muss, muss die Netzwerkrichtlinie den Zugriff auf das Repository zulassen, das das Paket hosten soll.

• Build-Fehler: Wenn Ihre Netzwerkrichtlinie den Zugriff auf notwendige Abhängigkeiten blockiert, wird das Erstellen des Modell-Serving-Containers fehlschlagen. Dadurch wird verhindert, dass der bedienende Endpunkt erfolgreich bereitgestellt wird und möglicherweise nicht korrekt speichert oder funktioniert.

  Siehe "Denialprotokolle überprüfen".

• Problembehandlung bei Ablehnungen: Netzwerkzugriffsverweigerungen während der Buildphase werden protokolliert. Diese Protokolle enthalten ein network_source_type Feld mit dem Wert ML Build. Diese Informationen sind entscheidend für die Identifizierung der spezifischen blockierten Ressourcen, die Ihrer Netzwerkrichtlinie hinzugefügt werden müssen, damit der Build erfolgreich abgeschlossen werden kann.

Laufzeitnetzwerkzugriff validieren

Die folgenden Schritte veranschaulichen, wie Sie die Netzwerkrichtlinie für ein bereitgestelltes Modell zur Laufzeit überprüfen, insbesondere für Versuche, während der Ableitung auf externe Ressourcen zuzugreifen. Dabei wird davon ausgegangen, dass der Modellbereitstellungscontainer erfolgreich erstellt wurde, was bedeutet, dass alle Buildzeitabhängigkeiten in der Netzwerkrichtlinie zulässig waren.

1. Erstellen eines Testmodells

   1. Erstellen Sie in einem Python-Notizbuch ein Modell, das versucht, zur Inferenzzeit auf eine öffentliche Internetressource zuzugreifen, z. B. das Herunterladen einer Datei oder das Erstellen einer API-Anfrage.

   2. Führen Sie dieses Notizbuch aus, um ein Modell im Testarbeitsbereich zu generieren. Zum Beispiel:

      import mlflow
      import mlflow.pyfunc
      import mlflow.sklearn
      import requests
      
      class DummyModel(mlflow.pyfunc.PythonModel):
          def load_context(self, context):
              # This method is called when the model is loaded by the serving environment.
              # No network access here in this example, but could be a place for it.
              pass
      
          def predict(self, _, model_input):
              # This method is called at inference time.
              first_row = model_input.iloc[0]
              try:
                  # Attempting network access during prediction
                  response = requests.get(first_row['host'])
              except requests.exceptions.RequestException as e:
                  # Return the error details as text
                  return f"Error: An error occurred - {e}"
              return [response.status_code]
      
      with mlflow.start_run(run_name='internet-access-model'):
          wrappedModel = DummyModel()
      
          # When this model is deployed to a serving endpoint,
          # the environment will be built. If this environment
          # itself (e.g., specified conda_env or python_env)
          # requires packages from the internet, the build-time SEG policy applies.
          mlflow.pyfunc.log_model(
              artifact_path="internet_access_ml_model",
              python_model=wrappedModel,
              registered_model_name="internet-http-access"
          )
      

2. Erstellen eines Dienstendpunkts

   1. Wählen Sie in der Arbeitsbereichsnavigation AI/ML aus.

   2. Klicken Sie auf die Registerkarte Bereitstellung.

   3. Klicken Sie auf " Bereitstellungsendpunkt erstellen".

   4. Konfigurieren Sie den Endpunkt mit den folgenden Einstellungen:

      • Dienstendpunktname: Geben Sie einen beschreibenden Namen an.
      • Entitätsdetails: Modellregistrierungsmodell auswählen.
      • Modell: Wählen Sie das Modell aus, das Sie im vorherigen Schrittinternet-http-access () erstellt haben.

   5. Klicken Sie auf Confirm (Bestätigen). In dieser Stufe beginnt der Modell-Container-Erstellungsprozess. Netzwerkrichtlinien für ML Build werden durchgesetzt. Wenn der Build aufgrund des blockierten Netzwerkzugriffs für Abhängigkeiten fehlschlägt, wird der Endpunkt nicht funktionsbereit.

   6. Warten Sie, bis der Dienstendpunkt den Status "Bereit " erreicht. Wenn es ausgefallen ist und nicht bereit wird, prüfen Sie die Verweigerungsprotokolle auf network_source_type: ML Build Einträge.

      Siehe "Denialprotokolle überprüfen".

3. Fragen Sie den Endpunkt ab.

   1. Verwenden Sie die Option "Abfrageendpunkt " auf der Seite des bereitgestellten Endpunkts, um eine Testanforderung zu senden.

      { "dataframe_records": [{ "host": "[https://www.google.com](https://www.google.com)" }] }
      

4. Überprüfen Sie das Ergebnis für den Laufzeitzugriff:

   • Internetzugriff zur Laufzeit aktiviert: Die Abfrage ist erfolgreich und gibt einen Statuscode wie 200.
   • Internetzugriff zur Laufzeit eingeschränkt: Die Abfrage schlägt mit einem Netzwerkzugriffsfehler fehl, z. B. die Fehlermeldung aus dem try-except Block im Modellcode, der angibt, dass ein Verbindungstimeout oder ein Hostauflösungsfehler auftritt.

Aktualisieren einer Netzwerkrichtlinie

Sie können eine Netzwerkrichtlinie jederzeit aktualisieren, nachdem sie erstellt wurde. So aktualisieren Sie eine Netzwerkrichtlinie:

1. Ändern Sie auf der Detailseite der Netzwerkrichtlinie in Ihrer Kontokonsole die Richtlinie:
   • Ändern Sie den Netzwerkzugriffsmodus.
   • Aktivieren oder Deaktivieren des Trockenlaufmodus für bestimmte Dienste.
   • FQDN oder Speicherziele hinzufügen oder entfernen.
2. Klicke auf Aktualisieren.
3. Weitere Informationen finden Sie unter Anwenden von Netzwerkrichtlinienänderungen, um zu überprüfen, ob die Updates auf vorhandene Workloads angewendet werden.

Überprüfen der Ablehnungsprotokolle

Die Ablehnungsprotokolle werden in der system.access.outbound_network Tabelle im Unity-Katalog gespeichert. Diese Protokolle verfolgen nach, wann ausgehende Netzwerkanforderungen verweigert werden. Um auf Verweigerungsprotokolle zuzugreifen, vergewissern Sie sich, dass das Zugriffsschema in Ihrem Unity Catalog-Metastore aktiviert ist. Weitere Informationen finden Sie unter Aktivieren von Systemtabellen.

Verwenden Sie eine SQL-Abfrage wie die folgende, um Denialereignisse anzuzeigen. Wenn Trockenlaufprotokolle aktiviert sind, gibt die Abfrage sowohl Denialprotokolle als auch Trockenlaufprotokolle zurück, die Sie mithilfe der spalte access_type unterscheiden können. Verweigerungsprotokolle weisen den Wert DROP auf, während für Probelaufprotokolle DRY_RUN_DENIAL angezeigt wird.

Im folgenden Beispiel werden Protokolle aus den letzten 2 Stunden abgerufen:

SELECT *
FROM system.access.outbound_network
WHERE event_time >= CURRENT_TIMESTAMP() - INTERVAL 2 HOUR
ORDER BY event_time DESC;

Für Trockenlauf-Modus und externe generative KI-Modelle gilt Folgendes:

• Wenn Ihre Netzwerkrichtlinie den Zugriff auf erforderliche Abhängigkeiten blockiert hat, überprüfen Sie zuerst die Denialprotokolle in system.access.outbound_network. Darüber hinaus können die Buildprotokolle für Ihren Modellbereitstellungscontainer hilfreiche Informationen dazu bereitstellen, welche Domänen blockiert wurden.
• Wenn das Erstellen des Modell-Serving-Containers fehlerhaft ist, überprüfen Sie die Verweigerungsprotokolle in system.access.outbound_network, um festzustellen, welche Domänen blockiert wurden.
• Die Durchsetzung des Zugriffs auf externe Modelle über Mosaic AI Serving wird auch im Trockentestmodus fortgesetzt.

Einschränkungen

• Artefaktuploadgröße: Bei Verwendung des internen Databricks-Dateisystems von MLflow mit dem dbfs:/databricks/mlflow-tracking/<experiment_id>/<run_id>/artifacts/<artifactPath> Format sind Artefakteuploads auf 5 GB für log_artifact, log_artifactsund log_model APIs beschränkt.
• Modellbereitstellung: Die Ausgangssteuerung gilt nicht beim Erstellen von Images für die Modellbereitstellung.
• Verweigerungsprotokollierung bei der Zustellung wegen kurzlebiger Garbage Collection (GC)-Workloads: Verweigerungsprotokolle von kurzlebigen GC-Arbeitslasten, die weniger als 120 Sekunden dauern, könnten aufgrund von Protokollierungsverzögerungen nicht geliefert werden, bevor der Knoten beendet wird. Obwohl der Zugriff weiterhin erzwungen wird, fehlt möglicherweise der entsprechende Protokolleintrag.
• Netzwerkkonnektivität für benutzerdefinierte Databricks SQL-Funktionen (UDFs): Wenden Sie sich an Ihr Databricks-Kontoteam, um den Netzwerkzugriff in Databricks SQL zu aktivieren.

• Pipeline-Ereignishook-Protokollierung: Lakeflow Spark Declarative Pipelines-Ereignishooks, die auf einen anderen Arbeitsbereich abzielen, werden nicht protokolliert. Dies gilt für Eventhooks, die sowohl für regionsübergreifende Arbeitsbereiche als auch für Arbeitsbereiche in derselben Region konfiguriert sind.
• Änderungen der Unity Catalog-Arbeitsbereichsbindungen: Änderungen an Unity Catalog-Arbeitsbereichsbindungen können bis zu 24 Stunden dauern, bis sie wirksam werden. Um diesen Vorgang zu beschleunigen, fügen Sie den Speicher-Bucket der Netzwerkrichtlinie hinzu. Siehe Einschränken des Katalogzugriffs auf bestimmte Arbeitsbereiche.

• Netzwerkzugriff über Clouds hinweg: Azure-Arbeitsbereiche mit S3-Buckets, die für externe Speicherorte des Unity-Katalogs verwendet werden, sind derzeit nicht durch serverlose Netzwerkrichtlinien zulässig.

Nächste Schritte

• Konfigurieren sie die kontextbasierte Eingangssteuerung: Definieren Sie Richtlinien für eingehenden Zugriff basierend auf Identität, Anforderungstyp und Netzwerkquelle, um den Zugriff auf den Arbeitsbereich zu sichern. Siehe kontextbasierte Zugriffskontrolle.
• Verwalten von Regeln für private Endpunkte: Steuern des Netzwerkdatenverkehrs zu und von Ihren privaten Endpunkten durch Definieren bestimmter Regeln, die Verbindungen für erhöhte Sicherheit zulassen oder verweigern. Siehe Verwalten privater Endpunktregeln.
• Konfigurieren Sie eine Firewall für serverlosen Computezugriff: Implementieren Sie eine Firewall, um eingehende und ausgehende Netzwerkverbindungen für Ihre serverlosen Computeumgebungen einzuschränken und zu sichern. Weitere Informationen finden Sie unter Konfigurieren einer Firewall für Zugriff auf serverloses Computing.
• Grundlegendes zu Datenübertragungs- und Konnektivitätskosten: Erfahren Sie mehr über Kostenauswirkungen bei der Implementierung von Netzwerksicherheitskontrollen und der privaten Konnektivität für serverlose Workloads. Siehe Verstehen Sie Databricks serverless Netzwerkkosten.