Freigeben über


Planen der Netzwerkisolation in Azure Machine Learning

In diesem Artikel erfahren Sie, wie Sie Ihre Netzwerkisolation für Azure Machine Learning planen und lernen unsere Empfehlungen kennen. Dies ist ein Artikel für IT-Administratoren, die eine Netzwerkarchitektur entwerfen möchten.

Was ist Netzwerkisolation?

Netzwerkisolation ist eine Sicherheitsstrategie, bei der ein Netzwerk in separate Segmente oder Subnetze unterteilt wird, die jeweils als eigenes kleines Netzwerk funktionieren. Dieser Ansatz trägt dazu bei, die Sicherheit und Leistung innerhalb einer größeren Netzwerkstruktur zu verbessern. Große Unternehmen benötigen Netzwerkisolation, um ihre Ressourcen vor unbefugtem Zugriff, Manipulationen oder Lecks von Daten und Modellen zu schützen. Sie müssen ebenfalls die für ihre Branche und Domäne geltenden Vorschriften und Standards einhalten.

Eingehender und ausgehender Zugriff

Betrachten Sie die Netzwerkisolation in drei Bereichen innerhalb von Azure Machine Learning:

  • Eingehender Zugriff auf den Azure Machine Learning-Arbeitsbereich. Beispiel: Für den sicheren Zugriff auf den Arbeitsbereich durch Ihre wissenschaftliche Fachkräfte für Daten
  • Ausgehender Zugriff vom Azure Machine Learning-Arbeitsbereich. Beispiel: Für den Zugriff auf weitere Azure-Dienste
  • Ausgehender Zugriff von den Azure Machine Learning-Computeressourcen. Beispiel: Für den Zugriff auf Datenquellen, Python-Paketrepositorys oder weitere Ressourcen

Das folgende Diagramm bricht die eingehende und ausgehende Kommunikation auf.

Diagramm mit eingehender und ausgehender Kommunikation für Azure Machine Learning

Eingehender Zugriff auf Azure Machine Learning

Legen Sie den eingehenden Zugriff auf einen gesicherten Azure Machine Learning-Arbeitsbereich mithilfe des PNA-Flags (Public Network Access) fest. Die PNA-Kennzeichnungseinstellung entscheidet, ob Ihr Arbeitsbereich einen privaten Endpunkt für den Zugriff auf den Arbeitsbereich erfordert. Es gibt eine zusätzliche Einstellung, die zwischen „Öffentlich“ und „Privat“ liegt: „Aktiviert von ausgewählten IP-Adressen“. Diese Einstellung ermöglicht den Zugriff auf Ihren Arbeitsbereich über die von Ihnen angegebenen IP-Adressen. Weitere Informationen finden Sie unter "Aktivieren des öffentlichen Zugriffs nur aus Internet-IP-Bereichen".

Ausgehender Zugriff

Die Netzwerkisolation von Azure Machine Learning umfasst sowohl PaaS (Platform-as-a-Service)-Komponenten als auch IaaS (Infrastructure-as-a-Service)-Komponenten. Sie können PaaS-Dienste wie den Azure Machine Learning-Arbeitsbereich, den Speicher, den Schlüsseltresor, die Containerregistrierung und die Überwachung mithilfe von privatem Link isolieren. Sie können IaaS-Computing-Dienste wie Computeinstanzen und Cluster für KI-Modellschulungen und Azure Kubernetes Service (AKS) oder verwaltete Onlineendpunkte für die Bewertung von KI-Modellen in Ihr virtuelles Netzwerk einfügen. Diese IaaS-Dienste kommunizieren mit PaaS-Diensten mithilfe von privatem Link. Das folgende Diagramm zeigt ein Beispiel für IaaS- und PaaS-Komponenten.

Diagramm mit der ausgehenden Kommunikation von Computeressourcen zu Azure-Diensten

Ausgehender Zugriff vom Dienst auf weitere PaaS-Ressourcen in Azure

Sie sichern ausgehenden Zugriff von Ihrem Azure Machine Learning-Dienst auf andere PaaS-Dienste über vertrauenswürdige Dienste. Sie können einer Teilmenge vertrauenswürdiger Azure-Dienste Zugriff auf Azure Machine Learning gewähren und gleichzeitig Netzwerkregeln für andere Apps verwalten. Diese vertrauenswürdigen Dienste verwenden eine verwaltete Identität, um Ihren Azure Machine Learning-Dienst zu authentifizieren.

Ausgehender Zugriff von Computeressourcen auf das Internet und weitere PaaS-Ressourcen in Azure

IaaS-Komponenten sind die Computeressourcen, z. B. Computeinstanzen und Cluster, und Azure Kubernetes Service (AKS) oder verwaltete Onlineendpunkte. Für diese IaaS-Ressourcen sichern Sie den ausgehenden Zugriff auf das Internet über eine Firewall. Sie sichern den ausgehenden Zugriff auf andere PaaS-Ressourcen mit privatem Link und privaten Endpunkten. Ein verwaltetes virtuelles Netzwerk erleichtert das Einrichten der Kontrolle für den ausgehenden Zugriff von Rechnern.

Wenn Sie kein verwaltetes virtuelles Netzwerk verwenden, können Sie die ausgehende Kontrolle über Ihr eigenes virtuelles Netzwerk und Ihr Subnetz sichern. Wenn Sie über ein eigenständiges virtuelles Netzwerk verfügen, können Sie es einfach mithilfe einer Netzwerksicherheitsgruppe konfigurieren. Möglicherweise verfügen Sie jedoch über eine Hub-Spoke- oder Peermesh-Netzwerkarchitektur, eine Firewall, ein virtuelles Netzwerkgerät, einen Proxy und ein benutzerdefiniertes Routing. Achten Sie in beiden Fällen darauf, den eingehenden und ausgehenden Zugriff mit Ihren Netzwerksicherheitskomponenten zuzulassen.

Diagramm: Hub-Spoke-Netzwerk mit ausgehendem Datenverkehr über eine Firewall

In diesem Diagramm verfügen Sie über eine Hub- und eine Spoke-Netzwerkarchitektur. Das virtuelle Spokenetzwerk verfügt über Ressourcen für Azure Machine Learning. Das virtuelle Hubnetzwerk verfügt über eine Firewall, die den ausgehenden Internetzugriff von Ihren virtuellen Netzwerken steuert. In diesem Fall muss Ihre Firewall den ausgehenden Zugriff auf erforderliche Ressourcen zulassen. Ihre Computeressourcen im virtuellen Speichennetzwerk müssen in der Lage sein, Ihre Firewall zu erreichen.

Tipp

Im Diagramm werden die Computeinstanz und der Computecluster ohne öffentliche IP konfiguriert. Wenn Sie stattdessen eine Computeinstanz oder einen Cluster mit öffentlicher IP verwenden, müssen Sie den eingehenden Zugriff vom Azure Machine Learning-Servicetag mithilfe einer Netzwerksicherheitsgruppe (Network Security Group, NSG) und benutzerdefiniertem Routing zulassen, um Ihre Firewall zu umgehen. Dieser eingehende Datenverkehr stammt aus einem Microsoft-Dienst (Azure Machine Learning). Verwenden Sie jedoch die option "Keine öffentliche IP", um diese eingehende Anforderung zu entfernen.

Angebote für Netzwerkisolation für den ausgehenden Zugriff von Computeressourcen

Nachdem Sie nun wissen, welcher Zugriff gesichert werden muss, schauen wir uns an, wie Sie Ihren Maschinellen Lernarbeitsbereich mit Netzwerkisolation sichern können. Azure Machine Learning bietet Optionen für die Netzwerkisolation für den ausgehenden Zugriff von Computerressourcen.

Die Verwendung eines verwalteten virtuellen Netzwerks erleichtert die Konfiguration der Netzwerkisolation. Es schützt Ihren Arbeitsbereich automatisch und verwaltet Computeressourcen in einem verwalteten virtuellen Netzwerk. Sie können private Endpunktverbindungen für andere Azure-Dienste hinzufügen, auf denen der Arbeitsbereich basiert, z. B. Azure Storage-Konten. Je nach Ihren Anforderungen können Sie den gesamten ausgehenden Datenverkehr an das öffentliche Netzwerk oder nur den von Ihnen genehmigten ausgehenden Datenverkehr zulassen. Ausgehender Datenverkehr, der von Azure Machine Learning Service benötigt wird, wird automatisch für das verwaltete virtuelle Netzwerk ermöglicht. Verwenden Sie die vom Arbeitsbereich verwaltete Netzwerkisolation als integrierte, reibungslose Netzwerkisolationsmethode. Es sind zwei Muster verfügbar: Internetausgangsmodus zulassen oder nur genehmigten ausgehenden Modus zulassen.

Hinweis

Der Schutz Ihres Arbeitsbereichs mit einem verwalteten virtuellen Netzwerk ermöglicht eine Netzwerkisolation für den ausgehenden Zugriff vom Arbeitsbereich und von verwalteten Computeressourcen. Ein virtuelles Azure-Netzwerk, das Sie erstellen und verwalten, bietet eine Netzwerkisolation für eingehenden Zugriff auf den Arbeitsbereich. Sie erstellen beispielsweise einen privaten Endpunkt für den Arbeitsbereich in Ihrem virtuellen Azure-Netzwerk. Alle Clients, die eine Verbindung mit dem virtuellen Netzwerk herstellen, können über den privaten Endpunkt auf den Arbeitsbereich zugreifen. Wenn Aufträge auf verwalteten Computerresources ausgeführt werden, schränkt das verwaltete Netzwerk den Zugriff der Computerresource ein. Diese Konfiguration unterscheidet sich von dem angebot des benutzerdefinierten virtuellen Netzwerks, das auch das Festlegen eines virtuellen Netzwerks und das Festlegen aller Berechnungen in diesem virtuellen Netzwerk erfordert.

  • Ausgehenden Internetmodus zulassen: Verwenden Sie diese Option, wenn Sie Es Ihren Maschinellen Lerntechnikern ermöglichen möchten, frei auf das Internet zuzugreifen. Sie können andere Ausgangsregeln für private Endpunkte erstellen, damit sie auf Ihre privaten Ressourcen in Azure zugreifen können.

    Diagramm eines verwalteten Netzwerks, das mit dem Modus „Ausgehenden Zugriff auf das Internet zulassen“ konfiguriert ist

  • Modus „Nur genehmigten ausgehenden Zugriff zulassen“: Verwenden Sie diese Option, wenn Sie das Risiko einer Datenexfiltration minimieren möchten und zudem steuern möchten, worauf Ihre technischen Fachkräfte für Machine Learning zugreifen können. Sie können ausgehende Regeln über private Endpunkte, Diensttags und FQDN steuern.

    Diagramm eines verwalteten Netzwerks, das mit dem Modus „Nur genehmigten ausgehenden Zugriff zulassen“ konfiguriert ist

Benutzerdefinierte Netzwerkisolation

Wenn Sie über eine bestimmte Anforderung oder Unternehmensrichtlinie verfügen, die verhindert, dass Sie ein verwaltetes virtuelles Netzwerk verwenden, können Sie ein virtuelles Azure-Netzwerk für die Netzwerkisolation verwenden.

Im folgenden Diagramm wird die empfohlene Architektur dargestellt, um alle Ressourcen privat zu machen, aber den ausgehenden Internetzugriff über Ihr virtuelles Netzwerk zuzulassen. Dieses Diagramm beschreibt die folgende Architektur:

  • Legen Sie alle Ressourcen in die gleiche Region.
  • Ein virtuelles Hubnetzwerk, das Ihre Firewall und das benutzerdefinierte DNS-Setup enthält
  • Ein virtuelles Spokenetzwerk, das die folgenden Ressourcen enthält:
    • Ein Trainingssubnetz enthält Compute-Instanzen und Cluster, die zum Trainieren von ML-Modellen verwendet werden. Diese Ressourcen sind für „keine öffentliche IP-Adresse“ konfiguriert.
    • Ein Bewertungssubnetz enthält einen AKS-Cluster.
    • Ein „pe“-Subnetz enthält private Endpunkte, die eine Verbindung mit dem Arbeitsbereich und privaten Ressourcen herstellen, die vom Arbeitsbereich (Speicher, Schlüsseltresor, Containerregistrierung usw.) verwendet werden.
  • Um Ihre verwalteten Onlineendpunkte mit einem benutzerdefinierten virtuellen Netzwerk zu schützen, aktivieren Sie das verwaltete virtuelle Netzwerk des verwalteten Legacyonlineendpunkts. Diese Methode wird nicht empfohlen.

Diese Architektur sorgt für ein ausgewogenes Verhältnis zwischen Ihrer Netzwerksicherheit und der Produktivität Ihrer ML-Ingenieure.

Diagramm einer benutzerdefinierten Netzwerkisolationskonfiguration

Hinweis

Wenn Sie die Firewallanforderung entfernen möchten, können Sie Netzwerksicherheitsgruppen und Azure Virtual Network NAT verwenden, um den ausgehenden Zugriff auf das Internet von Ihren privaten Computeressourcen zuzulassen.

Verhinderung der Datenexfiltration

Dieses Diagramm zeigt die empfohlene Architektur, um alle Ressourcen privat zu machen und Ziele für ausgehenden Datenverkehr zu steuern, um die Datenexfiltration zu verhindern. Wir empfehlen diese Architektur, wenn Sie Azure Machine Learning mit Ihren vertraulichen Daten in der Produktion verwenden. Dieses Diagramm beschreibt die folgende Architektur:

  • Legen Sie alle Ressourcen in die gleiche Region.
  • Ein virtuelles Hubnetzwerk, das Ihre Firewall enthält
    • Zusätzlich zu Diensttags verwendet die Firewall FQDNs, um die Datenexfiltration zu verhindern.
  • Ein virtuelles Spokenetzwerk, das die folgenden Ressourcen enthält:
    • Ein Trainingssubnetz enthält Compute-Instanzen und Cluster, die zum Trainieren von ML-Modellen verwendet werden. Diese Ressourcen sind für „keine öffentliche IP-Adresse“ konfiguriert. Darüber hinaus gibt es einen Dienstendpunkt und eine Dienstendpunktrichtlinie, um die Datenexfiltration zu verhindern.
    • Ein Bewertungssubnetz enthält einen AKS-Cluster.
    • Ein „pe“-Subnetz enthält private Endpunkte, die eine Verbindung mit dem Arbeitsbereich und privaten Ressourcen herstellen, die vom Arbeitsbereich (Speicher, Schlüsseltresor, Containerregistrierung usw.) verwendet werden.
  • Verwaltete Onlineendpunkte verwenden den privaten Endpunkt des Arbeitsbereichs, um eingehende Anforderungen zu verarbeiten. Ein privater Endpunkt wird auch verwendet, um Bereitstellungen verwalteter Onlineendpunkte den Zugriff auf privaten Speicher zu ermöglichen.

Diagramm einer benutzerdefinierten Netzwerkisolationskonfiguration, um eine Datenexfiltration zu verhindern

Vergleich der Optionen für die Netzwerkisolation

Bei der verwalteten Netzwerkisolation und der benutzerdefinierten Netzwerkisolation handelt es sich um ähnliche Angebote. In der folgenden Tabelle werden alle Ähnlichkeiten und Unterschiede zwischen den beiden Angeboten hinsichtlich ihrer Einrichtung beschrieben. Der wichtigste Unterschied bei der Einrichtung besteht darin, wo das virtuelle Netzwerk für Computeressourcen selbst gehostet wird. Bei der benutzerdefinierten Netzwerkisolation befindet sich das virtuelle Netzwerk für Computeressourcen in Ihrem Mandanten, wohingegen sich das virtuelle Netzwerk für Computeressourcen bei der verwaltete Netzwerkisolation im Microsoft-Mandanten befindet.

Ähnlichkeiten Unterschiede
– Das Netzwerk ist für Sie bestimmt und wird nicht für andere Kunden freigegeben.
– Daten werden im virtuellen Netzwerk geschützt.
– Vollständige Kontrolle über den ausgehenden Zugriff mit Regeln für den ausgehenden Datenverkehr
– Erforderliche ServiceTags
– Wo das virtuelle Netzwerk gehostet wird: bei der benutzerdefinierten Netzwerkisolation in Ihrem Mandanten oder bei der verwalteten Netzwerkisolation im Microsoft-Mandanten

Um die richtige Entscheidung darüber zu treffen, welche Netzwerkeinrichtung für Ihr Szenario am besten geeignet ist, erwägen Sie, welche Features in Azure Machine Learning Sie verwenden möchten. Weitere Informationen zu den Unterschieden zwischen den Angeboten für Netzwerkisolation finden Sie unter Vergleichen von Netzwerkisolationskonfigurationen.

Vergleichen von Konfigurationen

Verwaltetes Netzwerk (empfohlen) Benutzerdefiniertes Netzwerk
Vorteile – Minimieren des Mehraufwands für Einrichtung und Wartung
– Unterstützung für verwaltete Onlineendpunkte
– Unterstützung für serverlose Spark-Instanzen
– Zugriff auf HTTPS-Endpunktressourcen, die sich lokal oder in Ihrem benutzerdefinierten virtuellen Netzwerk befinden.
– Fokus für die Entwicklung neuer Features
– Anpassen des Netzwerks an Ihre Anforderungen
– Verwenden Ihrer eigenen Nicht-Azure-Ressourcen
– Herstellen einer Verbindung mit lokalen Ressourcen
Einschränkungen – Zusätzliche Kosten für Azure Firewall- und FQDN-Regeln
– Die Protokollierung der Firewall für virtuelle Netzwerke und der NSG-Regeln wird nicht unterstützt.
– Der Zugriff auf Nicht-HTTPS-Endpunktressourcen wird nicht unterstützt.
– Die Unterstützung neuer Features könnte sich verzögern.
– Verwaltete Onlineendpunkte werden nicht unterstützt.
– Serverlose Spark-Instanzen werden nicht unterstützt.
– Basismodelle werden nicht unterstützt.
– MLFlow ohne Code wird nicht unterstützt.
– Komplexität der Implementierung
– Mehraufwand für die Wartung

Verwenden eines öffentlichen Arbeitsbereichs

Sie können einen öffentlichen Arbeitsbereich verwenden, wenn Sie mit der Authentifizierung und Autorisierung über Microsoft Entra ID mit bedingtem Zugriff einverstanden sind. Ein öffentlicher Arbeitsbereich verfügt über einige Features, die die Verwendung von Daten in einem privaten Speicherkonto ermöglichen. Verwenden Sie nach Möglichkeit einen privaten Arbeitsbereich.

Wichtige Aspekte

Wenn Sie über einen eigenen DNS-Server verfügen, der in Azure oder lokal gehostet wird, müssen Sie eine bedingte Weiterleitung auf Ihrem DNS-Server erstellen. Die bedingte Weiterleitung sendet DNS-Anforderungen an Azure DNS für alle PaaS-Dienste, die für Private Link aktiviert sind. Weitere Informationen finden Sie in den Artikeln „DNS-Konfigurationsszenarien“ und „Azure Machine Learning-spezifische DNS-Konfiguration“.

Schutz vor Datenexfiltration

Wir haben zwei Arten von ausgehendem Zugriff: nur lesen und lesen/schreiben. Schädliche Akteure können keinen schreibgeschützten ausgehenden Zugriff, aber ausgehenden Lese-/Schreibzugriff ausnutzen. Azure Storage und Azure Frontdoor (Diensttag frontdoor.frontend) weisen in diesem Fallen eine ausgehende Kommunikation mit Lese-/Schreibzugriff auf.

Sie können dieses Datenexfiltrationsrisiko verringern, indem Sie unsere Lösung zur Verhinderung von Datenexfiltration verwenden. Wir verwenden eine Dienstendpunktrichtlinie mit einem Azure Machine Learning-Alias, um ausgehenden Zugriff nur auf verwaltete Azure Machine Learning-Speicherkonten zu ermöglichen.

Diagramm: Netzwerk mit Schutzkonfiguration für die Exfiltration

In diesem Diagramm müssen die Compute-Instanz und der Cluster auf verwaltete Azure Machine Learning-Speicherkonten zugreifen können, um Setupskripts abzurufen. Beim Öffnen des ausgehenden Zugriffs auf den Speicher können Sie eine Dienstendpunktrichtlinie mit dem Azure Machine Learning-Alias verwenden, um den Speicherzugriff nur auf Azure Machine Learning-Speicherkonten zuzulassen.

Verwaltete Onlineendpunkte

Sie konfigurieren die Sicherheit für eingehende und ausgehende Kommunikation separat für verwaltete Onlineendpunkte.

  • Eingehende Kommunikation: Azure Machine Learning verwendet einen privaten Endpunkt, um eingehende Kommunikation mit einem verwalteten Onlineendpunkt zu schützen. Um den öffentlichen Zugriff auf einen Endpunkt zu verhindern, legen Sie das public_network_access Flag für den Endpunkt auf deaktiviert fest. Wenn diese Kennzeichnung deaktiviert ist, können Sie nur über den privaten Endpunkt Ihres Azure Machine Learning-Arbeitsbereichs auf Ihren Endpunkt zugreifen und es kann nicht über öffentliche Netzwerke erreicht werden.
  • Ausgehende Kommunikation: Um ausgehende Kommunikation von einer Bereitstellung zu Ressourcen zu schützen, verwendet Azure Machine Learning ein verwaltetes virtuelles Netzwerk des Arbeitsbereichs. Sie müssen die Bereitstellung im verwalteten virtuellen Netzwerk des Arbeitsbereichs erstellen, damit sie die privaten Endpunkte des vom Arbeitsbereich verwalteten virtuellen Netzwerks für ausgehende Kommunikation verwenden kann.

Das folgende Architekturdiagramm zeigt, wie der Kommunikationsdatenverkehr über private Endpunkte zum verwalteten Onlineendpunkt fließt. Eingehende Bewertungsanforderungen vom virtuellen Netzwerk eines Clients fließen über den privaten Endpunkt des Arbeitsbereichs an den verwalteten Onlineendpunkt. Private Endpunkte aus dem verwalteten virtuellen Netzwerk des Arbeitsbereichs verarbeiten ausgehende Kommunikation zwischen Bereitstellungen und Diensten an diese Dienstinstanzen.

Diagramm mit eingehender Kommunikation über einen privaten Endpunkt des Arbeitsbereichs und ausgehender Kommunikation über private Endpunkte eines verwalteten virtuellen Netzwerks

Weitere Informationen finden Sie unter Netzwerkisolation mit verwalteten Onlineendpunkten.

Mangel an privaten IP-Adressen in Ihrem Hauptnetzwerk

Azure Machine Learning erfordert private IPs – eine IP für jede Computeinstanz, einen Computeclusterknoten und einen privaten Endpunkt. Sie benötigen auch viele IP-Adressen, wenn Sie AKS verwenden. Ihr Hub-Spoke-Netzwerk, das mit Ihrem lokalen Netzwerk verbunden ist, verfügt möglicherweise nicht über einen ausreichend großen privaten IP-Adressraum. In diesem Szenario können Sie isolierte, nicht peerierte VNets für Ihre Azure Machine Learning-Ressourcen verwenden.

Diagramm mit einer isolierten Netzwerkkonfiguration

In diesem Diagramm erfordert Ihr virtuelles Hauptnetzwerk die IP-Adressen für private Endpunkte. Sie können Hub-Spoke-VNets für mehrere Azure Machine Learning-Arbeitsbereiche mit großen Adressräumen verwenden. Ein Nachteil dieser Architektur besteht darin, dass sie die Anzahl privater Endpunkte verdoppelt.

Netzwerkrichtlinienerzwingung

Sie können integrierte Richtlinien verwenden, wenn Sie die Netzwerkisolationsparameter mit dem Self-Service-Arbeitsbereich und Computingressourcen steuern oder eine benutzerdefinierte Richtlinie für eine präzisere Steuerung erstellen möchten. Weitere Informationen zu Richtlinien finden Sie unter Kontrollen zur Einhaltung gesetzlicher Bestimmungen in Azure Policy.

Weitere Informationen zur Verwendung eines verwalteten virtuellen Netzwerks finden Sie in den folgenden Artikeln:

Weitere Informationen zur Verwendung eines benutzerdefinierten virtuellen Netzwerks finden Sie in den folgenden Artikeln: