Azure Databricks implementeren in uw Azure virtueel netwerk (VNet-injectie)

Implementeer Azure Databricks in uw Azure VNet om netwerkaanpassing mogelijk te maken, connectiviteit met Azure-services en on-premises gegevensbronnen en mogelijkheden voor verkeersinspectie mogelijk te maken.

Waarom VNet-injectie gebruiken

VNet-injectie implementeert klassieke Azure Databricks-rekenvlakresources in uw eigen VNet, waardoor:

• Privéconnectiviteit met Azure-services met behulp van service-eindpunten of privé-eindpunten
• On-premises toegang via door de gebruiker gedefinieerde routes
• Verkeersinspectie met virtuele netwerkapparaten
• Aangepaste DNS-configuratie
• Beheer van uitgaand verkeer met aanvullende NSG-regels
• Flexibele CIDR-bereiken (VNet: /16 naar /24, subnetten: tot /26)

Vereisten voor machtigingen

Azure-machtigingen: de maker van de werkruimte moet de rol Netwerkbijdrager hebben op het VNet of een aangepaste rol met Microsoft.Network/virtualNetworks/subnets/join/action en Microsoft.Network/virtualNetworks/subnets/write machtigingen.

VNet-configuratie

1. U moet een VNet configureren om de Azure Databricks-werkruimte te implementeren. U kunt een bestaand VNet gebruiken of een nieuw VNet maken. Het VNet moet voldoen aan de volgende vereisten:
   • Regio: Het VNet moet zich in dezelfde regio bevinden als de Azure Databricks-werkruimte.
   • Abonnement: het VNet moet zich in hetzelfde abonnement bevinden als de Azure Databricks-werkruimte.
   • Adresruimte: een CIDR-blok tussen /16 en /24 voor het VNet. Raadpleeg de richtlijnen voor adresruimte voor informatie over het maximum aantal clusterknooppunten op basis van de VNet-grootte.
   • Subnetten: Het VNet moet twee subnetten bevatten die zijn toegewezen aan uw Azure Databricks-werkruimte:
     • Een containersubnet (ook wel het privésubnet genoemd)
     • Een hostsubnet (ook wel het openbare subnet genoemd)
     • Elk subnet moet een CIDR-blok gebruiken dat ten minste /26is. Databricks raadt geen subnet aan dat kleiner is dan /26.
     • U kunt geen subnetten delen tussen werkruimten of andere Azure-resources implementeren op de subnetten die worden gebruikt door uw Azure Databricks-werkruimte.
     • We raden aan dat de grootte van de subnetten gelijk is.
   • Uitgaande connectiviteit voor uitgaand verkeer: Databricks raadt aan om een Azure NAT-gateway te gebruiken voor beide subnetten voor stabiele UITGAANDE IP-adressen. Na 31 maart 2026 vereisen nieuwe VNets expliciete uitgaande connectiviteitsmethoden. Zie beveiligde clusterconnectiviteit.
   • Regels voor netwerkbeveiligingsgroepen: Zie regels voor netwerkbeveiligingsgroepen

Richtlijnen voor adresruimte

Voor een Azure Databricks-werkruimte zijn twee subnetten in het VNet vereist: een containersubnet en een hostsubnet. Azure reserveert vijf IP-adressen in elk subnet. Azure Databricks vereist twee IP-adressen voor elk clusterknooppunt: één IP-adres voor de host in het hostsubnet en één IP-adres voor de container in het containersubnet.

Houd rekening met het volgende bij het plannen van uw adresruimte:

• Mogelijk wilt u meerdere werkruimten binnen één VNet maken. Omdat u geen subnetten kunt delen tussen werkruimten, plant u subnetten die niet gebruikmaken van de totale VNet-adresruimte.
• Wijs adresruimte toe voor twee nieuwe subnetten die zich in de adresruimte van het VNet bevinden en overlap niet de adresruimte van huidige of toekomstige subnetten in dat VNet.

Een werkruimte met een kleiner virtueel netwerk kan sneller geen IP-adressen (netwerkruimte) meer hebben dan een werkruimte met een groter virtueel netwerk. Gebruik een CIDR-blok tussen /16 en /24 voor het VNet en een CIDR-blok tot aan /26 de twee subnetten (het containersubnet en het hostsubnet). U kunt een CIDR-blok maken tot /28 voor uw subnetten. Echter, Azure Databricks raadt aan om geen subnet te gebruiken dat kleiner is dan /26.

Stap 1: Een werkruimte maken

Maak een werkruimte in Azure Portal en implementeer deze in uw VNet.

1. Selecteer in de Azure-portal +Resource > Analytics > Azure Databricks maken of zoek naar Azure Databricks.

2. Selecteer uw VNet op het tabblad Netwerken .

   Belangrijk

   Als het VNet niet wordt weergegeven, controleert u of de werkruimte en het VNet zich in dezelfde Azure-regio bevinden.

3. Configureer subnetten met CIDR-bereiken tot /26 (maximaal 80 tekens voor de namen):

   • Bestaande subnetten: geef exacte subnetnamen en overeenkomende IP-bereiken op
   • Nieuwe subnetten: Voer nieuwe namen en IP-bereiken in binnen de adresruimte van uw VNet

   Notitie

   CiDR-bereiken van subnetten kunnen niet worden gewijzigd na de implementatie. Azure Databricks configureert automatisch NSG-regels en subnetdelegering naar Microsoft.Databricks/workspaces.

4. Klik op Maken om de werkruimte te implementeren.

Stap 2: Implementatie van werkruimte controleren

1. Ga naar Azure Portal en navigeer naar uw Azure Databricks-werkruimteresource.

2. Controleer op de pagina Overzicht het volgende:

   • De werkruimte heeft de status In orde (niet mislukt).
   • De resourcegroep en de beheerde resourcegroep worden vermeld.
   • Peering van virtuele netwerken is uitgeschakeld (dit wordt verwacht voor VNet-injectie).

De beheerde resourcegroep kan niet worden gewijzigd en kan niet worden gebruikt om virtuele machines te maken. Maak virtuele machines in de resourcegroep die u beheert.

Stap 3: Configuratie van netwerkbeveiligingsgroep controleren

1. Navigeer in Azure Portal naar uw VNet.

2. Klik op Subnetten onder Instellingen.

3. Controleer of zowel het containersubnet als het hostsubnet het volgende hebben:

   • Een netwerkbeveiligingsgroep gekoppeld
   • Delegeren aan Microsoft.Databricks/workspaces

4. Klik op de netwerkbeveiligingsgroep en controleer of de vereiste regels voor binnenkomend en uitgaand verkeer zijn geconfigureerd. Zie de referentie voor regels voor netwerkbeveiligingsgroepen voor de verwachte regels.

Stap 4: Een cluster maken

Nadat u uw werkruimte hebt gemaakt, maakt u een klassiek rekencluster om te controleren of uw VNet-injectie correct werkt.

1. Ga naar uw Azure Databricks-werkruimte en klik op Werkruimte starten op de pagina Overzicht .

2. Klik op Compute in de zijbalk.

3. Klik op de pagina Compute op Cluster maken.

4. Voer een clusternaam in, laat de resterende waarden in de standaardstatus staan en klik op Cluster maken.

Zodra het cluster wordt uitgevoerd, bevat de beheerde resourcegroep nieuwe virtuele machines, schijven, IP-adressen en netwerkinterfaces. Er wordt een netwerkinterface gemaakt in elk van de openbare en privésubnetten met IP-adressen.

Stap 5: Clusternetwerkconfiguratie controleren

1. Ga in uw Azure Databricks-werkruimte naar de beheerde resourcegroep in Azure Portal.

2. Controleer of de volgende resources bestaan:

   • Virtuele machines voor de clusterknooppunten
   • Schijven die zijn gekoppeld aan de virtuele machines
   • IP-adressen voor de clusterknooppunten
   • Netwerkinterfaces in zowel de openbare als de privésubnetten

3. Klik in uw Azure Databricks-werkruimte op het cluster dat u hebt gemaakt.

4. Navigeer naar de Spark-gebruikersinterface en klik op het tabblad Uitvoerders .

5. Controleer of de adressen voor het stuurprogramma en de uitvoerders zich in het privésubnetbereik bevinden. Als uw privésubnet bijvoorbeeld 10.179.0.0/18 is, kan het stuurprogramma 10.179.0.6 zijn en kunnen de uitvoerders 10.179.0.4 en 10.179.0.5 zijn. Uw IP-adressen kunnen afwijken.

Stabiele uitgaande IP-adressen

Voor werkruimten met beveiligde clusterconnectiviteit en VNet-injectie raadt Databricks aan om een stabiel openbaar IP-adres voor uitgaand verkeer te configureren. Stabiele IP-adressen maken externe acceptatielijsten mogelijk voor services zoals Salesforce- en IP-toegangslijsten.

Zie Egress met VNet-injectie om een stabiel UITGAAND IP-adres te configureren.

Regels voor netwerkbeveiligingsgroepen

Azure Databricks voorziet automatisch en beheert de NSG-regels die hieronder worden vermeld via subnetdelegering aan de Microsoft.Databricks/workspaces service. Deze regels zijn vereist voor de werkruimtebewerking. Wijzig of verwijder deze regels niet.

Databricks raadt aan een unieke NSG te gebruiken voor elke werkruimte.

regels voor netwerkbeveiligingsgroepen voor werkruimten

Deze tabel bevat de regels voor netwerkbeveiligingsgroepen voor werkruimten en bevat twee regels voor binnenkomende beveiligingsgroepen die alleen worden toegevoegd als beveiligde clusterconnectiviteit (SCC) is uitgeschakeld.

VNet-capaciteit uitbreiden

Als het VNet van uw werkruimte onvoldoende capaciteit heeft voor actieve clusterknooppunten, hebt u twee opties:

• VNet-configuratie bijwerken: deze functie bevindt zich in openbare preview. Zie De netwerkconfiguratie van de werkruimte bijwerken.
• Breid uw huidige CIDR-bereik uit: Neem contact op met uw Azure Databricks-accountteam om een verhoging aan te vragen voor het CIDR-bereik van het werkruimtesubnet.