Delen via

Beveiligde clusterconnectiviteit inschakelen

In dit artikel wordt uitgelegd hoe u beveiligde clusterconnectiviteit gebruikt voor Azure Databricks-werkruimten. Beveiligde clusterconnectiviteit wordt ook wel geen openbaar IP-adres (NPIP) genoemd. Serverloze rekenresources maken geen gebruik van beveiligde clusterconnectiviteit, maar hebben ook geen openbare IP-adressen.

Overzicht van beveiligde clusterconnectiviteit

Wanneer beveiligde clusterconnectiviteit is ingeschakeld, hebben virtuele netwerken van klanten geen open poorten en rekenresources in het klassieke rekenvlak geen openbare IP-adressen.

  • Elk cluster initieert een verbinding met het controlevlak om een beveiligde verbinding voor clusterconnectiviteit tot stand te brengen tijdens de creatie van het cluster. Het cluster brengt deze verbinding tot stand via poort 443 (HTTPS) en gebruikt een ander IP-adres dan wordt gebruikt voor de webtoepassing en REST API.
  • Wanneer het besturingsvlak clusterbeheertaken uitvoert, worden deze aanvragen via deze tunnel naar het cluster verzonden.

Notitie

Al het Azure Databricks-netwerkverkeer tussen het klassieke VNet van het rekenvlak en het Azure Databricks-besturingsvlak loopt over de Microsoft-netwerk-backbone, niet het openbare internet. Dit geldt zelfs als beveiligde clusterconnectiviteit is uitgeschakeld.

U kunt beveiligde clusterconnectiviteit inschakelen in een nieuwe werkruimte of deze toevoegen aan een bestaande werkruimte die al gebruikmaakt van VNet-injectie.

Beveiligde clusterconnectiviteit inschakelen in een nieuwe werkruimte

Beveiligde clusterconnectiviteit wordt automatisch ingeschakeld wanneer u een werkruimte maakt met behulp van Azure Portal of een ARM-sjabloon (Azure Resource Manager).

  • Azure Portal: Wanneer u de werkruimte inricht, wordt op het tabblad Netwerken de Azure Databricks-werkruimte implementeren met Secure Cluster Connectivity (geen openbaar IP) standaard ingesteld op Ja.

    Zie De portal gebruiken om een Azure Databricks-werkruimte te makenvoor gedetailleerde instructies over het gebruik van Azure Portal voor het maken van een werkruimte.

  • ARM-sjabloon: de enableNoPublicIp parameter in de Microsoft.Databricks/workspaces bron is standaard ingesteld op true vanaf versie 2024-05-01 en hoger. Als de enableNoPublicIp parameter niet expliciet is opgenomen in de sjabloon, gedraagt deze zich alsof deze is ingesteld op waar. U kunt deze standaardinstelling expliciet overschrijven door in te stellen enableNoPublicIp op onwaar in uw sjabloon.

    Zie Een werkruimte implementeren met een ARM-sjabloonvoor gedetailleerde instructies over het gebruik van een ARM-sjabloon om een werkruimte te maken. Zie Azure Databricks implementeren in uw virtuele Azure-netwerk (VNet-injectie) voor ARM-sjablonen die gebruikmaken van VNet-injectie.

Beveiligde clusterconnectiviteit toevoegen aan een bestaande werkruimte

U kunt beveiligde clusterconnectiviteit inschakelen voor een bestaande werkruimte met behulp van Azure Portal, een ARM-sjabloon of azurerm Terraform-provider versie 3.41.0+. De upgrade vereist dat de werkruimte VNet-injectie gebruikt.

Belangrijk

Als u een firewall of andere netwerkconfiguraties gebruikt om inkomend of uitgaand verkeer van het klassieke rekenvlak te beheren, moet u mogelijk de firewall- of netwerkbeveiligingsgroepsregels bijwerken wanneer beveiligde clusterconnectiviteit wordt ingeschakeld voordat de wijzigingen van kracht worden. Als u bijvoorbeeld beveiligde clusterconnectiviteit gebruikt, is er een extra uitgaande verbinding met het besturingsvlak en worden de binnenkomende verbindingen van het besturingsvlak niet meer gebruikt.

Stap 1: alle rekenresources stoppen

Stop alle klassieke rekenresources, zoals clusters, pools of klassieke SQL-warehouses. Databricks raadt u aan de timing van de upgrade te plannen voor downtime.

Stap 2: De werkruimte bijwerken

U kunt de werkruimte bijwerken met behulp van Azure Portal, een ARM-sjabloon of Terraform.

Azure Portal gebruiken

  1. Ga naar uw Azure Databricks-werkruimte in Azure Portal.
  2. Klik in het linkernavigatievenster onder Instellingen op Netwerken.
  3. Stel op het tabblad NetwerktoegangAzure Databricks-werkruimte uitrollen met Veilige Clusterconnectiviteit (Geen Openbaar IP) in op Ingeschakeld.
  4. Klik op Opslaan.

Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Een bijgewerkte ARM-sjabloon toepassen met behulp van Azure Portal

Gebruik een ARM-sjabloon om de parameter enableNoPublicIp in te stellen op True (true).

Notitie

Als uw beheerde resourcegroep een aangepaste naam heeft, moet u de sjabloon dienovereenkomstig wijzigen. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.

  1. Kopieer de volgende JSON voor het upgraden van de ARM-sjabloon:

    {
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "Location for all resources."
      }
    },
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "apiVersion": {
      "defaultValue": "2023-02-01",
      "allowedValues": ["2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01"],
      "type": "String",
      "metadata": {
        "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
      }
    },
    "enableNoPublicIp": {
      "defaultValue": true,
      "type": "Bool"
    },
    "pricingTier": {
      "defaultValue": "premium",
      "allowedValues": ["premium", "standard", "trial"],
      "type": "String",
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "publicNetworkAccess": {
      "type": "string",
      "defaultValue": "Enabled",
      "allowedValues": ["Enabled", "Disabled"],
      "metadata": {
        "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
      }
    },
    "requiredNsgRules": {
      "type": "string",
      "defaultValue": "AllRules",
      "allowedValues": ["AllRules", "NoAzureDatabricksRules"],
      "metadata": {
        "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
    "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "apiVersion": "[parameters('apiVersion')]",
      "name": "[parameters('workspaceName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
        "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
        "requiredNsgRules": "[parameters('requiredNsgRules')]",
        "parameters": {
          "enableNoPublicIp": {
            "value": "[parameters('enableNoPublicIp')]"
          }
        }
      }
    }
  ]
}

    1. Ga naar de pagina Aangepaste implementatie in de Azure-portal.

    2. Klik op Uw eigen sjabloon maken in de editor.

    3. Plak de JSON voor de sjabloon die je hebt gekopieerd.

    4. Klik op Opslaan.

    5. Vul de parameters in.

    6. Als u een bestaande werkruimte wilt bijwerken, gebruikt u dezelfde parameters die u hebt gebruikt om de werkruimte te maken, met uitzondering van enableNoPublicIp, waarop u moet instellen true. Stel het abonnement, de regio, de werkruimtenaam, de subnetnamen en de resource-id van het bestaande VNet in.

      Belangrijk

      De naam van de resourcegroep, werkruimtenaam en subnetnamen zijn identiek aan uw bestaande werkruimte, zodat deze opdracht de bestaande werkruimte bijwerkt in plaats van een nieuwe werkruimte te maken.

    7. Klik op Beoordelen + maken.

    8. Als er geen validatieproblemen zijn, klikt u op Maken.

    Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Een update toepassen met Behulp van Terraform

Voor werkruimten die zijn gemaakt met Terraform, kunt u de werkruimte bijwerken zonder deze opnieuw te maken.

Belangrijk

U moet versie 3.41.0 of hoger gebruiken terraform-provider-azurerm , dus werk indien nodig een upgrade uit van uw Terraform-providerversie. Eerdere versies proberen de werkruimte opnieuw te maken als u een van deze instellingen wijzigt.

Wijzig de volgende werkruimte-instellingen:

  • no_public_ip in het custom_parameters blok kan worden gewijzigd van false in true.

Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Stap 3: De update valideren

Zodra de werkruimte actief is, wordt de updatetaak voltooid. Controleer of de update is toegepast:

  1. Open Azure Databricks in uw webbrowser.

  2. Start een van de clusters van de werkruimte en wacht totdat het cluster volledig is gestart.

  3. Ga naar uw werkruimte-exemplaar in het Azure Portal.

  4. Klik op de blauwe ID naast het veldlabel Beheerde resourcegroep.

  5. Zoek in die groep de VM's voor het cluster en klik op een van deze vm's.

  6. Zoek in de VM-instellingen in Eigenschappen naar de velden in het gebied Netwerken .

  7. Controleer of het veld Openbaar IP-adres leeg is.

    Als deze is ingevuld, heeft de VIRTUELE machine een openbaar IP-adres, wat betekent dat de update is mislukt.

Tijdelijke terugdraaiactie van upgraden naar beveiligde clusterconnectiviteit

Als er iets misgaat tijdens de implementatie, kunt u het proces tijdelijk omkeren door het in te stellen enableNoPublicIp op false. Het uitschakelen van beveiligde clusterconnectiviteit wordt echter alleen ondersteund als een tijdelijke terugdraaiactie voordat u later doorgaat met de upgrade. Als dit tijdelijk nodig is, kunt u de instructies voor de upgrade hierboven volgen, maar enableNoPublicIp instellen op false in plaats van op de waarde "true".

Uitgang van werkruimtesubnetten

Wanneer u beveiligde clusterconnectiviteit inschakelt, zijn beide werkruimtesubnetten privésubnetten omdat clusterknooppunten geen openbare IP-adressen hebben.

De implementatiedetails van uitgaand netwerk variëren afhankelijk van of u het standaard (beheerde) VNet gebruikt of dat u gebruik maakt van VNet-injectie om uw eigen VNet te bieden waarin u uw werkruimte kunt implementeren.

Belangrijk

Er kunnen extra kosten in rekening worden gebracht vanwege verhoogd uitgaand verkeer wanneer u beveiligde clusterconnectiviteit gebruikt. Voor de veiligste implementatie raden Microsoft en Databricks u ten zeerste aan beveiligde clusterconnectiviteit in te schakelen.

Uitgang met standaard (beheerd) VNet

Als u beveiligde clusterconnectiviteit gebruikt met het standaard-VNet dat Azure Databricks maakt, maakt Azure Databricks automatisch een NAT-gateway voor uitgaand verkeer van de subnetten van uw werkruimte naar de Azure-backbone en het openbare netwerk. De NAT-gateway wordt gemaakt binnen de beheerde resourcegroep die wordt beheerd door Azure Databricks. U kunt deze resourcegroep niet wijzigen, noch enige resources die erin zijn voorzien. Voor deze NAT-gateway worden extra kosten in rekening gebracht.

Uitgaand verkeer met VNet-injectie

Als u beveiligde clusterconnectiviteit inschakelt in uw werkruimte die gebruikmaakt van VNet-injectie, raadt Databricks aan dat uw werkruimte een stabiel openbaar IP-adres voor uitgaand verkeer heeft. Stabiele openbare IP-adressen voor uitgaand verkeer zijn handig omdat u ze kunt toevoegen aan externe acceptatielijsten. Als u bijvoorbeeld vanuit Azure Databricks verbinding wilt maken met Salesforce met een stabiel uitgaand IP-adres.

Waarschuwing

Microsoft heeft aangekondigd dat nieuwe virtuele netwerken na 31 maart 2026 standaard worden ingesteld op privéconfiguraties zonder uitgaande internettoegang. Hiervoor zijn expliciete uitgaande connectiviteitsmethoden vereist om openbare eindpunten en Microsoft-services te bereiken. Zie deze aankondiging voor meer informatie. Deze wijziging heeft geen invloed op bestaande werkruimten. Voor nieuwe Azure Databricks-werkruimten die na deze datum zijn geïmplementeerd, is echter een veilige uitgaande methode, zoals een NAT-gateway, vereist om de juiste clusterfunctionaliteit te garanderen.

Gebruik een Azure NAT-gateway om internetverbinding te bieden voor uw implementaties. Configureer de gateway op beide subnetten van de werkruimte om ervoor te zorgen dat al het uitgaande verkeer wordt gerouteerd via een stabiel openbaar IP-adres. Dit biedt consistente uitgaande internetverbinding voor uw clusters en stelt u in staat om de configuratie te wijzigen voor aangepaste uitgaande behoeften. U kunt de NAT-gateway configureren met behulp van een Azure-sjabloon of vanuit Azure Portal.

Waarschuwing

Gebruik geen uitgaande load balancer in een werkruimte met ingeschakelde beveiligde clusterconnectiviteit. In productiesystemen kan een load balancer voor uitgaand verkeer het risico op uitputting van poorten verhogen.

Aanbevolen procedures voor firewallconfiguratie

Sta altijd de opgegeven domeinnamen (FQDN's) toe voor SCC-relay-eindpunten in plaats van afzonderlijke IP-adressen. IP-adressen achter deze domeinen worden periodiek gewijzigd vanwege infrastructuurupdates.

Klanten die specifieke IP-adressen toestaan, kunnen serviceonderbrekingen ondervinden wanneer er wijzigingen in de infrastructuur optreden. Als u IP-adressen moet gebruiken, moet u regelmatig onze meest recente IP-adressen ophalen en uw firewallconfiguraties bijgewerkt houden.

  • Last updated on