Compartilhar via

Habilitar conectividade de cluster seguro

Este artigo explica como usar a conectividade de cluster segura para workspaces do Azure Databricks. A conectividade de cluster segura também é conhecida como sem IP público (NPIP). Os recursos de computação sem servidor não usam conectividade de cluster segura, mas também não têm endereços IP públicos.

Visão geral da conectividade de cluster seguro

Quando a conectividade segura do cluster está habilitada, as redes virtuais do cliente não têm portas abertas e os recursos de computação no plano de computação clássico não têm endereços IP públicos.

  • Cada cluster inicia uma conexão com a retransmissão de conectividade de cluster seguro do plano de controle durante a criação do cluster. O cluster estabelece essa conexão usando a porta 443 (HTTPS) e usa um endereço IP diferente do usado para o aplicativo Web e a API REST.
  • Quando o plano de controle executa tarefas de administração de cluster, essas solicitações são enviadas para o cluster por meio desse túnel.

Observação

Todo o tráfego de rede do Azure Databricks entre a VNet do plano de computação clássico e o plano de controle do Azure Databricks passa pela estrutura de rede da Microsoft, não pela Internet pública. Isso é verdadeiro mesmo se a conectividade de cluster segura estiver desabilitada.

Você pode habilitar a conectividade segura do cluster em um novo workspace ou adicioná-la a um workspace existente que já usa injeção de VNet.

Habilitar a conectividade segura do cluster em um novo workspace

A conectividade segura do cluster é habilitada automaticamente quando você cria um workspace usando o portal do Azure ou um modelo do ARM (Azure Resource Manager).

  • Portal do Azure: ao provisionar o workspace, na guia Networking, o workspace do Azure Databricks com conectividade de cluster segura (sem IP público) está configurado como padrão para Sim.

    Para obter instruções detalhadas sobre como usar o portal do Azure para criar um workspace, confira Usar o portal para criar um workspace do Azure Databricks.

  • Modelo ARM: O parâmetro enableNoPublicIp dentro do recurso Microsoft.Databricks/workspaces é definido como true por padrão na versão 2024-05-01 e superior. Se o enableNoPublicIp parâmetro não estiver explicitamente incluído no modelo, ele se comportará como se tivesse sido definido como true. Você pode substituir explicitamente esse padrão definindo enableNoPublicIp como false em seu modelo.

    Para obter instruções detalhadas sobre como usar um modelo do ARM para criar um workspace, consulte Implantar um workspace com um modelo do ARM. Para modelos do ARM que usam injeção de VNet, consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet).

Adicionar conectividade de cluster segura a um espaço de trabalho existente

Você pode habilitar a conectividade de cluster seguro em um workspace existente usando o portal do Azure, um modelo do ARM ou um provedor Terraform azurerm versão 3.41.0+. A atualização requer que o workspace utilize a injeção de VNet.

Importante

Se você usar um firewall ou outras configurações de rede para controlar a entrada ou a saída do plano de computação clássico, talvez seja necessário atualizar suas regras de firewall ou grupo de segurança de rede ao habilitar a conectividade segura do cluster para que as alterações entrem em vigor. Por exemplo, usando conectividade de cluster seguro, há uma conexão de saída adicional com o plano de controle e as conexões de entrada do plano de controle não são mais usadas.

Etapa 1: parar todos os recursos de computação

Interrompa todos os recursos de computação clássicos, como clusters, pools ou sql warehouses clássicos. O Databricks recomenda planejar o tempo da atualização para tempo de inatividade.

Etapa 2: Atualizar o espaço de trabalho

Você pode atualizar o workspace usando o portal do Azure, um modelo do ARM ou o Terraform.

Use o portal do Azure

  1. Acesse o workspace do Azure Databricks no portal do Azure.
  2. Na navegação à esquerda, em Configurações, clique em Rede.
  3. Na guia Acesso à rede, defina Implantar o workspace do Azure Databricks com Conectividade de Cluster Seguro (sem IP público) como Habilitado.
  4. Clique em Save (Salvar).

A atualização da rede pode levar mais de 15 minutos para ser concluída.

Aplicar um modelo de ARM atualizado usando o portal do Azure

Use um modelo do ARM para definir o parâmetro enableNoPublicIp como True (true).

Observação

Se seu grupo de recursos gerenciados tiver um nome personalizado, você deverá modificar o modelo de acordo. Entre em contato com sua equipe de conta do Azure Databricks para obter mais informações.

  1. Copie o seguinte modelo do ARM de atualização JSON:

    {
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "Location for all resources."
      }
    },
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "apiVersion": {
      "defaultValue": "2023-02-01",
      "allowedValues": ["2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01"],
      "type": "String",
      "metadata": {
        "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
      }
    },
    "enableNoPublicIp": {
      "defaultValue": true,
      "type": "Bool"
    },
    "pricingTier": {
      "defaultValue": "premium",
      "allowedValues": ["premium", "standard", "trial"],
      "type": "String",
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "publicNetworkAccess": {
      "type": "string",
      "defaultValue": "Enabled",
      "allowedValues": ["Enabled", "Disabled"],
      "metadata": {
        "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
      }
    },
    "requiredNsgRules": {
      "type": "string",
      "defaultValue": "AllRules",
      "allowedValues": ["AllRules", "NoAzureDatabricksRules"],
      "metadata": {
        "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
    "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "apiVersion": "[parameters('apiVersion')]",
      "name": "[parameters('workspaceName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
        "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
        "requiredNsgRules": "[parameters('requiredNsgRules')]",
        "parameters": {
          "enableNoPublicIp": {
            "value": "[parameters('enableNoPublicIp')]"
          }
        }
      }
    }
  ]
}

    1. Acesse a página de Implantação personalizada do portal do Azure.

    2. Clique em Criar seu próprio modelo no editor.

    3. Cole o JSON para o modelo que você copiou.

    4. Clique em Save (Salvar).

    5. Preencha os parâmetros.

    6. Para atualizar um workspace existente, use os mesmos parâmetros que você usou para criar o workspace, exceto para enableNoPublicIp, que você deve definir como true. Defina a assinatura, a região, o nome do workspace, os nomes de sub-rede e a ID do recurso da VNet existente.

      Importante

      O nome do grupo de recursos, o nome do workspace e os nomes da sub-rede são idênticos ao seu workspace existente, para que esse comando atualize o workspace existente em vez de criar um novo workspace.

    7. Clique em Examinar + Criar.

    8. Se não houver problemas de validação, clique em Criar.

    A atualização da rede pode levar mais de 15 minutos para ser concluída.

Aplicar uma atualização usando o Terraform

Para workspaces criados com o Terraform, é possível atualizá-los sem a necessidade de recriação.

Importante

Você deve usar o terraform-provider-azurerm versão 3.41.0 ou posterior e atualizar sua versão do provedor do Terraform conforme necessário. Versões anteriores tentam recriar o workspace se você alterar qualquer uma dessas configurações.

Altere as seguintes configurações do workspace:

  • no_public_ip no bloco custom_parameters pode ser alterado de false para true.

A atualização da rede pode levar mais de 15 minutos para ser concluída.

Etapa 3: validar a atualização

Depois que o workspace estiver em um estado ativo, o trabalho de atualização será concluído. Verifique se a atualização foi aplicada:

  1. Abra o Azure Databricks no navegador da Web.

  2. Inicie um dos clusters do workspace e aguarde até que o cluster seja totalmente iniciado.

  3. Vá para a instância do seu espaço de trabalho no portal do Azure.

  4. Clique na ID azul ao lado do rótulo de campo Grupo de recursos gerenciados.

  5. Nesse grupo, localize as VMs para o cluster e clique em uma delas.

  6. Nas configurações da VM, em Propriedades, procure os campos na área Rede.

  7. Confirme se o campo Endereço IP público está vazio.

    Se ela for preenchida, a VM terá um endereço IP público, o que significa que a atualização falhou.

Reversão temporária da atualização para proteger a conectividade do cluster

Se algo der errado durante a implantação, você poderá reverter temporariamente o processo definindo enableNoPublicIp como false. No entanto, a desabilitação da conectividade segura do cluster apenas é suportada como uma medida temporária de reversão antes de continuar a atualização mais tarde. Se isso for necessário temporariamente, você poderá seguir as instruções acima para atualização, mas definir enableNoPublicIp como false em vez de true.

Egresso de sub-redes de espaço de trabalho

Quando você habilita a conectividade de cluster segura, ambas as sub-redes do workspace são sub-redes privadas porque os nós de cluster não têm endereços IP públicos.

Os detalhes de implementação da saída de rede variam de acordo com se você usa a VNet padrão (gerenciada) ou se usa a injeção de VNet para fornecer sua própria VNet na qual implantar seu workspace.

Importante

Custos adicionais podem ser incorridos devido ao aumento do tráfego de egresso quando você usa a conectividade de cluster seguro. Para a implantação mais segura, a Microsoft e o Databricks recomendam que você habilite a conectividade segura do cluster.

Egresso com a VNet (gerenciada) padrão

Se você usar conectividade de cluster segura com a VNet padrão criada pelo Azure Databricks, o Azure Databricks criará automaticamente um gateway NAT para o tráfego de saída das sub-redes do workspace para o backbone do Azure e a rede pública. O gateway NAT é criado dentro do grupo de recursos gerenciados pelo Azure Databricks. Não é possível modificar este grupo de recursos ou todos os recursos provisionados nele. Esse gateway NAT gera um custo adicional.

Saída com a injeção de VNet

Se você habilitar a conectividade de cluster segura em seu workspace que usa injeção de VNet, o Databricks recomenda que seu workspace tenha um IP público de saída estável. Endereços IP públicos de saída estáveis são úteis porque você pode adicioná-los a listas de permissões externas. Por exemplo, para se conectar do Azure Databricks ao Salesforce com um endereço IP de saída estável.

Aviso

A Microsoft anunciou que, após 31 de março de 2026, novas redes virtuais passarão a ter configurações padrão privadas sem acesso à Internet para saída. Isso requer métodos explícitos de conectividade de saída para alcançar pontos de extremidade públicos e serviços da Microsoft. Confira este comunicado para obter mais detalhes. Essa alteração não afeta os workspaces existentes. No entanto, novos workspaces do Azure Databricks implantados após essa data exigirão um método de saída seguro, como um Gateway nat, para garantir a funcionalidade de cluster adequada.

Para fornecer conectividade com a Internet para suas implantações, use um gateway NAT do Azure. Configurar o gateway em ambas as sub-redes do workspace para garantir que todas as rotas de tráfego de saída sejam roteadas por meio dele, utilizando um IP público de saída estável. Isso fornece conectividade consistente com a Internet de saída para seus clusters e permite que você modifique a configuração para necessidades de saída personalizadas. Você pode configurar o gateway nat usando um modelo do Azure ou no portal do Azure.

Aviso

Não use um balanceador de carga de saída com um workspace que tenha conectividade de cluster segura habilitada. Em sistemas de produção, um balanceador de carga de saída pode levar ao risco de esgotamento de portas.

Práticas recomendadas de configuração de firewall

Sempre permitir listar os FQDNs (nomes de domínio) fornecidos para pontos de extremidade de retransmissão de SCC em vez de endereços IP individuais. Os endereços IP por trás desses domínios mudam periodicamente devido a atualizações de infraestrutura.

Os clientes que autorizam endereços IP específicos podem sofrer interrupções de serviço quando ocorrem alterações de infraestrutura. Se você precisar usar endereços IP, deverá recuperar regularmente nossos endereços IP mais recentes e manter suas configurações de firewall atualizadas.

  • Last updated on