Habilite a conectividade segura de cluster

Este artigo explica como usar a conectividade de cluster segura para espaços de trabalho do Azure Databricks. A conectividade de cluster seguro também é conhecida como sem IP público (NPIP). Os recursos de computação sem servidor não usam conectividade de cluster segura, mas também não têm endereços IP públicos.

Visão geral da conectividade de cluster seguro

Quando a conectividade segura de cluster está habilitada, as redes virtuais do cliente não têm portas abertas e os recursos de computação no plano de computação clássico não têm endereços IP públicos.

• Cada cluster inicia uma conexão com o relé de conectividade segura do cluster do plano de controle durante a criação do cluster. O cluster estabelece essa conexão usando a porta 443 (HTTPS) e usa um endereço IP diferente do usado para o aplicativo Web e a API REST.
• Quando o plano de controle executa tarefas de administração de cluster, essas solicitações são enviadas ao cluster por meio desse túnel.

Você pode habilitar a conectividade de cluster segura em um novo espaço de trabalho ou adicioná-lo a um espaço de trabalho existente que já usa injeção de VNet.

Habilite a conectividade segura de cluster em um novo espaço de trabalho

A conectividade de cluster seguro é habilitada automaticamente quando você cria um espaço de trabalho usando o portal do Azure ou um modelo do Azure Resource Manager (ARM).

• Portal do Azure: quando você provisiona o espaço de trabalho, na guia Rede , o padrão Implantar o espaço de trabalho do Azure Databricks com Conectividade de Cluster Segura (Sem IP Público) é definido como Sim.

  Para obter instruções detalhadas sobre como usar o portal do Azure para criar um espaço de trabalho, consulte Usar o portal para criar um espaço de trabalho do Azure Databricks.

• Modelo ARM: O parâmetro enableNoPublicIp dentro do recurso Microsoft.Databricks/workspaces está definido por padrão como true na versão 2024-05-01 e superior. Se o enableNoPublicIp parâmetro não for explicitamente incluído no modelo, ele se comportará como se estivesse definido como true. Você pode substituir explicitamente esse padrão definindo enableNoPublicIp como false em seu modelo.

  Para obter instruções detalhadas sobre como usar um modelo ARM para criar um espaço de trabalho, consulte Implantar um espaço de trabalho com um modelo ARM. Para modelos ARM que usam injeção de rede virtual, consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de rede virtual).

Adicionar conectividade de cluster segura a um espaço de trabalho existente

Você pode habilitar a conectividade segura de cluster em um espaço de trabalho existente usando o portal do Azure, o modelo ARM ou o provedor Terraform azurerm versão 3.41.0+. A atualização requer que o espaço de trabalho utilize injeção de VNet.

Etapa 1: Pare todos os recursos de computação

Pare todos os recursos de computação clássicos, como clusters, pools ou armazéns SQL clássicos. A Databricks recomenda planejar o tempo da atualização para o tempo de inatividade.

Etapa 2: Atualizar o espaço de trabalho

Você pode atualizar o espaço de trabalho usando o portal do Azure, um modelo ARM ou Terraform.

Usar o portal do Azure

1. Vá para seu espaço de trabalho do Azure Databricks no portal do Azure.
2. No painel de navegação esquerdo, em Configurações, clique em Rede.
3. Na guia Acesso à rede , defina Implantar o espaço de trabalho do Azure Databricks com Conectividade de Cluster Seguro (Sem IP Público) como Habilitado.
4. Clique em Salvar.

A atualização de rede pode levar mais de 15 minutos para ser concluída.

Aplicar um modelo ARM atualizado usando o portal do Azure

Use um modelo ARM para definir o parâmetro enableNoPublicIp como True (true).

1. Copie o seguinte modelo ARM de atualização JSON:

   {
     "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
     "contentVersion": "1.0.0.0",
     "parameters": {
       "location": {
         "defaultValue": "[resourceGroup().location]",
         "type": "String",
         "metadata": {
           "description": "Location for all resources."
         }
       },
       "workspaceName": {
         "type": "String",
         "metadata": {
           "description": "The name of the Azure Databricks workspace to create."
         }
       },
       "apiVersion": {
         "defaultValue": "2023-02-01",
         "allowedValues": ["2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01"],
         "type": "String",
         "metadata": {
           "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
         }
       },
       "enableNoPublicIp": {
         "defaultValue": true,
         "type": "Bool"
       },
       "pricingTier": {
         "defaultValue": "premium",
         "allowedValues": ["premium", "standard", "trial"],
         "type": "String",
         "metadata": {
           "description": "The pricing tier of workspace."
         }
       },
       "publicNetworkAccess": {
         "type": "string",
         "defaultValue": "Enabled",
         "allowedValues": ["Enabled", "Disabled"],
         "metadata": {
           "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
         }
       },
       "requiredNsgRules": {
         "type": "string",
         "defaultValue": "AllRules",
         "allowedValues": ["AllRules", "NoAzureDatabricksRules"],
         "metadata": {
           "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
         }
       }
     },
     "variables": {
       "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
       "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
     },
     "resources": [
       {
         "type": "Microsoft.Databricks/workspaces",
         "apiVersion": "[parameters('apiVersion')]",
         "name": "[parameters('workspaceName')]",
         "location": "[parameters('location')]",
         "sku": {
           "name": "[parameters('pricingTier')]"
         },
         "properties": {
           "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
           "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
           "requiredNsgRules": "[parameters('requiredNsgRules')]",
           "parameters": {
             "enableNoPublicIp": {
               "value": "[parameters('enableNoPublicIp')]"
             }
           }
         }
       }
     ]
   }
   

   1. Vá para a página de implantação personalizada do portal do Azure.

   2. Clique em Criar seu próprio modelo no editor.

   3. Cole no JSON para o modelo que você copiou.

   4. Clique em Salvar.

   5. Preencha os parâmetros.

   6. Para atualizar um espaço de trabalho existente, use os mesmos parâmetros que você usou para criar o espaço de trabalho, exceto para enableNoPublicIp, que você deve definir como true. Defina a assinatura, a região, o nome do espaço de trabalho, os nomes das sub-redes e a ID do recurso da rede virtual existente.

      Importante

      O nome do grupo de recursos, o nome do espaço de trabalho e os nomes da sub-rede são idênticos ao espaço de trabalho existente para que este comando atualize o espaço de trabalho existente em vez de criar um novo espaço de trabalho.

   7. Clique em Rever + Criar.

   8. Se não houver problemas de validação, clique em Criar.

   A atualização de rede pode levar mais de 15 minutos para ser concluída.

Aplicar uma atualização usando o Terraform

Para espaços de trabalho criados com o Terraform, você pode atualizar o espaço de trabalho sem recriá-lo.

Altere as seguintes configurações do espaço de trabalho:

• no_public_ip no bloco custom_parameters pode ser alterado de false para true.

A atualização de rede pode levar mais de 15 minutos para ser concluída.

Etapa 3: Validar a atualização

Quando o espaço de trabalho estiver em um estado ativo, o trabalho de atualização será concluído. Verifique se a atualização foi aplicada:

1. Abra o Azure Databricks em seu navegador da Web.

2. Inicie um dos clusters do espaço de trabalho e aguarde até que o cluster seja totalmente iniciado.

3. Vá para sua instância de espaço de trabalho no portal do Azure.

4. Clique no ID azul ao lado do rótulo de campo Grupo de Recursos Gerenciados.

5. Nesse grupo, localize as VMs do cluster e clique em uma delas.

6. Nas configurações da VM, em Propriedades, procure os campos na área Rede .

7. Confirme se o campo Endereço IP público está vazio.

   Se estiver preenchida, a VM tem um endereço IP público, o que significa que a atualização falhou.

Reversão temporária da atualização para conectividade segura de cluster

Se algo der errado durante a implantação, você poderá reverter temporariamente o processo definindo enableNoPublicIp como false. No entanto, desativar a conectividade segura do cluster só é suportado como um rollback temporário antes de continuar a atualização mais tarde. Se isso for necessário temporariamente, você pode seguir as instruções acima para atualizar, mas defina enableNoPublicIp como false em vez de true.

Saída de sub-redes do espaço de trabalho

Quando você habilita a conectividade segura de cluster, ambas as sub-redes do espaço de trabalho são sub-redes privadas porque os nós do cluster não têm endereços IP públicos.

Os detalhes de implementação da saída de rede variam de acordo com o uso da VNet padrão (gerenciada) ou se você usa a injeção de VNet para fornecer sua própria VNet na qual implantar seu espaço de trabalho.

Saída com VNet padrão (gerenciado)

Se você usar a conectividade de cluster segura com a VNet padrão que o Azure Databricks cria, o Azure Databricks criará automaticamente um gateway NAT para o tráfego de saída das sub-redes do seu espaço de trabalho para o backbone do Azure e a rede pública. O gateway NAT é criado dentro do grupo de recursos gerenciados gerenciado pelo Azure Databricks. Não é possível modificar este grupo de recursos ou quaisquer recursos provisionados dentro dele. Este gateway NAT incorre em custos adicionais.

Saída com injeção de VNet

Se você habilitar a conectividade segura de cluster em seu espaço de trabalho que usa injeção de VNet, o Databricks recomenda que seu espaço de trabalho tenha um IP público de saída estável. Endereços IP públicos de saída estáveis são úteis porque você pode adicioná-los a listas de permissões externas. Por exemplo, para se conectar do Azure Databricks ao Salesforce com um endereço IP de saída estável.

Para fornecer conectividade com a Internet para suas implantações, use um gateway NAT do Azure. Configure o gateway em ambas as sub-redes do espaço de trabalho para garantir todas as rotas de tráfego de saída através dele com um IP público de saída estável. Isso fornece conectividade de saída consistente com a Internet para seus clusters e permite que você modifique a configuração para necessidades de saída personalizadas. Você pode configurar o gateway NAT usando um modelo do Azure ou do portal do Azure.

Práticas recomendadas de configuração de firewall

Sempre permita listar os FQDNs (nomes de domínio fornecidos) para pontos de extremidade de retransmissão SCC em vez de endereços IP individuais. Os endereços IP por trás desses domínios mudam periodicamente devido a atualizações de infraestrutura.

Os clientes que autorizam endereços IP específicos podem sofrer interrupções de serviço quando ocorrem alterações na infraestrutura. Se tiver de utilizar endereços IP, deve recuperar regularmente os nossos endereços IP mais recentes e manter as suas configurações de firewall atualizadas.