Configurar o link privado de front-end

Esta página fornece instruções para configurar a conectividade privada de front-end, que protege a conexão entre os usuários e seus workspaces do Azure Databricks.

• Para habilitar a conectividade privada de back-end com o Azure Databricks, consulte os conceitos do Link Privado do Azure.
• Para se conectar do plano de computação sem servidor aos recursos do Azure, consulte Configurar conectividade privada com recursos do Azure.

Por que escolher uma conexão front-end?

Se você usa computação clássica ou sem servidor, os usuários devem se conectar ao Azure Databricks. As organizações optam por se conectar ao Azure Databricks por vários motivos, incluindo o seguinte:

• Segurança aprimorada: Ao restringir todo o acesso a pontos de extremidade privados e desabilitar o acesso público, você minimiza a superfície de ataque e verifica se todas as interações do usuário com o Azure Databricks ocorrem em uma rede segura e privada.
• Requisitos de conformidade: Muitas organizações têm estritos requisitos de conformidade que exigem que todo o tráfego de plano de gerenciamento e dados permaneça em seus limites de rede privada, mesmo para serviços SaaS como o Azure Databricks.
• Arquitetura de rede simplificada (para casos de uso específicos): Se você estiver usando apenas a computação sem servidor ou sua interação principal com o Azure Databricks for por meio das APIs REST ou da interface do usuário da Web, e você não tiver necessidade imediata de conectividade privada com fontes de dados do Azure Databricks (que requer uma conexão de back-end), uma configuração somente front-end simplifica o design geral da rede.
• Prevenção de exfiltração de dados: Ao impedir o acesso público e forçar todo o tráfego por meio de pontos de extremidade privados, você reduz o risco de exfiltração de dados, garantindo que o tráfego só possa ser acessado de ambientes de rede autenticados.

Modelo de conectividade

Você pode configurar a conectividade privada de duas maneiras:

• Sem acesso público: essa configuração desabilita todo o acesso público ao workspace. Todo o tráfego de usuário deve se originar de uma VNet conectada por meio de um ponto de extremidade privado. Esse modelo é necessário para a privatização total do tráfego. Para a privatização de tráfego completo, você também precisa de uma conexão de link privado de back-end. Consulte os conceitos do Link Privado do Azure.
• Acesso híbrido: o Link Privado está ativo, mas o acesso público permanece habilitado com controles de entrada baseados em contexto e listas de acesso IP. Os controles de entrada baseados em contexto permitem restringir o acesso com base na identidade, no tipo de solicitação e na origem da rede. Isso permite que você permita com segurança o acesso de fontes públicas confiáveis (por exemplo, IPs corporativos estáticos), enquanto ainda usa o Link Privado para conectividade privada.

Este guia explica como implementar o modelo de acesso híbrido . Conseguimos isso usando uma topologia de rede hub-and-spoke padrão.

Visão geral da arquitetura

Esse modelo usa a VNet de trânsito:

• Transit VNet: essa é a rede virtual central que contém todos os pontos de extremidade privados necessários para o acesso do cliente aos espaços de trabalho e à autenticação do navegador. O workspace de autenticação do navegador também está conectado a essa VNet.

Antes de começar

Examine os seguintes pré-requisitos e recomendações:

Requirements

• O workspace está no plano Premium.
• Você tem um workspace do Azure Databricks implantado com injeção de VNet. Consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet)
• Você deve ter permissões do Azure para criar pontos de extremidade privados e gerenciar registros DNS.

Configuração de rede

• Uma VNet de trânsito configurada para o seguinte:
  • Ele atua como o ponto de trânsito primário para todo o tráfego de usuário/cliente que se conecta à sua rede do Azure.
  • Ele fornece conectividade centralizada para redes locais ou outras externas.
  • Ele gerencia serviços compartilhados e contém a rota primária para o tráfego de saída da Internet (saída).
• Suas zonas DNS privadas são gerenciadas pelo DNS do Azure.

Práticas recomendadas

O Azure Databricks recomenda o seguinte para uma configuração resiliente e gerenciável:

• Arquitetura: sua rede deve seguir a arquitetura de hub-spoke recomendada pela Microsoft. Consulte a topologia de rede hub-spoke no Azure.
• Espaço de trabalho de autenticação isolado: para aumentar a resiliência, crie um espaço de trabalho de autenticação de navegador separado dentro da VNet de trânsito. Esse workspace dedicado deve hospedar o endpoint privado de autenticação do navegador, evitando um único ponto de falha caso outros workspaces sejam excluídos. Consulte a Etapa 3: Criar uma browser_authentication área de trabalho.

Configurar a conectividade privada para um workspace existente

Antes de começar, você deve interromper todos os recursos de computação, como clusters, pools ou sql warehouses clássicos. Nenhum recurso de computação do workspace pode ser executado ou a tentativa de atualização falha. O Azure Databricks recomenda planejar o tempo da atualização para tempo de inatividade.

1. Na página Workspaces , selecione Computação.
2. Selecione cada cluster de computação ativo e, na parte superior direita, clique em Encerrar.

Etapa 1: Verificar o workspace injetado na rede virtual (VNet) com acesso público habilitado

1. Acesse o workspace do Azure Databricks no portal do Azure.
2. Na seção de visão geral do workspace, verifique se o workspace do Azure Databricks usa sua própria rede virtual:
   1. Em Configurações, selecione a guia Rede . Confirme as seguintes configurações:
      1. A conectividade segura do cluster (nenhum IP público) está habilitada.
      2. Permitir acesso à rede pública está habilitado.

Etapa 2: Criar endpoint privado de databricks_ui_api

1. Na guia Rede do workspace, selecione conexões de ponto de extremidade privado.
2. Clique Ponto de extremidade privado.
3. Selecione o grupo de recursos para o endpoint, forneça um nome como my-workspace-fe-pe. Verifique se a região corresponde ao seu workspace.
4. Clique em Avançar: Recurso.
5. Defina o sub-recurso de destino como databricks_ui_api.
6. Clique em Avançar: Rede Virtual.
7. Selecione sua VNet de trânsito. Sua VNet de trânsito é uma VNet separada e pré-existente em sua arquitetura de rede que gerencia e protege o tráfego de saída, geralmente contendo um firewall central.
8. Selecione a sub-rede que hospeda os pontos de extremidade privados.
9. Clique em Avançar e verifique se a integração com a zona DNS privada está definida como Sim. Ele deve selecionar automaticamente a privatelink.azuredatabricks.net zona.

Etapa 3: Criar um browser_authentication workspace

Crie um ponto de extremidade privado para autenticação via navegador e para dar suporte ao Single Sign-On (SSO) em sua rede privada. O Azure Databricks recomenda hospedar esse ponto de extremidade em um workspace de autenticação web privado dedicado.

Criar um grupo de recursos

1. No portal do Azure, navegue até e selecione Grupos de recursos.
2. Clique em + Criar.
3. Forneça um nome para o grupo de recursos, como web-auth-rg-eastus.
4. Para Região, selecione a mesma região do Azure em que os workspaces do Databricks de produção são implantados.
5. Clique em Examinar + criar e, em seguida, criar.

Criar uma VNET

1. No portal do Azure, pesquise e selecione Redes virtuais.
2. Clique em + Criar.
3. Na guia Noções básicas , selecione o grupo de recursos que você acabou de criar e dê à VNet um nome descritivo, como web-auth-vnet-eastus.
4. Verifique se a região corresponde ao grupo de recursos.
5. Na guia Endereços IP , defina um espaço de endereço IP para a VNet, por exemplo, 10.20.0.0/16. Você também será solicitado a criar uma sub-rede inicial.
6. Selecione Examinar + criar, depois Criar.

Criar e proteger o espaço de trabalho de autenticação da web privado

1. No portal do Azure, pesquise e selecione o Azure Databricks. Clique em + Criar.
2. Na guia Noções básicas , configure o seguinte:
   1. Selecione o grupo de recursos que você acabou de criar.
   2. Dê ao workspace um nome descritivo, como WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Selecione a mesma região que seu grupo de recursos e VNet.
3. Clique em Avançar:Rede e configure o seguinte:
   1. Implantar o workspace do Azure Databricks com conectividade de cluster seguro (sem IP público): selecione Sim.
   2. Implantar o workspace do Azure Databricks em sua própria Rede Virtual (VNet): selecione Sim.
   3. Rede Virtual: selecione a VNet que você acabou de criar. Você será solicitado a definir intervalos de sub-rede.
   4. Acesso à Rede Pública: Selecione Desabilitado.
   5. Regras NSG necessárias: selecione NoAzureDatabricksRules.
4. Clique em Examinar + criar e, em seguida, criar.

Depois que o espaço de trabalho for criado, você deverá protegê-lo contra deleção acidental.

1. No portal do Azure, navegue até o workspace que você acabou de criar.
2. Vá para Configurações e selecione Bloqueios.
3. Clique em + Adicionar.
4. Defina o tipo de bloqueio como Excluir e forneça um nome de bloqueio descritivo.
5. Clique em OK.

Criar o endpoint privado browser_authentication

Depois de criar o espaço de trabalho, você deve criar o browser_authentication ponto de extremidade privado para conectá-lo à VNet de trânsito.

1. Na guia Rede do workspace de autenticação da web, selecione conexões de ponto de extremidade privado.
2. Clique Ponto de extremidade privado.
3. Selecione o grupo de recursos para o endpoint, forneça um nome como web-auth-browser-auth-pe. Verifique se a região corresponde ao seu workspace.
4. Clique em Avançar: Recurso.
5. Defina o sub-recurso de destino como browser_authentication.
6. Clique em Avançar: Rede Virtual.
7. Selecione sua VNet de trânsito (a mesma VNet usada na Etapa 2 para o databricks_ui_api endpoint).
8. Selecione a sub-rede que hospeda os pontos de extremidade privados.
9. Clique em Avançar e verifique se a integração com a zona DNS privada está definida como Sim. Ele deve selecionar automaticamente a privatelink.azuredatabricks.net zona.
10. Conclua a criação do ponto de extremidade.

Etapa 4: Configurar e verificar o DNS

Depois de implantar os pontos de extremidade privados, você deve verificar se o DNS resolve corretamente as URLs do Azure Databricks em seus novos endereços IP privados.

1. Verifique os registros de zona DNS privados:
   1. No portal do Azure, pesquise e navegue até a zona DNS privada chamada privatelink.azuredatabricks.net.
   2. Verifique se os seguintes A registros existem e aponte para os endereços IP privados de seus pontos de extremidade:
      1. Registro de interface do usuário/API do workspace:
         • Nome: sua ID exclusiva do workspace, como adb-xxxxxxxxxxxxxxxx.x
         • Valor: o endereço IP privado do ponto databricks_ui_api de extremidade privado.
      2. Registro de autenticação do navegador:
         • Nome: escolha um nome descritivo como pl-auth.<your_region>.
         • Valor: o endereço IP privado do ponto browser_authentication de extremidade privado.

Etapa 5: Verificar o acesso à rede privada

Confirme se você pode acessar o workspace por meio de sua conexão de rede privada.

De uma rede conectada

Se sua rede local já estiver conectada à VNet do Azure, por VPN ou ExpressRoute, o teste será simples:

• Do seu computador, abra um navegador da web e acesse diretamente a URL do workspace do Azure Databricks para fazer login. Um logon bem-sucedido confirma que sua conexão privada está funcionando.

Usando uma VM de teste

Se você não puder acessar a VNet do workspace de seu local atual, crie uma máquina virtual temporária (uma "caixa de salto") para testar de:

1. Crie uma VM: No portal do Azure, crie uma máquina virtual do Windows. Coloque-a em uma sub-rede usando a mesma VNet de trânsito em que você configurou seu ponto de extremidade privado de front-end.
2. Conecte-se à VM: Use um cliente de Área de Trabalho Remota para se conectar à sua nova VM.
3. Teste da VM: Depois de se conectar à VM, abra um navegador da Web, acesse o portal do Azure e localize o workspace do Azure Databricks.
4. Iniciar Workspace: Clique em Iniciar Workspace. Um logon bem-sucedido confirma que o acesso de dentro de sua VNet privada está funcionando corretamente.

Verificar o DNS com nslookup

1. Conecte-se a uma máquina virtual dentro de sua VNet configurada ou à rede local por meio da VPN ou do Azure ExpressRoute. Seu computador deve ser capaz de usar o DNS privado do Azure.
2. Abra um prompt de comando ou terminal e use nslookup para verificar a resolução DNS.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Configuração de DNS personalizada

Ao usar um ponto de extremidade front-end privado com seu próprio DNS personalizado, você deve verificar se tanto a URL da área de trabalho quanto as URLs de autenticação SSO (logon único) são resolvidas corretamente para o endereço IP do ponto de extremidade privado.

Recomendado: encaminhamento condicional

O método mais confiável é configurar o servidor DNS para encaminhar consultas para todos os domínios do Databricks para o DNS interno do Azure.

1. Configure o encaminhamento condicional para os seguintes domínios para o servidor DNS do Azure:
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
2. Verifique se sua VNet está vinculada à Zona DNS Privada do Azure.

Isso permite que o Azure resolva automaticamente todos os nomes de host necessários, incluindo os URLs de SSO e do workspace, direcionando-os para o endereço IP do seu ponto de extremidade privado.

Alternativa: Registros Manuais A

Se o encaminhamento condicional não for uma opção, você deverá criar manualmente registros DNS A .

1. URL do workspace: Crie um A registro mapeando a URL de cada workspace, como adb-1111111111111.15.azuredatabricks.net, ao endereço IP do ponto de extremidade privado.
2. URL de Autenticação do SSO: Crie um A registro mapeando a URL de SSO regional, como westus.pl-auth.azuredatabricks.net, para o mesmo endereço IP do ponto de extremidade privado.

Algumas regiões do Azure usam várias instâncias do plano de controle para SSO. Talvez seja necessário criar vários A registros para autenticação. Entre em contato com sua equipe de conta do Azure Databricks para obter a lista completa de domínios para sua região.

Próximas etapas

• Configurar a conectividade privada de back-end com o Azure Databricks
• Configurar listas de acesso IP para workspaces