Configurar a conectividade privada com recursos do Azure

Este artigo descreve como configurar a conectividade privada a partir da computação sem servidor usando a interface do usuário do console da conta do Azure Databricks. Você também pode usar a API de configurações de conectividade de rede.

Se você configurar seu recurso do Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso de seus recursos de computação clássicos do Databricks também deverá usar pontos de extremidade privados.

Para configurar um firewall de Armazenamento do Azure para acesso de computação sem servidor usando sub-redes, consulte Configurar um firewall para acesso de computação sem servidor. Para gerenciar regras de ponto de extremidade privadas existentes, consulte Gerenciar regras de ponto de extremidade privado.

Visão geral da conectividade privada para computação sem servidor

A conectividade de rede sem servidor é gerenciada com configurações de conectividade de rede (NCCs). Os administradores de conta criam NCCs no console da conta e um NCC pode ser anexado a um ou mais espaços de trabalho

Quando você adiciona um ponto de extremidade privado em um NCC, o Azure Databricks cria uma solicitação de ponto de extremidade privado para seu recurso do Azure. Assim que a solicitação é aceite do lado do recurso, o ponto de extremidade privado é utilizado para aceder a recursos do plano de computação sem servidor. O endpoint privado é dedicado à sua conta do Azure Databricks e só pode ser acedido a partir de espaços de trabalho autorizados.

Os pontos de extremidade privados NCC são suportados em armazéns SQL, trabalhos, notebooks, pipelines declarativos do Lakeflow Spark e pontos de extremidade de disponibilização de modelos.

Para obter mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Vídeo passo a passo

Este vídeo oferece uma análise aprofundada da configuração da conectividade de rede (7 minutos).

Requisitos

• Sua conta e espaço de trabalho devem estar no plano Premium.
• Você deve ser um administrador de conta do Azure Databricks.
• Cada conta do Azure Databricks pode ter até 10 NCCs por região.
• Cada região pode ter 100 endpoints privados, distribuídos conforme necessário por 1 a 10 NCCs.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda compartilhar um NCC entre espaços de trabalho dentro da mesma unidade de negócios e aqueles que compartilham as mesmas propriedades de conectividade de região. Por exemplo, se alguns espaços de trabalho utilizam "Private Link" e outros requerem a ativação do firewall, utilize NCCs separados para esses casos de uso.

1. Como administrador de conta, aceda à consola da conta.
2. Na barra lateral, clique em Segurança.
3. Clique em Configurações de conectividade de rede.
4. Clique em Adicionar configuração de rede.
5. Digite um nome para o NCC.
6. Escolha a região. Isso deve corresponder à região do seu espaço de trabalho.
7. Clique em Adicionar.

Etapa 2: Anexar um NCC a um espaço de trabalho

1. Na barra lateral do console da conta, clique em Espaços de trabalho.
2. Clique no nome do seu espaço de trabalho.
3. Clique em Atualizar espaço de trabalho.
4. No campo Configurações de conectividade de rede , selecione seu NCC. Se não estiver visível, confirme se selecionou a mesma região do Azure para o espaço de trabalho e o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os serviços sem servidor em execução no espaço de trabalho.

Etapa 3: Criar regras de ponto de extremidade privado

Você deve criar uma regra de endpoint privado no seu NCC para cada recurso do Azure.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.
   1. Em outro separador do navegador, use o portal do Azure para navegar até os serviços do Azure da sua fonte de dados.
   2. Na página Visão geral, procure na seção Essenciais.
   3. Clique no link Visualização JSON. O ID do recurso para o serviço é exibido na parte superior da página.
   4. Copie esse ID de recurso para outro local. Repita para todos os destinos. Para obter mais informações sobre como localizar a sua identificação de recurso, consulte os valores de zona DNS privada do Ponto de Extremidade Privado do Azure.
2. Volte para a aba do navegador do console da conta.
3. Na barra lateral, clique em Segurança.
4. Clique em Configurações de conectividade de rede.
5. Selecione o NCC que você criou na etapa 1.
6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
7. No campo ID do recurso Azure de destino, cole a ID do recurso para o seu recurso.
8. No campo ID de subrecurso do Azure, especifique o ID de destino e o tipo de subrecurso. Cada regra de `endpoint` privado deve usar um ID de subrecurso distinto. Para obter uma lista de tipos de subrecursos suportados, consulte Recursos suportados.
9. Clique em Adicionar.
10. Aguarde alguns minutos até que todas as regras dos endpoints tenham o estado PENDING.

Etapa 4: Aprove os novos pontos de extremidade privados nos seus recursos

Os endpoints não são efetivos até que um administrador com permissões sobre o recurso aprove o novo endpoint privado. Para aprovar um ponto de extremidade privado usando o portal do Azure, proceda da seguinte forma:

1. No portal do Azure, navegue até seu recurso.

2. Na barra lateral, clique em Rede.

3. Clique em Ligações de ponto de extremidade privadas.

4. Clique no separador Acesso Privado.

5. Em Conexões de ponto de extremidade privadas, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada um para aprovar e clique no botão Aprovar acima da lista.

7. Retorne ao seu NCC no Azure Databricks e atualize a página do navegador até que todas as regras de ponto de extremidade tenham o status ESTABLISHED.

   

(Opcional) Etapa 5: definir seus recursos para não permitir o acesso à rede pública

Se ainda não tiver limitado o acesso aos seus recursos apenas a redes listadas como permitidas, pode optar por fazê-lo.

1. Aceda ao portal do Azure.
2. Navegue até a sua conta de armazenamento para a origem de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Ativado de todas as redes. Altere para Desativado

Configurar Link Privado para o Azure App Gateway v2

Se você estiver configurando o Link Privado para um recurso do Gateway de Aplicativo do Azure v2, deverá usar a API REST de Configurações de Conectividade de Rede em vez da interface do usuário do console da conta. O Azure App Gateway v2 requer parâmetros de configuração adicionais, como ID de recurso, ID de grupo e nomes de domínio.

1. Utilize a seguinte chamada de API para criar uma regra de ponto de extremidade privada com configuração de nome de domínio.

   curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Se precisar modificar os nomes de domínio para uma regra de endpoint privado existente, use a seguinte solicitação PATCH:

   curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão da API de Configurações de Conectividade de Rede documentadas na API de configurações de conectividade de rede.

Etapa 7: Reinicie os recursos do plano de computação sem servidor e teste a conexão

1. Após a etapa anterior, aguarde mais cinco minutos para que as alterações se propaguem.
2. Reinicie todos os recursos do plano de computação sem servidor em execução nos espaços de trabalho aos quais o NCC está conectado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
3. Confirme se todos os recursos são iniciados com êxito.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar se o SQL warehouse sem servidor pode alcançar sua fonte de dados.

Próximos passos

• Gerenciar regras de ponto de extremidade privado: controle e modifique suas configurações de ponto de extremidade privado existentes, incluindo a atualização de IDs de recursos e o gerenciamento do status da conexão. Consulte Gerenciar regras de ponto de extremidade privado.
• Configurar um firewall para acesso de computação sem servidor: configure regras de firewall de rede para controlar o acesso aos serviços do Azure usando sub-redes em vez de pontos de extremidade privados. Consulte Configurar um firewall para acesso à computação sem servidor.
• Configurar políticas de rede: implemente controles e políticas de segurança de rede adicionais para controlar a conectividade de computação sem servidor. Consulte O que é o controle de saída sem servidor?.
• Compreender a segurança de rede sem servidor: Saiba mais sobre a arquitetura de segurança de rede mais ampla e as opções disponíveis para ambientes de computação sem servidor. Consulte Rede de computação em plano sem servidor.