Configurar a conectividade privada com os recursos do Azure

Esse artigo descreve como configurar a conectividade privada a partir da computação sem servidor utilizando a UI da consola da conta Azure Databricks. Você também pode usar a API de configurações de conectividade de rede.

Se você configurar o recurso do Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso dos recursos de computação clássicos do Databricks também deverá usar pontos de extremidade privados.

Para configurar um firewall do Armazenamento do Microsoft Azure para acesso à computação sem servidor usando sub-redes, consulte Configurar um firewall para acesso à computação sem servidor. Para gerenciar regras de ponto de extremidade privado existentes, consulte Gerenciar regras de ponto de extremidade privado.

Visão geral da conectividade privada para a computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e uma NCC pode ser anexada a um ou mais workspaces

Quando você adiciona um ponto de extremidade privado em uma NCC, o Azure Databricks cria uma solicitação de ponto de extremidade privado para o recurso do Azure. Depois que a solicitação é aceita no lado do recurso, o ponto de extremidade privado é usado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta do Azure Databricks e acessível somente nos workspaces autorizados.

Há suporte para pontos de extremidade privados NCC de sql warehouses, trabalhos, notebooks, Pipelines Declarativos do Lakeflow Spark e pontos de extremidade de serviço de modelo.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Guia em vídeo

Este vídeo fornece um aprofundamento na configuração de conectividade de rede (7 minutos).

Requisitos

• Sua conta e ambiente de trabalho precisam estar no plano Premium.
• Você precisa ser um administrador da conta do Azure Databricks.
• Cada conta do Azure Databricks pode ter até 10 NCCs por região.
• Cada região pode ter 100 pontos de extremidade privados, distribuídos conforme necessário em um a dez NCCs.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda o compartilhamento de NCCs entre os workspaces da mesma unidade de negócios e aqueles que têm as mesmas propriedades de conectividade. Por exemplo, se alguns workspaces usarem o Link Privado e outros workspaces usarem a habilitação do firewall, use NCCs separadas para esses casos de uso.

1. Como administrador da conta, acesse o console da conta.
2. Na barra lateral, clique em Segurança.
3. Clique em configurações de conectividade de rede.
4. Clique em Adicionar configuração de rede.
5. Digite um nome para a NCC.
6. Escolha a região. Isso precisa corresponder à região do seu espaço de trabalho.
7. Clique em Adicionar.

Etapa 2: Anexar uma NCC a um espaço de trabalho

1. Na barra lateral do console da conta, clique em Workspaces.
2. Clique no nome do seu espaço de trabalho.
3. Clique em Atualizar workspace.
4. No campo Configurações de conectividade de rede, selecione o NCC. Se não estiver visível, confirme se você selecionou a mesma região do Azure para o workspace e o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os serviços sem servidor em execução no workspace.

Etapa 3: Criar regras para pontos de extremidade privados

Você precisa criar uma regra de ponto de extremidade privado na NCC para cada recurso do Azure.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.
   1. Em outra guia do navegador, use o portal do Azure para navegar até os serviços do Azure relacionados à sua fonte de dados.
   2. Na página Visão geral, examine a seção Essentials.
   3. Clique no link JSON View. A ID do recurso para o serviço é exibida na parte superior da página.
   4. Copie este identificador de recurso para outro local. Repita para todos os destinos. Para obter mais informações sobre como localizar sua ID de recurso, consulte Valores da zona DNS privada do ponto de extremidade privado do Azure.
2. Volte para a guia do navegador do console da conta.
3. Na barra lateral, clique em Segurança.
4. Clique em configurações de conectividade de rede.
5. Selecione a NCC criada na etapa 1.
6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
7. No campo ID de recurso do Azure de destino, cole a ID do recurso no seu recurso.
8. No campo ID de sub-recurso do Azure, especifique a ID de destino e o tipo de subrecurso. Cada regra do ponto de extremidade privado precisa usar uma ID de sub-recurso diferente. Para obter uma lista de tipos de sub-recursos com suporte, consulte recursos com suporte.
9. Clique em Adicionar.
10. Aguarde alguns minutos até que todas as regras de ponto de extremidade tenham o status PENDING.

Etapa 4: Aprovar os novos pontos de extremidade privados nos seus recursos

Os pontos de extremidade só entrarão em vigor quando um administrador com direitos no recurso aprovar o novo ponto de extremidade privado. Para aprovar um ponto de extremidade privado usando o portal do Azure, faça o seguinte:

1. No portal do Microsoft Azure, navegue até seu recurso.

2. Na barra lateral, clique em Rede.

3. Clique em conexões de ponto de extremidade privado.

4. Clique na guia Acesso privado.

5. Na seção Conexões de ponto de extremidade privado, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada uma para aprovar e clique no botão Aprovar acima da lista.

7. Retorne à NCC no Azure Databricks e atualize a página do navegador até que todas as regras do ponto de extremidade tenham o status ESTABLISHED.

   

(Opcional) Etapa 5: Definir seus recursos para não permitir o acesso à rede pública

Se você ainda não limitou o acesso aos seus recursos apenas às redes listadas como permitidas, pode optar por fazer isso.

1. Acesse o portal do Azure.
2. Navegue até sua conta de armazenamento que contém a fonte de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Desabilitado

Configurar o Link Privado para o Gateway de Aplicativo do Azure v2

Se você estiver configurando o Link Privado para um recurso do Gateway de Aplicativo do Azure v2, deverá usar a API REST das Configurações de Conectividade de Rede em vez da interface do usuário do console de conta. O Gateway de Aplicativo do Azure v2 requer parâmetros de configuração adicionais, como ID de recurso, ID do grupo e nomes de domínio.

1. Use a seguinte chamada à API para criar uma regra de ponto de extremidade privado com a configuração de nome de domínio:

   curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Se você precisar modificar os nomes de domínio de uma regra existente de ponto de extremidade privado, use a seguinte solicitação PATCH:

   curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão de API de Configurações de Conectividade de Rede documentadas na API de Configurações de Conectividade de Rede.

Etapa 7: Reiniciar recursos do plano de computação sem servidor e testar a conexão

1. Após a etapa anterior, aguarde cinco minutos adicionais para que as alterações sejam propagadas.
2. Reinicie todos os recursos do plano de computação sem servidor em execução nos workspaces aos quais o NCC está anexado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
3. Confirme se todos os recursos foram iniciados com sucesso.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar que o SQL Warehouse sem servidor pode alcançar sua fonte de dados.

Próximas etapas

• Gerenciar regras de ponto de extremidade privado: controlar e modificar as configurações de ponto de extremidade privado existentes, incluindo a atualização de IDs de recurso e o gerenciamento do status da conexão. Consulte Gerenciar regras de ponto de extremidade privado.
• Configurar um firewall para acesso de computação sem servidor: configure regras de firewall de rede para controlar o acesso aos serviços do Azure usando sub-redes em vez de pontos de extremidade privados. Veja Configurar um firewall para acesso computacional sem servidor.
• Configurar políticas de rede: implemente controles e políticas de segurança de rede adicionais para controlar a conectividade de computação sem servidor. Veja O que é o controle de saída sem servidor?.
• Entenda a segurança de rede sem servidor: saiba mais sobre a arquitetura de segurança de rede mais ampla e as opções disponíveis para ambientes de computação sem servidor. Confira Rede de plano de computação sem servidor.