Configurar um firewall para acesso à computação sem servidor

Esta página descreve como configurar um firewall de armazenamento do Azure para computação sem servidor usando a interface do usuário do console de conta do Azure Databricks. Você também pode usar a API de configurações de conectividade de rede.

Para configurar um ponto de extremidade privado para acesso de computação sem servidor, consulte Configurar conectividade privada para recursos do Azure.

Visão geral da ativação do firewall para computação sem servidor

A conectividade de rede sem servidor é gerenciada com configurações de conectividade de rede (NCCs). Os administradores de conta criam NCCs no console da conta, e um NCC pode ser anexado a um ou mais espaços de trabalho. Os NCCs são construções regionais no nível da conta que são usadas para gerenciar a criação de pontos finais privados e a ativação de firewall em escala.

Um NCC define identidades de rede para recursos do Azure como regras padrão. Quando um NCC é anexado a um espaço de trabalho, a computação sem servidor nesse espaço de trabalho usa uma dessas redes para se conectar ao recurso do Azure. Você pode permitir essas redes em seus firewalls de recursos do Azure. Para firewalls de recursos do Azure que não sejam de armazenamento, entre em contato com a equipe da sua conta para saber mais sobre como usar IPs NAT estáveis.

A ativação do firewall NCC é suportada por SQL Warehouses sem servidor, trabalhos, notebooks, pipelines declarativos do Lakeflow Spark e endpoints de disponibilização de modelos.

Você também pode restringir o acesso da conta de armazenamento do espaço de trabalho a redes autorizadas, incluindo computação sem servidor. Quando um NCC é anexado, suas regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Consulte Ativar suporte de firewall para sua conta de armazenamento de espaço de trabalho.

Para obter mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Implicações de custo do acesso ao armazenamento entre regiões

O firewall se aplica somente quando os recursos do Azure estão na mesma região que o espaço de trabalho do Azure Databricks. Para tráfego entre regiões da computação sem servidor do Azure Databricks (por exemplo, o espaço de trabalho está na região Leste dos EUA e o armazenamento ADLS está na Europa Ocidental), o Azure Databricks roteia o tráfego por meio de um serviço Gateway NAT do Azure.

Requisitos

• Seu espaço de trabalho deve estar no plano Premium.

• Você deve ser um administrador de conta do Azure Databricks.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.
• Cada conta do Azure Databricks pode ter até 10 NCCs por região suportada. Os NCCs fornecem blocos CIDR IP estáveis compartilhados em vez de blocos IP distintos por configuração, e esses intervalos de IP são específicos da região. Para obter a lista de regiões suportadas, consulte Regiões do Azure Databricks.

• Você deve ter WRITE acesso às regras de rede da sua conta de armazenamento do Azure.

Etapa 1: Criar uma configuração de conectividade de rede e copiar IDs de sub-rede

A Databricks recomenda o compartilhamento de NCCs entre espaços de trabalho na mesma unidade de negócios e aqueles que compartilham a mesma região e propriedades de conectividade. Por exemplo, se alguns espaços de trabalho usam firewall de armazenamento e outros espaços de trabalho usam a abordagem alternativa de Link Privado, use NCCs separados para esses casos de uso.

1. Como administrador de conta, aceda à consola da conta.
2. Na barra lateral, clique em Segurança.
3. Clique em Configurações de conectividade de rede.
4. Clique em Adicionar configuração de rede.
5. Digite um nome para o NCC.
6. Escolha a região. Isso deve corresponder à região do seu espaço de trabalho.
7. Clique em Adicionar.
8. Na lista de NCCs, clique em o seu novo NCC.
9. Em Regras Padrão , em Identidades de rede, clique em Exibir tudo.
10. Na caixa de diálogo, clique no botão Copiar sub-redes .

Etapa 2: Anexar um NCC aos espaços de trabalho

Você pode anexar um NCC a até 50 espaços de trabalho dentro da mesma região do NCC.

Para usar a API para anexar um NCC a um espaço de trabalho, consulte a API de espaços de trabalho de conta.

1. Na barra lateral do console da conta, clique em Espaços de trabalho.
2. Clique no nome do seu espaço de trabalho.
3. Clique em Atualizar espaço de trabalho.
4. No campo Configurações de conectividade de rede , selecione seu NCC. Se não estiver visível, confirme se selecionou a mesma região para o espaço de trabalho e o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os recursos de computação sem servidor em execução no espaço de trabalho.

Se você estiver usando esse recurso para se conectar à conta de armazenamento do espaço de trabalho, sua configuração será concluída. As regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Para contas de armazenamento adicionais, continue para a próxima etapa.

Etapa 3: bloquear sua conta de armazenamento

Se ainda não tiver limitado o acesso à conta de armazenamento do Azure apenas a redes listadas como permitidas, faça-o agora. Não é necessário executar esta etapa para a conta de armazenamento do espaço de trabalho.

A criação de um firewall de armazenamento também afeta a conectividade do plano de computação clássico com seus recursos. Você também deve adicionar regras de rede para se conectar às suas contas de armazenamento a partir de recursos de computação clássicos.

1. Aceda ao portal do Azure.
2. Navegue até a sua conta de armazenamento para a origem dos dados.
3. No painel de navegação esquerdo, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Ativado de todas as redes. Altere para Ativado a partir de redes virtuais e endereços IP selecionados.

Etapa 4: Adicionar regras de rede da conta de armazenamento do Azure

Não é necessário executar esta etapa para a conta de armazenamento do espaço de trabalho.

1. Em um editor de texto, copie e cole o seguinte script, substituindo os parâmetros por valores para sua conta do Azure:

   # Define parameters
   
   $subscription = `<YOUR_SUBSCRIPTION_ID>` # Replace with your Azure subscription ID or name
   $resourceGroup = `<YOUR_RESOURCE_GROUP>` # Replace with your Azure resource group name
   $accountName = `<YOUR_STORAGE_ACCOUNT_NAME>` # Replace with your Azure storage account name
   $subnets = `<SUBNET_NAME_1>` # Replace with your actual subnet names
   
   # Add network rules for each subnet
   foreach ($subnet in $subnets) {
      az storage account network-rule add --subscription $subscription `
         --resource-group $resourceGroup `
         --account-name $accountName `
         --subnet $subnet
   }
   

2. Inicie o Azure Cloud Shell.

3. No Azure Cloud Shell, usando um editor, crie um novo arquivo que termine com a .ps1 extensão:

   vi ncc.ps1
   

4. Cole o script da etapa 1 no editor e pressione Esc, digite :wqe pressione Enter.

5. Execute o seguinte comando para executar o script:

   ./ncc.ps1
   

6. Depois de executar todos os comandos, você pode usar o portal do Azure para exibir sua conta de armazenamento e confirmar se há uma entrada na tabela Redes Virtuais que representa a nova sub-rede.

   Gorjeta

   • Ao adicionar regras de rede de conta de armazenamento, use a API de Conectividade de Rede para recuperar as sub-redes mais recentes.
   • Evite armazenar informações NCC localmente.
   • Ignore a menção de "Permissões insuficientes" na coluna de status do ponto final ou o aviso abaixo da lista de rede. Eles indicam apenas que você não tem permissão para ler as sub-redes do Azure Databricks, mas isso não interfere na capacidade dessa sub-rede sem servidor do Azure Databricks entrar em contato com seu armazenamento do Azure.

   

7. Para confirmar se sua conta de armazenamento usa essas configurações do portal do Azure, navegue até Rede em sua conta de armazenamento. Confirme se o Acesso à rede pública está definido como Ativado a partir de redes virtuais selecionadas e se os endereços IP e as redes permitidas estão listados na secção Redes Virtuais .

Próximos passos

• Gerenciar regras de ponto de extremidade privado: controle o tráfego de rede de e para seus pontos de extremidade privados definindo regras específicas que permitem ou negam conexões. Consulte Gerenciar regras de ponto de extremidade privado.
• Configurar políticas de rede: implemente políticas de rede para fornecer controles de segurança adicionais e restrições de acesso para seus ambientes de computação sem servidor. Consulte O que é o controle de saída sem servidor?.
• Compreender os custos de transferência de dados e conectividade: Saiba mais sobre os custos associados à movimentação de dados para dentro e para fora de ambientes sem servidor e configurações de conectividade de rede. Consulte Compreender os custos de rede sem servidor Databricks.