Configurar políticas de ponto de extremidade de serviço na rede virtual do Azure para acesso ao armazenamento a partir de computação clássica

Esta página explica como usar políticas de ponto de extremidade de serviço de rede virtual do Azure para filtrar o tráfego de saída do plano de computação clássico, garantindo que as conexões sejam feitas apenas para contas específicas do Armazenamento do Azure.

O que são pontos de extremidade de serviço e políticas de ponto de extremidade de serviço?

Os endpoints de serviço e as políticas trabalham em conjunto para criar uma conexão privada mutuamente aprovada.

• Pontos de extremidade de serviço de rede virtual do Azure: para proteger o tráfego para o Armazenamento do Azure, habilite um ponto de extremidade de serviço na sub-rede da rede virtual. Isso cria uma conexão segura e direta com o serviço de Armazenamento do Azure pela rede de backbone do Azure, mantendo o tráfego fora da Internet pública.
• Políticas de ponto de extremidade de serviço de rede virtual do Azure: você aplica uma política de ponto de extremidade do serviço à mesma sub-rede que o ponto de extremidade do serviço. Essa política atua como um filtro na parte superior do ponto de extremidade, permitindo que você restrinja conexões apenas às contas específicas do Armazenamento do Azure definidas. Essa combinação impede a exfiltração de dados para contas de armazenamento não autorizadas.

Como eles funcionam?

A imagem a seguir mostra uma visão geral de como configurar pontos de extremidade de serviço e políticas de ponto de extremidade de serviço:

1. Crie uma política de serviço de rede virtual do Azure. Veja Etapa 1: Criar uma política de endpoint de serviço.
2. Adicione contas de armazenamento que você precisa acessar à sua política. Por exemplo, as contas de armazenamento padrão do workspace e do Unity Catalog. Contas de armazenamento que usam pontos de extremidade privados não precisam ser adicionadas à política.
3. Anexe sua política de serviço à sub-rede do workspace. Consulte o Passo 2: Anexar a política à sub-rede do espaço de trabalho.
4. Conecte o endpoint de serviço da rede virtual do Microsoft.Storage Azure à sub-rede do workspace. A política de ponto de extremidade de serviço da sub-rede é aplicada ao ponto de extremidade de serviço.
5. O armazenamento não sancionado não pode ser acessado porque não é permitido pela política.

O ponto de extremidade do serviço encaminha todo o tráfego de rede do workspace do Azure Databricks, permitindo conexões com contas de armazenamento especificadas na política e bloqueando todas as tentativas não autorizadas.

Benefícios dos pontos de extremidade de serviço

• Prioridade de roteamento e segurança: os endpoints de serviço criam um caminho de roteamento direto de alta prioridade para os serviços do Azure por meio do backbone do Azure. Essa rota otimizada substitui a maioria das UDRs (rotas definidas pelo usuário), ajudando a impedir que o tráfego seja forçado involuntariamente por meio de uma NVA (solução de virtualização de rede) ou à Internet. Esse comportamento fortalece sua postura de segurança e ajuda a evitar a exfiltração de dados.
• Otimização de custo: como o tráfego para os serviços do Azure permanece no backbone do Azure, você evita encargos associados à saída por meio de um gateway NAT ou de um dispositivo virtual de rede.

Consulte os pontos de extremidade de serviço de rede virtual do Azure e as políticas de ponto de extremidade de serviço de rede virtual para o Armazenamento do Azure para obter mais detalhes.

Benefícios das políticas de ponto de extremidade de serviço

• Alcance global: embora uma política de ponto de extremidade de serviço seja um recurso regional, as regras nela podem ser direcionadas a contas de Armazenamento do Azure em qualquer região, assinatura ou locatário. Isso permite que uma política regional gerencie o acesso ao armazenamento global.
• Políticas aditivas: você pode associar várias políticas a uma única sub-rede. As atribuições de política são aditivas, o que significa que a sub-rede obtém acesso ao conjunto combinado de todas as contas de armazenamento permitidas de todas as políticas anexadas. Isso é útil para modelar diferentes requisitos de acesso.

Práticas recomendadas

Para cada workspace do Azure Databricks, configure uma política de ponto de extremidade de serviço que tenha como alvo sua conta de armazenamento DBFS raiz e quaisquer locais externos associados do Unity Catalog. Você também deve adicionar o alias de /services/Azure/Databricks serviço a essa política para permitir o acesso ao armazenamento essencial do Azure Databricks. Para aplicar conjuntos de regras diferentes, você pode criar políticas adicionais para ambientes específicos, como desenvolvimento e produção.

Requirements

Seu workspace do Azure Databricks deve atender aos seguintes requisitos:

• Seja implantado na sua própria rede virtual (VNet) do Azure, conhecida também como injeção de VNet. Confira Implantar o Azure Databricks na rede virtual do Azure (injeção de VNet).
• Use a conectividade de cluster segura (SCC). Consulte Habilitar conectividade de cluster seguro.
• O grupo de recursos do workspace é desbloqueado e a rede virtual não tem configurações ou políticas personalizadas que bloqueiam esse recurso.

Configurar uma política de ponto de extremidade de serviço

Antes de anexar uma política de ponto de extremidade de serviço à sub-rede pública do seu workspace, crie regras de política para todas as contas de armazenamento que são acessadas pelos seus recursos clássicos de computação usando pontos de extremidade de serviço. Qualquer conta de armazenamento sem uma regra de política correspondente é bloqueada.

Etapa 1: Criar uma política de endpoint de serviço

1. No portal do Azure, pesquise a Política de Ponto de Extremidade de Serviço e selecione Criar uma política de ponto de extremidade de serviço.

2. Na guia Noções Básicas:

   • Selecione a Assinatura e a Região que correspondem à VNet do seu espaço de trabalho.
   • Insira um nome descritivo para a política, como databricks-workspace-prod-westus.
   • Clique em Avançar: Definições de política.

3. Na guia Definições de política , adicione o armazenamento gerenciado do Azure Databricks:

   • Clique + Adicionar um Alias.
   • Selecione /services/Azure/Databricks.
   • Clique em Adicionar.

   Observação

   O /services/Azure/Databricks alias só permite acesso às contas de armazenamento necessárias gerenciadas pelo Databricks. Ele não concede acesso a todas as contas de armazenamento na região.

4. Adicione suas próprias contas de armazenamento:

   • Clique em + Adicionar um recurso.
   • Para Escopo, selecione Conta única.
   • Adicione a conta de armazenamento DBFS padrão do seu workspace, contas de armazenamento do Catálogo do Unity e quaisquer outras contas de armazenamento necessárias uma a uma.
   • Você pode adicionar ou remover contas de armazenamento da política a qualquer momento.

5. Clique em Examinar + criar e, em seguida, criar.

Etapa 2: Vincular a política à sub-rede do ambiente de trabalho

Uma política de ponto de extremidade de serviço pode ser anexada às sub-redes públicas e privadas do seu ambiente de trabalho, mas apenas a sub-rede pública comunica-se com o armazenamento.

1. No portal do Azure, acesse a VNet do seu workspace.
2. Na barra lateral em Configurações, clique em Sub-redes.
3. Selecione sua sub-rede pública.
4. Nas configurações de sub-rede, role até a seção Pontos de Extremidade de Serviço .
5. No menu suspenso Serviços , selecione Microsoft.Storage.
6. Role até a seção Políticas de Ponto de Extremidade de Serviço.
7. No menu suspenso Políticas , selecione a política que você criou anteriormente.
8. Clique em Salvar.

Validation

Para validar a configuração:

• Inicie um cluster do Azure Databricks no workspace.
• Execute uma carga de trabalho que lê ou grava em uma conta de armazenamento incluída em sua política. A operação será bem-sucedida.
• Tente acessar uma conta de armazenamento que não está incluída em sua política. Qualquer solicitação para uma conta de armazenamento não definida na política falhará com um erro de autorização.