Azure Private Link para o Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Usando o Azure Private Link, você pode se conectar a várias implantações de plataforma como serviço (PaaS) no Azure por meio de um ponto de extremidade privado. Um ponto final privado é um endereço IP privado numa rede virtual e sub-rede específicas. Para obter uma lista de implantações de PaaS que oferecem suporte à funcionalidade Private Link, consulte a documentação do Private Link.

Comunicação segura entre as redes de clientes e o Data Factory

Pode configurar uma rede virtual do Azure como uma representação lógica da rede na cloud. Ao fazê-lo, tem as seguintes vantagens:

• Ajuda a proteger os recursos do Azure contra ataques em redes públicas.
• Você permite que as redes e a fábrica de dados se comuniquem com segurança entre si.

Você também pode conectar uma rede local à sua rede virtual. Configure uma conexão VPN de segurança do Protocolo Internet, que é uma conexão site a site. Ou configure uma conexão de Rota Expressa do Azure. que é uma conexão de peering privado.

Você também pode instalar um runtime de integração autogerido em um servidor local ou numa máquina virtual na rede virtual. Ao fazê-lo, poderá:

• Executar atividades de cópia entre um arquivo de dados na cloud e um arquivo de dados numa rede privada.
• Distribuir atividades de transformação nos recursos de computação numa rede no local ou numa rede virtual do Azure.

Vários canais de comunicação são necessários entre o Azure Data Factory e a rede virtual do cliente, conforme mostrado na tabela a seguir:

As comunicações com o Data Factory passam pelo Private Link e ajudam a fornecer conectividade privada segura.

Habilitar o Private Link para cada um dos canais de comunicação anteriores oferece a seguinte funcionalidade:

• Suportado:

  • Pode criar e monitorizar no portal do Data Factory a partir da sua rede virtual, mesmo que bloqueie todas as comunicações de saída. Se você criar um ponto de extremidade privado para o portal, outras pessoas ainda poderão acessar o portal do Data Factory por meio da rede pública.
  • As comunicações de comando entre o IR auto-hospedado e o Data Factory podem ser executadas com segurança em um ambiente de rede privada. O tráfego entre o IR auto-hospedado e o Data Factory passa pelo Private Link.

• Não suportado atualmente:

  • A criação interativa que usa um IR autogerido, como testar a conexão, listar pastas e tabelas, obter o esquema, e visualizar dados, passa pelo Link Privado. Observe que o tráfego passa por link privado se a criação interativa independente estiver ativada. Consulte Autoria Interativa Independente.

  Nota

  Não há suporte para "Obter IP" e "Enviar log" quando a autoria interativa autónoma está ativada.

  • A nova versão do IR auto-hospedado que pode ser baixada automaticamente do Centro de Download da Microsoft se você habilitar a atualização automática não é suportada no momento.

  Para funcionalidades que não são suportadas no momento, você precisa configurar o domínio e a porta mencionados anteriormente na rede virtual ou no firewall corporativo.

  A ligação ao Data Factory através de um ponto de extremidade privado é aplicável apenas ao IR autogerido no Data Factory. Não há suporte para o Azure Synapse Analytics.

Configurar ponto de extremidade privado para comunicação entre IR auto-hospedado e Data Factory

Esta seção descreve como configurar o ponto de extremidade privado para comunicação entre IR auto-hospedado e Data Factory.

Criar um ponto de extremidade privado e configurar uma ligação privada para o Data Factory

O ponto de extremidade privado é criado na sua rede virtual para comunicação entre o IR auto-hospedado e o Data Factory. Siga as etapas em Configurar um link de ponto de extremidade privado para o Data Factory.

Verifique se a configuração de DNS está correta

Siga as instruções em Alterações de DNS para pontos de extremidade privados para verificar ou definir as suas configurações de DNS.

Coloque FQDNs do Centro de Retransmissão e Download do Azure na lista de permissões do seu firewall

Se o IR auto-hospedado estiver instalado na máquina virtual da sua rede virtual, permita que o tráfego de saída fique abaixo dos FQDNs no NSG da sua rede virtual.

Se o IR auto-hospedado estiver instalado na máquina em seu ambiente local, permita que o tráfego de saída fique abaixo dos FQDNs no firewall do seu ambiente local e no NSG da sua rede virtual.

Caso não permita o tráfego de saída anterior no firewall e no NSG, o IR auto-hospedado aparecerá com um estado Limitado. Mas você ainda pode usá-lo para executar atividades. Apenas a criação interativa e a atualização automática não funcionam.

Alterações de DNS para terminais privados

Quando se cria um ponto de extremidade privado, o registo de recurso DNS CNAME para a fábrica de dados é atualizado para um alias num subdomínio com o prefixo privatelink. Por padrão, também criamos uma zona DNS privada, correspondente ao subdomínio privatelink , com os registros de recursos DNS A para os pontos de extremidade privados.

Quando se resolve a URL do ponto de extremidade do Data Factory a partir de fora da rede virtual com o ponto de extremidade privado, ela é redirecionada para o ponto de extremidade público do Data Factory. Quando a URL do ponto de extremidade de armazenamento é resolvida a partir da rede virtual que hospeda o ponto de extremidade privado, ela aponta para o endereço IP do ponto de extremidade privado.

Para o exemplo ilustrado anterior, os registos de recursos DNS para a fábrica de dados chamada DataFactoryA, quando resolvidos de fora da rede virtual que hospeda o endpoint privado, serão:

Os registos de recursos DNS para o DataFactoryA, quando forem resolvidos na rede virtual que aloja o ponto de extremidade privado, serão:

Se estiver a usar um servidor DNS personalizado na sua rede, os clientes devem ser capazes de resolver o FQDN do ponto de extremidade da fábrica de dados para o endereço IP do ponto de extremidade privado. Você deve configurar seu servidor DNS para delegar seu subdomínio Link privado à zona DNS privada da rede virtual. Ou podes configurar os registos A para DataFactoryA.{region}.datafactory.azure.net com o endereço IP do ponto de extremidade privado.

• Name resolution for resources in Azure virtual networks (Resolução de nomes para recursos em redes virtuais do Azure)
• Configuração de DNS para pontos de extremidade privados

Configurar um link de endpoint privado para Data Factory

Nesta secção, irás configurar um link de ponto de extremidade privado para o Data Factory.

Você pode escolher se deseja conectar seu IR auto-hospedado ao Data Factory selecionando Ponto de extremidade Público ou Ponto de extremidade Privado durante a etapa de criação do Data Factory, mostrada aqui:

Você pode alterar a seleção a qualquer momento após a criação na página do portal do Data Factory no painel Rede . Depois de ativar o ponto de extremidade privado lá, deve-se também adicionar um ponto de extremidade privado à fábrica de dados.

Um ponto de extremidade privado requer uma rede virtual e uma sub-rede para o link. Neste exemplo, uma máquina virtual dentro da sub-rede é usada para executar o IR auto-hospedado, que se conecta por meio do link de ponto de extremidade privado.

Criar uma rede virtual

Se você não tiver uma rede virtual existente para usar com seu link de ponto de extremidade privado, deverá criar uma e atribuir uma sub-rede.

1. Inicie sessão no portal do Azure.

2. No canto superior esquerdo do ecrã, selecione Criar um recurso>Rede>Rede virtual ou procure Rede virtual na caixa de pesquisa.

3. Em Criar rede virtual, insira ou selecione essas informações na guia Noções básicas :

   Definição	Valor
   Detalhes do projeto
   Subscrição	Selecione a subscrição do Azure.
   Grupo de recursos	Selecione um grupo de recursos para sua rede virtual.
   Detalhes da instância
   Nome	Introduza um nome para a sua rede virtual.
   Região	Importante: Selecione a mesma região que seu ponto de extremidade privado usa.

4. Selecione o separador Endereços IP ou selecione Avançar Endereços IP na parte inferior da página.

5. No separador Endereços IP, introduza estas informações:

   Cenário	valor
   Espaço de endereçamento IPv4	Digite 10.1.0.0/16.

6. Em Nome da sub-rede, selecione a palavra padrão.

7. Em Editar sub-rede, insira estas informações:

   Cenário	valor
   Nome da sub-rede	Introduza um nome para a sua sub-rede.
   Faixa de endereços da sub-rede	Digite 10.1.0.0/24.

8. Selecione Guardar.

9. Selecione o separador Rever + criar ou o botão Rever + criar.

10. Selecione Criar.

Criar uma máquina virtual para o IR auto-hospedado

Você também deve criar ou atribuir uma máquina virtual existente para executar o IR auto-hospedado na nova sub-rede criada nas etapas anteriores.

1. No canto superior esquerdo do portal, selecione Criar um recurso>Computação>Máquina virtual ou procure por Máquina virtual na caixa de pesquisa.

2. Em Criar uma máquina virtual, insira ou selecione os valores na guia Noções básicas :

   Cenário	valor
   Detalhes do projeto
   Subscrição	Selecione a subscrição do Azure.
   Grupo de recursos	Selecione um grupo de recursos.
   Detalhes da instância
   Nome da máquina virtual	Insira um nome para a máquina virtual.
   Região	Selecione a região que você usou para sua rede virtual.
   Opções de disponibilidade	Selecione Sem necessidade de redundância de infraestrutura.
   Imagem	Selecione Windows Server 2019 Datacenter - Gen1 ou qualquer outra imagem do Windows que ofereça suporte ao IR auto-hospedado.
   Instância Spot do Azure	Selecione Não.
   Tamanho	Escolha o tamanho da VM ou use a configuração padrão.
   Conta de administrador
   Nome de utilizador	Introduza um nome de utilizador.
   Palavra-passe	Introduza uma palavra-passe.
   Confirme a palavra-passe	Reintroduza a palavra-passe.

3. Selecione o separador Rede ou selecione Avançar: Discos>Avançar: Rede.

4. Na guia Rede, selecione ou digite:

   Cenário	valor
   Interface de Rede
   Rede virtual	Selecione a rede virtual que criou.
   Sub-rede	Selecione a sub-rede que você criou.
   IP público	Selecione Nenhuma.
   Grupo de segurança de rede NIC	Básico.
   Portas de entrada públicas	Selecione Nenhuma.

5. Selecione Analisar + criar.

6. Reveja as definições e, em seguida, selecione Criar.

Criar um ponto final privado

Finalmente, deverá criar um ponto de extremidade privado na sua fábrica de dados.

1. Na página do portal do Azure para a sua fábrica de dados, selecione Rede>Ligações de pontos de extremidade privados e, em seguida, selecione + Ponto de extremidade privado.

   

2. Na aba Básico da opção Criar um ponto de extremidade privado, insira ou selecione estas informações:

   Cenário	valor
   Detalhes do projeto
   Subscrição	Selecione a sua subscrição.
   Grupo de recursos	Selecione um grupo de recursos.
   Detalhes da instância
   Nome	Insira um nome para o seu ponto de extremidade.
   Região	Selecione a região da rede virtual que você criou.

3. Selecione o separador Recurso ou o botão Avançar: Recurso na parte inferior da tela.

4. Em Recurso, insira ou selecione estas informações:

   Cenário	valor
   Método de ligação	Selecione Conectar a um recurso do Azure em meu diretório.
   Subscrição	Selecione a sua subscrição.
   Tipo de recurso	Selecione Microsoft.Datafactory/factories.
   Recurso	Selecione a sua fábrica de dados.
   Recurso secundário de destino	Se você quiser usar o ponto de extremidade privado para comunicações de comando entre o IR auto-hospedado e o Data Factory, selecione datafactory como subrecurso de destino. Se quiser usar o ponto de extremidade privado para criar e monitorizar o Data Factory na sua rede virtual, selecione portal como o Subrecurso de destino.

5. Selecione a guia Configuração ou o botão Avançar: Configuração na parte inferior da tela.

6. Em Configuração, insira ou selecione estas informações:

   Cenário	valor
   Criação de Redes
   Rede virtual	Selecione a rede virtual que criou.
   Sub-rede	Selecione a sub-rede que você criou.
   Integração com DNS privado
   Integrar com zona DNS privada	Deixe o padrão de Sim.
   Subscrição	Selecione a sua subscrição.
   Zonas DNS Privadas	Deixe o valor padrão em ambos os subrecursos de destino: 1. datafactory: (Novo) privatelink.datafactory.azure.net. 2. portal: (Novo) privatelink.adf.azure.com.

7. Selecione Analisar + criar.

8. Selecione Criar.

Restringir o acesso aos recursos do Data Factory usando o Private Link

Se você quiser restringir o acesso aos recursos do Data Factory em suas assinaturas por Link Privado, siga as etapas em Usar portal para criar um link privado para gerenciar recursos do Azure.

Problema conhecido

Você não consegue acessar cada recurso PaaS quando ambos os lados são expostos ao Private Link e a um ponto de extremidade privado. Esse problema é uma limitação conhecida do Private Link e dos pontos de extremidade privados.

Por exemplo, o cliente A está usando um link privado para acessar o portal da fábrica de dados A na rede virtual A. Quando a fábrica de dados A não bloqueia o acesso público, o cliente B pode acessar o portal da fábrica de dados A na rede virtual B via pública. Mas quando o cliente B cria um ponto de extremidade privado contra a fábrica de dados B na rede virtual B, o cliente B não pode mais acessar a fábrica de dados A via pública na rede virtual B.

Conteúdos relacionados

• Criar uma fábrica de dados usando a interface do usuário do Azure Data Factory
• Introdução ao Azure Data Factory
• Criação visual no Azure Data Factory