Partilhar via


Rede

Este artigo apresenta configurações de rede para a implantação e o gerenciamento de contas e espaços de trabalho do Azure Databricks.

Observação

O Azure Databricks cobra pelos custos de rede quando cargas de trabalho sem servidor se conectam aos recursos do cliente. Consulte Compreender os custos de rede sem servidor Databricks.

Visão geral da arquitetura do Azure Databricks

O Azure Databricks opera a partir de um plano de controle e um plano de computação.

  • O plano de controle inclui os serviços de back-end que o Azure Databricks gerencia em sua conta do Azure Databricks. A aplicação web está no plano de controle.
  • O plano de computação é onde seus dados são processados. Existem dois tipos de planos de computação, dependendo da computação que você está usando.
    • Para a computação clássica do Azure Databricks, os recursos de computação estão na sua assinatura do Azure no que é chamado de plano de computação clássico. Isso se refere à rede em sua assinatura do Azure e seus recursos. Os recursos clássicos do plano de computação estão na região em que seu espaço de trabalho está.
    • Para computação sem servidor, os recursos de computação sem servidor são executados em um plano de computação sem servidor em sua conta do Azure Databricks. Os recursos do plano de computação sem servidor estão na mesma região de nuvem que o plano de computação clássico do seu espaço de trabalho. Você seleciona essa região ao criar um espaço de trabalho.

Para saber mais sobre computação clássica e computação sem servidor, consulte Computação. Para obter informações adicionais sobre arquitetura, consulte Arquitetura de alto nível.

Proteger a conectividade de rede

O Azure Databricks fornece um ambiente de rede seguro por padrão, mas se sua organização tiver necessidades adicionais, você poderá configurar recursos de conectividade de rede entre as diferentes conexões de rede mostradas no diagrama abaixo.

Diagrama de visão geral da conectividade de rede

  1. Usuários e aplicativos para o Azure Databricks: você pode configurar recursos para controlar o acesso e fornecer conectividade privada entre os usuários e seus espaços de trabalho do Azure Databricks. Consulte Utilizadores na ligação de rede ao Azure Databricks.
  2. O plano de controle e o plano de computação clássico: recursos de computação clássicos, como clusters, são implantados em sua assinatura do Azure e se conectam ao plano de controle. Você pode usar recursos clássicos de conectividade de rede para implantar recursos clássicos do plano de computação em suas próprias redes virtuais e para habilitar a conectividade privada dos clusters para o plano de controle. Consulte Rede clássica de plano de computação.
  3. O plano de computação e o armazenamento sem servidor: você pode configurar conexões privadas e dedicadas da computação sem servidor para o armazenamento. Consulte Rede de plano de computação sem servidor.

Você pode configurar recursos de rede de armazenamento do Azure, como pontos de extremidade privados para proteger a conexão entre o plano de computação clássico e seus recursos do Azure. Consulte Conceder acesso do seu espaço de trabalho do Azure Databricks ao Armazenamento do Azure Data Lake e Recomendações de Rede para a Lakehouse Federation.

Você também pode habilitar o suporte de firewall para a conta de armazenamento do espaço de trabalho para limitar o acesso à conta a partir de redes e conexões autorizadas. Consulte Ativar suporte de firewall para sua conta de armazenamento de espaço de trabalho.

A conectividade entre o plano de controle e o plano de computação sem servidor é sempre pelo backbone de rede do Azure e não pela Internet pública.

Introdução

Compreenda a arquitetura de rede Databricks e explore conceitos-chave.

Tópico Description
Visão geral da arquitetura Databricks Saiba mais sobre o plano de controle e a arquitetura do plano de computação que formam a base da rede Databricks.
Azure Private Link Estabeleça conexões privadas entre sua rede e o Databricks usando o Azure Private Link para maior segurança.
Compreender os custos de transferência de dados e conectividade Saiba mais sobre os preços de transferência de dados e otimize os custos dos recursos de conectividade de rede.

Connectivity

Configure conexões de rede seguras para acesso de entrada a espaços de trabalho e conectividade de saída a partir de recursos de computação.

Tópico Description
Interconexão de rede front-end Configure controles de acesso à rede para usuários que se conectam a espaços de trabalho Databricks por meio da interface da Web e APIs.
Link privado front-end Habilite a conectividade privada de sua rede corporativa para espaços de trabalho Databricks usando o Azure Private Link.
Arquitetura de rede em plano de computação sem servidor Configure o acesso seguro à rede entre recursos de computação sem servidor e suas fontes de dados e serviços.
Conectividade privada com recursos do Azure Estabeleça conexões privadas da computação sem servidor para o Armazenamento do Azure, o Banco de Dados SQL e outros serviços do Azure.
Conectividade privada com recursos em sua rede virtual Conecte a computação sem servidor a recursos executados em sua própria VNet usando pontos de extremidade privados.
Gerir regras de endpoint privado Configure e gerencie regras de ponto de extremidade privado para conectividade de computação sem servidor.
Rede do plano de computação clássico Saiba mais sobre as opções de rede para recursos de computação clássicos implantados em sua rede virtual.
Implantar o Azure Databricks em sua rede virtual Hospede clusters Databricks em sua própria VNet do Azure para controle de rede aprimorado (injeção de VNet).
Redes virtuais de pares Conecte sua VNet Databricks a outras VNets em sua assinatura do Azure para acessar recursos adicionais.
Conectar um espaço de trabalho a uma rede local Estenda sua rede corporativa para Databricks usando VPN ou Azure ExpressRoute.
Link privado de back-end Estabeleça conectividade privada entre recursos de computação clássicos e o plano de controle Databricks.
Configurações de rota definidas pelo usuário Configure rotas definidas pelo usuário (UDR) para controlar o fluxo de tráfego de clusters Databricks.
Atualizar configuração de rede do espaço de trabalho Modifique as configurações de rede para espaços de trabalho existentes.
Conectividade segura de cluster Habilite a conectividade somente de saída de clusters para o plano de controle sem portas de entrada abertas.

Segurança de rede

Implemente controles de segurança para restringir e monitorar o acesso à rede.

Tópico Description
O que é o controle de saída sem servidor? Restrinja as conexões de rede de saída dos recursos de computação sem servidor para evitar a exfiltração de dados e impor a conformidade.
Gerenciar políticas de rede para controle de saída sem servidor Crie e gerencie políticas de rede que definem conexões de saída permitidas a partir da computação sem servidor.
Visão geral das listas de acesso IP Saiba como usar listas de acesso IP para controlar quais endereços IP podem acessar seus espaços de trabalho Databricks.
Listas de acesso IP para espaços de trabalho Configure controles de acesso IP no nível do espaço de trabalho para restringir o acesso de redes aprovadas.
Listas de acesso IP para o console da conta Defina restrições de IP no nível da conta que se aplicam a vários espaços de trabalho para gerenciamento centralizado de segurança.
Configurar políticas de pontos finais de serviço para acesso ao armazenamento Utilize os pontos de extremidade de serviço do Azure para proteger a conectividade entre o Databricks e as contas de armazenamento Azure.
Habilite o suporte de firewall para sua conta de armazenamento de espaço de trabalho Configure as regras de firewall do Armazenamento do Azure para permitir o acesso a partir dos recursos de computação clássicos do Databricks.
Configurar um firewall de Armazenamento do Azure para acesso à computação sem servidor Use marcas de serviço estáveis para configurar regras de firewall do Armazenamento do Azure para conectividade de computação sem servidor.
Regras de firewall de nome de domínio Configure regras de firewall baseadas em domínio para permitir serviços Databricks por meio de seus controles de segurança de rede.
Modelo ARM para suporte de firewall Use os modelos do Azure Resource Manager para automatizar a configuração de firewall para contas de armazenamento de espaço de trabalho.