Definições de rotas definidas pelo utilizador do Azure Databricks

Se seu espaço de trabalho do Azure Databricks for implantado em sua própria rede virtual (VNet), você poderá usar rotas personalizadas, também conhecidas como rotas definidas pelo usuário (UDR), para garantir que o tráfego de rede seja roteado corretamente para seu espaço de trabalho. Por exemplo, se você conectar a rede virtual à sua rede local, o tráfego poderá ser roteado pela rede local e não poderá alcançar o plano de controle do Azure Databricks. Rotas definidas pelo usuário podem resolver esse problema.

Você precisa de um UDR para cada tipo de conexão de saída da rede virtual. Você pode usar marcas de serviço do Azure e endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário. O Databricks recomenda o uso de tags de serviço do Azure para evitar interrupções de serviço devido a alterações de IP.

Configurar rotas definidas pelo usuário com marcas de serviço do Azure

O Databricks recomenda que você use marcas de serviço do Azure, que representam um grupo de prefixos de endereço IP de um determinado serviço do Azure. A Microsoft gerencia os prefixos de endereço incluídos pela etiqueta de serviço e atualiza automaticamente a etiqueta de serviço à medida que os endereços mudam. Isso ajuda a evitar interrupções de serviço devido a alterações de IP e elimina a necessidade de pesquisar periodicamente esses IPs e atualizá-los em sua tabela de rotas. No entanto, se as políticas da sua organização não permitirem marcas de serviço, você poderá, opcionalmente , especificar as rotas como endereços IP.

Usando tags de serviço, suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

*A etiqueta de serviço é necessária para clientes do Azure Government. Os clientes de nuvem pública devem ignorar essa etapa.

A marca de serviço Azure Databricks representa endereços IP para as conexões de saída necessárias para o plano de controle do Azure Databricks, a conectividade de cluster seguro (SCC) e a aplicação web Azure Databricks.

A tag de serviço Azure SQL representa endereços IP para as conexões externas necessárias ao metastore Azure Databricks, e a tag de serviço Azure Storage representa endereços IP para armazenamento de Blobs de artefatos e de logs. A etiqueta de serviço Azure Event Hubs representa as ligações de saída necessárias para o registo no Azure Event Hub.

Algumas tags de serviço permitem um controle mais granular restringindo intervalos de IP a uma região especificada. Por exemplo, uma tabela de rotas para um espaço de trabalho do Azure Databricks nas regiões Oeste dos EUA pode ter a seguinte aparência:

Para obter as tags de serviço necessárias para rotas definidas pelo usuário, consulte Tags de serviço de rede virtual.

Configurar rotas definidas pelo usuário com endereços IP

O Databricks recomenda que você use marcas de serviço do Azure, mas se as políticas da sua organização não permitirem marcas de serviço, você poderá usar endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário.

Os detalhes variam de acordo com se a SCC (conectividade segura de cluster) está habilitada para o espaço de trabalho:

• Se a conectividade de cluster seguro estiver habilitada para o espaço de trabalho, você precisará de um UDR para permitir que os clusters se conectem à retransmissão de conectividade de cluster seguro no plano de controle. Certifique-se de incluir os sistemas marcados como IP de relé SCC para a sua região.
• Se a conectividade de cluster seguro estiver desabilitada para o espaço de trabalho, haverá uma conexão de entrada do NAT do Plano de Controle, mas o TCP SYN-ACK de baixo nível para essa conexão tecnicamente são dados de saída que exigem um UDR. Certifique-se de incluir os sistemas marcados como Plano de Controle NAT IP para a sua região.

Suas rotas definidas pelo usuário devem usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Se o Azure Private Link estiver habilitado em seu espaço de trabalho, suas rotas definidas pelo usuário deverão usar as seguintes regras e associar a tabela de rotas às sub-redes públicas e privadas da sua rede virtual.

Para obter os endereços IP necessários para as rotas definidas pelo utilizador, utilize as tabelas e instruções nas regiões do Azure Databricks, especificamente:

• Endereços do plano de controle do Azure Databricks
• Endereço IP de armazenamento raiz DBFS
• Metastore, armazenamento de blobs de artefatos, armazenamento de tabelas de sistema, armazenamento de blobs de logs e endereços IP do ponto final dos Hubs de Eventos