Łączenie obszaru roboczego usługi Azure Databricks z siecią lokalną

W tym artykule pokazano, jak ustanowić łączność z obszaru roboczego usługi Azure Databricks do sieci lokalnej. Ruch jest kierowany przez tranzytową sieć wirtualną (VNet) do sieci lokalnej przy użyciu następującej topologii piasty i szprych.

Jeśli potrzebujesz pomocy, postępując zgodnie z tym przewodnikiem, skontaktuj się z zespołami ds. kont firmy Microsoft i usługi Databricks.

Wymagania

Obszar roboczy usługi Azure Databricks musi zostać wdrożony we własnej sieci wirtualnej, nazywanej również iniekcją VNet.

Krok 1. Konfigurowanie tranzytowej sieci wirtualnej przy użyciu bramy sieci wirtualnej Azure

Potrzebujesz bramy usługi Azure - Virtual Network Gateway (ExpressRoute lub VPN) w sieci wirtualnej tranzytowej, skonfigurowanej przy użyciu jednej z tych metod. Jeśli masz już odpowiednią bramę, przejdź do Połączenie sieci wirtualnej Azure Databricks z tranzytową siecią wirtualną.

Jeśli masz już skonfigurowaną usługę ExpressRoute między siecią lokalną a platformą Azure, wykonaj procedurę opisaną w Konfigurowanie bramy sieci wirtualnej dla usługi ExpressRoute przy użyciu witryny Azure Portal.

W przeciwnym razie wykonaj kroki 1–5 w temacie Konfigurowanie połączenia bramy sieci VPN między sieciami wirtualnymi przy użyciu witryny Azure Portal.

Jeśli potrzebujesz pomocy, skontaktuj się z zespołem kont Microsoft.

Krok 2. Zestawienie połączenia sieci wirtualnej usługi Azure Databricks z siecią wirtualną tranzytującą ruch

Jeśli obszar roboczy usługi Azure Databricks znajduje się w tej samej sieci wirtualnej co brama sieci wirtualnej, przejdź do sekcji Tworzenie tras zdefiniowanych przez użytkownika i skojarz je z podsieciami sieci wirtualnej usługi Azure Databricks.

W przeciwnym razie postępuj zgodnie z instrukcjami w Peeringu sieci wirtualnych, aby połączyć VNet usługi Azure Databricks z siecią tranzytową, wybierając następujące opcje:

• Użyj bram zdalnych po stronie sieci wirtualnej usługi Azure Databricks.
• Zezwalaj na tranzyt bramy po stronie tranzytowej sieci wirtualnej.

Aby uzyskać szczegółowe informacje, zobacz Tworzenie peeringu.

Aby uzyskać informacje na temat konfigurowania tranzytu bramy sieci VPN dla peeringu sieci wirtualnych, zobacz Konfigurowanie tranzytu bramy sieci VPN na potrzeby peeringu sieci wirtualnych.

Krok 3. Tworzenie tras zdefiniowanych przez użytkownika i kojarzenie ich z podsieciami sieci wirtualnej usługi Azure Databricks

Po sparowaniu sieci wirtualnej Azure Databricks z tranzytową siecią wirtualną, platforma Azure automatycznie konfiguruje wszystkie trasy przy użyciu tranzytowej sieci wirtualnej. Konfiguracja automatyczna nie obejmuje trasy powrotnej z węzłów klastra do płaszczyzny sterowania usługi Azure Databricks. Te trasy niestandardowe należy utworzyć ręcznie przy użyciu tras zdefiniowanych przez użytkownika.

1. Utwórz tabelę tras, włączając propagację tras BGP.

   Uwaga

   W niektórych przypadkach propagacja tras protokołu BGP powoduje błędy podczas weryfikowania konfiguracji połączenia sieciowego lokalnego. W ostateczności można wyłączyć propagację tras protokołu BGP.

2. Dodaj trasy zdefiniowane przez użytkownika dla następujących usług, korzystając z instrukcji w Trasach niestandardowych.

   Jeśli włączono bezpieczną łączność klastra (SCC) dla obszaru roboczego, użyj adresu IP przekaźnika SCC, a nie adresu IP NAT płaszczyzny kontrolnej.

   Źródło	Prefiks adresu	Typ następnego przeskoku
   Domyślne	Adres IP NAT płaszczyzny sterowania &#xNAN; (Tylko wtedy, gdy SCC jest wyłączona)	Internet
   Domyślne	Adres IP przekaźnika SCC &#xNAN; (Tylko w przypadku włączenia SCC)	Internet
   Domyślne	Adres IP aplikacji internetowej	Internet
   Domyślne	Adres IP magazynu metadanych	Internet
   Domyślne	IP magazynu Artifact Blob	Internet
   Domyślne	Rejestruj IP magazynu Blob	Internet
   Domyślne	Adres IP magazynu przestrzeni roboczej (ADLS)	Internet
   Domyślne	Adres IP przechowywania obszarów roboczych (Blob) dla obszarów roboczych utworzonych przed 6 marca 2023 r.	Internet
   Domyślne	Event Hubs IP	Internet

   Aby uzyskać adresy IP dla każdej z tych usług, postępuj zgodnie z instrukcjami w ustawienia tras definiowanych przez użytkownika dla usługi Azure Databricks.

   Jeśli trasa oparta na adresie IP zakończy się niepowodzeniem podczas walidacji konfiguracji, możesz utworzyć punkt końcowy usługi dla Microsoft.Storage, aby kierować cały ruch magazynu obszaru roboczego za pośrednictwem sieci szkieletowej platformy Azure. Jeśli używasz tej metody, nie musisz tworzyć tras użytkownika dla przechowywania danych w obszarze roboczym.

   Uwaga

   Aby uzyskać dostęp do innych usług danych platformy Azure PaaS, takich jak Cosmos DB lub Azure Synapse Analytics, z usługi Azure Databricks, musisz dodać trasy zdefiniowane przez użytkownika dla tych usług do tabeli tras. Rozwiąż każdy punkt końcowy do jego adresu IP przy użyciu nslookup lub równoważnego polecenia.

3. Skojarz tabelę tras z podsieciami publicznymi i prywatnymi sieci wirtualnej usługi Azure Databricks, korzystając z instrukcji w Kojarzenie tabeli tras z podsiecią.

   Po przypisaniu niestandardowej tabeli tras do podsieci VNet usługi Azure Databricks nie trzeba edytować reguł zabezpieczeń ruchu wychodzącego w grupie zabezpieczeń sieciowych. Na przykład nie trzeba bardziej precyzować reguły ruchu wyjściowego, ponieważ trasy będą kontrolować rzeczywisty ruch wyjściowy.

Krok 4. Weryfikowanie konfiguracji

Aby zweryfikować konfigurację:

1. Utwórz klaster w obszarze roboczym usługi Azure Databricks.

   Jeśli tworzenie klastra zakończy się niepowodzeniem, zapoznaj się z instrukcjami konfiguracji, próbując jedną po kolei uruchomić alternatywne opcje konfiguracji.

   Jeśli nadal nie możesz utworzyć klastra, sprawdź, czy tabela tras zawiera wszystkie wymagane trasy zdefiniowane przez użytkownika. Jeśli używasz punktów końcowych usługi, a nie tras zdefiniowanych przez użytkownika dla usługi ADLS (w przypadku obszarów roboczych utworzonych przed 6 marca 2023 r., Azure Blob Storage), sprawdź również te punkty końcowe.

   Jeśli nadal nie możesz utworzyć klastra, skontaktuj się z zespołami ds. kont firmy Microsoft i usługi Databricks, aby uzyskać pomoc.

2. Wyślij polecenie ping do lokalnego adresu IP z komputera przenośnego przy użyciu następującego polecenia:

   %sh
   ping <IP>
   

Aby uzyskać więcej wskazówek dotyczących rozwiązywania problemów, zobacz następujące zasoby:

• Wdrażanie usługi Azure Databricks w sieci wirtualnej platformy Azure (iniekcja sieci wirtualnej)
• Rozwiązywanie problemu

Opcjonalne kroki konfiguracji

Opcja: kierowanie ruchu usługi Azure Databricks przy użyciu urządzenia wirtualnego lub zapory

Cały ruch wychodzący można filtrować z węzłów klastra usługi Azure Databricks przy użyciu zapory lub urządzenia DLP, takiego jak Azure Firewall, Palo Alto lub Barracuda. Dzięki temu można sprawdzić ruch wychodzący w celu spełnienia zasad zabezpieczeń oraz dodać jeden publiczny adres IP typu NAT lub CIDR dla wszystkich klastrów do listy dozwolonych.

Dostosuj następujące kroki zgodnie z potrzebami dla zapory lub urządzenia DLP:

1. Skonfiguruj urządzenie wirtualne lub zaporę w ramach tranzytowej sieci VNet, korzystając z instrukcji w Tworzenie NVA.

   Jeśli potrzebujesz jednej konfiguracji zapory dla wielu obszarów roboczych, możesz skonfigurować zaporę w bezpiecznej podsieci lub podsieci DMZ w sieci wirtualnej usługi Azure Databricks, która jest oddzielona od istniejących podsieci prywatnych i publicznych.

2. Utwórz dodatkową trasę w niestandardowej tabeli tras do 0.0.0.0/0.

   • Ustaw typ Następnego przeskoku na "Urządzenie wirtualne".

   • Ustaw adres następnego przeskoku.

     Nie usuwaj tras utworzonych w kroku 3. Tworzenie tras zdefiniowanych przez użytkownika i kojarzenie ich z podsieciami sieci wirtualnej usługi Azure Databricks z jednym wyjątkiem: jeśli cały ruch obiektów blob musi być kierowany przez zaporę, możesz usunąć trasy dla ruchu obiektów blob.

3. Jeśli używasz podejścia bezpiecznego lub podsieci DMZ, możesz utworzyć dodatkową tabelę tras skojarzona wyłącznie z podsiecią DMZ. W tej tabeli tras utwórz trasę do 0.0.0.0.

   Ustaw typ następnego przeskoku tej trasy na Internet, jeśli ruch jest przeznaczony dla sieci publicznej, lub na Bramę Sieci Wirtualnej, jeśli ruch jest przeznaczony dla sieci lokalnej.

4. Skonfiguruj reguły zezwalania i odmowy na urządzeniu zapory.

   Jeśli usunąłeś trasy dla usługi Blob storage, dodaj te trasy do listy dozwolonych w zaporze.

   Jeśli klastry zależą od repozytoriów publicznych, takich jak repozytoria systemu operacyjnego lub rejestry kontenerów, dodaj je do listy dozwolonych.

   Aby uzyskać informacje o listach dozwolonych, zobacz Ustawienia tras zdefiniowane przez użytkownika dla usługi Azure Databricks.

Opcja: Konfigurowanie niestandardowego systemu DNS

Możesz użyć niestandardowego systemu DNS z obszarami roboczymi usługi Azure Databricks wdrożonymi we własnej sieci wirtualnej. Aby uzyskać więcej informacji na temat konfigurowania niestandardowego systemu DNS dla sieci wirtualnej platformy Azure, zobacz następujące artykuły firmy Microsoft:

• Rozpoznawanie nazw używające własnego serwera DNS
• Określanie serwerów DNS