Zarządzanie klastrami usługi HDInsight przy użyciu pakietu Enterprise Security

Poznaj użytkowników i role w pakiecie HDInsight Enterprise Security Package (ESP) i dowiedz się, jak zarządzać klastrami ESP.

Łączenie z klastrem przyłączonym do domeny za pomocą programu VS Code

Klaster normalny można połączyć przy użyciu nazwy użytkownika zarządzanego systemu Apache Ambari, a także połączyć klaster apache Hadoop z zabezpieczeniami przy użyciu nazwy użytkownika domeny (na przykład: user1@contoso.com).

1. Otwórz program Visual Studio Code. Upewnij się, że zainstalowano rozszerzenie Spark & Hive Tools .

2. Wykonaj kroki opisane w temacie Łączenie klastra dla programu Visual Studio Code.

Użyj IntelliJ do połączenia z klastrem przyłączonym do domeny

Klaster normalny można połączyć przy użyciu nazwy użytkownika zarządzanego systemu Ambari, a także połączyć klaster hadoop zabezpieczeń przy użyciu nazwy użytkownika domeny (na przykład: user1@contoso.com).

1. Otwórz środowisko IntelliJ IDEA. Upewnij się, że zostały spełnione wszystkie wymagania wstępne .

2. Wykonaj kroki opisane w temacie Łączenie klastra dla środowiska IntelliJ.

Łączenie z klastrem przyłączonym do domeny za pomocą programu Eclipse

Klaster normalny można połączyć przy użyciu nazwy użytkownika zarządzanego systemu Ambari, a także połączyć klaster hadoop zabezpieczeń przy użyciu nazwy użytkownika domeny (na przykład: user1@contoso.com).

1. Otwórz program Eclipse. Upewnij się, że zostały spełnione wszystkie wymagania wstępne .

2. Wykonaj kroki opisane w sekcji Łączenie klastra dla środowiska Eclipse.

Uzyskiwanie dostępu do klastrów przy użyciu pakietu Enterprise Security

Pakiet Enterprise Security (wcześniej znany jako HDInsight Premium) zapewnia dostęp wielu użytkowników do klastra, w którym uwierzytelnianie odbywa się przez usługę Active Directory i autoryzację przez listy ACL platform Apache Ranger i Storage (ADLS ACL). Autoryzacja zapewnia bezpieczne granice między wieloma użytkownikami i umożliwia dostęp do danych tylko uprzywilejowanym użytkownikom na podstawie zasad autoryzacji.

Zabezpieczenia i izolacja użytkowników są ważne dla klastra usługi HDInsight z pakietem Enterprise Security. Aby spełnić te wymagania, dostęp SSH do klastra z pakietem Enterprise Security jest obsługiwany dla użytkownika lokalnego wybranego w czasie tworzenia klastra, a także użytkowników dostępnych w usłudze AAD-DS (tj. Kerberos). W poniższej tabeli przedstawiono zalecane metody dostępu dla każdego typu klastra:

Korzystanie ze standardowych interfejsów API pomaga z punktu widzenia zabezpieczeń. Uzyskasz również następujące korzyści:

• Zarządzanie — możesz zarządzać kodem i automatyzować zadania przy użyciu standardowych interfejsów API — Livy, HS2 itp.
• Inspekcja — przy użyciu protokołu SSH nie ma możliwości przeprowadzania inspekcji, które użytkownicy SSH mają do klastra. Nie byłoby tak, gdy zadania są tworzone za pośrednictwem standardowych punktów końcowych, ponieważ będą wykonywane w kontekście użytkownika.

Korzystanie z usługi Beeline

Zainstaluj platformę Beeline na maszynie i połącz się za pośrednictwem publicznego Internetu, użyj następujących parametrów:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Jeśli masz zainstalowaną lokalnie usługę Beeline i połącz się za pośrednictwem usługi Azure Virtual Network, użyj następujących parametrów:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Aby znaleźć w pełni kwalifikowaną nazwę domeny węzła głównego, informacje znajdziesz w dokumencie Zarządzanie usługą HDInsight za pomocą interfejsu API REST Ambari (Managed HDInsight using the Ambari REST API).

Użytkownicy klastrów HDInsight z ESP

Klaster usługi HDInsight spoza esp ma dwa konta użytkowników utworzone podczas tworzenia klastra:

• Administrator systemu Ambari: to konto jest również nazywane użytkownikiem usługi Hadoop lub użytkownikiem HTTP. To konto może służyć do logowania się do systemu Ambari pod adresem https://CLUSTERNAME.azurehdinsight.net. Może być również używany do uruchamiania zapytań w widokach Ambari, wykonywania zadań za pośrednictwem narzędzi zewnętrznych (na przykład programu PowerShell, Templeton, Visual Studio) i uwierzytelniania za pomocą sterownika HIVe ODBC i narzędzi analizy biznesowej (na przykład programu Excel, usługi Power BI lub tableau).

Klaster usługi HDInsight z ESP ma trzech nowych użytkowników oprócz administratora Ambari.

• Administrator platformy Ranger: to konto jest lokalnym kontem administratora platformy Apache Ranger. Nie jest to użytkownik domeny usługi Active Directory. To konto może służyć do ustawiania zasad i ustanawiania innych użytkowników administratorami lub administratorami delegowanymi (aby oni mogli zarządzać zasadami). Domyślnie nazwa użytkownika jest administratorem , a hasło jest takie samo jak hasło administratora systemu Ambari. Hasło można zaktualizować na stronie Ustawienia w usłudze Ranger.

• pl-PL: Użytkownik domeny administratora klastra: to konto jest użytkownikiem domeny Active Directory, wyznaczonym jako administrator klastra Hadoop, w tym Ambari i Ranger. Podczas tworzenia klastra należy podać poświadczenia tego użytkownika. Ten użytkownik ma następujące uprawnienia:

  • Przyłącz maszyny do domeny i umieść je w jednostki organizacyjnej określonej podczas tworzenia klastra.
  • Utwórz zasadnicze elementy usługi w jednostce organizacyjnej określonej podczas tworzenia klastra.
  • Utwórz odwrotne wpisy DNS.

  Należy pamiętać, że inni użytkownicy usługi AD mają również te uprawnienia.

  Istnieje kilka punktów końcowych w klastrze (na przykład Templeton), które nie są zarządzane przez Rangera, a zatem są zabezpieczone. Te punkty końcowe są blokowane dla wszystkich użytkowników z wyjątkiem użytkownika domeny administratora klastra.

• Regularny: podczas tworzenia klastra można wprowadzić wiele grup Active Directory. Użytkownicy w tych grupach są synchronizowani z platformami Ranger i Ambari. Ci użytkownicy są użytkownikami domeny i mają dostęp tylko do punktów końcowych zarządzanych przez platformę Ranger (na przykład Hiveserver2). Wszystkie zasady kontroli dostępu opartej na rolach i audyt będą miały zastosowanie dla tych użytkowników.

Role klastrów usługi HDInsight z ESP

Pakiet HDInsight Enterprise Security ma następujące role:

• Administrator klastrów
• Operator klastra
• Administrator usługi
• Operator usługi
• Użytkownik klastra

Aby wyświetlić uprawnienia tych ról

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Role.

3. Wybierz niebieski znacznik zapytania, aby wyświetlić uprawnienia:

   

Otwieranie interfejsu użytkownika zarządzania systemem Ambari

1. Przejdź do https://CLUSTERNAME.azurehdinsight.net/, gdzie CLUSTERNAME to nazwa Twojego klastra.

2. Zaloguj się do systemu Ambari przy użyciu nazwy użytkownika domeny i hasła administratora klastra.

3. Wybierz menu rozwijane administratora w prawym górnym rogu, a następnie wybierz pozycję Zarządzaj Ambari.

   

   Interfejs użytkownika wygląda następująco:

   

Wyświetlanie listy użytkowników domeny synchronizowanych z usługi Active Directory

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Użytkownicy. Zobaczysz wszystkich użytkowników zsynchronizowanych z Active Directory do klastra HDInsight.

   

Wyświetlanie listy grup domen zsynchronizowanych z usługą Active Directory

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Grupy. Wszystkie grupy są synchronizowane z usługi Active Directory do klastra usługi HDInsight.

   

Konfigurowanie uprawnień widoków programu Hive

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Widoki.

3. Wybierz pozycję HIVE , aby wyświetlić szczegóły.

   

4. Wybierz link Hive View, aby skonfigurować Hive Views.

5. Przewiń do sekcji Uprawnienia.

   

6. Wybierz pozycję Dodaj użytkownika lub Dodaj grupę, a następnie określ użytkowników lub grupy, które mogą używać widoków programu Hive.

Konfigurowanie użytkowników dla ról

Aby wyświetlić listę ról i ich uprawnień, zobacz Role klastrów HDInsight z ESP.

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.
2. W menu po lewej stronie wybierz pozycję Role.
3. Wybierz pozycję Dodaj użytkownika lub Dodaj grupę , aby przypisać użytkowników i grupy do różnych ról.

Następne kroki

• Aby skonfigurować klaster usługi HDInsight z pakietem Enterprise Security, zobacz Konfigurowanie klastrów usługi HDInsight przy użyciu esp.
• Aby skonfigurować zasady Hive i uruchamiać zapytania Hive, zobacz Konfigurowanie zasad Apache Hive dla klastrów usługi HDInsight przy użyciu ESP.