Freigeben über

Deaktivieren des Zugriffs auf den von Ihrem Azure Databricks-Arbeitsbereich verwendeten Hive-Metastore

Auf dieser Seite wird beschrieben, wie Sie den direkten Zugriff auf den legacy-Hive-Metaspeicher deaktivieren, der von Ihrem Azure Databricks-Arbeitsbereich verwendet wird, unabhängig davon, ob der metastore "workspace-local Hive" oder ein externer Hive-Metaspeicher. Wenn Sie Ihre Unity-Katalogmigration abgeschlossen oder Ihren Hive-Metaspeicher als fremder Katalog verknüpft haben, der vom Unity-Katalog gesteuert wird, können Sie eine einfache Arbeitsbereichsadministratoreinstellung verwenden, um zu verhindern, dass Benutzer Unity-Katalog umgehen und auf Tabellen zugreifen, die im Hive-Metastore registriert sind.

Daten im Hive-Metaspeicher unterliegen nicht dem Unity-Katalog. Das Deaktivieren des direkten Hive-Metastore-Zugriffs ist ein wichtiger Schritt bei der Migration zu Unity Catalog und um sicherzustellen, dass Sie die Unity Catalog-Datenverwaltung optimal nutzen. Sie können den direkten Zugriff deaktivieren und weiterhin Tabellen abfragen, die von Ihrem Hive-Metastore verwaltet werden, indem Sie den Hive-Metastore-Partnerverbund nutzen. Sie können Hive-Metaspeichertabellen entweder vor oder nach dem Deaktivieren des direkten Arbeitsbereichzugriffs auf den Hive-Metaspeicher verbinden. Siehe Aktualisieren eines vorhandenen Arbeitsbereichs auf Unity Catalog und Hive-Metastore-Föderation: Aktivieren Sie Unity Catalog zur Verwaltung von in einem Hive-Metastore registrierten Tabellen.

Von Bedeutung

Selbst nach der Migration zum Unity-Katalog stellen Azure Databricks-Computecluster standardmäßig eine Verbindung mit dem Hive-Metaspeicher her, es sei denn, Sie deaktivieren den Hive-Metastore-Zugriff explizit. Um zu verhindern, dass die Wartung des Hive-Metastores Auswirkungen auf Ihre Unity-Katalogarbeitslasten hat, können Sie den direkten Zugriff auf den Hive-Metaspeicher für alle Cluster und Workloads gleichzeitig deaktivieren (Deaktivieren Sie den gesamten direkten Zugriff auf den Hive-Metastore), oder verwenden Sie eine Spark-Konfiguration, um den Zugriff auf Cluster-nach-Cluster-Basis zu deaktivieren (Deaktivieren Sie den gesamten direkten Zugriff auf den Hive-Metastore).

Um den Zugriff auf den Hive-Metastore auf Kontoebene für neue Arbeitsbereiche zu deaktivieren, verwenden Sie die Kontoeinstellung "Veraltete Funktionen deaktivieren".

Bevor Sie beginnen: Wann sollten Sie den Legacymetastore deaktivieren?

Bevor Sie den legacy-Hive-Metaspeicher deaktivieren, sollten Sie die folgenden Kriterien erfüllen:

  • Sie haben die Migration aller Tabellen abgeschlossen, die im Legacy-Metastore zum Unity-Katalog registriert sind, oder Sie haben Unity-Katalog und nie den älteren Hive-Metaspeicher verwendet.
  • Sie möchten ihre Benutzer zwingen, die Verwendung von Tabellen zu beenden, die im Legacymetastore registriert sind.
  • Sie haben alle Aufträge auf Databricks Runtime 13.3 LTS oder höher aktualisiert.

Was geschieht, wenn Sie den Legacymetastore deaktivieren?

Nachdem Sie den Legacy-Metaspeicher deaktiviert haben:

  • Alle Aufträge, die für Tabellen ausgeführt werden, die im Hive-Metastore registriert sind, schlagen fehl.

  • Fallback ist deaktiviert.

  • Aufträge, die unter 13.3 auf Databricks-Runtime-Versionen ausgeführt werden, schlagen fehl.

    Derzeit ausgeführte Aufträge funktionieren weiterhin, bis sie beendet werden, aber Neustarts in diesen Clustern schlagen fehl.

  • Die Überschrift "Legacy" und hive_metastore "Katalog" werden im Browserbereich "Katalog-Explorer" ausgeblendet.

  • SQL-Befehle, die versuchen, den Inhalt des hive_metastore Katalogs anzuzeigen, schlagen fehl.

Note

Das Deaktivieren des Legacyzugriffs verhindert nicht, dass Benutzende Anmeldeinformationen auf Clusterebene verwenden, z. B. Dienstprinzipale, die in einem Cluster verfügbar sind. Databricks empfiehlt, diese Anmeldeinformationen aus Ihren Clustern zu entfernen.

Keine gemeinsame Isolation Cluster beachten nicht die Einstellung für die Deaktivierung des Hive-Metaspeichers (Legacy). Um zu verhindern, dass Benutzer solche Cluster erstellen und verwenden, aktivieren Sie die Einstellung " Benutzerisolation erzwingen " für den Arbeitsbereich. Siehe Erzwingen von Benutzerisolationsclustertypen in einem Arbeitsbereich.

Deaktivieren des gesamten direkten Zugriffs auf den Hive-Metaspeicher

Deaktivieren Sie den Legacy-Hive-Metastore Ihres Arbeitsbereichs mithilfe der Administrationseinstellung Legacyzugriff deaktivieren für den Arbeitsbereich:

  1. Melden Sie sich als Arbeitsbereichsadministrator bei Ihrem Azure Databricks-Arbeitsbereich an.
  2. Klicken Sie oben rechts auf das Benutzerprofilmenü, und wählen Sie im Menü "Einstellungen" aus.
  3. Go bis Arbeitsbereich-Verwalter > Sicherheit.
  4. Stellen Sie Legacy-Zugriff deaktivieren auf "Deaktiviert" ein: Legacy-Zugriffsmerkmale können nicht verwendet werden.
  5. Um sicherzustellen, dass die neue Einstellung wirksam wurde, warten Sie ungefähr fünf Minuten.
  6. Starten Sie alle ausgeführten Cluster neu.

Deaktivieren des Zugriffs für einzelne Computecluster

Sie können auch den direkten Zugriff auf den Hive-Metastore schrittweise auf Clusterbasis deaktivieren. Dieser Ansatz kann während einer Unity-Katalogmigration hilfreich sein, wenn Sie die Abhängigkeit vom Hive-Metaspeicher inkrementell reduzieren möchten, bis Sie ihn für den gesamten Arbeitsbereich deaktivieren können.

Um den direkten Zugriff zu deaktivieren, legen Sie die folgenden Spark-Konfigurationen im Cluster fest:

spark.databricks.unityCatalogOnlyMode True
spark.databricks.sql.initial.catalog.namespace <catalog-name>

Ersetzen Sie <catalog-name> durch den Namen eines Unity Katalogs, der in Ihrem Metastore vorhanden ist. Wenn Sie den Modus "Nur Unity-Katalog" aktivieren, müssen Sie auch einen anfänglichen Katalog festlegen, da der Cluster nicht mehr als Standardkatalog verwenden kann.

  • Last updated on