Datenentdeckung und Zusammenarbeit im Lakehouse

Databricks ermöglicht eine sichere, geregelte Zusammenarbeit über Daten, Analysen und KI-Workloads im Lakehouse hinweg. Mithilfe von Unity Catalog und offenen Protokollen wie Delta Sharing können Teams Daten in großem Umfang ermitteln, freigeben und analysieren, während dabei die Governance, Nachvollziehbarkeit und Datenschutz über Anwendungsfälle und Zusammenarbeit hinweg aufrechterhalten wird.

Verwalten von Berechtigungen im großen Maßstab

Unity Catalog bietet Administratoren einen einheitlichen Speicherort, um Katalogen, Datenbanken, Tabellen und Ansichten Berechtigungen für Benutzergruppen zuzuweisen. Berechtigungen und Metastores werden über Arbeitsbereiche hinweg freigegeben, sodass Administratoren einmal sichere Berechtigungen für Gruppen festlegen können, die von Identitätsanbietern synchronisiert werden, und wissen, dass Endbenutzer nur Zugriff auf die richtigen Daten in jedem von ihnen eingegebenen Azure Databricks-Arbeitsbereich haben.

Der Unity-Katalog ermöglicht Administratoren auch das Definieren von Speicheranmeldeinformationen, eine sichere Methode zum Speichern und Freigeben von Berechtigungen für die Cloudspeicherinfrastruktur. Sie können Berechtigungen für diese Sicherheitsobjekte erteilen, damit Benutzer in der Organisation externe Speicherorte für Cloud-Objektspeicherorte definieren können. So können Datentechniker neue Workloads eigenständig bearbeiten, ohne erhöhte Berechtigungen in Cloud-Konten-Konsolen gewähren zu müssen.

Entdecken von Daten zu Azure Databricks

Benutzer können verfügbare Datenobjekte im Unity-Katalog mit Katalog-Explorerdurchsuchen. Der Katalog-Explorer verwendet die von Unity-Katalogadministratoren konfigurierten Berechtigungen, um sicherzustellen, dass Benutzer nur Kataloge, Datenbanken, Tabellen und Ansichten anzeigen können, die über die Berechtigung zum Abfragen verfügen. Sobald Benutzer ein interessantes Dataset gefunden haben, können sie Feldnamen und -typen überprüfen, Kommentare zu Tabellen und einzelnen Feldern lesen und eine Vorschau einer Stichprobe der Daten anzeigen. Benutzer können auch den vollständigen Verlauf der Tabelle überprüfen, um zu verstehen, wann und wie sich Daten geändert haben, und mit dem Feature "Lineage" können Benutzer nachverfolgen, wie bestimmte Datasets aus upstream-Aufträgen abgeleitet und in nachgelagerten Aufträgen verwendet werden.

Speicheranmeldeinformationen und externe Speicherorte werden auch im Katalog-Explorer angezeigt, sodass jeder Benutzer die Berechtigungen sehen kann, die er benötigt, um Daten über verfügbare Speicherorte und Ressourcen hinweg lesen und schreiben zu können.

Verkürzen der Zeit bis zur Produktion mit einem Lakehouse

Azure Databricks unterstützt Workloads in SQL, Python, Scala und R, sodass Benutzer mit unterschiedlichen Fähigkeiten und technischen Hintergründen ihre Kenntnisse nutzen können, um analytische Erkenntnisse abzuleiten. Sie können alle von Azure Databricks unterstützten Sprachen verwenden, um Produktionsaufträge zu definieren, und Notizbücher können eine Kombination aus Sprachen verwenden. Dies bedeutet, dass Sie Abfragen, die von SQL-Analysten für ETL für die letzte Meile geschrieben wurden, in Produktionsdaten-Engineering-Code mit fast keinem Aufwand heraufstufen können. Abfragen und Arbeitslasten, die von Personas in der gesamten Organisation definiert werden, verwenden dieselben Datasets, daher müssen keine Feldnamen abgeglichen werden, oder stellen Sie sicher, dass Dashboards auf dem neuesten Stand sind, bevor Sie Code und Ergebnisse für andere Teams freigeben. Sie können Code, Notizbücher, Abfragen und Dashboards sicher freigeben, die alle von derselben skalierbaren Cloudinfrastruktur unterstützt und für die gleichen kuratierten Datenquellen definiert sind.