Einführung

  • 2 Minuten

Azure Databricks ist eine cloudbasierte Datenplattform, die das Beste aus Datentechnik, Data Science und maschinellem Lernen in einem einzigen, einheitlichen Arbeitsbereich vereint. Auf Apache Spark basiert, ermöglicht es Organisationen, massive Datenmengen in Echtzeit einfach zu verarbeiten, zu analysieren und zu visualisieren.

Diagramm mit einer Übersicht über Azure Databricks.

Durch die Verbindung mit einer vielzahl von Datenquellen – von Cloudanbietern wie Azure SQL-Datenbank, Amazon S3 und Google Cloud Storage bis hin zu Unternehmenssystemen wie SAP und Oracle – erleichtert Azure Databricks die Integration und Transformation von Daten von überall aus.

Sobald Daten aufgenommen wurden, können Teams über Vertriebs-, Marketing-, Operations-, Finanz-, Personal- und Nachhaltigkeit hinweg Databricks für erweiterte Analysen, maschinelles Lernen, Business Intelligence und KI-gesteuerte Erkenntnisse verwenden.

Im Kern hilft Azure Databricks Organisationen bei:

  • Integrieren von Daten aus mehreren Quellen
  • Ingenieur und Umwandeln von Rohdaten in verwendbare Formate
  • Effizientes Speichern und Verwalten von Daten mit Governance und Sicherheit
  • Anwenden von Echtzeitanalysen, maschinellem Lernen und KI-Modellen
  • Fördern sie bessere Geschäftsentscheidungen und Ergebnisse

Data Lakehouse

Ein Data Lakehouse ist ein Datenmanagementansatz, der die Stärken von Datenseen und Data Warehouses vereint. Es bietet skalierbare Speicher- und Verarbeitungsvorgänge, sodass Organisationen verschiedene Workloads wie Maschinelles Lernen und Business Intelligence verarbeiten können, ohne sich auf separate, getrennte Systeme zu verlassen. Durch die Zentralisierung von Daten unterstützt ein Seehaus eine einzige Wahrheitsquelle, reduziert doppelte Kosten und stellt sicher, dass Informationen auf dem neuesten Stand bleiben.

Viele Seehäuser folgen einem gestaffelten Entwurfsmuster, bei dem Daten schrittweise verbessert, bereichert und verfeinert werden, während sie durch verschiedene Verarbeitungsphasen bewegt werden. Dieser mehrschichtige Ansatz , der häufig als Medallion-Architektur bezeichnet wird, organisiert Daten in Phasen, die aufeinander aufbauen, wodurch es einfacher zu verwalten und effektiv zu verwenden ist.

Das Databricks Lakehouse verwendet zwei Schlüsseltechnologien:

  • Delta Lake: eine optimierte Speicherebene, die ACID-Transaktionen und Schemaerzwingung unterstützt.
  • Unity-Katalog: eine einheitliche, differenzierte Governance-Lösung für Daten und KI.