Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Usługa Azure Synapse Analytics umożliwia różnym aparatom obliczeniowym obszaru roboczego udostępnianie baz danych i tabel między pulami platformy Apache Spark i bezserwerową pulą SQL.
The sharing supports the so-called modern data warehouse pattern and gives the workspace SQL engines access to databases and tables created with Spark. Umożliwia również aparatom SQL tworzenie własnych obiektów, które nie są udostępniane innym aparatom.
Obsługa nowoczesnego magazynu danych
Model udostępnionych metadanych obsługuje nowoczesny wzorzec magazynu danych w następujący sposób:
Data from the data lake is prepared and structured efficiently with Spark by storing the prepared data in (possibly partitioned) Parquet-backed tables contained in possibly several databases.
The Spark created databases and all their tables become visible in any of the Azure Synapse workspace Spark pool instances and can be used from any of the Spark jobs. Ta możliwość podlega uprawnieniom, ponieważ wszystkie pule Spark w obszarze roboczym współdzielą ten sam podstawowy magazyn metadanych katalogu.
The Spark created databases and their Parquet-backed or CSV-backed tables become visible in the workspace serverless SQL pool. Bazy danych są tworzone automatycznie w metadanych bezserwerowej puli SQL, a zarówno zewnętrzne, jak i zarządzane tabele utworzone przez zadanie platformy Spark są dostępne jako tabele zewnętrzne w bezserwerowych metadanych puli SQL w
dboschemacie odpowiedniej bazy danych.
Synchronizacja obiektów odbywa się asynchronicznie. Obiekty będą miały niewielkie opóźnienie w ciągu kilku sekund, dopóki nie pojawią się w kontekście SQL. Po ich pojawieniu się można wykonywać zapytania, ale nie są aktualizowane ani zmieniane przez aparaty SQL, które mają do nich dostęp.
Udostępnione obiekty metadanych
Platforma Spark umożliwia tworzenie baz danych, tabel zewnętrznych, tabel zarządzanych i widoków. Since Spark views require a Spark engine to process the defining Spark SQL statement, and cannot be processed by a SQL engine, only databases and their contained external and managed tables that use the Parquet or CSV storage format are shared with the workspace SQL engine. Spark views are only shared among the Spark pool instances.
Model zabezpieczeń na pierwszy rzut oka
The Spark databases and tables, along with their synchronized representations in the SQL engine, are secured at the underlying storage level. When the table is queried by any of the engines that the query submitter has the right to use, the query submitter's security principal is being passed through to the underlying files. Uprawnienia są sprawdzane na poziomie systemu plików.
Aby uzyskać więcej informacji, zobacz Udostępniona baza danych usługi Azure Synapse Analytics.
Change maintenance
Jeśli obiekt metadanych zostanie usunięty lub zmieniony za pomocą platformy Spark, zmiany zostaną pobrane i rozpropagowane do bezserwerowej puli SQL. Synchronizacja jest asynchroniczna i zmiany są odzwierciedlane w aparacie SQL po krótkim opóźnieniu.