Partager via

Interopérabilité du format de table Delta Lake

Dans Microsoft Fabric, le format de table Delta Lake est la norme pour l’analytique. Delta Lake est une couche de stockage open source qui apporte des transactions ACID (Atomicité, Cohérence, Isolation, Durabilité) aux charges de travail Big Data et aux charges de travail analytiques.

Toutes les expériences Fabric génèrent et consomment en mode natif des tables Delta Lake, ce qui offre une expérience de produit unifiée. Les tables Delta Lake produites par un moteur de calcul, comme Fabric Data Warehouse ou Synapse Spark, peuvent être consommées par n’importe quel autre moteur, tel que Power BI. Lorsque vous ingérez des données dans Fabric, Fabric les stocke sous forme de tables Delta par défaut. Vous pouvez facilement intégrer des données externes contenant des tables Delta Lake à l’aide de raccourcis OneLake.

Fonctionnalités Delta Lake et expériences Fabric

Pour obtenir l’interopérabilité, toutes les expériences Fabric s’alignent sur les fonctionnalités Delta Lake et les capacités Fabric. Certaines expériences peuvent uniquement écrire dans des tables Delta Lake, tandis que d’autres peuvent les lire.

  • Writers: entrepôts de données, flux d’événements et modèles sémantiques Power BI exportés dans OneLake
  • Lecteurs : point de terminaison d’analytique SQL et modèles sémantiques de lac direct PowerBI
  • Enregistreurs et lecteurs : bases de données kQL (Fabric Spark runtime, flux de données, pipelines et langage de requête Kusto)

La matrice suivante montre les principales fonctionnalités Delta Lake et sa disponibilité sur chaque expérience Fabric.

Fonctionnalité Fabric Mappages de colonnes Vecteurs de suppression Enregistrement V-Order Optimisation et maintenance des tables Partitions Clustering liquide TIMESTAMP_NTZ Version du lecteur/enregistreur Delta et fonctionnalités de table par défaut
Exportation de l’entrepôt de données Delta Lake Nom : Oui
ID : Non		 Oui Oui Oui Lecture : N/A (non applicable)
Écriture : Non		 Non Non Lecteur : 3
Auteur : 7
Vecteurs de suppression,
Mappages de colonnes (nom)
Point de terminaison des analyses SQL Nom : Oui
ID : Non		 Oui N/A (non applicable) N/A (non applicable) Lecture : Oui
Écriture : N/A (non applicable)		 Oui Non N/A (non applicable)
Explorateur et aperçu du Lakehouse Nom : Oui
ID : Non		 Oui N/A (non applicable) Oui Lecture : Oui
Écriture : N/A (non applicable)		 Oui Oui N/A (non applicable)
Fabric Spark Runtime 1.3 Nom : Oui
ID : Oui		 Oui Oui Oui Lecture : Oui
Écriture : Oui		 Oui Oui Lecteur :1
Auteur : 2
Fabric Spark Runtime 1.2 Nom : Oui
ID : Oui		 Oui Oui Oui Lecture : Oui
Écriture : Oui		 Oui, en lecture seule Oui Lecteur :1
Auteur : 2
Fabric Spark Runtime 1.1 Nom : Oui
ID : Oui		 Non Oui Oui Lecture : Oui
Écriture : Oui		 Oui, en lecture seule Non Lecteur :1
Auteur : 2
Flux de données Gen2 Nom : Oui
ID : Non		 Oui Oui Non Lecture : Oui
Écriture : Oui		 Oui, en lecture seule Non Lecteur :1
Auteur : 2
Pipelines Nom : Non
ID : Non		 Non Oui Non Lecture : Oui
Écriture : Oui, remplacer uniquement		 Oui, en lecture seule Non Lecteur :1
Auteur : 2
Modèles sémantiques Power BI Direct Lake Nom : Oui
ID : Oui		 Oui N/A (non applicable) N/A (non applicable) Lecture : Oui
Écriture : N/A (non applicable)		 Oui Non N/A (non applicable)
Exporter des modèles sémantiques Power BI dans OneLake Nom : Oui
ID : Non		 N/A (non applicable) Oui Non Lecture : N/A (non applicable)
Écriture : Non		 Non Non Lecteur : 2
Auteur : 5
Mappages de colonnes (nom)
Bases de données KQL Nom : Oui
ID : Non		 Oui Non Non* Lecture : Oui
Écriture : Oui		 Non Non Lecteur :1
Auteur : 1
Flux d’événements Nom : Non
ID : Non		 Non Non Non Lecture : N/A (non applicable)
Écriture : Oui		 Non Non Lecteur :1
Auteur : 2

* bases de données KQL fournissent certaines fonctionnalités de maintenance de table telles que de rétention. Les données sont supprimées à la fin de la période de rétention de OneLake. Pour plus d’informations, consultez One Logical Copy.

Remarque

  • Fabric n’écrit pas de mappages de colonnes par défaut, sauf indication contraire. L’expérience Fabric par défaut génère des tables compatibles entre le service. Les tables Delta Lake produites par des services tiers peuvent avoir des fonctionnalités de table incompatibles.
  • Certaines expériences Fabric ne proposent pas de fonctionnalités d’optimisation de table et de maintenance, telles que le compactage par bloc, l'ordonnancement en V, la fusion de vecteurs de suppression (PURGE) et le nettoyage des anciens fichiers non référencés (VACUUM). Pour optimiser les tables Delta Lake pour l’analytique, suivez les techniques décrites dans Utiliser la fonctionnalité de maintenance de table pour gérer les tables delta dans Fabric pour les tables ingérées qui utilisent ces expériences.

Limitations actuelles

Actuellement, Fabric ne prend pas en charge ces fonctionnalités Delta Lake :

  • Les points de contrôle V2 ne sont pas uniformément disponibles dans toutes les expériences. Seuls les blocs-notes Spark et les travaux Spark peuvent lire et écrire dans des tables avec des points de contrôle V2. Lakehouse et SQL Analytics ne répertorient pas correctement les tables contenant des fichiers de point de contrôle V2 dans le dossier __delta_log.
  • Delta Lake 3.x uniforme. Cette fonctionnalité est prise en charge uniquement dans le calcul Spark lié à l'Ingénierie des Données (Notebooks, Spark Jobs).
  • Écriture de colonnes d’identité (fonctionnalité Azure Databricks)
  • Fonctionnalité Azure Databricks : pipelines déclaratifs de Spark Lakeflow
  • Fonctionnalités Delta Lake 4.x : Élargissement des types, collations, variantes de types, coordination des validations.

Caractères spéciaux sur les noms de tables

Microsoft Fabric prend en charge les caractères spéciaux dans les noms de tables. Cette fonctionnalité permet d’utiliser des caractères Unicode pour composer des noms de tables dans les expériences Microsoft Fabric.

Les caractères spéciaux suivants sont réservés ou non compatibles avec au moins une des technologies Microsoft Fabric et ne doivent pas être utilisés dans le cadre d’un nom de table : « (guillemets doubles), ' (guillemets simples), #, %, +, :, ?, ' (backtick).

Contenu connexe

  • Last updated on