Vecteurs de suppression dans Databricks

Les vecteurs de suppression sont une fonctionnalité d’optimisation du stockage qui accélère les modifications apportées aux tables. Par défaut, la suppression d’une seule ligne nécessite la réécriture du fichier Parquet entier contenant cet enregistrement. Les vecteurs de suppression évitent cette surcharge. Lorsque les vecteurs de suppression sont activés, les opérations DELETE, UPDATE, et MERGE marquent les lignes comme modifiées sans réécrire le fichier Parquet. Lit ensuite l’état actuel de la table en appliquant les modifications enregistrées dans les vecteurs de suppression.

Databricks recommande d'utiliser Databricks Runtime 14.3 LTS et supérieur pour écrire des tables avec des vecteurs de suppression afin d'utiliser toutes les optimisations. Vous pouvez lire des tables avec des vecteurs de suppression activés dans Databricks Runtime 12.2 LTS et versions ultérieures.

Dans Azure Databricks Runtime 14.2 et versions ultérieures, les tables avec vecteurs de suppression prennent en charge la concurrence au niveau des lignes. Consultez Conflits d’écriture avec concurrence au niveau des lignes.

Activer les vecteurs de suppression

Si le paramètre d'espace de travail pour contrôler l'activation automatique des vecteurs de suppression est utilisé, alors, en fonction de l'option sélectionnée pour les types de table, les vecteurs de suppression sont activés par défaut lorsque vous créez une nouvelle table à l'aide d'un entrepôt SQL ou de Databricks Runtime 14.1 ou supérieur.

Pour activer ou désactiver manuellement la prise en charge des vecteurs de suppression sur n’importe quelle table ou vue (y compris les tables de diffusion en continu et les vues matérialisées), utilisez la enableDeletionVectors propriété table. Choisissez manuellement si vous souhaitez activer les vecteurs de suppression sur une table lorsque vous créez ou modifiez la table, comme dans l’exemple suivant. Vous ne pouvez pas utiliser d’instruction ALTER pour activer ou désactiver les vecteurs de suppression sur une vue matérialisée ou une table streaming.

-- For Delta tables
CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

-- For Iceberg tables, use iceberg.enableDeletionVectors instead of delta.enableDeletionVectors

Appliquer les modifications aux fichiers de données Parquet

Les vecteurs de suppression indiquent les modifications apportées aux lignes en tant que suppressions réversibles qui modifient logiquement les fichiers de données Parquet existants dans la table. Ces modifications sont appliquées physiquement lorsque l’un des événements suivants entraîne la réécriture des fichiers de données :

• Une commande OPTIMIZE est exécutée sur la table.
• Le compactage automatique déclenche une réécriture d’un fichier de données avec un vecteur de suppression.
• REORG TABLE ... APPLY (PURGE) est exécuté sur la table.

Les événements liés au compactage de fichiers n’ont pas de garanties strictes pour la résolution des modifications enregistrées dans les vecteurs de suppression, et certaines modifications enregistrées dans les vecteurs de suppression peuvent ne pas être appliquées si les fichiers de données cibles ne sont pas candidats aux compactages de fichiers. REORG TABLE ... APPLY (PURGE) réécrit tous les fichiers de données contenant des enregistrements avec des modifications enregistrées à l’aide de vecteurs de suppression. Voir REORG TABLE.

Compatibilité du client

Azure Databricks utilise des vecteurs de suppression pour alimenter les E/S prédictives pour les mises à jour sur le calcul compatible Photon. Consultez Utiliser des E/S prédictives pour accélérer les mises à jour.

La prise en charge de l’utilisation de vecteurs de suppression pour les lectures et les écritures varie selon le client.

Le tableau suivant indique les versions clientes requises pour la lecture et l’écriture de tables avec des vecteurs de suppression activés et spécifie les opérations d’écriture qui utilisent des vecteurs de suppression :

Limites

• UniForm Iceberg v2 ne prend pas en charge les vecteurs de suppression. Apache Iceberg v3 prend en charge les vecteurs de suppression sur les tables avec UniForm activé. Consultez Utiliser les fonctionnalités Apache Iceberg v3.
• Vous ne pouvez pas utiliser une instruction GENERATE pour générer un fichier manifeste pour une table contenant des fichiers utilisant des vecteurs de suppression. Pour générer un manifeste, exécutez d’abord une instruction REORG TABLE … APPLY (PURGE), puis exécutez l’instruction GENERATE. Vous devez vous assurer qu'aucune opération d'écriture simultanée n'est en cours d'exécution lorsque vous soumettez l'instruction REORG.
• Vous ne pouvez pas générer de manière incrémentielle des fichiers manifestes pour une table avec des vecteurs de suppression activés (par exemple, en définissant la propriété de table delta.compatibility.symlinkFormatManifest.enabled=true).
• Si vous activez les vecteurs de suppression sur une vue matérialisée ou une table de streaming, puis désactivez les vecteurs de suppression, les écritures futures dans la vue ou la table ne peuvent pas utiliser les vecteurs de suppression, mais les vecteurs de suppression existants ne sont pas supprimés.
• Vous ne pouvez pas rétrograder le protocole de table après avoir activé les vecteurs de suppression sur une vue matérialisée ou une table de streaming. Après l'activation, la fonctionnalité de tableau pour les vecteurs de suppression ne peut pas être supprimée, même si vous désactivez ultérieurement les vecteurs de suppression sur la vue ou le tableau.