Configurer Delta Sharing pour votre compte (pour les fournisseurs)

Cette page explique comment configurer le partage Delta sur Azure Databricks pour les fournisseurs de données (organisations qui souhaitent utiliser le partage Delta pour partager des données en toute sécurité).

Si vous êtes un destinataire de données (une organisation qui reçoit des données partagées à l’aide du partage Delta), consultez Lire les données partagées à l’aide de Databricks-to-Databricks Delta Sharing (pour les destinataires).

La configuration initiale du fournisseur comprend les étapes suivantes :

1. Activez Delta Sharing pour un metastore du Unity Catalog.
2. (Facultatif) Installer l’interface CLI de Unity Catalog.
3. Accordez des privilèges pour créer et gérer des partages et des destinataires.
4. Configurez les audits de l’activité Delta Sharing.
5. Configurez la durée de vie (TTL) de la matérialisation des données.
6. Configurer l’accès réseau de stockage.

Requirements

En tant que fournisseur de données qui configure votre compte Azure Databricks pour pouvoir partager des données, vous devez avoir :

• Au moins un espace de travail Azure Databricks activé pour Unity Catalog.

  Vous n’avez pas besoin de migrer tous vos espaces de travail vers Unity Catalog pour tirer parti de la prise en charge de Databricks pour les fournisseurs Delta Sharing. Voir Ai-je besoin d’Unity Catalog pour utiliser Delta Sharing ?.

  Les destinataires n’ont pas besoin de disposer d’un espace de travail compatible Unity Catalog.

• Rôle d’administrateur de compte pour activer Delta Sharing pour votre metastore Unity Catalog et activer la journalisation d’audit.

• Rôle d’administrateur de metastore ou privilèges CREATE SHARE et CREATE RECIPIENT. Voir Rôles d’administrateur.

  Note

  Si votre espace de travail a été activé automatiquement pour Unity Catalog, vous n’avez peut-être pas d’administrateur de metastore. Toutefois, les administrateurs d’espace de travail dans de tels espaces de travail disposent des privilèges CREATE SHARE et CREATE RECIPIENT sur le metastore par défaut.

  Pour plus d’informations, consultez Activation automatique de Unity Catalog et Privilèges des administrateurs d’espace de travail lorsque les espaces de travail sont activés automatiquement pour Unity Catalog.

• Configuration de stockage cloud qui autorise l’accès réseau à partir du destinataire.

Activer Delta Sharing sur un metastore

Vous n’avez pas besoin d’activer Delta Sharing sur votre metastore si vous envisagez d’utiliser Delta Sharing uniquement pour partager des données avec des utilisateurs sur d’autres metastores Unity Catalog dans votre compte. Le partage de metastore à metastore au sein d’un seul compte Azure Databricks est activé par défaut.

Dans le cas contraire, suivez ces étapes pour chaque metastore du catalogue Unity qui gère les données que vous envisagez de partager à l’aide du partage Delta.

1. En tant qu’administrateur de compte Azure Databricks, connectez-vous à la console de compte.

2. Dans la barre latérale, cliquez sur Catalogue.

3. Cliquez sur le nom d’un metastore pour ouvrir ses détails.

4. Cliquez sur la case à cocher en regard de Autoriser le partage Delta avec des parties extérieures à votre organisation.

5. Configurez la durée de vie du jeton du destinataire.

   Cette configuration définit la période de temps après laquelle tous les jetons de destinataire expirent et doivent être régénérés. Les jetons de destinataire sont utilisés uniquement dans le protocole de partage ouvert . Les jetons sont valides pendant un maximum d’un an après la création.

   Note

   La durée de vie du jeton de destinataire pour les destinataires existants n’est pas automatiquement mise à jour lorsque vous modifiez la durée de vie du destinataire par défaut pour un metastore. Pour appliquer une nouvelle durée de vie de jeton à un destinataire donné, vous devez faire pivoter son jeton. Consultez Gérer les jetons de destinataire.

   Pour configurer la durée de vie du jeton de destinataire par défaut :

   1. Vérifiez que Définir l’expiration est activé (il s’agit de la valeur par défaut).
   2. Entrez un nombre de secondes, de minutes, d’heures ou de jours, puis sélectionnez l’unité de mesure. Les jetons sont valides pendant un maximum d’un an après la création.
   3. Cliquez sur Activer.

   Pour plus d’informations, consultez Considérations relatives à la sécurité pour les jetons.

6. Lorsque vous partagez avec un destinataire Azure Databricks qui n’est pas dans votre compte, entrez un nom d’organisation.

   Note

   La spécification d’un nom d’organisation lisible permet aux destinataires d’identifier leurs fournisseurs de partage et les objets fournisseurs correspondants dans la liste des fournisseurs du destinataire.

7. Cliquez sur Activer.

(Facultatif) Installer l’interface CLI de Unity Catalog

Pour gérer les partages et les destinataires, vous pouvez utiliser Catalog Explorer, les commandes SQL ou l’interface CLI de Unity Catalog. L’interface CLI s’exécute dans votre environnement local et ne nécessite pas de ressources de calcul Azure Databricks.

Pour installer l’interface CLI, consultez Qu’est-ce que l’interface CLI Databricks ?.

Accorder l’autorisation de créer et de gérer des partages et des destinataires

Les administrateurs de metastore ont la possibilité de créer et de gérer des partages et des destinataires, y compris l’octroi de partages aux destinataires. De nombreuses tâches de fournisseur peuvent être déléguées par un administrateur de metastore à l’aide des privilèges suivants :

• CREATE SHARE sur le metastore accorde la possibilité de créer des partages.
• CREATE RECIPIENT sur le metastore permet de créer des destinataires.
• USE RECIPIENT accorde la possibilité de répertorier et d’afficher les détails de tous les destinataires dans le metastore.
• USE SHARE sur le metastore accorde la possibilité de répertorier et d’afficher les détails de tous les partages dans le metastore.
• USE RECIPIENT, USE SHARE, et SET SHARE PERMISSION combinés donnent à un utilisateur la possibilité d’accorder l’accès au partage aux destinataires.
• L’administrateur du metastore a la possibilité de transférer la propriété de n’importe quel partage de données.
• Les propriétaires de partages et de destinataires peuvent mettre à jour ces objets et accorder des partages aux destinataires. Les créateurs d’objets se voient accorder la propriété par défaut, mais la propriété peut être transférée.
• Les propriétaires de parts peuvent ajouter des tables et des volumes aux parts, tant qu’ils ont un accès SELECT aux tables et un accès READ VOLUME aux volumes.

Pour plus d’informations, consultez les privilèges du catalogue Unity et les objets sécurisables , ainsi que les autorisations répertoriées pour les tâches de partage Delta décrites.

Activer la journalisation d'audit

En tant qu’administrateur de compte Azure Databricks, vous devez activer la journalisation d’audit pour capturer les événements Delta Sharing, tels que :

• Lorsqu’une personne crée, modifie, met à jour ou supprime un partage ou un destinataire
• Lorsqu’un destinataire accède à un lien d’activation et télécharge les informations d’identification (partage ouvert uniquement)
• Quand un destinataire accède aux données
• Quand les informations d’identification d’un destinataire sont renouvelées ou expirent (partage ouvert uniquement)

Pour activer la journalisation d’audit, suivez les instructions fournies dans Journalisation des diagnostics.

Pour plus d’informations sur la journalisation des événements de partage Delta, consultez Auditer et surveiller le partage de données.

Configurer la durée de vie de la matérialisation des données

En tant que compte Azure Databricks ou administrateur de metastore, vous pouvez configurer la durée de vie de la matérialisation des données, qui détermine la durée de mise en cache d’un résultat matérialisé. Les matérialisations se produisent lorsqu’un destinataire interroge des vues dynamiques partagées, des vues matérialisées, des tables de diffusion en continu et des tables étrangères. Par défaut, la durée de vie est de huit heures. Le cache sera lui-même supprimé après trois heures supplémentaires par un processus de mise en mémoire, ce qui permet aux requêtes existantes de se terminer avec plus de marge de manœuvre.

Pour modifier cette valeur, procédez comme suit :

1. Dans votre espace de travail Azure Databricks, cliquez sur Catalogue pour ouvrir l’Explorateur de catalogues.

2. En haut du volet Catalogue, cliquez sur l’ et sélectionnez Partage Delta.

   Vous pouvez également, dans la page Accès rapide, cliquer sur le bouton Delta Sharing >.

3. Sous l’onglet Partagé avec moi , cliquez sur le nom de votre organisation dans le coin supérieur droit.

4. Cliquez sur Afficher les paramètres de partage delta.

5. Pour la durée de vie de matérialisation, saisissez la valeur de durée de vie que vous souhaitez.

Autoriser l’accès réseau au stockage

Si votre stockage cloud sous-jacent est configuré avec des contrôles d’accès, ajoutez le réseau de votre destinataire à la liste verte pour qu’il puisse lire les tables partagées.

Pour plus d'informations, consultez Configurer les pare-feu et les réseaux virtuels de stockage Azure et Configurer un pare-feu pour l'accès au calcul sans serveur.