Découverte des données et collaboration dans le lakehouse

Databricks permet une collaboration sécurisée et régie entre les données, l’analytique et les charges de travail IA sur Lakehouse. À l’aide du catalogue Unity et des protocoles ouverts comme Delta Sharing, les équipes peuvent découvrir, partager et analyser des données à grande échelle tout en conservant la gouvernance, l’auditabilité et la confidentialité entre les cas d’usage et les collaborateurs.

Gérer les autorisations à grande échelle

Unity Catalog fournit aux administrateurs un emplacement unifié pour attribuer des autorisations pour les catalogues, bases de données, tables et vues aux groupes d’utilisateurs. Les privilèges et les metastores sont partagés entre les espaces de travail, ce qui permet aux administrateurs de définir des autorisations sécurisées une fois sur les groupes synchronisés à partir de fournisseurs d’identité et de savoir que les utilisateurs finaux n’ont accès qu’aux données appropriées dans n’importe quel espace de travail Azure Databricks qu’ils entrent.

Unity Catalog permet également aux administrateurs de définir des informations d’identification de stockage, une méthode sécurisée pour stocker et partager des autorisations sur l’infrastructure de stockage cloud. Vous pouvez accorder des privilèges sur ces éléments sécurisables pour permettre aux utilisateurs de l’organisation de définir des emplacements externes correspondant à des emplacements de stockage d’objets cloud, ce qui permet aux ingénieurs de données de bénéficier d'autonomie pour les nouveaux flux de travail sans être obligés de fournir des autorisations élevées dans les consoles de compte cloud.

Découvrir des données sur Azure Databricks

Les utilisateurs peuvent parcourir les objets de données disponibles dans le catalogue Unity à l’aide de l’Explorateur de catalogues. L’Explorateur de catalogues utilise les privilèges configurés par les administrateurs du catalogue Unity pour s’assurer que les utilisateurs ne peuvent voir que des catalogues, des bases de données, des tables et des vues qu’ils ont les autorisations d’interroger. Une fois que les utilisateurs trouvent un jeu de données intéressant, ils peuvent examiner les noms et les types de champs, lire des commentaires sur des tables et des champs individuels, et afficher un aperçu d’un exemple de données. Les utilisateurs peuvent également passer en revue l’historique complet de la table pour comprendre quand et comment les données ont changé, et la fonctionnalité de traçabilité permet aux utilisateurs de suivre la façon dont certains jeux de données sont dérivés de travaux en amont et utilisés dans les travaux en aval.

Les informations d’identification de stockage et les emplacements externes sont également affichées dans l’Explorateur de catalogue, ce qui permet à chaque utilisateur de voir les privilèges dont il a besoin pour lire et écrire des données dans les emplacements et ressources disponibles.

Accélérer la production avec le lac

Azure Databricks prend en charge les charges de travail dans SQL, Python, Scala et R, ce qui permet aux utilisateurs avec divers ensembles de compétences et arrière-plans techniques d’utiliser leurs connaissances pour dériver des insights analytiques. Vous pouvez utiliser tous les langages pris en charge par Azure Databricks pour définir des travaux de production, et les notebooks peuvent utiliser une combinaison de langages. Cela signifie que vous pouvez promouvoir les requêtes écrites par les analystes SQL pour le dernier mile ETL dans le code d’ingénierie des données de production sans aucun effort. Les requêtes et charges de travail définies par des personnes au sein de l’organisation utilisent les mêmes jeux de données. Il n’est donc pas nécessaire de rapprocher les noms de champs ou de vérifier que les tableaux de bord sont à jour avant de partager du code et des résultats avec d’autres équipes. Vous pouvez partager en toute sécurité du code, des notebooks, des requêtes et des tableaux de bord, tous alimentés par la même infrastructure cloud évolutive et définies par rapport aux mêmes sources de données organisées.