Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cette section contient des informations de référence et des instructions pour les développeurs de pipelines.
Le chargement et les transformations des données sont implémentés dans des pipelines par des requêtes qui définissent des tables de streaming et des vues matérialisées. Pour implémenter ces requêtes, Lakeflow Spark Declarative Pipelines prend en charge les interfaces SQL et Python. Étant donné que ces interfaces fournissent des fonctionnalités équivalentes pour la plupart des cas d’usage de traitement des données, les développeurs de pipelines peuvent choisir l’interface avec laquelle ils sont les plus à l’aise.
Développement Python
Créez des pipelines à l’aide du code Python.
| Sujet | Descriptif |
|---|---|
| Développer du code de pipeline avec Python | Vue d’ensemble du développement de pipelines en Python. |
| Référence sur le langage Python pour les pipelines déclaratifs Spark Lakeflow | Documentation de référence Python pour le pipelines module. |
| Gérer les dépendances Python pour les pipelines | Instructions pour la gestion des bibliothèques Python dans les pipelines. |
| Importer des modules Python à partir de dossiers Git ou de fichiers d’espace de travail | Instructions pour l’utilisation de modules Python que vous avez stockés dans Azure Databricks. |
Développement SQL
Créez des pipelines à l’aide du code SQL.
| Sujet | Descriptif |
|---|---|
| Développer du code de pipelines déclaratifs Spark Lakeflow avec SQL | Vue d’ensemble du développement de pipelines dans SQL. |
| Informations de référence sur le langage SQL de pipeline | Documentation de référence sur la syntaxe SQL pour les pipelines déclaratifs Spark Lakeflow. |
| Utiliser des pipelines dans Databricks SQL | Utilisez Databricks SQL pour utiliser des pipelines. |
Autres rubriques de développement
Les sujets suivants décrivent d’autres méthodes pour développer des pipelines.
| Sujet | Descriptif |
|---|---|
| Convertir un pipeline en projet Databricks Asset Bundle | Convertissez un pipeline existant en offre groupée, ce qui vous permet de gérer votre configuration de traitement des données dans un fichier YAML contrôlé par la source pour faciliter la maintenance et les déploiements automatisés dans les environnements cibles. |
| Créer des pipelines avec dlt-meta | Utilisez la bibliothèque open source dlt-meta pour automatiser la création de pipelines avec une infrastructure pilotée par les métadonnées. |
| Développer du code de pipeline dans votre environnement de développement local | Vue d’ensemble des options de développement de pipelines localement. |