Paramètres de Data Factory dans Microsoft Fabric

Ce guide vous montre comment utiliser des paramètres dans vos pipelines Data Factory dans Fabric. Il s’agit d’un moyen simple de rendre vos flux de travail plus flexibles et plus faciles à gérer.

Comment utiliser des paramètres, des expressions et des fonctions dans des pipelines pour Data Factory dans Fabric

Ce guide vous guide tout au long des concepts de base de la création de pipelines paramétrables dans Data Factory pour Fabric, en utilisant des exemples clairs. En utilisant des paramètres et des expressions dynamiques, vous pouvez gagner beaucoup de temps et créer des solutions flexibles ETL (Extraire, Transformer, Charger) ou ELT (Extraire, Charger, Transformer). Ces techniques réduisent le codage dur et vous aident à réutiliser des objets et des processus, ce qui facilite la maintenance de vos pipelines et le déploiement de nouvelles fonctionnalités plus rapidement.

Concepts des paramètres et des expressions

Vous pouvez utiliser des paramètres pour transmettre des valeurs externes à vos pipelines. Une fois qu’un paramètre est défini, il reste le même tout au long de l’exécution et ne peut pas être modifié. En utilisant des paramètres, vous pouvez réutiliser le même pipeline avec des valeurs différentes à chaque fois. Ils peuvent être utilisés seuls ou à l'intérieur d'expressions, et ces valeurs peuvent être fixes ou calculées lorsque le pipeline s'exécute.

Les expressions peuvent aller n’importe où dans une valeur de chaîne et retourner toujours une autre valeur de chaîne. Par exemple, si vous utilisez @password, le pipeline traite le mot de passe comme un paramètre. Si la valeur est une expression, supprimez simplement le @ pour obtenir le contenu réel. Et si vous avez besoin d’une chaîne qui commence par @, il vous suffit de l’échapper en tapant @@. Vous trouverez ci-dessous quelques exemples pour montrer comment cela fonctionne dans la pratique.

Des expressions peuvent également apparaître dans des chaînes, qui utilisent une fonctionnalité appelée interpolation de chaîne où les expressions sont encapsulées dans @{ ... }. Par exemple, la chaîne suivante inclut des valeurs de paramètre et des valeurs de chaîne littérale :

« Prénom : @{pipeline().parameters.firstName} Nom : @{pipeline().parameters.lastName} »

En utilisant une interpolation de chaîne, le résultat est toujours une chaîne. Par exemple, si vous avez défini myNumber comme 42 et myString comme foo :

Exemples d’utilisation de paramètres dans les expressions

Création et utilisation de paramètres

Pour créer des paramètres, sélectionnez l’arrière-plan du canevas de l’éditeur de pipeline, puis l’onglet Paramètres de la fenêtre de propriétés en bas. Sélectionnez le bouton + Nouveau pour ajouter un nouveau paramètre au pipeline, donnez-lui un nom, un type de données et une valeur par défaut :

Vous pouvez ensuite utiliser le paramètre n’importe où dans votre pipeline où le contenu dynamique est pris en charge. Dans cet exemple, le paramètre est utilisé pour fournir dynamiquement le nom d’un magasin de données Lakehouse sous l’onglet Source des pages de propriétés d’une activité de copie.

La fenêtre Ajouter un contenu dynamique s’affiche, ce qui vous permet de spécifier n’importe quel type de contenu dynamique, y compris les paramètres, les variables système, les fonctions ou les variables de pipeline. Dans cet exemple, le paramètre précédemment défini est sélectionné et la fenêtre de contenu dynamique est automatiquement remplie avec l’expression correcte pour référencer le paramètre.

Comment paramétrer les connexions

Le paramétrage des connexions dans les pipelines nécessite l’utilisation du GUID de connexion que vous souhaitez remplacer dynamiquement.

1. Avant de pouvoir modifier dynamiquement la connexion dans votre pipeline, vous devez saisir le GUID de la connexion que vous souhaitez définir
2. Accéder aux paramètres | Gérer les connexions et les passerelles
3. Recherchez le nom de la connexion et cliquez sur les élipses en regard du nom de la connexion.
4. Sélectionnez Paramètres et copiez l’ID de connexion
5. Utiliser un paramètre de chaîne pour coller le GUID dans ce paramètre à utiliser dans votre expression dynamique

Exemple d’expression complexe

L’exemple suivant montre un exemple complexe qui fait référence à un sous-champ de sortie d’activité profond. Pour référencer un paramètre de pipeline qui prend la valeur d’un sous-champ, utilisez la syntaxe [] au lieu de l’opérateur dot(.) (comme avec le sous-champ1 et le sous-champ2)

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Éditeur de contenu dynamique

L’éditeur de contenu dynamique échappe automatiquement les caractères dans votre contenu lorsque vous avez terminé la modification. Par exemple, le contenu suivant dans l’éditeur de contenu est une interpolation de chaîne avec une fonction d’expression :

@{toUpper('myData')}

L’éditeur de contenu dynamique convertit le contenu précédent en expression suivante :

MYDATA

Utilisation de fonctions et de variables dans des expressions

Vous pouvez appeler des fonctions et utiliser des variables dans des expressions. Les sections suivantes fournissent des informations sur les fonctions qui peut être utilisées dans une expression.

Variables d’étendue de pipeline

Ces variables système peuvent être référencées n’importe où dans le code JSON de pipeline.

Fonctions de chaîne

Pour travailler avec des chaînes, vous pouvez utiliser ces fonctions de chaîne, ainsi que certaines fonctions de collection. Les fonctions de chaîne sont uniquement utilisables sur des chaînes.

Fonctions de collection

Pour travailler avec des collections, généralement des tableaux, des chaînes et parfois, des dictionnaires, vous pouvez utiliser ces fonctions de collection.

Fonctions logiques

Ces fonctions sont utiles à l’intérieur de conditions, et permettent d’évaluer tout type de logique.

Fonctions de conversion

Ces fonctions permettent de convertir chacun des types natifs du langage :

• string
• integer
• float
• boolean
• arrays
• dictionaries

Fonctions mathématiques

Ces fonctions peuvent être utilisées pour les deux types de nombre : entiers et flottants.

Fonctions de date

Contenu connexe

• Langage d’expression