Comment configurer Azure SQL Managed Instance dans une activité de copie

Cet article explique comment utiliser l’activité de copie dans un pipeline pour copier des données depuis et vers Azure SQL Managed Instance.

Configuration prise en charge

Pour la configuration de chaque onglet sous activité de copie, accédez respectivement aux sections suivantes.

• Généralités
• Source
• Destination
• Mappage
• Paramètres

Généralités

Reportez-vous aux instructions relatives aux paramètres généraux pour configurer l’onglet Paramètres généraux.

Source

Les propriétés suivantes sont prises en charge pour Azure SQL Managed Instance sous l’onglet Source d’une activité de copie.

Les propriétés suivantes sont requises :

• Connexion: Sélectionnez une connexion Azure SQL Managed Instance dans la liste des connexions. Si la connexion n’existe pas, créez une connexion Azure SQL Managed Instance en sélectionnant Nouvelle.

• type de connexion: sélectionnez Azure SQL Managed Instance .

• Utiliser lade requête : spécifiez la façon de lire les données. Vous pouvez choisir Table, Requête, ou Procédure stockée. La liste suivante décrit la configuration de chaque paramètre :

  • Table: lit les données de la table spécifiée. Sélectionnez votre table source dans la liste déroulante ou sélectionnez Modifier pour l’entrer manuellement.

  • requête: spécifiez la requête SQL personnalisée pour lire les données. Par exemple, select * from MyTable. Ou sélectionnez l’icône de crayon à modifier dans l’éditeur de code.

    capture d’écran

  • Procédure stockée : utilisez le nom de la procédure stockée qui lit les données de la table source. La dernière instruction SQL doit être une instruction SELECT dans la procédure stockée.

    • nom de procédure stockée: sélectionnez la procédure stockée ou spécifiez manuellement le nom de la procédure stockée lors de la sélection de l'Modifier pour lire les données à partir de la table source.

    • paramètres de procédure stockée: spécifiez des valeurs pour les paramètres de procédure stockée. Les valeurs autorisées sont des paires nom ou valeur. Les noms et la casse des paramètres doivent correspondre aux noms et à la casse des paramètres de la procédure stockée. Vous pouvez sélectionner Paramètres d’importation pour obtenir vos paramètres de procédure stockée.

      

Sous avancé, vous pouvez spécifier les champs suivants :

• délai d’expiration de requête (minutes): spécifiez le délai d’attente pour l’exécution de la commande de requête, la valeur par défaut est de 120 minutes. Si un paramètre est défini pour cette propriété, les valeurs autorisées sont un intervalle de temps, par exemple « 02:00:00 » (120 minutes).

• niveau d’isolation: spécifie le comportement de verrouillage des transactions pour la source SQL. Les valeurs autorisées sont : Lecture validée, Lecture non validée, Lecture renouvelable, Sérialisable et Instantané. S’il n’est pas spécifié, le niveau d’isolation par défaut de la base de données est utilisé. Pour plus d’informations, reportez-vous à Énumération IsolationLevel.

  

• Option de partition: spécifiez les options de partitionnement des données utilisées pour charger des données depuis Azure SQL Managed Instance. Les valeurs autorisées sont les suivantes : Aucun (valeur par défaut), partitions physiques de la tableet plage dynamique. Lorsqu’une option de partition est activée (autrement dit, pas Aucun), le degré de parallélisme pour charger simultanément des données à partir d’Azure SQL Managed Instance est contrôlé par Degré de parallélisme de copie dans l’onglet Paramètres de l’activité de copie.

  • Aucun: choisissez ce paramètre pour ne pas utiliser de partition.

  • partitions physiques de la table: lorsque vous utilisez une partition physique, la colonne de partition et le mécanisme sont automatiquement déterminés en fonction de votre définition de table physique.

  • plage dynamique: lorsque vous utilisez la requête avec le mode parallèle activé, le paramètre de partition de plage (?DfDynamicRangePartitionCondition) est nécessaire. Exemple de requête : SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Nom de la colonne de partition : spécifiez le nom de la colonne source de type entier ou date/heure (int, smallint, bigint, date, smalldatetime, datetime, datetime2 ou datetimeoffset) qui est utilisée par le partitionnement par plages de valeurs pour la copie parallèle. S’il n’est pas spécifié, l’index ou la clé primaire de la table est détecté automatiquement et utilisé comme colonne de partition.

      Si vous utilisez une requête pour récupérer les données sources, accrochez ?DfDynamicRangePartitionCondition dans la clause WHERE. Pour obtenir un exemple, consultez la section Copie parallèle depuis Azure SQL Managed Instance.

    • limite supérieure de partition: spécifiez la valeur maximale de la colonne de partition pour le fractionnement de la plage de partitions. Cette valeur est utilisée pour décider de la progression de la partition, et non pour filtrer les lignes de la table. Toutes les lignes de la table ou du résultat de la requête sont partitionnées et copiées. Si ce n’est pas spécifié, l’activité de copie détecte automatiquement la valeur. Pour obtenir un exemple, consultez la section Copie parallèle depuis Azure SQL Managed Instance.

    • limite inférieure de partition: spécifiez la valeur minimale de la colonne de partition pour le fractionnement de la plage de partitions. Cette valeur est utilisée pour décider de la progression de la partition, et non pour filtrer les lignes de la table. Toutes les lignes de la table ou du résultat de la requête sont partitionnées et copiées. Si ce n’est pas spécifié, l’activité de copie détecte automatiquement la valeur. Pour obtenir un exemple, consultez la section Copie parallèle depuis Azure SQL Managed Instance.

• colonnes supplémentaires: ajoutez des colonnes de données supplémentaires pour stocker le chemin relatif des fichiers sources ou une valeur statique. L’expression est prise en charge pour ce dernier.

Notez les points suivants :

• Si requête est spécifiée pour la source, l’activité de copie exécute cette requête sur la source Azure SQL Managed Instance pour obtenir les données. Vous pouvez également spécifier une procédure stockée en spécifiant nom de procédure stockée et paramètres de procédure stockée si la procédure stockée prend des paramètres.
• Lorsque vous utilisez une procédure stockée dans la source pour récupérer des données, notez que votre procédure stockée est conçue comme renvoyant un schéma différent lorsque différentes valeurs de paramètre sont passées, vous risquez de rencontrer un échec ou de voir un résultat inattendu lors de l’importation du schéma à partir de l’interface utilisateur ou lors de la copie de données vers la base de données SQL avec la création automatique de table.

Destination

Les propriétés suivantes sont prises en charge pour Azure SQL Managed Instance sous l’onglet Destination d’une activité de copie.

Les propriétés suivantes sont requises :

• Connexion: Sélectionnez une connexion Azure SQL Managed Instance dans la liste des connexions. Si la connexion n’existe pas, créez une connexion Azure SQL Managed Instance en sélectionnant Nouvelle.

• type de connexion: sélectionnez Azure SQL Managed Instance .

• Option de tableau: vous pouvez choisir Utiliser un tableau existant pour utiliser le tableau spécifié. Vous pouvez également choisir création automatique d’une table pour créer automatiquement une table de destination si la table n’existe pas dans le schéma source, et notez que cette sélection n’est pas prise en charge lorsque la procédure stockée est utilisée comme comportement d’écriture.

  Si vous sélectionnez Utiliser unexistant :

  • Table: sélectionnez la table dans votre base de données de destination dans la liste déroulante. Vous pouvez aussi cocher Modifier pour entrer manuellement le nom de votre table.

  Si vous sélectionnez : créer automatiquement une table:

  • table: spécifiez le nom de votre table de destination créée automatiquement.

Sous avancé, vous pouvez spécifier les champs suivants :

• comportement d'écriture: définit le comportement d'écriture lorsque la source est des fichiers provenant d'un magasin de données basé sur les fichiers. Vous pouvez choisir Insérer, **Upsert ou Procédure stockée.

  • Insérer: choisissez cette option pour insérer un comportement d’écriture pour charger des données dans Azure SQL Managed Instance.

  • Upsert: choisissez cette option pour utiliser le comportement d’écriture upsert pour charger des données dans Azure SQL Managed Instance.

    • Utiliser tempDB: spécifiez s’il faut utiliser une table temporaire globale ou une table physique comme table intermédiaire pour upsert. Par défaut, le service utilise une table temporaire globale comme table intermédiaire et cette propriété est sélectionnée.

      

    • Sélectionner le schéma de base de données utilisateur: lorsque l'Utiliser le TempDB n’est pas sélectionné, spécifiez le schéma intermédiaire pour créer une table intermédiaire si une table physique est utilisée.

      Remarque

      Vous devez disposer de l’autorisation de création et de suppression de tables. Par défaut, une table intermédiaire partage le même schéma qu’une table de destination.

      

    • Colonnes clés: Spécifiez les noms de colonnes pour l’identification de ligne unique. Une seule clé ou une série de clés peut être utilisée. Si elle n’est pas spécifiée, la clé primaire est utilisée.

  • procédure stockée: utilisez la procédure stockée qui définit comment appliquer des données sources dans une table cible. Cette procédure stockée est appelée par lot. Pour les opérations qui s’exécutent une seule fois et qui n’ont rien à voir avec les données sources, par exemple, supprimer ou tronquer, utilisez script de pré-copie propriété.

    • Nom de procédure stockée: sélectionnez ou spécifiez manuellement le nom de la procédure stockée lors de la vérification de Edit pour lire les données de la table source.

    • Paramètres de la procédure stockée :

      • type de table: spécifiez le nom du type de table à utiliser dans la procédure stockée. L’activité de copie rend disponibles les données déplacées dans une table temporaire de ce type. Le code de procédure stockée peut ensuite fusionner les données qui sont copiées avec des données existantes.
      • nom de paramètre de type table: spécifiez le nom du paramètre du type de table spécifié dans la procédure stockée.
      • Paramètres: spécifiez des valeurs pour les paramètres de procédure stockée. Les valeurs autorisées sont des paires nom ou valeur. Les noms et la casse des paramètres doivent correspondre aux noms et à la casse des paramètres de la procédure stockée. Vous pouvez sélectionner Paramètres d’importation pour obtenir vos paramètres de procédure stockée.

      

• Verrouillage de table d’insertion en bloc : choisissez Oui ou Non (valeur par défaut). Utilisez ce paramètre pour améliorer les performances de copie pendant une opération d’insertion en bloc sur une table sans index de plusieurs clients. Vous pouvez spécifier cette propriété lorsque vous sélectionnez Insérer ou Upsert comme comportement d’écriture. Pour plus d’informations, consultez BULK INSERT (Transact-SQL).

• script de pré-copie: spécifiez un script pour l’activité de copie à exécuter avant d’écrire des données dans une table de destination dans chaque exécution. Vous pouvez utiliser cette propriété pour nettoyer les données préchargées.

• Délai d’expiration du lot d’écritures : spécifiez le temps pendant lequel il faut attendre que l’opération d’insertion par lot se termine avant que ce délai n’expire. La valeur autorisée est un intervalle de temps. Si aucune valeur n’est spécifiée, le délai d’expiration est défini par défaut sur « 02:00:00 ».

• Taille de lot d’écritures : spécifiez le nombre de lignes par lot à insérer dans la table SQL. La valeur autorisée est entier (nombre de lignes). Par défaut, le service détermine dynamiquement la taille de lot appropriée en fonction de la taille de ligne.

• Nombre maximal de connexions simultanées: limite supérieure des connexions simultanées établies au magasin de données pendant l’exécution de l’activité. Spécifiez une valeur uniquement lorsque vous souhaitez limiter les connexions simultanées.

Cartographie

Pour la configuration de l’onglet Mappage , si vous n’appliquez pas Azure SQL Managed Instance avec la création automatique de table comme destination, accédez à l'onglet Mappage .

Si vous appliquez Azure SQL Managed Instance avec la table de création automatique comme destination, à l’exception de la configuration dans mappage, vous pouvez modifier le type de vos colonnes de destination. Après avoir sélectionné Importer des schémas, vous pouvez spécifier le type de colonne dans votre destination.

Par exemple, le type de ID colonne dans la source est int, et vous pouvez le modifier en type float lors du mappage à la colonne de destination.

Paramètres

Pour la configuration de l’onglet Paramètres, accédez à Configurer vos autres paramètres sous l’onglet Paramètres.

Copie parallèle à partir d’Azure SQL Managed Instance

Le connecteur Azure SQL Managed Instance dans l’activité de copie fournit un partitionnement de données intégré pour copier des données en parallèle. Vous trouverez les options de partitionnement des données sous l’onglet Source de l’activité de copie.

Lorsque vous activez la copie partitionnée, l’activité de copie exécute des requêtes parallèles sur votre source Azure SQL Managed Instance pour charger des données par partitions. Le degré parallèle est contrôlé par le Degré de parallélisme de copie dans l’onglet Paramètres de l’activité de copie. Par exemple, si vous définissez degré de parallélisme de copie sur quatre, le service génère et exécute simultanément quatre requêtes en fonction de l’option et des paramètres de votre partition spécifiée, et chaque requête récupère une partie des données de votre instance managée Azure SQL.

Vous êtes suggéré d’activer la copie parallèle avec le partitionnement des données, en particulier lorsque vous chargez une grande quantité de données à partir de votre instance managée Azure SQL. Voici les configurations suggérées pour différents scénarios. Lors de la copie de données dans un magasin de données basé sur des fichiers, il est recommandé d’écrire dans un dossier sous la forme de plusieurs fichiers (spécifier uniquement le nom du dossier), auquel cas les performances sont meilleures que l’écriture dans un seul fichier.

Bonnes pratiques pour charger des données avec l’option de partition :

• Choisissez une colonne distincte comme colonne de partition (comme la clé primaire ou une clé unique) pour éviter l’asymétrie des données.
• Si la table a une partition intégrée, utilisez l’option de partition partitions physiques de la table pour obtenir de meilleures performances.

Exemple de requête pour vérifier la partition physique

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Si la table a une partition physique, vous voyez « HasPartition » avec la valeur « yes » (oui) comme suit.

Résumé du tableau

Consultez le tableau suivant pour obtenir le résumé et plus d’informations sur l’activité de copie Azure SQL Managed Instance.

Informations sur la source

Informations de destination

Contenu connexe

• vue d’ensemble d’Azure SQL Managed Instance