Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Azure Data Lake Analytics sera mis hors service le 29 février 2024. Découvrez-en plus avec cette annonce.
Si vous utilisez déjà Azure Data Lake Analytics, vous pouvez créer un plan de migration vers Azure Synapse Analytics pour votre organisation.
Microsoft a lancé Azure Synapse Analytics qui vise à rassembler les lacs de données et l’entrepôt de données pour une expérience d’analytique Big Data unique. Il vous aidera à collecter et analyser vos données pour résoudre l’inefficacité des données et aider vos équipes à travailler ensemble. De plus, l’intégration de Synapse à Azure Machine Learning et Power BI permettra aux organisations d’obtenir des insights à partir de ses données et d’exécuter le Machine Learning sur toutes ses applications intelligentes.
Le document vous montre comment effectuer la migration d’Azure Data Lake Analytics vers Azure Synapse Analytics.
Approche recommandée
- Étape 1 : Évaluer la préparation
- Étape 2 : Préparer la migration
- Étape 3 : Migrer les données et les charges de travail d’application
- Étape 4 : Basculement d’Azure Data Lake Analytics vers Azure Synapse Analytics
Étape 1 : Évaluer la préparation
Examinez Apache Spark sur Azure Synapse Analytics et comprenez les principales différences entre Azure Data Lake Analytics et Spark sur Azure Synapse Analytics.
Élément Analytique Azure Data Lake Spark sur Synapse Tarification Par unité analytique-heure Par vCore-hour Moteur Analytique Azure Data Lake Apache Spark Langue de programmation par défaut U-SQL T-SQL, Python, Scala, Spark SQL et .NET Sources de données Azure Data Lake Storage Stockage Blob Azure, Stockage Lac de Données Azure Passez en revue le questionnaire pour l’évaluation de la migration et répertoriez les risques possibles à prendre en compte.
Étape 2 : Préparer la migration
Identifiez les travaux et les données que vous allez migrer.
- Profitez de cette occasion pour nettoyer ces travaux que vous n’utilisez plus. Sauf si vous envisagez de migrer tous vos travaux à la fois, prenez ce temps pour identifier les groupes logiques de travaux que vous pouvez migrer en phases.
- Évaluez la taille des données et comprenez le format de données Apache Spark. Passez en revue vos scripts U-SQL et évaluez les efforts de réécriture des scripts et comprenez le concept de code Apache Spark.
Déterminez l’impact qu’aura une migration sur votre entreprise. Par exemple, si vous pouvez vous permettre un temps d’arrêt pendant la migration.
Créez un plan de migration.
Étape 3 : Migrer des données et une charge de travail d’application
Migrez vos données d’Azure Data Lake Storage Gen1 vers Azure Data Lake Storage Gen2.
La mise hors service d’Azure Data Lake Storage Gen1 sera en février 2024, voir l’annonce officielle. Nous vous suggérons de migrer les données vers Gen2 en premier lieu. Consultez Comprendre les formats de données Apache Spark pour les développeurs U-SQL Azure Data Lake Analytics et déplacer le fichier et les données stockées dans des tables U-SQL pour les rendre accessibles à Azure Synapse Analytics. Vous trouverez plus d’informations sur le guide de migration ici.Transformez vos scripts U-SQL en Spark. Reportez-vous aux concepts de code Apache Spark pour les développeurs U-SQL d'Azure Data Lake Analytics pour transformer vos scripts U-SQL en Spark.
Transformez ou recréez vos pipelines d’orchestration de travaux pour le nouveau système Spark.
Étape 4 : Passer d’Azure Data Lake Analytics à Azure Synapse Analytics
Une fois que vous êtes certain que vos applications et charges de travail sont stables, vous pouvez commencer à utiliser Azure Synapse Analytics pour satisfaire vos scénarios métier. Désactivez les pipelines restants qui s’exécutent sur Azure Data Lake Analytics et retirez vos comptes Azure Data Lake Analytics.
Questionnaire pour l’évaluation de la migration
| Catégorie | Questions | Référence |
|---|---|---|
| Évaluer la taille de la migration | Combien de comptes Azure Data Lake Analytics avez-vous ? Combien de pipelines sont utilisés ? Combien de scripts U-SQL sont utilisés ? | Plus les données et les scripts à migrer, plus UDO/UDF sont utilisés dans les scripts, plus il est difficile de migrer. Le temps et les ressources nécessaires à la migration doivent être bien planifiés en fonction de l’échelle du projet. |
| Source de données | Quelle est la taille de la source de données ? Quels types de format de données pour le traitement ? | Comprendre les formats de données Apache Spark pour les développeurs U-SQL Azure Data Lake Analytics |
| Sortie des données | Conserverez-vous les données de sortie pour une utilisation ultérieure ? Si les données de sortie sont enregistrées dans des tables U-SQL, comment la gérer ? | Si les données de sortie sont souvent utilisées et enregistrées dans des tables U-SQL, vous devez modifier les scripts et modifier les données de sortie au format de données pris en charge par Spark. |
| Migration des données | Avez-vous effectué le plan de migration du stockage ? | Migrer Azure Data Lake Storage de Gen1 vers Gen2 |
| Transformation des scripts U-SQL | Utilisez-vous UDO/UDF (.NET, python, etc.) ? Si la réponse ci-dessus est oui, quelle langue utilisez-vous dans votre UDO/UDF et les problèmes liés à la transformation pendant la transformation ? La requête fédérée est-elle utilisée dans U-SQL ? | Comprendre les concepts de code Apache Spark pour les développeurs U-SQL Azure Data Lake Analytics |