Migrar o Azure Data Lake Analytics para o Azure Synapse Analytics

O Azure Data Lake Analytics será desativado em 29 de fevereiro de 2024. Saiba mais com este comunicado.

Se você já estiver usando o Azure Data Lake Analytics, poderá criar um plano de migração para o Azure Synapse Analytics para sua organização.

A Microsoft lançou o Azure Synapse Analytics que visa reunir data lakes e data warehouses para uma experiência única em análise de grandes volumes de dados. Ele ajudará você a coletar e analisar seus dados para resolver a ineficiência de dados e ajudar suas equipes a trabalhar em conjunto. Além disso, a integração do Synapse com o Azure Machine Learning e o Power BI permitirá que as organizações obtenham insights de seus dados e executem o aprendizado de máquina para todos os seus aplicativos inteligentes.

O documento mostra como fazer a migração do Azure Data Lake Analytics para o Azure Synapse Analytics.

Abordagem recomendada

• Etapa 1: Avaliar a preparação
• Etapa 2: Preparar para migrar
• Etapa 3: Migrar dados e cargas de trabalho de aplicativos
• Etapa 4: Transição do Azure Data Lake Analytics para o Azure Synapse Analytics

Etapa 1: Avaliar a preparação

1. Examine Apache Spark no Azure Synapse Analyticse entenda as principais diferenças do Azure Data Lake Analytics e do Spark no Azure Synapse Analytics.

   Elemento	Análise do Azure Data Lake Analytics	Spark no Synapse
   Preços	Por hora de unidade analítica	Por hora de vCore
   Mecanismo	Análise do Azure Data Lake Analytics	Apache Spark
   Linguagem de programação padrão	U-SQL	T-SQL, Python, Scala, Spark SQL e .NET
   Fontes de dados	Armazenamento do Azure Data Lake	Armazenamento de Blobs do Azure, Azure Data Lake Storage

2. Examine o questionário para avaliação de migração e liste esses possíveis riscos para considerar.

Etapa 2: Preparar para migrar

1. Identifique as tarefas e dados a serem migrados.

   • Aproveite esta oportunidade para limpar os trabalhos que você não usa mais. A menos que você planeje migrar todos os seus trabalhos ao mesmo tempo, reserve esse tempo para identificar grupos lógicos de trabalhos que podem ser migrados em fases.
   • Avalie o tamanho dos dados e entenda o formato de dados do Apache Spark. Examine seus scripts U-SQL e avalie os esforços de reescrita dos scripts e entenda o conceito de código do Apache Spark.

2. Determine o impacto que uma migração terá em sua empresa. Por exemplo, se você pode suportar algum tempo de inatividade durante a migração.

3. Crie um plano de migração.

Etapa 3: Migrar dados e carga de trabalho do aplicativo

1. Migre seus dados do Azure Data Lake Storage Gen1 para o Azure Data Lake Storage Gen2.
   
   a desativação do Azure Data Lake Storage Gen1 será em fevereiro de 2024, consulte o comunicado oficial . Sugerimos migrar os dados para o Gen2 em primeiro lugar. Veja Entenda os formatos de dados do Apache Spark para desenvolvedores do U-SQL do Azure Data Lake Analytics e mova o arquivo e os dados armazenados em tabelas do U-SQL para que fiquem acessíveis no Azure Synapse Analytics. Mais detalhes do guia de migração podem ser encontrados aqui.

2. Transforme seus scripts U-SQL no Spark. Consulte Entender os conceitos de código do Apache Spark para desenvolvedores U-SQL do Azure Data Lake Analytics para transformar seus scripts U-SQL no Spark.

3. Transforme ou recrie os pipelines de orquestração de tarefas para a nova aplicação Spark.

Etapa 4: Migrar do Azure Data Lake Analytics para o Azure Synapse Analytics

Depois de ter certeza de que seus aplicativos e cargas de trabalho estão estáveis, você pode começar a usar o Azure Synapse Analytics para atender aos seus cenários de negócios. Desative todos os pipelines restantes em execução no Azure Data Lake Analytics e desative suas contas do Azure Data Lake Analytics.

Questionário para avaliação de migração

Próximas etapas

• Azure Synapse Analytics