Ingerir dados no Azure Data Lake Storage Gen2

Neste artigo, você aprenderá a ingerir dados de um local para outro em uma conta de armazenamento do Azure Data Lake Gen 2 (Azure Data Lake Gen 2) usando o Azure Synapse Analytics.

Pré-requisitos

• Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita do Azure antes de começar.
• Conta de Armazenamento do Azure: você usa o Azure Data Lake Gen 2 como um armazenamento de dados de origem . Se você não tiver uma conta de armazenamento, consulte Criar uma conta de Armazenamento do Azure para ver as etapas para criar uma.

Criar serviços vinculados

No Azure Synapse Analytics, um serviço vinculado é onde você define suas informações de conexão com outros serviços. Nesta seção, você adicionará o Azure Synapse Analytics e o Azure Data Lake Gen 2 como serviços vinculados.

1. Abra a UX do Azure Synapse Analytics e vá para a guia Gerenciar .
2. Em conexões externas, selecione Serviços vinculados.
3. Para adicionar um serviço vinculado, selecione Novo.
4. Selecione o bloco do Azure Data Lake Storage Gen2 na lista e selecione Continuar.
5. Insira suas credenciais de autenticação. A chave de conta, a entidade de serviço e a identidade gerenciada são tipos de autenticação atualmente suportados. Selecione a conexão de teste para verificar se suas credenciais estão corretas.
6. Selecione Criar quando terminar.

Criar pipeline

Um pipeline contém o fluxo lógico para uma execução de um conjunto de atividades. Nesta seção, você criará um pipeline que contém uma atividade de cópia que ingere dados do Azure Data Lake Gen 2 em um pool de SQL dedicado.

1. Vá para a guia Orquestrar. Selecione o ícone de adição ao lado do cabeçalho de pipelines e selecione Pipeline.
2. Em Mover e Transformar no painel atividades, arraste Copiar dados no painel da tela do pipeline.
3. Selecione na atividade de cópia e vá para a guia Origem . Selecione Novo para criar um novo conjunto de dados de origem.
4. Selecione o Azure Data Lake Storage Gen2 como seu armazenamento de dados e selecione continuar.
5. Selecione DelimitedText como seu formato e selecione continuar.
6. No painel de propriedades definidas, selecione o serviço vinculado do ADLS que você criou. Especifique o caminho do arquivo dos dados de origem e especifique se a primeira linha tem um cabeçalho. Você pode importar o esquema do repositório de arquivos ou de um arquivo de exemplo. Selecione OK quando terminar.
7. Vá para a guia Coletor . Selecione Novo para criar um novo conjunto de dados do coletor.
8. Selecione o Azure Data Lake Storage gen2 como seu armazenamento de dados e selecione continuar.
9. Selecione DelimitedText como seu formato e selecione continuar.
10. No painel de propriedades definidas, selecione o serviço vinculado do ADLS que você criou. Especifique o caminho da pasta em que você deseja gravar dados. Selecione OK quando terminar.

Depurar e publicar o pipeline

Depois de concluir a configuração do pipeline, você pode executar uma execução de depuração antes de publicar seus artefatos para verificar se tudo está correto.

1. Para depurar o pipeline, selecione Depurar na barra de ferramentas. Você verá o status da execução do pipeline na guia Saída na parte inferior da janela.
2. Depois que o pipeline puder ser executado com êxito, na barra de ferramentas superior, selecione Publicar Tudo. Essa ação publica entidades (conjuntos de dados e pipelines) que você criou para o serviço do Synapse Analytics.
3. Aguarde até que você veja a mensagem Publicado com sucesso. Para ver as mensagens de notificação, selecione o botão de sino no canto superior direito.

Acionar e monitorar o pipeline

Nesta etapa, você aciona manualmente o pipeline publicado na etapa anterior.

1. Selecione Adicionar gatilho na barra de ferramentas e selecione Disparar Agora. Na página Execução do pipeline, selecione Concluir.
2. Vá para a guia Monitor localizada na barra lateral esquerda. Você verá uma execução do pipeline que é disparada por um gatilho manual. Você pode usar links na coluna Ações para exibir os detalhes da atividade e executar novamente o pipeline.
3. Para ver as execuções de atividade associadas à execução do pipeline, selecione o link Exibir Execuções de Atividade na coluna Ações . Neste exemplo, há apenas uma atividade, então você vê apenas uma entrada na lista. Para obter detalhes sobre a operação de cópia, selecione o link Detalhes (ícone de óculos) na coluna Ações . Para voltar ao modo de exibição Execuções de Pipeline, selecione Execuções de Pipeline na parte superior. Para atualizar o modo de exibição, selecione Atualizar.
4. Verifique se os dados foram gravados corretamente no pool de SQL dedicado.

Próximas etapas

Para obter mais informações sobre a integração de dados para o Azure Synapse Analytics, consulte o artigo Ingestão de dados em um pool de SQL dedicado.