Cenário de ponta a ponta do Data Factory: introdução e arquitetura

Este tutorial ajuda você a acelerar o processo de avaliação do Data Factory no Microsoft Fabric fornecendo as etapas para um cenário completo de integração de dados em uma hora. Ao final deste tutorial, você entende o valor e os principais recursos do Data Factory e sabe como concluir um cenário comum de integração de dados de ponta a ponta.

O cenário é dividido em uma introdução e três módulos:

• Introdução ao tutorial e por que você deve usar o Data Factory no Microsoft Fabric.
• Módulo 1: crie um pipeline com o Data Factory para ingerir dados brutos de um Armazenamento de Blobs para uma tabela de camada de dados bronze em um data Lakehouse.
• Módulo 2: Transformar dados com o fluxo de dados no Data Factory para processar os dados brutos da sua tabela bronze e movê-los para uma tabela de camada de dados gold no Data Lakehouse.
• Módulo 3: conclua seu primeiro percurso de integração de dados e envie um email para notificar você depois que todos os trabalhos forem concluídos e, por fim, configurar todo o fluxo para execução em um agendamento.

Por que o Data Factory da Microsoft no Microsoft Fabric?

O Microsoft Fabric fornece uma única plataforma para todas as necessidades analíticas de uma empresa. Ele abrange o espectro de análise, incluindo movimentação de dados, data lakes, engenharia de dados, integração de dados, ciência de dados, análise em tempo real e business intelligence. Com o Fabric, não é necessário unir serviços diferentes de vários fornecedores. Em vez disso, seus usuários desfrutam de um produto abrangente que é fácil de entender, criar, integrar e operar.

O Data Factory no Fabric combina a facilidade de uso do Power Query com a escala e o poder do Azure Data Factory. Ele reúne o melhor de ambos os produtos em uma única experiência. O objetivo é que os desenvolvedores de dados cidadãos e profissionais tenham as ferramentas de integração de dados corretas. Data Factory fornece experiências de preparação e transformação de dados com suporte de IA, de baixa codificação, com transformação em escala de petabytes e centenas de conectores com conectividade híbrida e multinuvem.

Três recursos principais do Data Factory

• Ingestão de dados: A atividade de Cópia em pipelines (ou o trabalho de cópia autônomo) permite mover dados em escala de petabytes de centenas de fontes de dados para o seu data Lakehouse para processamento adicional.
• Transformação e preparação de dados: O Dataflow Gen2 fornece uma interface de baixo código para transformar seus dados usando mais de 300 transformações de dados, com a capacidade de carregar os resultados transformados em vários destinos, como bancos de dados SQL do Azure, Lakehouse e muito mais.
• Automação de ponta a ponta: Os pipelines fornecem orquestração de atividades que incluem atividades de Cópia, Fluxo de Dados e Bloco de Anotações e muito mais. As atividades em um pipeline podem ser encadeadas para operar sequencialmente ou podem operar independentemente em paralelo. Todo o fluxo de integração de dados é executado automaticamente e pode ser monitorado em um só lugar.

Arquitetura do tutorial

Nos próximos 50 minutos, você aprenderá todos os três principais recursos do Data Factory ao concluir um cenário de integração de dados de ponta a ponta.

O cenário é dividido em três módulos:

• Módulo 1: crie um pipeline com o Data Factory para ingerir dados brutos de um Armazenamento de Blobs para uma tabela de camada de dados bronze em um data Lakehouse.
• Módulo 2: Transformar dados com o fluxo de dados no Data Factory para processar os dados brutos da sua tabela bronze e movê-los para uma tabela de camada de dados gold no Data Lakehouse.
• Módulo 3: conclua seu primeiro percurso de integração de dados e envie um email para notificar você depois que todos os trabalhos forem concluídos e, por fim, configurar todo o fluxo para execução em um agendamento.

Você usa o conjunto de dados de exemplo nyc-taxi como a fonte de dados para o tutorial. Depois de concluir, você poderá obter insights sobre descontos diários em tarifas de táxi por um período específico usando o Data Factory no Microsoft Fabric.

Próxima etapa

Prossiga para a próxima seção para criar seu pipeline.