Compartilhar via

Usar um fluxo de dados em um pipeline

Neste tutorial, você criará um pipeline para mover OData de uma fonte Northwind para um destino Lakehouse e enviar uma notificação por e-mail quando o pipeline for concluído.

Pré-requisitos

Para começar, você deve concluir os seguintes pré-requisitos:

Criar um Lakehouse

Para começar, primeiro você precisa criar um lakehouse. Um lakehouse é um data lake otimizado para análise. Neste tutorial, você criará um lakehouse que é usado como um destino para o fluxo de dados.

  1. Acesse o workspace habilitado pelo Fabric.

    Captura de tela do workspace habilitado pelo Fabric em destaque.

  2. Selecione Lakehouse no menu criar.

    Captura de tela do menu de criação com Create Lakehouse enfatizado.

  3. Insira um Nome para o lakehouse.

  4. Selecione Criar.

Agora que criou um lakehouse, você pode configurar o fluxo de dados.

Criação de um fluxo de dados

Um fluxo de dados é uma transformação de dados reutilizável que pode ser usada em um pipeline. Neste tutorial, você criará um fluxo de dados que obtém dados de uma fonte OData e grava os dados em um destino lakehouse.

  1. Acesse o workspace habilitado pelo Fabric.

    Captura de tela do workspace habilitado pelo Fabric.

  2. Selecione Fluxo de Dados Gen2 no menu criar.

    Captura de tela da seleção do Dataflow Gen2 no novo menu.

  3. Ingerir os dados da fonte OData.

    1. Selecione Obter dados e, em seguida, selecione Mais.

      Captura de tela do menu Obter dados com Mais enfatizado.

    2. Em Escolher fonte de dados, pesquise OData e selecione o conector OData.

      Captura de tela do menu Obter dados com OData enfatizado.

    3. Insira a URL da fonte OData. Para este tutorial, use o serviço de exemplo OData.

    4. Selecione Avançar.

    5. Selecione a Entidade que você deseja ingerir. Neste tutorial, use a entidade Orders.

      Captura de tela da visualização do OData.

    6. Selecione Criar.

Agora que você ingeriu os dados da fonte OData, você pode configurar o destino lakehouse.

Para ingerir os dados no destino lakehouse:

  1. Selecione Adicionar destino de dados.

  2. Selecione Lakehouse.

    Captura de tela do menu Adicionar destino de saída com o lakehouse em destaque.

  3. Configure a conexão que você deseja usar para se conectar ao lakehouse. As configurações padrão são boas.

  4. Selecione Avançar.

  5. Navegue até o workspace em que você criou o lakehouse.

  6. Selecione o lakehouse que você criou na etapa anterior.

    Captura de tela do lakehouse selecionado.

  7. Confirme o nome da tabela.

  8. Selecione Avançar.

  9. Confirme o método de atualização e selecione Salvar configurações.

    Captura de tela dos métodos de atualização, com substituir selecionado.

  10. Publique o fluxo de dados.

    Importante

    Quando o primeiro Fluxo de Dados Gen2 for criado em um espaço de trabalho, os itens do Lakehouse e Warehouse serão provisionados junto com seus modelos semânticos e do ponto de extremidade de análise SQL relacionados. Esses itens são compartilhados por todos os fluxos de dados no espaço de trabalho e são necessários para a operação do Fluxo de Dados Gen2, não devem ser excluídos e não devem ser usados diretamente pelos usuários. Os itens são um detalhe de implementação do Fluxo de Dados Gen2. Os itens não são visíveis no espaço de trabalho, mas podem estar acessíveis em outras experiências, como as experiências de Notebook, ponto de extremidade do SQL, Lakehouse e Warehouse. Você pode reconhecer os itens pelo prefixo no nome. O prefixo dos itens é "DataflowsStaging".

Agora que você carregou os dados para o destino *lakehouse*, você pode configurar seu pipeline.

Criar um pipeline

Um pipeline é um fluxo de trabalho que pode ser usado para automatizar o processamento de dados. Neste tutorial, você criará um pipeline que executa o Dataflow Gen2 criado no procedimento anterior.

  1. Navegue de volta à página de Visão Geral do Workspace e selecione Pipelines no menu criar.

    Captura de tela da seleção do pipeline.

  2. Forneça um nome para o fluxo de trabalho.

  3. Selecione a atividade Fluxo de dados.

    Captura de tela da atividade fluxo de dados em destaque.

  4. Selecione o Fluxo de dados que você criou no procedimento anterior na lista suspensa Fluxo de dados em Configurações.

    Captura de tela da lista suspensa do fluxo de dados.

  5. Adicione uma atividade do Outlook do Office 365.

    Captura de tela enfatizando como selecionar uma atividade do Outlook do Office 365.

  6. Configure a atividade do Outlook do Office 365 para enviar notificação por email.

    1. Autentique com sua conta do Office 365.

    2. Selecione o Endereço de email para o qual você deseja enviar a notificação.

    3. Insira um Assunto para o email.

    4. Insira um Corpo para o email.

      Captura de tela mostrando as configurações da atividade do Outlook do Office 365.

Executar e agendar o pipeline

Nesta seção, você executa e agenda o pipeline. Esse agendamento permite que você execute o pipeline periodicamente.

  1. Vá até seu workspace.

  2. Abra o menu suspenso do pipeline que você criou no procedimento anterior e selecione Agendar.

    Captura de tela do menu pipeline com o agendamento enfatizado.

  3. Em Execução agendada, selecione Ativada.

    Captura de tela de execução agendada configurada como Ativada.

  4. Forneça o cronograma que você deseja usar para rodar o pipeline.

    1. Repita, por exemplo, a cada Dia ou a cada Minuto.
    2. Se selecionar Diariamente, você também pode selecionar a Hora.
    3. Iniciar em uma Data específica.
    4. Terminar em uma Data específica.
    5. Selecione o Fuso horário.

  5. Selecione Aplicar para aplicar as alterações.

Agora você criou um pipeline que é executado de forma agendada, atualiza os dados no lakehouse e envia uma notificação por e-mail. Você pode verificar o status do pipeline acessando o Hub Monitor. Você também pode verificar o status do pipeline acessando Pipeline e selecionando a guia Histórico de Execuções no menu suspenso.

Conteúdo relacionado

Este exemplo mostra como usar um fluxo de dados em um pipeline com o Data Factory no Microsoft Fabric. Você aprendeu a:

  • Criar um fluxo de dados.
  • Criar um pipeline invocando seu fluxo de dados.
  • Execute e agende seu pipeline.

Em seguida, avance para saber mais sobre como monitorar suas execuções de pipeline.

Como monitorar execuções de pipeline no Microsoft Fabric

  • Last updated on