Tutorial sobre Lakehouse: Ingestão de dados no lakehouse

Neste tutorial, ingere-se mais tabelas dimensionais e de fatos da Wide World Importers (WWI) no lakehouse.

Pré-requisitos

• Se você não tem uma casa de lago, você deve criar uma casa de lago.

Ingerir dados

Nesta secção, você usa a atividade Copiar dados do pipeline do Data Factory para ingerir dados de exemplo de uma conta de armazenamento do Azure para a secção Arquivos do lakehouse criado anteriormente.

1. Selecione Espaços de trabalho no painel de navegação esquerdo e, em seguida, selecione o novo espaço de trabalho no menu Espaços de trabalho. A vista de itens da sua área de trabalho é apresentada.

2. Na opção Novo item na faixa de opções do espaço de trabalho, selecione Pipeline.

3. Na caixa de diálogo New pipeline, especifique o Nome como IngestDataFromSourceToLakehouse e selecione Criar.

4. No pipeline recém-criado, selecione Atividade do pipeline para adicionar uma atividade ao pipeline e selecione Copiar dados. Essa ação adiciona a atividade de cópia de dados à tela do pipeline.

   

5. Selecione a atividade de cópia de dados recém-adicionada na tela. As propriedades da atividade aparecem em um painel abaixo da tela (talvez seja necessário expandir o painel para cima arrastando a borda superior). Na guia Geral no painel de propriedades, digite Cópia de dados para Lakehouse no campo Nome . Deixe as propriedades restantes com seus valores padrão.

   

6. Na guia Origem da atividade de cópia de dados selecionada, abra o campo Conexão e selecione Procurar tudo. Escolha a janela da fonte de dados aparece, pesquise e selecione blobs do Azure. Para este tutorial, todos os dados de exemplo estão disponíveis em um contêiner público do armazenamento de blob do Azure. Você se conecta a esse contêiner para copiar dados dele.

7. Insira os seguintes detalhes na janela Configurações de conexão e selecione Conectar para criar a conexão com a fonte de dados.

   Propriedade	valor
   Nome da conta ou URL	https://fabrictutorialdata.blob.core.windows.net/sampledata/
   Conexão	Criar nova conexão
   Nome da ligação	wwisampledata
   Tipo de autenticação	Anónimo

   

8. Depois que a nova conexão for criada, retorne à guia Origem da atividade de cópia de dados e a conexão recém-criada será selecionada por padrão. Especifique as seguintes propriedades antes de mover para as configurações de destino.

   Propriedade	valor
   Conexão	wwisampledata
   Tipo de caminho de arquivo	Caminho do arquivo
   Caminho do arquivo	Nome do contêiner (primeira caixa de texto): sampledata Nome do diretório (segunda caixa de texto): WideWorldImportersDW/parquet
   Recursivamente	Verificado
   Formato de ficheiro	Binary

   

9. Na guia Destino da atividade de dados de cópia selecionada, especifique as seguintes propriedades:

   Propriedade	valor
   Conexão	wwilakehouse (escolha sua casa no lago se você a nomeou de forma diferente)
   Pasta raiz	Ficheiros
   Caminho do arquivo	Nome do diretório (primeira caixa de texto): wwi-raw-data
   Formato de ficheiro	Binary

   

10. Você configurou a atividade de cópia de dados. Selecione o ícone Salvar na faixa de opções superior (abaixo de Página inicial) para salvar suas alterações e selecione Executar para executar seu pipeline e sua atividade. Você também pode agendar pipelines para atualizar dados em intervalos definidos para atender às suas necessidades de negócios. Para este tutorial, executamos o pipeline apenas uma vez, selecionando Executar.

11. Essa ação dispara a cópia de dados da fonte de dados subjacente para a casa do lago especificada e pode levar até um minuto para ser concluída. Você pode monitorar a execução do pipeline e sua atividade na guia Saída . O status da atividade muda de Queued>In progress>Succeeded.

    

12. Depois que a atividade de cópia for bem-sucedida, abra sua lakehouse (wwilakehouse) para visualizar os dados. Atualize a seção Arquivos para ver os dados ingeridos. Uma nova pasta wwi-raw-data aparece na seção de arquivos e os dados das tabelas de Blob do Azure são copiados lá.

    

Próximo passo