Guia de início rápido: ingerir dados usando o Azure Synapse Pipelines (Visualização)

O programa Microsoft Cloud Migration Factory (CMF) foi projetado para ajudar os clientes na migração para o Fabric. O programa oferece recursos práticos de teclado sem nenhum custo para o cliente. Estes recursos são atribuídos por um período de 6-8 semanas, com um âmbito pré-definido e acordado. As nomeações de clientes são aceites pela equipa da conta Microsoft ou diretamente através do envio de um pedido de ajuda à equipa CMF.

Neste início rápido, você aprenderá a carregar dados de uma fonte de dados no pool do Azure Synapse Data Explorer.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.

• Criar um pool do Data Explorer usando o Synapse Studio ou o portal do Azure

• Crie um banco de dados do Data Explorer.

  1. No Synapse Studio, no painel do lado esquerdo, selecione Dados.

  2. Selecione + (Adicionar novo recurso) >Pool do Data Explorer e use as seguintes informações:

     Configuração	Valor sugerido	Description
     Nome do grupo	contosodataexplorer	O nome do grupo do Data Explorer a ser usado
     Nome	TestDatabase	O nome da base de dados tem de ser exclusivo dentro do cluster.
     Período de retenção predefinido	365	O período de tempo (em dias) durante o qual é garantido que os dados são mantidos disponíveis para consulta. O intervalo de tempo é medido desde o momento em que os dados são ingeridos.
     Período de cache padrão	31	O período de tempo (em dias) durante o qual manter os dados frequentemente consultados disponíveis no armazenamento SSD ou RAM, em vez de no armazenamento a longo prazo.

  3. Selecione Criar para criar o banco de dados. Normalmente, a criação demora menos de um minuto.

• Criar uma tabela

  1. No Synapse Studio, no painel esquerdo, selecione Desenvolver.
  2. Em Scripts KQL, Selecione + (Adicionar novo recurso) >Script KQL. No painel do lado direito, você pode nomear seu script.
  3. No menu Conectar a, selecione contosodataexplorer.
  4. No menu Usar banco de dados, selecione TestDatabase.
  5. Cole no comando a seguir e selecione Executar para criar a tabela.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Sugestão

  Verifique se a tabela foi criada com êxito. No painel esquerdo, selecione Dados, selecione o menu "Mais" de contosodataexplorer e, em seguida, selecione Atualizar. Em contosodataexplorer, expanda Tabelas e verifique se a tabela StormEvents aparece na lista.

• Obtenha os pontos de extremidade de Consulta e de Ingestão de Dados. Você precisará do endpoint de consulta para configurar o seu serviço associado.

  1. No Synapse Studio, no painel esquerdo, selecione Gerenciar>pools do Data Explorer.

  2. Selecione o pool do Data Explorer que você deseja usar para exibir seus detalhes.

     

  3. Anote os terminais de Consulta e de Ingestão de Dados. Utilize o ponto de consulta como o cluster ao configurar conexões com o pool do Data Explorer. Ao configurar SDKs para ingestão de dados, utilize o endpoint de ingestão de dados.

     

Criar um serviço vinculado

No Azure Synapse Analytics, um serviço vinculado é onde você define suas informações de conexão com outros serviços. Nesta seção, você criará um serviço vinculado para o Azure Data Explorer.

1. No Synapse Studio, no painel esquerdo, selecione Gerenciar>serviços vinculados.

2. Selecione + Novo.

   

3. Selecione o serviço Azure Data Explorer na galeria e, em seguida, selecione Continuar.

   

4. Na página Novos Serviços Vinculados, use as seguintes informações:

   Configuração	Valor sugerido	Description
   Nome	contosodataexplorerlinkedservice	O nome do novo serviço associado do Azure Data Explorer.
   Método de autenticação	Identidade Gerenciada	O método de autenticação para o novo serviço.
   Método de seleção de conta	Insira manualmente	O método para especificar o endpoint de consulta.
   Ponto final	https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net	O endpoint Query que você anotou anteriormente.
   Base de dados	TestDatabase	O banco de dados onde você deseja ingerir dados.

   

5. Selecione Testar conexão para validar as configurações e, em seguida, selecione Criar.

Criar um pipeline para a ingestão de dados

Um pipeline contém o fluxo lógico para uma execução de um conjunto de atividades. Nesta seção, você criará um pipeline contendo uma atividade de cópia que ingere dados de sua fonte preferida em um pool do Data Explorer.

1. No Synapse Studio, no painel esquerdo, selecione Integrar.

2. Selecione +>Pipeline. No painel à direita, podes nomear o teu pipeline.

   

3. Em Atividades>Mover e transformar, arraste Copiar dados para o ecrã do pipeline.

4. Selecione a atividade de cópia e vá para a guia Origem . Selecione ou crie um novo conjunto de dados de origem como a fonte da qual copiar dados.

5. Vá para a guia Sink. Selecione Novo para criar um novo conjunto de dados de sink.

   

6. Selecione o conjunto de dados do Azure Data Explorer na galeria e, em seguida, selecione Continuar.

7. No painel Definir propriedades, use as seguintes informações e selecione OK.

   Configuração	Valor sugerido	Description
   Nome	AzureDataExplorerTable	O nome do novo pipeline.
   Serviço associado	contosodataexplorerlinkedservice	O serviço vinculado que criou anteriormente.
   Table	StormEvents	A tabela que você criou anteriormente.

   

8. Para validar o pipeline, selecione Validar na barra de ferramentas. Pode ver o resultado da validação do pipeline no lado direito da página.

Depurar e publicar o pipeline

Depois de concluir a configuração do pipeline, você pode executar uma execução de depuração antes de publicar seus artefatos para verificar se tudo está correto.

1. Selecione Depurar na barra de ferramentas. Verá o estado da execução do pipeline no separador Saída, na parte inferior da janela.

2. Quando a execução do pipeline for bem-sucedida, na barra de ferramentas superior, selecione Publicar tudo. Esta ação publica entidades (conjuntos de dados e pipelines) que você criou no serviço Synapse Analytics.

3. Aguarde até surgir a mensagem Publicação bem-sucedida. Para ver as mensagens de notificação, selecione o botão de sino no canto superior direito.

Acionar e monitorizar o pipeline

Nesta secção, o utilizador aciona manualmente o pipeline publicado na etapa anterior.

1. Selecione Adicionar gatilho na barra de ferramentas e, em seguida, selecione Gatilho agora. Na página Execução de pipeline, selecione OK.

2. Vá para a guia Monitor localizada na barra lateral esquerda. Visualiza uma execução de pipeline que é desencadeada por um gatilho manual.

3. Quando a execução do pipeline for concluída com êxito, selecione o link na coluna Nome do pipeline para exibir os detalhes da execução da atividade ou para executar novamente o pipeline. Neste exemplo, há apenas uma atividade, portanto, você vê apenas uma entrada na lista.

4. Para obter detalhes sobre a operação de cópia, selecione o link Detalhes na coluna Nome da atividade (ícone de óculos). Você pode monitorar detalhes como o volume de dados copiados da origem para o coletor, taxa de transferência de dados, etapas de execução com duração correspondente e configurações usadas.

5. Para voltar à exibição de todas as execuções de pipeline, selecione o link Todas as execuções de pipeline na parte superior. Selecione Atualizar para atualizar a lista.

6. Verifique se os dados estão escritos corretamente no pool do Data Explorer.

Próximos passos

• Analise com o Data Explorer
• Monitorizar pools do Data Explorer