Guia de início rápido: ingerir dados usando um clique (visualização)

O programa Microsoft Cloud Migration Factory (CMF) foi projetado para ajudar os clientes na migração para o Fabric. O programa oferece recursos práticos de teclado sem nenhum custo para o cliente. Estes recursos são atribuídos por um período de 6-8 semanas, com um âmbito pré-definido e acordado. As nomeações de clientes são aceites pela equipa da conta Microsoft ou diretamente através do envio de um pedido de ajuda à equipa CMF.

A ingestão com um clique torna o processo de ingestão de dados fácil, rápido e intuitivo. A ingestão com um clique ajuda você a acelerar rapidamente para começar a ingerir dados, criar tabelas de banco de dados, mapear estruturas. Selecione dados de diferentes tipos de fontes em diferentes formatos de dados, como um processo de ingestão única ou contínua.

Os seguintes recursos tornam a ingestão com um clique tão útil:

• Experiência intuitiva guiada pelo assistente de ingestão
• Ingerir dados em questão de minutos
• Ingerir dados de diferentes tipos de fontes: arquivo local, blobs e contêineres (até 10.000 blobs)
• Ingerir dados em uma variedade de formatos
• Ingerir dados em tabelas novas ou existentes
• O mapeamento de tabelas e o esquema são sugeridos para você e fáceis de alterar

A ingestão com um clique é particularmente útil ao ingerir dados pela primeira vez ou quando o esquema dos dados não lhe é familiar.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.

• Criar um pool do Data Explorer usando o Synapse Studio ou o portal do Azure

• Crie um banco de dados do Data Explorer.

  1. No Synapse Studio, no painel do lado esquerdo, selecione Dados.

  2. Selecione + (Adicionar novo recurso) >Pool do Data Explorer e use as seguintes informações:

     Configuração	Valor sugerido	Description
     Nome do grupo	contosodataexplorer	O nome do grupo do Data Explorer a ser usado
     Nome	TestDatabase	O nome da base de dados tem de ser exclusivo dentro do cluster.
     Período de retenção predefinido	365	O período de tempo (em dias) durante o qual é garantido que os dados são mantidos disponíveis para consulta. O intervalo de tempo é medido desde o momento em que os dados são ingeridos.
     Período de cache padrão	31	O período de tempo (em dias) durante o qual manter os dados frequentemente consultados disponíveis no armazenamento SSD ou RAM, em vez de no armazenamento a longo prazo.

  3. Selecione Criar para criar o banco de dados. Normalmente, a criação demora menos de um minuto.

• Criar uma tabela

  1. No Synapse Studio, no painel esquerdo, selecione Desenvolver.
  2. Em Scripts KQL, Selecione + (Adicionar novo recurso) >Script KQL. No painel do lado direito, você pode nomear seu script.
  3. No menu Conectar a, selecione contosodataexplorer.
  4. No menu Usar banco de dados, selecione TestDatabase.
  5. Cole no comando a seguir e selecione Executar para criar a tabela.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Sugestão

  Verifique se a tabela foi criada com êxito. No painel esquerdo, selecione Dados, selecione o menu "Mais" de contosodataexplorer e, em seguida, selecione Atualizar. Em contosodataexplorer, expanda Tabelas e verifique se a tabela StormEvents aparece na lista.

Acesse o assistente com um clique

O assistente de ingestão com um clique orienta-o através do processo de ingestão com um clique.

• Para acessar o assistente do Azure Synapse:

  1. No Synapse Studio, no painel do lado esquerdo, selecione Dados.

  2. Em Bancos de Dados do Data Explorer, clique com o botão direito do mouse no banco de dados relevante e selecione Abrir no Azure Data Explorer.

     

  3. Clique com o botão direito do mouse no pool relevante e selecione Ingerir novos dados.

• Para aceder ao assistente a partir do portal do Azure:

  1. No portal do Azure, procure e selecione o espaço de trabalho Synapse relevante.

  2. Em Pools do Data Explorer, selecione o pool relevante.

  3. Na tela inicial Bem-vindo ao pool do Data Explorer , selecione Ingerir novos dados.

     

• Para aceder ao assistente a partir da interface web do Azure Data Explorer:

  1. Antes de começar, use as seguintes etapas para obter os endpoints de Consulta e Ingestão de Dados.

     1. No Synapse Studio, no painel esquerdo, selecione Gerenciar>pools do Data Explorer.

     2. Selecione o pool do Data Explorer que você deseja usar para exibir seus detalhes.

        

     3. Anote os terminais de Consulta e de Ingestão de Dados. Utilize o ponto de consulta como o cluster ao configurar conexões com o pool do Data Explorer. Ao configurar SDKs para ingestão de dados, utilize o endpoint de ingestão de dados.

        

  2. Na interface de utilizador da web do Azure Data Explorer, adicione uma conexão ao ponto de extremidade de Consulta.
  3. Selecione Consulta no menu à esquerda, clique com o botão direito do mouse no banco de dados ou tabela e selecione Ingerir novos dados.

Assistente de ingestão com um clique

1. Na guia Destino , escolha o banco de dados e a tabela para os dados ingeridos.

   

2. Na guia Origem :

   1. Selecione Hub de Eventos como o tipo de origem para a ingestão.

      

   2. Preencha os detalhes da conexão de dados do Hub de Eventos usando as seguintes informações:

      Configuração	Valor de Exemplo	Description
      Nome da conexão de dados	ContosoDataConnection	O nome da conexão de dados do Hub de Eventos
      Subscription	Contoso_Synapse	A assinatura onde o Hub de Eventos reside.
      Mesmo espaço de nomes Hub	contosoeventhubnamespace	O namespace do Hub de Eventos.
      Grupo de consumidores	contosoconsumergroup	O nome do grupo de consumidores Even Hub.

      

   3. Selecione Avançar.

Mapeamento de esquema

O serviço gera automaticamente propriedades de esquema e ingestão, que podem ser alteradas. Você pode usar uma estrutura de mapeamento existente ou criar uma nova, dependendo se estiver ingerindo uma tabela nova ou existente.

Na guia Esquema , execute as seguintes ações:

1. Confirme o tipo de compactação gerado automaticamente.
2. Escolha o formato dos seus dados. Diferentes formatos permitirão que você faça mais alterações.
3. Altere o mapeamento na janela Editor.

Formatos de ficheiro

A ingestão com um clique suporta a ingestão de dados de origem em todos os formatos de dados suportados pelo Data Explorer para ingestão.

Janela do editor

Na janela Editor da guia Esquema , você pode ajustar as colunas da tabela de dados conforme necessário.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• Tipo de mapeamento é novo ou existente

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples durante a ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editor.

As transformações de mapeamento podem ser executadas em uma coluna de cadeia de caracteres Type ou datetime, com a Source tendo o tipo de dados int ou long. As transformações de mapeamento suportadas são:

• Date_Hora_De_Segundos_Unix
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds (DataHoraAPartirDeNanosegundosUnix)

Ingestão de dados

Depois de concluir o mapeamento de esquema e as manipulações de coluna, o assistente de ingestão iniciará o processo de ingestão de dados.

• Ao ingerir dados de fontes que não sejam recipientes , a ingestão terá efeito imediato.

• Se a fonte de dados for um contêiner:

  • A política de lotes do Data Explorer agregará seus dados.
  • Após a ingestão, você pode baixar o relatório de ingestão e rever o desempenho de cada blob que foi abordado.

Exploração inicial de dados

Após a ingestão, o assistente oferece opções para usar comandos rápidos para a exploração inicial de seus dados.

Próximos passos

• Analise com o Data Explorer
• Monitorizar pools do Data Explorer