Início Rápido: Ingerir dados usando um clique (versão prévia)

O programa CMF (Microsoft Cloud Migration Factory) foi projetado para ajudar os clientes na migração para o Fabric. O programa oferece recursos práticos de teclado sem custo para o cliente. Esses recursos são atribuídos por um período de 6 a 8 semanas, com um escopo predefinido e acordado. As nomeações de clientes são aceitas da equipe de conta da Microsoft ou diretamente enviando uma solicitação de ajuda à equipe do CMF.

A ingestão com um clique torna o processo de ingestão de dados fácil, rápido e intuitivo. A ingestão com um clique ajuda você a começar rapidamente a ingerir dados, criar tabelas de banco de dados e mapear estruturas. Selecione dados de diferentes tipos de fontes em formatos de dados diferentes, seja como um processo de ingestão única ou contínua.

As seguintes funcionalidades tornam a ingestão com um clique tão útil:

• Experiência intuitiva guiada pelo assistente de ingestão
• Ingerir dados em questão de minutos
• Ingerir dados de diferentes tipos de fontes: arquivo local, blobs e contêineres (até 10.000 blobs)
• Ingerir dados em uma variedade de formatos
• Ingerir dados em tabelas novas ou existentes
• O mapeamento de tabela e o esquema são sugeridos para você e fáceis de alterar

A ingestão com um clique é particularmente útil para a ingestão de dados pela primeira vez ou quando o esquema de seus dados não é familiar para você.

Pré-requisitos

• Uma assinatura do Azure. Criar uma conta gratuita do Azure.

• Criar um pool do Data Explorer usando o Synapse Studio ou o portal do Azure

• Criar um banco de dados do Data Explorer.

  1. No Synapse Studio, no painel esquerdo, selecione Dados.

  2. Selecione + (Adicionar novo recurso) >Pool do Data Explorer e use as seguintes informações:

     Configurações	Valor sugerido	Description
     Nome da piscina	contosodataexplorer	O nome do pool do Data Explorer que será utilizado
     Nome	TestDatabase	O nome do banco de dados deve ser exclusivo dentro do cluster.
     Período de retenção padrão	365	O período de tempo (em dias) durante o qual há a garantia de que os dados serão mantidos disponíveis para consulta. O intervalo de tempo é medido a partir do momento em que os dados são ingeridos.
     Período de cache padrão	31	O período de tempo (em dias) durante o qual os dados consultados com frequência devem ser mantidos disponíveis no armazenamento SSD ou RAM, em vez de no armazenamento de longo prazo.

  3. Selecione Criar para criar o banco de dados. A criação geralmente leva menos de um minuto.

• Criar uma tabela

  1. No Synapse Studio, no painel do lado esquerdo, selecione Desenvolver.
  2. Em Scripts KQL, selecione + (Adicionar novo recurso) >Script KQL. No painel do lado direito, você pode nomear o script.
  3. No menu Conexão, selecione contosodataexplorer.
  4. No menu Usar banco de dados, selecione TestDatabase.
  5. Cole o comando a seguir e selecione Executar para criar uma tabela.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Dica

  Verifique se a tabela foi criada com êxito. No painel esquerdo, selecione Dados, selecione o menu contosodataexplorer e, em seguida, selecione Atualizar. Em contosodataexplorer, expanda Tabelas e verifique se a tabela StormEvents é exibida na lista.

Acessar o assistente de um clique

O assistente da ingestão com um clique orientará você pelo processo da ingestão com um clique.

• Para acessar o assistente do Azure Synapse:

  1. No Synapse Studio, no painel esquerdo, selecione Dados.

  2. Em Bancos de Dados do Data Explorer, clique com o botão direito do mouse no banco de dados relevante e selecione Abrir no Azure Data Explorer.

     

  3. Clique com o botão direito do mouse no pool relevante e selecione Ingerir novos dados.

• Para acessar o assistente no portal do Azure:

  1. No portal do Azure, pesquise e selecione o workspace relevante do Synapse.

  2. Em pools do Data Explorer, selecione o pool relevante.

  3. Na tela inicial de Boas-vindas ao pool do Data Explorer, selecione Ingerir novos dados.

     

• Para acessar o assistente na IU da Web do Azure Data Explorer:

  1. Antes de começar, use as etapas a seguir para obter os pontos de extremidade de Consulta e Ingestão de Dados.

     1. No Synapse Studio, no painel do lado esquerdo, selecione Gerenciar>Pools do Data Explorer.

     2. Selecione o pool do Data Explorer que você deseja usar para exibir seus detalhes.

        

     3. Anote os endpoints de Consulta e Ingestão de Dados. Use o endpoint de consulta como cluster ao configurar conexões com o pool do Data Explorer. Ao configurar SDKs para ingestão de dados, use o endpoint de ingestão de dados.

        

  2. Na IU da Web do Azure Data Explorer, adicione uma conexão ao ponto de extremidade de consulta.
  3. Selecione Consulta no menu esquerdo, clique com o botão direito do mouse no banco de dados ou na tabela e selecione Ingerir novos dados.

Assistente da ingestão com um clique

1. Na guia Destino , escolha o banco de dados e a tabela para os dados ingeridos.

   

2. Na guia Origem:

   1. Selecione o Hub de Eventos como o tipo de origem para a ingestão.

      

   2. Preencha os detalhes da conexão de dados do Hub de Eventos usando as seguintes informações:

      Configurações	Valor de exemplo	Description
      Nome da conexão de dados	ContosoDataConnection	O nome da conexão de dados do Hub de Eventos
      Subscription	Contoso_Synapse	A assinatura em que o Hub de Eventos reside.
      Namespace do Hub de Eventos	contosoeventhubnamespace	O namespace do Hub de Eventos.
      Grupo de consumidores	contosoconsumergroup	O nome do grupo de consumidores do Hub de Eventos.

      

   3. Selecione Próximo.

Mapeamento de esquemas

O serviço gera automaticamente as propriedades de esquema e ingestão, que você pode alterar. É possível usar uma estrutura de mapeamento existente ou criar uma, dependendo se você está ingerindo em uma tabela nova ou existente.

Na guia Esquema , execute as seguintes ações:

1. Confirme o tipo de compactação gerado automaticamente.
2. Escolha o formato dos dados. Formatos diferentes permitirão que você faça mais alterações.
3. Alterar o mapeamento na janela Editor.

Formatos de arquivo

A ingestão com um clique dá suporte à ingestão de dados de origem em todos os formatos de dados compatíveis com o Data Explorer para ingestão.

Janela do editor

Na janela Editor da guia Esquema , você pode ajustar as colunas da tabela de dados conforme necessário.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• A tabela é do tipo novo ou existente
• Tipo de mapeamento é novo ou existente

Mapeamento de transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editor.

As transformações de mapeamento podem ser executadas em uma coluna de tipo string ou datetime, com a origem tendo o tipo de dados int ou long. As transformações de mapeamento com suporte são:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Ingestão de dados

Depois que você concluir o mapeamento de esquema e as manipulações de coluna, o assistente de ingestão iniciará o processo de ingestão de dados.

• Ao ingerir dados de fontes não contêineres , a ingestão terá efeito imediato.

• Se sua fonte de dados for um contêiner:

  • A política de envio em lote do Data Explorer agregará seus dados.
  • Após a ingestão, você pode baixar o relatório de ingestão e examinar o desempenho de cada blob que foi abordado.

Exploração inicial de dados

Após a ingestão, o assistente fornece opções para usar Comandos rápidos para a exploração inicial dos dados.

Próximas etapas

• Analisar com o Data Explorer
• Monitorar os pools do Data Explorer