Obter dados do Eventstream

Neste artigo, você aprenderá a obter dados de um fluxo de eventos existente em uma tabela nova ou existente.

Você pode ingerir dados de fluxos padrão ou derivados. Um fluxo derivado é criado adicionando uma série de operações de fluxo ao fluxo de eventos, como Filtrar ou Gerenciar Campos. Para obter mais informações, consulte os conceitos do Eventstream.

Para obter dados de um novo fluxo de eventos, consulte Obter dados de um novo fluxo de eventos.

Pré-requisitos

• Um workspace com uma capacidade habilitada para Microsoft Fabric.
• Um banco de dados KQL com permissões de edição.
• Um fluxo de eventos com uma fonte de dados.

Etapa 1: Origem

Para obter dados de um fluxo de eventos, selecione o fluxo de eventos como sua fonte de dados. Selecione um fluxo de eventos das seguintes maneiras:

Na faixa de opções do banco de dados KQL, também:

• Na opção Obter Dados na faixa de opções, selecione o bloco Eventstream .

• No menu suspenso Obter Dados , selecione Eventstream>Existing Eventstream.

• No menu suspenso Obter Dados, selecione Hub de Dados em Tempo Real e selecione um fluxo de dados na lista.

Etapa 2: Configurar

1. Selecione uma tabela de destino. Para ingerir dados em uma nova tabela, selecione + Nova tabela e insira um nome de tabela.

   Nota

   Os nomes de tabelas podem ter até 1024 caracteres, incluindo espaços, caracteres alfanuméricos, hifens e sublinhados. Não há suporte para caracteres especiais.

2. Em Configurar a fonte de dados, conclua as configurações usando as informações na tabela a seguir:

   • Quando você seleciona Eventstream como sua origem, especifique o Workspace, Eventstream e o Fluxo padrão ou derivado.

   Importante

   O recurso para obter dados de fluxos derivados está em versão prévia.

   

   • Quando você seleciona Real-Time hub como sua origem, você escolhe um fluxo padrão ou derivado da lista e o Workspace, Eventstream e Stream são preenchidos automaticamente e não exigem configuração.

   

   Configuração	Descrição
   Área de trabalho	A localização do seu workspace do eventstream. Selecione um workspace na lista suspensa.
   Eventstream	O nome do fluxo de eventos. Selecione um eventstream na lista suspensa.
   Stream	O nome do fluxo padrão ou derivado. Selecione um fluxo na lista suspensa. * Para fluxos padrão, o formato de nome do fluxo é Eventstream-stream. * Para fluxos derivados, o nome foi definido quando o fluxo foi criado.
   Evento de processo antes da ingestão no Eventstream	Essa opção permite configurar o processamento de dados antes que os dados sejam ingeridos na tabela de destino. Se selecionado, você continuará o processo de ingestão de dados no Eventstream. Para obter mais informações, consulte Processar evento antes da ingestão no eventstream.
   Nome da conexão de dados	O nome usado para referenciar e gerenciar sua conexão de dados em seu workspace. O nome da conexão de dados é preenchido automaticamente e você pode editar o nome para simplificar o gerenciamento da conexão de dados no workspace. O nome pode conter apenas caracteres alfanuméricos, traços e ponto e ter até 40 caracteres.

3. Selecione Avançar para continuar.

Evento de processo antes da ingestão no Eventstream

A opção Processar evento antes da ingestão no eventstream permite que você processe os dados antes de eles serem ingeridos na tabela de destino. Com essa opção, o processo de obtenção de dados continua diretamente no Eventstream, com a tabela de destino e os detalhes da fonte de dados preenchidos automaticamente.

Para processar o evento antes da ingestão no Eventstream:

1. Na guia Configurar, selecione Processar evento antes da ingestão no Eventstream.

2. Na caixa de diálogo Processar eventos no Eventstream, selecione Continuar no Eventstream.

   Importante

   Selecionar Continuar no Eventstream encerra o processo de obtenção de dados no Real-Time Intelligence e continua no Eventstream com a tabela de destino e os detalhes da fonte de dados preenchidos automaticamente.

   

3. No Eventstream, selecione o nó de destino Banco de dados KQL e, no painel Banco de Dados KQL, verifique se a opção Processamento de eventos antes da ingestão está selecionada e se os detalhes do destino estão corretos.

   

4. Selecione Abrir do processador de eventos para configurar o processamento de dados e selecione Salvar. Para obter mais informações, consulte Processar dados de evento com o editor do processador de eventos.

5. De volta ao painel Banco de Dados KQL, selecione Adicionar para concluir a configuração do nó de destino do Banco de Dados KQL.

6. Verifique se os dados foram ingeridos na tabela de destino.

Etapa 3: Inspecionar

A guia Inspecionar mostra uma prévia dos dados.

Selecione Concluir para concluir o processo de ingestão.

Opcional:

• Use a lista suspensa de tipo de arquivo para explorar opções avançadas com base no tipo de dados.

• Use o menu suspenso "Table_mapping" para definir um novo mapeamento.

• Selecione </> para abrir o visualizador de comandos para exibir e copiar os comandos automáticos gerados de suas entradas. Você também pode abrir os comandos em um queryset.

• Selecione o ícone de lápis para Editar colunas.

Editar colunas

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• Tipo de mapeamento é novo ou existente

Mapeamento de transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a origem tendo tipos de dados int ou long. Para obter mais informações, confira a lista completa de transformações de mapeamento com suporte.

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV e PSV)

• Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Table_mapping>Usar mapeamento existente. Os dados tabulares nem sempre incluem os nomes de coluna usados para mapear dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.

JSON:

• Selecione níveis aninhados para determinar a divisão de colunas dos dados JSON, de 1 a 100.

Etapa 4: Resumo

Na janela Resumo , todas as etapas são marcadas como concluídas quando a ingestão de dados é concluída com êxito. Selecione um cartão para explorar os dados, excluir os dados ingeridos ou criar um painel com as principais métricas. Selecione Fechar para fechar a janela.

Conteúdo relacionado

• Para gerenciar seu banco de dados, consulte Gerenciar dados.
• Para criar, armazenar e exportar consultas, consulte os dados de consulta em um conjunto de consultas KQL.