Partilhar via


Obter dados do Eventstream

Neste artigo, aprende como transferir dados de um fluxo de eventos existente para uma tabela nova ou já existente.

Você pode ingerir dados de fluxos padrão ou derivados. Um fluxo derivado é criado adicionando uma série de operações de fluxo ao fluxo de eventos, como Filtrar ou Gerir Campos. Para obter mais informações, consulte Conceitos de fluxo de eventos.

Para obter dados de um novo fluxo de eventos, consulte Obter dados de um novo fluxo de eventos.

Advertência

  • A ingestão a partir de um fluxo de eventos através de um link privado não é suportada.
  • A pré-visualização de dados de um fluxo de eventos com eventos de amostra grandes (10 MB ou maiores) não é suportada no assistente Get Data. Use pequenos eventos de amostra (cerca de 1 MB cada) para configurar a ligação de dados.

Pré-requisitos

Passo 1: Fonte

Para obter dados de um eventstream, selecione o eventstream como a sua fonte de dados. Selecione um fluxo de eventos das seguintes formas:

Na fita da base de dados KQL, ou:

  • Na opção Obter Dados na barra de ferramentas, selecione o mosaico Eventstream.

  • No menu suspenso Obter dados, selecione Eventstream>Eventstream Existente.

  • No menu suspenso Obter Dados , selecione Real-Time hub de dados e selecione um fluxo de eventos da lista.

Etapa 2: Configurar

  1. Selecione uma tabela de destino. Para ingerir dados numa nova tabela, selecione + Nova tabela e introduza o nome da tabela.

    Observação

    Os nomes das tabelas podem ter até 1.024 caracteres, incluindo espaços, alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.

  2. Em Configurar a fonte de dados, complete as definições usando a informação na tabela seguinte:

    • Quando selecionares Eventstream como fonte, especifica o Workspace, o Eventstream e o Stream, padrão ou derivado.

    Importante

    A funcionalidade para obter dados de fluxos derivados está em pré-visualização.

    Captura de ecrã do separador de configuração com uma nova tabela inserida e um evento de fluxo selecionado.

    • Ao selecionar Real-Time hub como origem, você escolhe um fluxo padrão ou derivado da lista, e o Espaço de trabalho, o fluxo de eventos e o fluxo são preenchidos automaticamente e não exigem configuração.

    Captura de ecrã da aba configurar com a nova tabela inserida e configurações da fonte de dados de apenas leitura.

    Configuração Descrição
    Espaço de trabalho A localização da área de trabalho do fluxo de eventos. Selecione um espaço de trabalho na lista suspensa.
    Eventstream O nome do seu fluxo de eventos. Selecione um fluxo de evento na lista suspensa.
    Stream O nome do fluxo padrão ou derivado. Selecione um fluxo do menu pendente.
    * Para streams padrão, o formato do nome do stream é Eventstream-stream.
    * Para fluxos derivados, o nome foi definido quando o fluxo foi criado.
    Processar evento antes da ingestão no Eventstream Esta opção permite configurar o processamento de dados antes que os dados sejam ingeridos na tabela de destino. Se selecionado, você continua o processo de ingestão de dados no Eventstream. Para obter mais informações, consulte Processar evento antes da ingestão no Eventstream.
    Nome da conexão de dados O nome usado para fazer referência e gerenciar sua conexão de dados em seu espaço de trabalho. O nome da conexão de dados é preenchido automaticamente e você pode editar o nome para simplificar o gerenciamento da conexão de dados no espaço de trabalho. O nome pode conter apenas caracteres alfanuméricos, traços e pontos, e pode ter até 40 caracteres.
  3. Selecione Seguinte para continuar.


Processar evento antes da ingestão no Eventstream

A opção Processar evento antes da ingestão no Eventstream permite processar os dados antes que eles sejam ingeridos na tabela de destino. Com esta opção, o processo de obter dados continua perfeitamente no Eventstream, com a tabela de destino e os detalhes da fonte de dados preenchidos automaticamente.

Para processar o evento antes da ingestão no Eventstream:

  1. Na guia Configurar, selecione evento Processo antes da ingestão em Eventstream.

  2. Na caixa de diálogo Processar eventos no Eventstream, selecione Continuar no Eventstream.

    Importante

    Selecionar Continuar no Eventstream encerra o processo de obtenção de dados no Real-Time Intelligence e continua no Eventstream com a tabela de destino e os detalhes da fonte de dados preenchidos automaticamente.

    Captura de ecrã da caixa de diálogo dos eventos do Processo em Eventstream.

  3. Em Eventstream, selecione o nó de destino do Banco de Dados KQL e, no painel Banco de Dados KQL, verifique se o processamento de eventos antes da ingestão está selecionado e se os detalhes do destino estão corretos.

    Captura de ecrã dos eventos do Process na página Eventstream.

  4. Selecione Abrir processador de eventos para configurar o processamento de dados e, em seguida, selecione Salvar. Para obter mais informações, consulte Processar dados de eventos com o editor do processador de eventos.

  5. De volta ao painel Banco de Dados KQL, selecione Adicionar para concluir a configuração do nó de destino do Banco de Dados KQL.

  6. Verifique se os dados foram ingeridos na tabela de destino.

Observação

O evento processual anterior à ingestão no processo Eventstream está concluído, e as etapas restantes neste artigo não são necessárias.

Passo 3: Inspecionar

O separador Inspect mostra uma pré-visualização dos dados.

Selecione Terminar para completar o processo de ingestão.

Captura de tela da guia inspecionar.

Opcional:

  • Use a lista suspensa de tipo de arquivo para explorar as opções avançadas com base no tipo de dados.

  • Use o menu suspenso Table_mapping para definir um novo mapeamento.

  • Selecione </> para abrir o visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir de suas entradas. Também podes abrir os comandos num conjunto de consultas.

  • Selecione o ícone de lápis para Editar colunas.

Editar colunas

Observação

  • Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
  • Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, você pode acabar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

  • O tipo de tabela é novo ou existente
  • Tipo de mapeamento é novo ou existente
Tipo de tabela Tipo de mapeamento Ajustes disponíveis
Nova tabela Novo mapeamento Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento , adicionar coluna, apagar coluna
Tabela existente Novo mapeamento Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente Mapeamento existente nenhuma

Captura de tela de colunas abertas para edição.

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples durante a ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. Para obter mais informações, consulte a lista completa de transformações de mapeamento suportadas.

Opções avançadas com base no tipo de dados

Tabular (CSV, TSV e PSV):

  • Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Table_mapping>Usar mapeamento existente. Os dados tabulares nem sempre incluem os nomes das colunas usados para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.

JSON:

  • Selecione níveis aninhados para determinar a divisão de colunas dos dados JSON, de 1 a 100.

Passo 4: Resumo

Na janela Resumo , todas as etapas são marcadas como concluídas quando a ingestão de dados é concluída com êxito. Selecione um cartão para explorar os dados, apague os dados ingeridos ou crie um painel com métricas chave. Selecione Fechar para fechar a janela.

Captura de ecrã da página de resumo que mostra a ingestão de dados bem-sucedida.