Partilhar via

Construtor de gémeos digitais (versão preliminar) no tutorial do Real-Time Intelligence - Parte 2: Recolher e processar dados de streaming

Nesta parte do tutorial, configura-se outro tipo de dados de exemplo: um fluxo de dados em tempo real de dados de autocarros de exemplo que inclui informações de séries temporais sobre locais de autocarros. Você transmite os dados de exemplo para uma casa de eventos, executa algumas transformações nos dados e, em seguida, cria um atalho para obter os dados da casa de eventos no lago de dados de exemplo que você criou na seção anterior. O construtor de gêmeos digitais requer que os dados estejam em uma casa de lago.

Criar uma casa de eventos

  1. Navegue até o espaço de trabalho no qual você deseja criar seus recursos do tutorial. Você deve criar todos os recursos no mesmo espaço de trabalho.

  2. Selecione + Novo item.

  3. Na caixa de pesquisa Filtrar por tipo de item, digite Eventhouse.

    Novo painel de itens com o Eventhouse destacado.

  4. Selecione o item Eventhouse.

  5. Introduza Tutorial como nome da casa de eventos e clique em Criar. A Eventhouse e uma base de dados KQL são criadas simultaneamente com o mesmo nome.

    Captura de ecrã da interface do Eventohouse a mostrar o diálogo do nome do Eventohouse e o botão Criar destacado.

  6. Quando a provisão estiver concluída, clique em Começar na janela de boas-vindas.

    Captura de ecrã da interface de boas-vindas do Eventohouse com o botão Começar destacado.

    A página de visão geral do Sistema da casa de eventos é mostrada.

Criar o fluxo de eventos

Nesta seção, você cria um fluxo de dados de eventos para enviar dados de streaming de barramento de exemplo para a central de eventos.

Adicionar fonte

Siga estes passos para criar o fluxo de dados de eventos e adicionar dados de amostra Buses como fonte.

  1. Na página de visão geral do sistema da casa de eventos, selecione a nova base de dados Tutorial da lista de bases de dados KQL .

  2. Na faixa de opções do menu, selecione Obter dados e escolha Eventstream > New eventstream.

    Captura de tela mostrando como obter um novo fluxo de eventos para o banco de dados Tutorial.

  3. Introduza BusEventstream como nome e selecione Criar. Quando o fluxo de eventos está pronto, abre-se.

  4. Selecione Usar dados de exemplo.

    Captura de tela da seleção de dados de exemplo para o fluxo de eventos.

  5. Na página Adicionar origem, selecione Barramentos sob Dados de exemplo. Insira BusDataSource para o nome da fonte. Selecione Adicionar.

    Captura de ecrã da seleção dos dados de exemplo de autocarro.

    Quando o novo fluxo de eventos estiver pronto, ele será aberto na tela de criação.

Transformar dados

Nesta seção, você adiciona uma transformação aos dados de exemplo de entrada. Esta etapa converte os campos de cadeia de caracteres ScheduleTime e Timestamp para o tipo DateTime e renomeia Timestamp para ArrivalTime para melhorar a clareza. Os campos de data/hora precisam estar no formato DateTime para que o construtor de gémeos digitais na versão de visualização os use como dados de séries temporais.

Siga estas etapas para adicionar a transformação de dados.

  1. Selecione a seta para baixo no bloco Transformar eventos ou adicionar destino e, em seguida, selecione a operação predefinida Gerenciar campos . O bloco é renomeado para ManageFields.

    Captura de ecrã a mostrar a opção Gerir campos.

  2. Selecione o ícone de edição (em forma de lápis) no bloco MangeFields , que abre o painel Gerenciar campos .

  3. Selecione Adicionar todos os campos. Essa ação garante que todos os campos dos dados de origem estejam presentes durante a transformação.

    Sugestão

    Se não houver campos disponíveis para serem adicionados, espere alguns minutos para que os dados de amostra se inicializem e tente novamente. Pode selecionar os nós anteriores na tela para pré-visualizar os seus dados e confirmar que os dados de amostra lhes chegaram.

  4. Selecione o campo Carimbo de data/hora . Mude Alterar tipo para Sim. Para Tipo Convertido, selecione DateTime na lista suspensa. Em Nome, insira o novo nome de ActualTime.

    Captura de ecrã a mostrar a alteração do campo Carimbo de data/hora.

  5. Selecione o campo ScheduleTime . Mude Alterar tipo para Sim. Para Tipo Convertido, selecione DateTime na lista suspensa. Deixe o nome como ScheduleTime.

    Selecione Guardar para guardar ambas as propriedades atualizadas.

  6. O painel Gerenciar campos é fechado. O bloco ManageFields continua a exibir um erro até que você o conecte a um destino.

Adicionar destino

  1. Na faixa de opções do menu, selecione Adicionar destino e, em seguida, selecione Casa de eventos.

    Captura de ecrã a mostrar a seleção do destino da casa de eventos.

  2. Insira as seguintes informações no painel Eventhouse :

    Campo Valor
    Modo de ingestão de dados Processamento de eventos antes da ingestão
    Nome do destino TutorialDestino
    Área de trabalho Selecione o espaço de trabalho no qual você criou seus recursos.
    Casa de eventos Tutoriais
    Base de dados KQL Tutoriais
    Tabela de destino KQL Criar novo - Insira bus_data_raw como o nome da tabela
    Formato dos dados de entrada Json
    Ative a ingestão após adicionar a fonte de dados Verificado

  3. Selecione Guardar.

  4. Na tela de criação, selecione o bloco ManageFields e arraste a seta para o bloco TutorialDestination para conectá-los. Esta ação resolve todas as mensagens de erro no fluxo.

  5. Na faixa de opções do menu, selecione Publicar. O eventstream agora começa a enviar os dados de streaming de exemplo para sua casa de eventos.

  6. Após alguns minutos, o cartão TutorialDestination na exibição de fluxo de eventos exibe dados de exemplo na guia Visualização de dados . Talvez seja necessário atualizar a visualização algumas vezes enquanto aguarda a chegada dos dados.

    Captura de ecrã dos dados de pré-visualização.

  7. Verifique se a tabela de dados está ativa na sua casa de eventos. Vá para o seu banco de dados Tutorial KQL e atualize a exibição. Ele agora contém uma tabela chamada bus_data_raw que contém dados.

    Captura de ecrã da tabela bus_data_raw com dados.

Transformar os dados usando políticas de atualização

Agora que os dados de streaming de autocarros estão num banco de dados KQL, pode usar funções e uma política de atualização do Kusto para transformar ainda mais os dados. As transformações executadas nesta seção preparam os dados para uso no construtor de gêmeos digitais (visualização) e incluem as seguintes ações:

  • Divide o campo Properties JSON em colunas separadas para cada um dos seus itens de dados contidos, BusStatus e TimeToNextStation. O construtor de gêmeos digitais não tem recursos de análise JSON, portanto, você precisa separar esses valores antes que os dados vão para o construtor de gêmeos digitais.
  • Adiciona a coluna StopCode, que é uma chave única representando cada paragem de autocarro. O objetivo desta etapa é apenas concluir o conjunto de dados de exemplo para dar suporte a este cenário tutorial. As instâncias de entidade unificáveis de fontes de dados separadas devem conter uma coluna comum que o criador de gêmeos digitais pode usar para vinculá-las, portanto, esta etapa adiciona um conjunto simulado de valores inteiros que corresponde ao campo Stop_Code no conjunto de dados de paragens de autocarro estático. No mundo real, conjuntos de dados relacionados já contêm algum tipo de semelhança.
  • Cria uma nova tabela chamada bus_data_processed que contém os dados do barramento transformados.
  • Ativa a disponibilidade do OneLake para a nova tabela, para que possas usar um atalho para aceder aos dados no teu TutorialLH lakehouse.

Para executar as consultas de transformação, siga estas etapas.

  1. Abra o editor de consultas KQL selecionando Tutorial_queryset na sua base de dados KQL.

    Captura de ecrã da abertura do editor de consultas.

  2. Copie e cole os seguintes excertos de código no editor de consultas (pode substituir as consultas de exemplo ou adicioná-las no final). Execute cada bloco de código em ordem.

    // Set columns
.create-or-alter function extractBusData ()
{
    bus_data_raw
    | extend BusState = tostring(todynamic(Properties).BusState)
        , TimeToNextStation = tostring(todynamic(Properties).TimeToNextStation)
        , StopCode = toint(10000 + abs(((toint(BusLine) * 100) + toint(StationNumber)) % 750))
    | project-away Properties
}

    // Create table
.create table bus_data_processed (ActualTime:datetime, TripId:string, BusLine:long, StationNumber:long, ScheduleTime:datetime, BusState:string, TimeToNextStation:string, StopCode:int)

    //Load data into table
.alter table bus_data_processed policy update
```
[{
    "IsEnabled": true,
    "Source": "bus_data_raw",
    "Query": "extractBusData",
    "IsTransactional": false,
    "PropagateIngestionProperties": true
}]
```

    // Enable OneLake availability
.alter-merge table bus_data_processed policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5)

    Sugestão

    Você também pode habilitar a disponibilidade do OneLake para a nova tabela por meio da interface do usuário em vez de usar código. Selecione a tabela e ative a disponibilidade do OneLake.

    Captura de tela mostrando a ativação da disponibilidade do OneLake na interface do usuário.

    Com a opção UI, a latência padrão é de 15 minutos a várias horas, dependendo do volume de dados. Para reduzir a latência para cinco minutos, use o comando .alter-merge table como mostrado no bloco de código anterior.

  3. Opcionalmente, renomeie o separador de consulta para Processamento de dados do barramento para que possa identificá-lo mais tarde.

  4. Após a execução das consultas, é criada uma nova tabela na sua base de dados chamada bus_data_processed. Após uma breve espera, começa a ser preenchido com os dados do autocarro processados.

    Captura de ecrã da tabela bus_data_processed com dados.

Criar atalho para lakehouse

Finalmente, crie um atalho que exponha os dados de barramento processados no lago TutorialLH , que contém dados de amostra para o construtor de gêmeos digitais (visualização). Esta etapa é necessária porque o construtor de gêmeos digitais requer que sua fonte de dados seja uma casa de lago.

  1. Vá para o seu TutorialLH lakehouse (você o criou anteriormente na primeira parte, Carregar dados contextuais). Na faixa de opções do menu, selecione Obter dados>Novo atalho.

    Captura de ecrã do botão Novo atalho.

  2. Em Fontes internas, selecione Microsoft OneLake. Em seguida, escolha o banco de dados Tutorial KQL.

  3. Expanda a lista de Tabelas e selecione a caixa ao lado de bus_data_processed. Selecione Seguinte.

  4. Reveja os detalhes do atalho e selecione Criar.

    Captura de tela da criação do atalho.

  5. A tabela bus_data_processed está agora disponível no seu lakehouse. Verifique se ele contém dados (isso pode levar alguns minutos).

    Captura de ecrã de bus_data_processed no lakehouse.

Em seguida, você usa esses dados da lakehouse como fonte para construir uma ontologia no construtor de gêmeos digitais.

Próximo passo

Tutorial parte 3: Construir a ontologia

  • Last updated on