Criar uma conexão de dados de Hubs de Eventos para o Azure Data Explorer

Pré-requisitos

• Uma conta Microsoft ou uma identidade de utilizador do Microsoft Entra. Uma assinatura do Azure não é necessária.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• A ingestão de streaming deve ser configurada em seu cluster do Azure Data Explorer.

Obter dados

1. No menu à esquerda, selecione a opção Consulta.

2. Clique com o botão direito do rato na base de dados onde pretende ingerir os dados. Selecione Obter dados.

   

Fonte

Na janela Obter Dados, a aba Fonte está selecionada.

Selecione a fonte de dados na lista disponível. Neste exemplo, está a ingerir dados de Event Hubs.

Configurar

1. Selecione um banco de dados e uma tabela de destino. Se pretender ingerir dados numa nova tabela, selecione + Nova tabela e introduza um nome de tabela.

   Observação

   Os nomes das tabelas podem ter até 1.024 caracteres, incluindo espaços, alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.

   

2. Preencha os seguintes campos:

   Configuração	Descrição do campo
   Subscrição	O ID da subscrição onde o recurso do hub de eventos está localizado.
   Espaço de nomes do hub de eventos	O nome que identifica seu namespace.
   Hub de eventos	O hub de eventos que você deseja
   Grupo de consumidores	O grupo de consumidores definido no seu evento
   Nome da conexão de dados	O nome que identifica sua conexão de dados.
   Filtros avançados
   Compressão	O tipo de compactação do conteúdo de mensagens do hub de eventos.
   Propriedades do sistema de eventos	As propriedades do sistema do hub de eventos. Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas à primeira. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.
   Data de início da recuperação de dados do evento	A conexão de dados recupera eventos existentes dos Hubs de Eventos criados após a data de início da recuperação de eventos. Somente os eventos retidos pelo período de retenção dos Hubs de Eventos podem ser recuperados. Se a data de início da recuperação de eventos não for especificada, a hora padrão será a hora em que a conexão de dados será criada.

3. Selecione Seguinte

Inspecionar

A guia Inspecionar é aberta com uma pré-visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Opcionalmente:

• Se os dados apresentados na janela de pré-visualização não estiverem completos, poderá necessitar de mais dados para criar uma tabela com todos os campos de dados necessários. Use os seguintes comandos para buscar novos dados do seu hub de eventos:

  • Descartar e buscar novos dados: descarta os dados apresentados e procura novos eventos.

  • Obter mais dados: pesquisa mais eventos além dos eventos já encontrados.

    Observação

    Para ver uma pré-visualização dos seus dados, o seu hub de eventos tem de estar a enviar eventos.

• Selecione Visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir de suas entradas.

• Use o menu suspenso do arquivo de definição do esquema para alterar o arquivo do qual o esquema é inferido.

• Altere o formato de dados que foi inferido automaticamente selecionando, a partir do menu pendente, o formato desejado. Consulte Formatos de dados suportados pelo Azure Data Explorer para ingestão.

• Editar colunas.

• Explore Opções Avançadas com base no Tipo de Dados.

Editar colunas

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• O tipo de tabela é novo ou existente
• Tipo de mapeamento é novo ou existente

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples durante a ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas .

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. As transformações de mapeamento suportadas são:

• Date_Hora_De_Segundos_Unix
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds (DataHoraAPartirDeNanosegundosUnix)

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV, PSV):

• Se estiver a ingerir formatos tabulares numa tabela existente , pode selecionar Avançado>Manter o esquema de tabela atual. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.

• Para usar a primeira linha como nomes de coluna, selecione Avançado>Primeira linha é o cabeçalho da coluna.

  

JSON:

• Para determinar a divisão de colunas dos dados JSON, selecione Avançado>Níveis aninhados, de 1 a 100.

• Se você selecionar Avançado>Ignorar erros de formato de dados, os dados serão ingeridos no formato JSON. Se você deixar essa caixa de seleção desmarcada, os dados serão ingeridos no formato multijson.

  

Resumo

Na janela Preparação de Dados, todas as três etapas são marcadas com marcas de seleção verdes quando a ingestão de dados é concluída com êxito. Você pode visualizar os comandos que foram usados para cada etapa ou selecionar um cartão para consultar, visualizar ou soltar os dados ingeridos.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• Uma tabela de destino. Crie uma tabela ou use uma tabela existente.
• Um mapeamento de ingestão para a tabela.
• Um hub de eventos com dados para ingestão.

Obter dados

1. No portal do Azure, vá para o cluster e selecione Bancos de dados. Em seguida, selecione o banco de dados que contém a tabela de destino.

   

2. No menu à esquerda, selecione Ingestão de dados. Em seguida, na barra superior, selecione Adicionar conexão de dados.

3. Preencha o formulário com as seguintes informações e selecione Criar.

   Configuração	Valor sugerido	Descrição do campo
   Nome da conexão de dados	test-hub-conexão	O nome da ligação que quer criar no Azure Data Explorer.
   Subscrição		O ID da subscrição onde o recurso do hub de eventos está localizado.
   Espaço de nomes do hub de eventos	Um nome de espaço de nomes exclusivo	O nome que escolheu anteriormente para identificar o seu espaço de nomes.
   Hub de eventos	Hub de teste	O hub de eventos que criou.
   Grupo de consumidores	grupo-teste	O grupo de consumidores definido no hub de eventos que criou.
   Propriedades do sistema de eventos	Selecionar propriedades relevantes	As propriedades do sistema do hub de eventos. Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas ao primeiro registro. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.
   Compressão	Nenhum	O tipo de compactação do conteúdo de mensagens do hub de eventos. Tipos de compressão suportados: None, gzip.
   Identidade gerenciada (recomendado)	Atribuído pelo sistema	A identidade gerenciada usada pelo cluster do Data Explorer para acesso à leitura do hub de eventos. Recomendamos o uso de identidades gerenciadas para controlar o acesso ao seu hub de eventos. Observação: Quando a conexão de dados é criada: * As identidades atribuídas ao sistema são criadas automaticamente se não existirem * A identidade gerenciada recebe automaticamente a função de Recetor de Dados dos Hubs de Eventos do Azure e é adicionada ao cluster do Data Explorer. Recomendamos verificar se a função foi atribuída e se a identidade foi adicionada ao cluster.

   Observação

   Se você tiver uma conexão de dados existente que não esteja usando identidades gerenciadas, recomendamos atualizá-la para usar identidades gerenciadas.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• Uma tabela de destino. Crie uma tabela ou use uma tabela existente.
• Um mapeamento de ingestão para a tabela.
• Um hub de eventos com dados para ingestão.

Obter dados

1. No portal do Azure, navegue até sua Instância de Hubs de Eventos.

2. No menu lateral Recursos , selecione Analisar dados com o Kusto.

3. Selecione Iniciar para abrir o assistente de ingestão no Azure Data Explorer.

   

   Observação

   • Você deve ter pelo menos permissões de Usuário do Banco de Dados .
   • Para permitir o acesso entre um cluster e uma conta de armazenamento sem acesso público, consulte Criar um Ponto de Extremidade Privado Gerido.
   • O cluster e o hub de eventos devem estar associados aos mesmos locatários. Caso contrário, use uma das opções do SDK, como C# ou Python.

4. O painel lateral Ingerir dados é aberto com a guia Destino selecionada. Selecione os campos Cluster e Banco de Dados nos menus suspensos. Certifique-se de selecionar um cluster em execução. Caso contrário, você não poderá selecionar Banco de Dados e prosseguir com o processo de ingestão.

5. Em Tabela, selecione Nova tabela e insira um nome para a nova tabela. Como alternativa, use uma tabela existente.

6. Selecione Next: Source.

7. Em Tipo de origem, o tipo e os detalhes do Hub de Eventos são preenchidos automaticamente com base na Instância de Hubs de Eventos a partir da qual você começou.

8. Em Conexão de Dados, preencha os seguintes campos e selecione Avançar: Esquema.

   Configuração	Valor sugerido	Descrição do campo
   Subscrição		O ID da subscrição onde o recurso do hub de eventos está localizado.
   Espaço de nomes do hub de eventos		O nome que identifica seu namespace.
   Hub de eventos		O hub de eventos que você deseja usar.
   Nome da conexão de dados	TestDataConnection	O nome que identifica sua conexão de dados.
   Grupo de consumidores		O grupo de consumidores definido no seu hub de eventos.
   Compressão		O tipo de compactação do conteúdo de mensagens do hub de eventos.
   Propriedades do sistema de eventos	Selecionar propriedades relevantes	As propriedades do sistema do hub de eventos. Se houver vários registros por mensagem de evento, as propriedades do sistema serão adicionadas à primeira. Ao adicionar propriedades do sistema, crie ou atualize o esquema e o mapeamento da tabela para incluir as propriedades selecionadas.
   Data de início da recuperação de dados do evento	Tempo Universal Coordenado (UTC)	A conexão de dados recupera eventos existentes dos Hubs de Eventos criados após a data de início da recuperação de eventos. Somente os eventos retidos pelo período de retenção dos Hubs de Eventos podem ser recuperados. Se a data de início da recuperação de eventos não for especificada, a hora padrão será a hora em que a conexão de dados será criada.

9. Se o streaming estiver habilitado para o cluster, você poderá selecionar Ingestão de streaming. Se o streaming não estiver habilitado para o cluster, defina a latência de processamento em lote de dados. Para Hubs de Eventos, o tempo de processamento em lote recomendado é de 30 segundos.

   

10. Selecione o formato de dados. Para dados formatados em CSV, ignore o primeiro registro para ignorar a linha de título do arquivo. Para dados formatados em JSON, selecione Ignorar erros de formato de dados para ingerir os dados no formato JSON ou deixe desmarcado para ingerir os dados no formato multijson. Selecione os níveis aninhados para determinar a divisão dos dados das colunas da tabela.

11. Se os dados apresentados na janela de pré-visualização não estiverem completos, poderá necessitar de mais dados para criar uma tabela com todos os campos de dados necessários. Use os seguintes comandos para buscar novos dados do seu hub de eventos:

    • Descartar e buscar novos dados: descarta os dados apresentados e procura novos eventos.
    • Obter mais dados: pesquisa mais eventos além dos eventos já encontrados.

    Observação

    Para ver uma pré-visualização dos seus dados, o seu hub de eventos tem de estar a enviar eventos.

12. Selecione Next: Summary.

13. Na janela Ingestão contínua do Hub de Event estabelecida, todas as etapas são assinaladas com marcas de verificação verdes quando o estabelecimento é concluído com êxito.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• Uma tabela de destino. Crie uma tabela ou use uma tabela existente.
• Um mapeamento de ingestão para a tabela.
• Um hub de eventos com dados para ingestão.

modelo do ARM

O exemplo a seguir mostra um modelo do Azure Resource Manager para adicionar uma conexão de dados de Hubs de Eventos. Você pode editar e implantar o modelo no portal do Azure usando o formulário.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Remova a conexão de dados por meio do portal do Azure, conforme explicado na guia portal.

Para remover a conexão do hub de eventos do portal do Azure, execute as seguintes etapas:

1. Vá para o seu cluster. No menu à esquerda, selecione Bancos de dados. Em seguida, selecione o banco de dados que contém a tabela de destino.
2. No menu à esquerda, selecione Conexões de dados. Em seguida, marque a caixa de seleção ao lado da conexão de dados do hub de eventos relevante.
3. Na barra de menu superior, selecione Excluir.