Ingerir dados do fluxo Cribl no Azure Data Explorer

O Cribl Stream é um mecanismo de processamento que coleta, processa e transmite com segurança dados de eventos da máquina de qualquer fonte. Ele permite que você analise e processe esses dados para qualquer destino para análise e gerenciamento de forma segura.

Este artigo mostra como ingerir dados com o Cribl Stream.

Para obter uma lista completa de conectores de dados, consulte Visão geral de integrações de dados.

Pré-requisitos

• Uma conta Cribl Stream
• Um cluster e banco de dados do Azure Data Explorer com as políticas de cache e retenção padrão.
• Um ambiente de consulta. Para obter mais informações, consulte Visão geral das integrações de consulta.
• O seu URI de cluster Kusto para o valor TargetURI no formato https://ingest-<cluster>.<região>.kusto.windows.net. Para obter mais informações, consulte Adicionar uma conexão de cluster.

Criar um principal de serviço Microsoft Entra

O principal de serviço do Microsoft Entra pode ser criado programaticamente ou por meio do portal do Azure, como ilustrado no exemplo abaixo.

Esta entidade de serviço é a identidade usada pelo conector para gravar dados em sua tabela no Kusto. Você concede permissões para este principal de serviço acessar recursos do Kusto.

1. Inicie sessão na sua subscrição do Azure através da CLI do Azure. Em seguida, autentique-se no navegador.

   az login
   

2. Escolha a assinatura para hospedar o principal. Esta etapa é necessária quando você tem várias assinaturas.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. Crie a entidade de serviço principal. Neste exemplo, o principal de serviço é chamado my-service-principal.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. Dos dados JSON retornados, copie os appId, passworde tenant para uso futuro.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Você criou a sua aplicação e principal de serviço do Microsoft Entra.

Crie uma tabela de destino

Crie uma tabela de destino para os dados recebidos e um mapeamento de ingestão para alinhar as colunas dos dados ingeridos com as colunas na tabela de destino.

1. Execute o seguinte comando de criação de tabela no editor de consultas, substituindo o espaço reservado TableName pelo nome da tabela de destino:

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. Execute o seguinte comando create ingestion mapping , substituindo os espaços reservados TableName pelo nome da tabela de destino e TableNameMapping pelo nome do mapeamento de ingestão:

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. Conceda à entidade de serviço de Criar uma entidade de serviço do Microsoft Entraingestor de banco de dados permissões de função para trabalhar com o banco de dados. Para obter mais informações, consulte Exemplos. Substitua o espaço reservado DatabaseName pelo nome do banco de dados de destino e ApplicationID pelo valor AppId que guardou ao criar um principal de serviço do Microsoft Entra.

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

Criar destino Cribl Stream

A seção a seguir descreve como criar um destino Cribl Stream que grava dados em sua tabela no Kusto. Cada tabela requer um conector de destino Cribl Stream separado.

Selecione o destino

Para conectar o Cribl Stream à sua tabela:

1. Na navegação superior do Cribl, selecione Gerenciar e selecione um Grupo de Trabalhadores.

2. Selecione Roteamento>QuickConnect (Stream)>Adicionar destino.

3. Na janela Configurar novo Destino do QuickConnect , escolha Azure Data Explorer e Adicionar agora.

Configurar configurações gerais

Na janela Novo Data Explorer , em Configurações Gerais , defina as seguintes configurações:

Quando terminar, selecione Avançar.

Definições de autenticação

Selecione Configurações de autenticação na barra lateral. Use os valores guardados em Criar uma entidade de serviço do Microsoft Entra juntamente com o seu URI base da seguinte forma:

Em seguida, selecione Seguinte.

Fila persistente

Exibe quando o modo de ingestão está definido como Streaming e o comportamento de backpressure é definido como Fila persistente.

Quando terminar, selecione Avançar.

Configurações de processamento

Quando terminar, selecione Avançar.

Configurações de parquet

Exibe quando Parquet é selecionado para Formato de Dados.

Escolher Parquet abre o separador de Configurações do Parquet, para selecionar o esquema Parquet.

Repetições

Exibe quando o modo de ingestão está definido como Streaming.

Quando terminar, selecione Avançar.

Configurações avançadas

Selecione Configurações avançadas na barra lateral. A seguir são descritas as configurações avançadas quando Envio em lote é selecionado:

Quando terminar, selecione Salvar.

Configuração da conexão

Na janela Configuração de Conexão que se abre, selecione Conexão Passthru e Salvar. O conector começa a enfileirar os dados.

Confirmar a ingestão de dados

1. Assim que os dados chegarem à tabela, confirme a transferência de dados, verificando a contagem de linhas:

   <Tablename> 
   | count
   

2. Confirme os processos de ingestão enfileirados nos últimos cinco minutos:

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. Confirme que não há falhas no processo de ingestão:

   • Para o processamento em lote:

   .show ingestion failures
   

   • Para streaming:

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. Verifique os dados na tabela:

   <TableName>
   | take 10
   

Para obter exemplos de consulta e orientação, consulte Escrever consultas na documentação do KQL e Kusto Query Language.

Conteúdo relacionado

• Visão geral das integrações de dados
• Descrição geral da Linguagem de Pesquisa Kusto (KQL)