Ingerir dados do Splunk para o Azure Data Explorer

O Splunk Enterprise é uma plataforma de software que lhe permite ingerir dados de muitas origens em simultâneo. O indexador Splunk processa os dados e armazena-os por predefinição no índice principal ou num índice personalizado especificado. A pesquisa no Splunk utiliza os dados indexados para criar métricas, dashboards e alertas. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente dimensionável para dados telemétricos e de registo.

Neste artigo, irá aprender a aceder ao suplemento Azure Data Explorer Splunk para enviar dados do Splunk para uma tabela no cluster. Inicialmente, cria uma tabela e um mapeamento de dados e, em seguida, direciona o Splunk para enviar dados para a tabela e, em seguida, valida os resultados.

Os cenários seguintes são mais adequados para ingerir dados no Azure Data Explorer:

• Dados de grande volume: o Azure Data Explorer foi criado para processar de forma eficiente grandes quantidades de dados. Se a sua organização gerar um volume significativo de dados que precisa de análise em tempo real, o Azure Data Explorer é uma opção adequada.
• Dados de série temporal: o Azure Data Explorer excels no processamento de dados de série temporal, tais como registos, dados telemétricos e leituras de sensores. Organiza dados em partições baseadas no tempo, facilitando a realização de análises e agregações baseadas no tempo.
• Análise em tempo real: se a sua organização precisar de informações em tempo real dos dados que fluem, as capacidades quase em tempo real do Azure Data Explorer podem ser benéficas.

Pré-requisitos

• Uma conta Microsoft ou uma identidade de utilizador Microsoft Entra. Não é necessária uma subscrição do Azure.
• Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
• Splunk Enterprise 9 ou mais recente.
• Um principal de serviço Microsoft Entra. Crie um principal de serviço Microsoft Entra.

Criar uma tabela e um objeto de mapeamento

Depois de ter um cluster e uma base de dados, crie uma tabela com um esquema que corresponda aos seus dados do Splunk. Também cria um objeto de mapeamento que é utilizado para transformar os dados recebidos no esquema da tabela de destino.

No exemplo seguinte, vai criar uma tabela com o nome WeatherAlert quatro colunas: Timestamp, Temperature, Humiditye Weather. Também cria um novo mapeamento com o nome WeatherAlert_Json_Mapping que extrai as propriedades do json de entrada, conforme indicado pelo path e devolve-as para o especificado column.

No editor de consultas da IU da Web, execute os seguintes comandos para criar a tabela e o mapeamento:

1. Criar uma tabela:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Verifique se a tabela WeatherAlert foi criada e está vazia:

   WeatherAlert
   | count
   

3. Criar um objeto de mapeamento:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Utilize o principal de serviço dos Pré-requisitos para conceder permissão para trabalhar com a base de dados.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalar o suplemento splunk do Azure Data Explorer

O suplemento Splunk comunica com o Azure Data Explorer e envia os dados para a tabela especificada.

1. Transfira o suplemento Data Explorer do Azure.

2. Inicie sessão na sua instância do Splunk como administrador.

3. Aceda a Aplicações>Gerir Aplicações.

4. Selecione Instalar a aplicação a partir do ficheiro e, em seguida, Data Explorer ficheiro de suplemento que transferiu.

5. Siga as instruções para concluir a instalação.

6. Selecione Reiniciar Agora.

7. Verifique se o suplemento está instalado ao aceder aAções de Alerta do Dashboard> e à procura do suplemento Data Explorer do Azure.

   

Criar um novo índice no Splunk

Crie um índice no Splunk especificando os critérios para os dados que pretende enviar para o Azure Data Explorer.

1. Inicie sessão na sua instância do Splunk como administrador.
2. Aceda a Índices de Definições>.
3. Especifique um nome para o índice e configure os critérios para os dados que pretende enviar para o Azure Data Explorer.
4. Configure as restantes propriedades conforme necessário e, em seguida, guarde o índice.

Configurar o suplemento Splunk para enviar dados para o Azure Data Explorer

1. Inicie sessão na sua instância do Splunk como administrador.

2. Aceda ao dashboard e pesquise com o índice que criou anteriormente. Por exemplo, se tiver criado um índice com o nome WeatherAlerts, procure index="WeatherAlerts".

3. Selecione Guardar Como>Alerta.

4. Especifique o nome, o intervalo e as condições conforme necessário para o alerta.

   

5. Em Ações de Acionador, selecione Adicionar Ações>Enviar ao Microsoft Azure Data Explorer.

   

6. Configure os detalhes das ligações, da seguinte forma:

   Definições	Descrição
   URL de Ingestão de Clusters	Especifique o URL de ingestão do cluster do Azure Data Explorer. Por exemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID de Cliente	Especifique o ID de cliente da aplicação Microsoft Entra que criou anteriormente.
   Segredo do Cliente	Especifique o segredo do cliente da aplicação Microsoft Entra que criou anteriormente.
   ID do inquilino	Especifique o ID de inquilino da aplicação Microsoft Entra que criou anteriormente.
   Base de dados	Especifique o nome da base de dados para a qual pretende enviar os dados.
   Tabela	Especifique o nome da tabela para a qual pretende enviar os dados.
   Mapeamento	Especifique o nome do objeto de mapeamento que criou anteriormente.
   Remover Campos Adicionais	Selecione esta opção para remover quaisquer campos vazios dos dados enviados para o cluster.
   Modo Durável	Selecione esta opção para ativar o modo de durabilidade durante a ingestão. Quando definido como verdadeiro, o débito de ingestão é afetado.

   

7. Selecione Guardar para guardar o alerta.

8. Aceda à página Alertas e verifique se o alerta aparece na lista de alertas.

   

Verifique se os dados são ingeridos no Azure Data Explorer

Assim que o alerta for acionado, os dados são enviados para a tabela Data Explorer do Azure. Pode verificar se os dados são ingeridos ao executar uma consulta no editor de consultas da IU da Web.

1. Execute a seguinte consulta para verificar se os dados são ingeridos na tabela:

   WeatherAlert
   | count
   

2. Execute a seguinte consulta para ver os dados:

   WeatherAlert
   | take 100
   

   

Conteúdo relacionado

• Escrever consultas