Ingesta de datos del reenviador universal de Splunk a Azure Data Explorer

Splunk Universal Forwarder es una versión ligera del software de Splunk Enterprise que permite ingerir datos de muchos orígenes simultáneamente. Está diseñado para recopilar y reenviar datos de registro y datos de máquina de varios orígenes a un servidor Splunk Enterprise central o una implementación de Splunk Cloud. Splunk Universal Forwarder actúa como agente que simplifica el proceso de recopilación y reenvío de datos, lo que lo convierte en un componente esencial en una implementación de Splunk. El Explorador de datos de Azure es un servicio de exploración de datos altamente escalable y rápido para datos de telemetría y registro.

En este artículo, aprenderá a usar kusto Splunk Universal Forwarder Connector para enviar datos a una tabla del clúster. Inicialmente, se crea una tabla y una asignación de datos, se dirige a Splunk para enviar datos a la tabla y, a continuación, validar los resultados.

Requisitos previos

• Splunk Universal Forwarder descargado en la misma máquina donde se originan los registros.
• Un clúster y la base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• Docker instalado en el sistema que ejecuta el conector Kusto Splunk Universal Forwarder.
• Una entidad de servicio de Microsoft Entra. Crear una entidad de servicio de Microsoft Entra.

Creación de una tabla de Azure Data Explorer

Cree una tabla para recibir los datos de Splunk Universal Forwarder y, a continuación, conceda a la entidad de servicio acceso a esta tabla.

En los pasos siguientes, creará una tabla denominada SplunkUFLogs con una sola columna (RawText). Esto se debe a que Splunk Universal Forwarder envía datos en formato de texto sin formato de forma predeterminada. Los comandos siguientes se pueden ejecutar en el editor de consultas de interfaz de usuario web.

1. Creación de una tabla:

   .create table SplunkUFLogs (RawText: string)
   

2. Compruebe que la tabla SplunkUFLogs se creó y está vacía:

   SplunkUFLogs
   | count
   

3. Use la entidad de servicio de los requisitos previos para conceder permiso para trabajar con la base de datos que contiene la tabla.

   .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'
   

Configuración del reenviador universal de Splunk

Al descargar Splunk Universal Forwarder, se abre un asistente para configurar el reenviador.

1. En el asistente, establezca el indexador receptor para que apunte al sistema que hospeda el conector Kusto Splunk Universal Forwarder. Escriba 127.0.0.1 para el nombre de host o la dirección IP y 9997 para el puerto. Deje en blanco el indexador de destino.

   Para obtener más información, consulte Habilitación de un receptor para Splunk Enterprise.

2. Vaya a la carpeta donde está instalado Splunk Universal Forwarder y, a continuación, a la carpeta /etc/system/local. Cree o modifique el archivo inputs.conf para permitir que el reenviador lea los registros:

   [default]
   index = default
   disabled = false
   
   [monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
   sourcetype = modinput_eventgen
   

   Para obtener más información, consulte Supervisión de archivos y directorios con inputs.conf.

3. Vaya a la carpeta donde está instalado Splunk Universal Forwarder y, a continuación, a la carpeta /etc/system/local. Cree o modifique el archivo outputs.conf para determinar la ubicación de destino de los registros, que es el nombre de host y el puerto del sistema que hospeda el conector Kusto Splunk Universal Forwarder:

   [tcpout]
   defaultGroup = default-autolb-group
   sendCookedData = false
   
   [tcpout:default-autolb-group]
   server = 127.0.0.1:9997
   
   [tcpout-server://127.0.0.1:9997]
   

   Para obtener más información, consulte Configuración del reenvío con outputs.conf.

4. Reinicie el reenviador universal de Splunk.

Configuración del conector Kusto Splunk Universal

Para configurar el conector Kusto Splunk Universal para enviar registros a la tabla de Azure Data Explorer:

1. Descargue o clone el conector desde el repositoriode GitHub.

2. Vaya al directorio base del conector:

   cd .\SplunkADXForwarder\
   

3. Edite el config.yml para contener las siguientes propiedades:

   ingest_url: <ingest_url>
   client_id: <ms_entra_app_client_id>
   client_secret: <ms_entra_app_client_secret>
   authority: <ms_entra_authority>
   database_name: <database_name>
   table_name: <table_name>
   table_mapping_name: <table_mapping_name>
   data_format: csv
   

   Campo	Descripción
   ingest_url	Dirección URL de ingesta del clúster de Azure Data Explorer. Puede encontrarlo en Azure Portal en el URI de ingesta de datos en la pestaña Información general del clúster. Debe tener este formato: https://ingest-<clusterName>.<region>.kusto.windows.net.
   client_id	El identificador de cliente del registro de la aplicación Microsoft Entra creado en la sección Requisitos previos.
   client_secret	El secreto de cliente del registro de la aplicación Microsoft Entra creado en la sección requisitos previos.
   authority	El identificador del inquilino que contiene el registro de aplicación de Microsoft Entra creado en la secciónRequisitos previos.
   database_name	Nombre de la base de datos de Azure Data Explorer.
   table_name	El nombre de la tabla de destino de Azure Data Explorer.
   table_mapping_name	Nombre del asignación de datos de ingesta para la tabla. Si no tiene una asignación, puede omitir esta propiedad del archivo de configuración. Siempre puede analizar los datos en varias columnas más adelante.
   data_format	Formato de datos esperado para los datos entrantes. Los datos entrantes están en formato de texto sin formato, por lo que el formato recomendado es csv, que asigna el texto sin formato al índice cero de forma predeterminada.

4. Compile la imagen de Docker:

   docker build -t splunk-forwarder-listener
   

5. Ejecute el contenedor de Docker:

   docker run -p 9997:9997 splunk-forwarder-listener
   

Comprobación de que los datos se ingieren en Azure Data Explorer

Una vez que se ejecuta Docker, los datos se envían a la tabla de Azure Data Explorer. Puede comprobar que los datos se ingieren ejecutando una consulta en el editor de consultas de interfaz de usuario web.

1. Ejecute la consulta siguiente para comprobar que los datos se ingieren en la tabla:

   SplunkUFLogs
   | count
   

2. Ejecute la siguiente consulta para ver los datos:

   SplunkUFLogs
   | take 100
   

Contenido relacionado

• Escritura de consultas