Ingesta y transformación de datos personalizados en Microsoft Sentinel

Los registros de Azure Monitor sirven como plataforma de datos para Microsoft Sentinel. Todos los registros ingeridos en Microsoft Sentinel se almacenan en un área de trabajo de Log Analytics, y las consultas de registros escritas en el Lenguaje de Consulta Kusto (KQL) se utilizan para detectar amenazas y supervisar la actividad de red.

Log Analytics proporciona un alto nivel de control sobre los datos que se ingieren en el área de trabajo con reglas personalizadas de ingesta de datos y recopilación de datos (DCR). Las DCR permiten recopilar y manipular los datos antes de almacenarlos en el área de trabajo. Los DCR formatean y envían datos tanto a tablas estándar de "Log Analytics" como a tablas personalizables para fuentes de datos que producen formatos de registros únicos.

Herramientas de Azure Monitor para la ingesta de datos personalizada en Microsoft Sentinel

Microsoft Sentinel usa las siguientes herramientas de Azure Monitor para controlar la ingesta de datos personalizada:

• Las transformaciones se definen en DCR y aplican consultas KQL a los datos entrantes antes de almacenarlos en el espacio de trabajo. Estas transformaciones pueden filtrar y no mostrar datos irrelevantes, enriquecer los datos existentes con análisis o datos externos, o enmascarar información confidencial o personal.

• La API de ingesta de registros permite enviar registros de formato personalizado desde cualquier origen de datos al área de trabajo de Log Analytics y almacenar esos registros en determinadas tablas estándar o en tablas con formato personalizado que cree. Tiene control total sobre la creación de estas tablas personalizadas, puede llegar a especificar los tipos y nombres de columna. La API usa DCR para definir, configurar y aplicar transformaciones a estos flujos de datos.

Compatibilidad con DCR en Microsoft Sentinel

Las transformaciones en tiempo de ingesta se definen en reglas de recopilación de datos (DCR), que controlan el flujo de datos en Azure Monitor. Los DCR son utilizados por los conectores y flujos de trabajo de Sentinel basados en AMA utilizando la API de ingesta de registros. Cada DCR contiene la configuración de un escenario de recopilación de datos determinado y varios conectores o orígenes pueden compartir un único DCR.

Los DCR de transformación del área de trabajo admiten flujos de trabajo que, de otra manera, no usarían DCR. Los DCR de transformación del área de trabajo contienen transformaciones para las tablas admitidas y se aplican a todo el tráfico enviado a esa tabla.

Para más información, vea:

• Transformaciones de recopilación de datos en Azure Monitor
• API de ingesta de registros en registros de Azure Monitor
• Reglas de recopilación de datos en Azure Monitor

Casos de uso y escenarios de ejemplo

En el artículo Transformaciones de ejemplo en Azure Monitor se proporciona una descripción y consultas de ejemplo para escenarios comunes utilizando transformaciones durante la ingesta en Azure Monitor. Entre los escenarios especialmente útiles para Microsoft Sentinel se incluyen:

• Reducir los costos de datos. Filtre la recopilación de datos por filas o columnas para reducir los costos de ingesta y almacenamiento.

• Normalizar los datos. Normalice los registros con el modelo de información de seguridad avanzada (ASIM) para mejorar el rendimiento de las consultas normalizadas. Para obtener más información, consulte Normalización del tiempo de ingesta.

• Enriquecer los datos. Las transformaciones en tiempo de ingesta permiten mejorar el análisis enriqueciendo los datos con columnas adicionales agregadas a la transformación KQL configurada. Las columnas adicionales pueden incluir datos analizados o calculados de columnas existentes.

• Quitar datos confidenciales. Las transformaciones en tiempo de ingesta se pueden usar para enmascarar o quitar información personal, como enmascarar todos los dígitos, pero los últimos dígitos de un número de seguro social o el número de tarjeta de crédito.

Flujo de ingesta de datos en Microsoft Sentinel

En la imagen siguiente se muestra el lugar en que la transformación de datos en tiempo de ingesta entra en el flujo de ingesta de datos en Microsoft Sentinel. Estos datos se pueden admitir en tablas estándar o en un conjunto específico de tablas personalizadas.

Esta imagen muestra la canalización en la nube, que representa el componente de recopilación de datos de Azure Monitor. Puede obtener más información sobre él junto con otros escenarios de recopilación de datos en Reglas de recopilación de datos (DCR) en Azure Monitor.

Microsoft Sentinel recopila datos en el área de trabajo de Log Analytics de varios orígenes.

• Los datos recopilados del punto de conexión de la API de ingesta de registros o el agente de Azure Monitor (AMA) se procesan mediante un DCR específico que puede incluir una transformación en tiempo de ingesta.
• Los datos de conectores de datos integrados se procesan en Log Analytics mediante una combinación de flujos de trabajo codificados de forma codificada y transformaciones en tiempo de ingesta en el DCR del área de trabajo.

En la tabla siguiente se describe la compatibilidad de DCR con los tipos de conectores de datos de Microsoft Sentinel:

Contenido relacionado

Para más información, vea:

• Transformación o personalización de datos en tiempo de ingesta en Microsoft Sentinel (versión preliminar)
• Conectores de datos de Microsoft Sentinel
• Búsqueda del conector de datos de Microsoft Sentinel