Ingestão e transformação de dados personalizados no Microsoft Sentinel

O Azure Monitor Logs serve como a plataforma de dados para o Microsoft Sentinel. Todos os logs ingeridos no Microsoft Sentinel são armazenados em um espaço de trabalho do Log Analytics e as consultas de log escritas em Kusto Query Language (KQL) são usadas para detetar ameaças e monitorar sua atividade de rede.

O Log Analytics oferece um alto nível de controle sobre os dados que são ingeridos em seu espaço de trabalho com regras personalizadas de ingestão e coleta de dados (DCRs). Os DCRs permitem que você colete e manipule seus dados antes que eles sejam armazenados em seu espaço de trabalho. Os DCRs formatam e enviam dados para tabelas padrão do Log Analytics e tabelas personalizáveis para fontes de dados que produzem formatos de log exclusivos.

Ferramentas do Azure Monitor para ingestão de dados personalizados no Microsoft Sentinel

O Microsoft Sentinel usa as seguintes ferramentas do Azure Monitor para controlar a ingestão de dados personalizados:

• As transformações são definidas em DCRs e aplicam consultas KQL aos dados de entrada antes que eles sejam armazenados em seu espaço de trabalho. Essas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com análises ou dados externos ou mascarar informações confidenciais ou pessoais.

• A API de ingestão de logs permite que você envie logs de formato personalizado de qualquer fonte de dados para seu espaço de trabalho do Log Analytics e armazene esses logs em determinadas tabelas padrão ou em tabelas personalizadas que você criar. Você tem controle total sobre a criação dessas tabelas personalizadas, até especificar os nomes e tipos de coluna. A API usa DCRs para definir, configurar e aplicar transformações a esses fluxos de dados.

Suporte a DCR no Microsoft Sentinel

As transformações de tempo de ingestão são definidas em regras de coleta de dados (DCRs), que controlam o fluxo de dados no Azure Monitor. Os DCRs são utilizados por conectores Sentinel baseados em AMA e fluxos de trabalho que utilizam a API de ingestão de registos. Cada DCR contém a configuração para um cenário específico de coleta de dados, e vários conectores ou fontes podem compartilhar um único DCR.

Os DCRs de transformação do espaço de trabalho suportam fluxos de trabalho que, de outra forma, não usam DCRs. Os DCRs de transformação de espaço de trabalho contêm transformações para quaisquer tabelas suportadas e são aplicados a todo o tráfego enviado para essa tabela.

Para obter mais informações, consulte:

• Transformações de coleta de dados no Azure Monitor
• API de ingestão de logs nos logs do Azure Monitor
• Regras de coleta de dados no Azure Monitor

Casos de uso e cenários de exemplo

O artigo Transformações de exemplo no Azure Monitor fornece descrição e consultas de exemplo para cenários comuns usando transformações de tempo de ingestão no Azure Monitor. Os cenários que são particularmente úteis para o Microsoft Sentinel incluem:

• Reduza os custos de dados. Filtre a coleta de dados por linhas ou colunas para reduzir os custos de ingestão e armazenamento.

• Normalize os dados. Normalize registos com o Modelo Avançado de Informação de Segurança (ASIM) para melhorar o desempenho de consultas normalizadas. Para obter mais informações, consulte Normalização durante a ingestão.

• Enriqueça os dados. As transformações no momento da ingestão permitem melhorar a análise ao enriquecer os dados com colunas extras adicionadas à transformação KQL configurada. As colunas extras podem incluir dados analisados ou calculados de colunas existentes.

• Remova dados confidenciais. As transformações no momento de ingestão podem ser usadas para mascarar ou remover informações pessoais, como ocultar todos os dígitos, exceto os finais, de um número de segurança social ou de um cartão de crédito.

Fluxo de ingestão de dados no Microsoft Sentinel

A imagem a seguir mostra onde a transformação de dados no momento da ingestão se insere no fluxo de dados do Microsoft Sentinel. Esses dados podem ser suportados em tabelas padrão ou em um conjunto específico de tabelas personalizadas.

Esta imagem mostra o pipeline de nuvem, que representa o componente de coleta de dados do Azure Monitor. Você pode saber mais sobre ele junto com outros cenários de coleta de dados em Regras de coleta de dados (DCRs) no Azure Monitor.

O Microsoft Sentinel coleta dados no espaço de trabalho do Log Analytics de várias fontes.

• Os dados recolhidos do ponto de extremidade da API de ingestão de logs ou do agente do Azure Monitor (AMA) são processados por um DCR específico que pode incluir uma transformação no momento da ingestão.
• Os dados de conectores de dados internos são processados no Log Analytics usando uma combinação de fluxos de trabalho codificados e transformações de tempo de ingestão no DCR do espaço de trabalho.

A tabela a seguir descreve o suporte DCR para tipos de conector de dados do Microsoft Sentinel:

Conteúdos relacionados

Para obter mais informações, consulte:

• Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (visualização)
• Conectores de dados do Microsoft Sentinel
• Encontrar o seu conector de dados do Microsoft Sentinel