Agregar dados do Microsoft Sentinel com regras de resumo

Use summary rules in Microsoft Sentinel to aggregate large sets of data in the background for a smoother security operations experience across all log tiers. Os dados de resumo são pré-compilados em tabelas de log personalizadas e fornecem um desempenho rápido de consulta, incluindo consultas executadas em dados derivados de camadas de log de baixo custo. As regras de resumo podem ajudar a otimizar seus dados para:

• Análise e relatórios, especialmente em grandes conjuntos de dados e intervalos de tempo, conforme necessário para análise de segurança e incidentes, relatórios de negócios mês a mês ou anuais e assim por diante.
• Cost savings on verbose logs, which you can retain for as little or as long as you need in a less expensive log tier, and send as summarized data only to an Analytics table for analysis and reports.
• Segurança e privacidade de dados, removendo ou ofuscando detalhes de privacidade em dados compartilháveis resumidos e limitando o acesso a tabelas com dados brutos.

Microsoft Sentinel stores summary rule results in custom tables with the Analytics data plan. Para obter mais informações sobre planos de dados e custos de armazenamento, consulte Planos de tabela de log.

Este artigo explica como criar regras de resumo ou implantar modelos de regra de resumo pré-criados no Microsoft Sentinel e fornece exemplos de cenários comuns para usar regras de resumo.

Prerequisites

Para criar regras de resumo no Microsoft Sentinel:

• O Microsoft Sentinel deve estar habilitado em pelo menos um espaço de trabalho e consumir logs ativamente.

• Você deve ser capaz de acessar o Microsoft Sentinel com permissões de Colaborador do Microsoft Sentinel . Para obter mais informações, consulte Funções e permissões no Microsoft Sentinel.

• Para criar regras de resumo no portal do Microsoft Defender, você deve primeiro integrar seu espaço de trabalho ao portal do Defender. Para obter mais informações, consulte Conectar o Microsoft Sentinel ao portal do Microsoft Defender.

Recomendamos que você experimente a consulta de regra de resumo na página Logs antes de criar a regra. Verify that the query doesn't reach or near the query limit, and check that the query produces the intended schema and expected results. Se a consulta estiver próxima dos limites de consulta, considere usar um menor binSize para processar menos dados por compartimento. Você também pode modificar a consulta para retornar menos registros ou remover campos com maior volume.

Criar uma nova regra de resumo

Crie uma nova regra de resumo para agregar um grande conjunto específico de dados em uma tabela dinâmica. Configure a frequência da regra para determinar com que frequência o conjunto de dados agregados é atualizado a partir dos dados brutos.

1. Abra o assistente de regra de resumo:

   • No portal do Defender, selecione Regras de resumo de configuração > do Microsoft Sentinel>.

   • For example: For example:

     

2. Select + Create and enter the following details:

   • Name. Insira um nome significativo para sua regra.

   • Description. Insira uma descrição opcional.

   • Destination table. Defina a tabela de log personalizada onde seus dados são agregados:

     • Se você selecionar Tabela de log personalizada existente, selecione a tabela que deseja usar.

     • Se você selecionar Nova tabela de log personalizada, insira um nome significativo para a tabela. O nome completo da tabela usa a seguinte sintaxe: <tableName>_CL.

3. We recommend that you enable SummaryLogs diagnostic settings on your workspace to get visibility for historical runes and failures. If SummaryLogs diagnostic settings aren't enabled, you're prompted to enable them in the Diagnostic settings area.

   If SummaryLogs diagnostic settings are already enabled, but you want to modify the settings, select Configure advanced diagnostic settings. Quando voltar à página do assistente de regras de resumo, selecione Atualizar para atualizar os detalhes da configuração.

   Important

   The SummaryLogs diagnostic setting has additional costs. Para obter mais informações, consulte Configurações de diagnóstico no Azure Monitor.

4. Selecione Avançar: Definir lógica >de resumo para continuar.

5. Na página Definir lógica de resumo , insira sua consulta de resumo. Por exemplo, para resumir dados do Google Cloud Platform, insira a:

   GCPAuditLogs
   | where ServiceName == 'pubsub.googleapis.com'
   | summarize count() by Severity
   

   Para obter mais informações, consulte Cenários de regras de resumo de amostra e Linguagem de Consulta Kusto (KQL) no Azure Monitor.

6. Select Preview results to show an example of the data you'd collect with the configured query.

7. In the Query scheduling area, define the following details:

   • Com que frequência pretende que a regra seja executada
   • Se quiser que a regra seja executada com algum atraso, em minutos
   • Quando você deseja que a regra comece a ser executada

   Os horários definidos no agendamento são baseados na timegenerated coluna em seus dados

8. Selecione Seguinte: Rever + criar >>Guardar para concluir a regra de resumo.

Para cada regra, selecione o menu de opções no final da linha para executar qualquer uma das seguintes ações: For each rule, select the options menu at the end of the row to take any of the following actions:

• View the rule's current data in the Logs page, as if you were to run the query immediately
• Exibir o histórico de execução da regra selecionada
• Desative ou habilite a regra.
• Editar a configuração da regra

To delete a rule, select the rule row and then select Delete in the toolbar at the top of the page.

Implantar modelos de regras de resumo pré-definidos

Os modelos de regras de resumo são regras de resumo pré-criadas que você pode implantar as-is ou personalizar de acordo com suas necessidades.

Para desdobrar um modelo de resumo de regras:

1. Open the Content hub and filter Content type by Summary rules to view the available summary rule templates.

   

2. Selecione um modelo de regra de resumo.

   Um painel com informações sobre o modelo de regra de resumo é aberto, exibindo campos como descrição, consulta de resumo e tabela de destino.

   

3. Select Install to install the template.

4. Select the Templates tab on the Summary rules page, and select the summary rule you installed.

   

5. Select Create to open the Summary rule wizard, where all of the fields are prepopulated.

6. Go through the Summary rule wizard and select Save to deploy the summary rule.

   Para obter mais informações sobre o assistente de regra de resumo, consulte Criar uma nova regra de resumo.

Exemplos de cenários de regra de resumo no Microsoft Sentinel

Esta seção analisa cenários comuns para a criação de regras de resumo no Microsoft Sentinel e nossas recomendações sobre como configurar cada regra. Para obter mais informações e exemplos, consulte Resumo de insights de dados brutos em uma tabela Auxiliar para uma tabela Analítica no Microsoft Sentinel e Fontes de logs a serem usadas para a ingestão de Logs Auxiliares.

Encontre rapidamente um endereço IP malicioso no seu tráfego de rede

Scenario: You're a threat hunter, and one of your team's goals is to identify all instances of when a malicious IP address interacted in the network traffic logs from an active incident, in the last 90 days.

Challenge: Microsoft Sentinel currently ingests multiple terabytes of network logs a day. Você precisa analisá-los rapidamente para encontrar correspondências para o endereço IP malicioso.

Solution: We recommend using summary rules to do the following:

1. Crie um conjunto de dados resumido para cada endereço IP relacionado ao incidente, incluindo o SourceIP, DestinationIP, MaliciousIP, RemoteIP, , cada listando atributos importantes, como IPType, FirstTimeSeene LastTimeSeen.

   O conjunto de dados de resumo permite pesquisar rapidamente um endereço IP específico e reduzir o intervalo de tempo onde o endereço IP é encontrado. Você pode fazer isso mesmo quando os eventos pesquisados ocorreram há mais de 90 dias, o que excede o período de retenção do espaço de trabalho.

   Neste exemplo, configure o resumo para ser executado diariamente, para que a consulta adicione novos registros de resumo todos os dias até expirar.

2. Crie uma regra de análise que seja executada por menos de dois minutos no conjunto de dados de resumo, detalhando rapidamente o intervalo de tempo específico em que o endereço IP mal-intencionado interagiu com a rede da empresa.

   Certifique-se de configurar intervalos de execução de até cinco minutos, no mínimo, para acomodar diferentes tamanhos de carga útil resumida. Isso garante que não haja perdas, mesmo quando há um atraso na ingestão de eventos.

   For example:

   let csl_columnmatch=(column_name: string) {
   summarized_CommonSecurityLog
   | where isnotempty(column_name)
   | extend
       Date = format_datetime(TimeGenerated, "yyyy-MM-dd"),
       IPaddress = column_ifexists(column_name, ""),
       FieldName = column_name
   | extend IPType = iff(ipv4_is_private(IPaddress) == true, "Private", "Public")
   | where isnotempty(IPaddress)
   | project Date, TimeGenerated, IPaddress, FieldName, IPType, DeviceVendor
   | summarize count(), FirstTimeSeen = min(TimeGenerated), LastTimeSeen = min(TimeGenerated) by Date, IPaddress, FieldName, IPType, DeviceVendor
   };
   union csl_columnmatch("SourceIP")
       , csl_columnmatch("DestinationIP") 
       , csl_columnmatch("MaliciousIP")
       , csl_columnmatch("RemoteIP")
   // Further summarization can be done per IPaddress to remove duplicates per day on larger timeframe for the first run
   | summarize make_set(FieldName), make_set(DeviceVendor) by IPType, IPaddress
   

3. Execute uma pesquisa subsequente ou correlação com outros dados para completar a história do ataque.

Gerar alertas sobre correspondências de inteligência de ameaças com dados de rede

Gere alertas sobre correspondências de inteligência de ameaças em dados de rede que são barulhentos, de alto volume e de baixo valor de segurança.

Scenario: You need to build an analytics rule for firewall logs to match domain names in the system that have been visited against a threat intelligence domain name list.

A maioria das fontes de dados são registos brutos que são ruidosos e têm volume elevado, mas têm menor valor de segurança, incluindo endereços IP, tráfego do Firewall Azure, tráfego Fortigate, entre outros. Há um volume total de cerca de 1 TB por dia.

Challenge: Creating separate rules requires multiple logic apps, requiring extra setup and maintenance overhead and costs.

Solution: We recommend using summary rules to do the following:

1. Crie uma regra de resumo:

   1. Extend your query to extract key fields, such as the source address, destination address, and destination port from the CommonSecurityLog_CL table, which is the CommonSecurityLog with the Auxiliary plan.

   2. Realize uma pesquisa interna nos Indicadores de Inteligência de Ameaças ativos para identificar quaisquer correspondências com nosso endereço de origem. Isso permite que você faça referência cruzada de seus dados com ameaças conhecidas.

   3. Informações relevantes do projeto, incluindo o tempo gerado, o tipo de atividade e quaisquer IPs de origem mal-intencionados, juntamente com os detalhes do destino. Set the frequency you want the query to run, and the destination table, such as MaliciousIPDetection . Os resultados nesta tabela estão no nível analítico e são cobrados de acordo.

2. Crie um alerta:

   Creating an analytics rule in Microsoft Sentinel that alerts based on results from the MaliciousIPDetection table. Esta etapa é crucial para a deteção proativa de ameaças e resposta a incidentes.

Exemplo de regra de resumo:

CommonSecurityLog_CL​
| extend sourceAddress = tostring(parse_json(Message).sourceAddress), destinationAddress = tostring(parse_json(Message).destinationAddress), destinationPort = tostring(parse_json(Message).destinationPort)​
| lookup kind=inner (ThreatIntelligenceIndicator | where Active == true ) on $left.sourceAddress == $right.NetworkIP​
| project TimeGenerated, Activity, Message, DeviceVendor, DeviceProduct, sourceMaliciousIP =sourceAddress, destinationAddress, destinationPort

Related content

• Agregar dados no workspace do Log Analytics com regras de resumo
• Planeje os custos e entenda os preços e a cobrança do Microsoft Sentinel
• Fontes de registos que devem ser usadas para a ingestão de registos auxiliares
• Restrições e limitações de regras sumárias