Colete logs de arquivos de texto com o Azure Monitor Agent e ingira ao Microsoft Sentinel

Este artigo descreve como usar o conector Custom Logs via AMA para filtrar e ingerir rapidamente logs no formato de texto de aplicativos de rede ou segurança instalados em máquinas Windows ou Linux.

Muitos aplicativos registram dados em arquivos de texto em vez de serviços de log padrão, como o log de eventos do Windows ou o Syslog. Você pode usar o Azure Monitor Agent (AMA) para coletar dados em arquivos de texto de formatos não padrão de computadores Windows e Linux. O AMA também pode efetuar transformações nos dados no momento da coleta, para analisá-los em diferentes campos.

Para obter mais informações sobre os aplicativos para os quais o Microsoft Sentinel tem soluções para dar suporte à coleta de logs, consulte Logs personalizados via conector de dados AMA - Configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos.

Para obter mais informações gerais sobre como ingerir logs personalizados de arquivos de texto, consulte Coletar logs de um arquivo de texto com o Azure Monitor Agent.

Pré-requisitos

Antes de começar, você deve ter os recursos configurados e as permissões apropriadas atribuídas, conforme descrito nesta seção.

Pré-requisitos do Microsoft Sentinel

• Instale a solução Microsoft Sentinel que corresponde à sua aplicação e certifique-se de que tem as permissões para concluir os passos neste artigo. Você pode encontrar essas soluções no Hub de Conteúdo na Microsoft Sentinel, e todas elas incluem os Logs Personalizados via Conector AMA.

  Para obter a lista de aplicativos que têm soluções no hub de conteúdo, consulte Instruções específicas por aplicativo. Se não houver uma solução disponível para a sua aplicação, instale a solução Logs Personalizados via AMA.

  Para obter mais informações, consulte Descobrir e gerenciar conteúdo pronto para uso do Microsoft Sentinel.

• Tenha uma conta do Azure com as seguintes funções de controle de acesso baseado em função do Azure (Azure RBAC):

  Função incorporada	Âmbito	Razão
  - Colaborador de Máquina Virtual - Máquina Conectada Azure    Administrador de Recursos	Máquinas virtuais (VM) Conjuntos de Dimensionamento de Máquinas Virtuais Servidores compatíveis com o Azure Arc	Para implantar o agente
  Qualquer função que inclua a ação Microsoft.Recursos/implantações/*	Subscrição Grupo de recursos Regra de recolha de dados existente	Para implantar modelos do Azure Resource Manager
  Colaborador de Monitoramento	Subscrição Grupo de recursos Regra de recolha de dados existente	Para criar ou editar regras de coleta de dados

Pré-requisitos do encaminhador de log

Certos aplicativos personalizados são hospedados em dispositivos fechados que exigem o envio de seus logs para um coletor/encaminhador de logs externo. Nesse cenário, os seguintes pré-requisitos se aplicam ao encaminhador de log:

• Você deve ter uma VM Linux designada como um encaminhador de log para coletar logs.

  • Crie uma VM Linux no portal do Azure.
  • Sistemas operacionais Linux com suporte para o Azure Monitor Agent.

• Se o encaminhador de log não for uma máquina virtual do Azure, deve ter instalado o agente de Máquina Conectada do Azure Arc.

• A VM do encaminhador de log do Linux deve ter o Python 2.7 ou 3 instalado. Use o python --version comando ou python3 --version para verificar. Se você estiver usando Python 3, certifique-se de que ele esteja definido como o comando padrão na máquina ou execute scripts com o comando 'python3' em vez de 'python'.

• O encaminhador de log deve ter o ou syslog-ng daemon rsyslog habilitado.

• Para obter os requisitos de espaço para seu encaminhador de log, consulte o Benchmark de Desempenho do Agente do Azure Monitor. Você também pode revisar esta postagem do blog, que inclui designs para ingestão escalável.

• Suas fontes de log, dispositivos de segurança e dispositivos devem ser configurados para enviar suas mensagens de log para o daemon syslog do encaminhador de log em vez de para o daemon syslog local.

Pré-requisitos de segurança da máquina

Configure a segurança da máquina do encaminhador de log de acordo com a política de segurança da sua organização. Por exemplo, configure sua rede para se alinhar com sua política de segurança de rede corporativa e altere as portas e protocolos no daemon para alinhar com seus requisitos. Para melhorar a configuração de segurança da sua máquina, proteja a sua VM no Azure ou reveja estas práticas recomendadas para a segurança da rede.

Se seus dispositivos estiverem enviando logs por TLS porque, por exemplo, seu encaminhador de log está na nuvem, você precisará configurar o daemon syslog (rsyslog ou syslog-ng) para se comunicar em TLS. Para obter mais informações, consulte:

• Criptografar tráfego Syslog com TLS – rsyslog
• Criptografar mensagens de log com TLS – syslog-ng

Configurar o conector de dados

O processo de configuração para os logs personalizados via conector de dados AMA inclui as seguintes etapas:

1. Crie a tabela de destino no Log Analytics (ou Advanced Hunting se estiver no portal do Defender).

   O nome da tabela deve terminar com e deve consistir apenas _CL nos dois campos seguintes:

   • TimeGenerated (do tipo DateTime): a marca temporal da criação da mensagem de log.
   • RawData (do tipo String): a mensagem de log em sua totalidade.
     (Se você estiver coletando logs de um encaminhador de log e não diretamente do dispositivo que hospeda o aplicativo, nomeie este campo como Mensagem em vez de RawData.)

2. Instale o Azure Monitor Agent e crie uma Regra de Coleta de Dados (DCR) usando um dos seguintes métodos:

   • Portal do Azure ou do Defender
   • Modelo do Azure Resource Manager

3. Se você estiver coletando logs usando um encaminhador de log, configure o daemon syslog nessa máquina para ouvir mensagens de outras fontes e abra as portas locais necessárias. Para obter mais detalhes, consulte Configurar o encaminhador de registos para aceitar logs.

Selecione a guia apropriada para obter instruções.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Configurar o encaminhador de log para aceitar logs

Se você estiver coletando logs de um dispositivo usando um encaminhador de log, configure o daemon syslog no encaminhador de log para ouvir mensagens de outras máquinas e abra as portas locais necessárias.

1. Copie a seguinte linha de comando:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Entre na máquina de encaminhamento de log onde você acabou de instalar o AMA.

3. Cole o comando copiado na última etapa para iniciar o script de instalação.
   O script configura o rsyslogsyslog-ng ou daemon para usar o protocolo necessário e reinicia o daemon. O script abre a porta 514 para ouvir mensagens recebidas nos protocolos UDP e TCP. Para alterar essa configuração, consulte o arquivo de configuração do daemon syslog de acordo com o tipo de daemon em execução na máquina:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Se você estiver usando o Python 3 e ele não estiver definido como o comando padrão na máquina, substitua python3python o comando colado. Consulte Pré-requisitos para o encaminhador de log.

   Nota

   Para evitar cenários de disco completo em que o agente não pode funcionar, recomendamos que você defina a syslog-ng configuração ou rsyslog para não armazenar logs desnecessários. Um cenário de disco completo interrompe a função da AMA instalada. Para obter mais informações, consulte RSyslog ou Syslog-ng.

Configurar o dispositivo ou dispositivo de segurança

Para obter instruções específicas para configurar seu aplicativo ou dispositivo de segurança, consulte Logs personalizados via conector de dados AMA - Configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos

Entre em contato com o provedor de soluções para obter mais informações ou quando as informações não estiverem disponíveis para o aparelho ou dispositivo.

Conteúdos relacionados

• Regras de coleta de dados no Azure Monitor
• Coletar logs de um arquivo de texto com o Azure Monitor Agent