使用 Logstash 透過 DCR 型 API 串流管線轉換的記錄

Microsoft Sentinel 的新 Logstash 輸出外掛程式支援透過資料收集規則 (DCR) 的管線轉換和進階設定。 外掛程式會將任何類型的記錄從外部資料源轉送至 Log Analytics 中的自訂或標準資料表，或 Microsoft Sentinel。

在本文中，您將瞭解如何設定新的 Logstash 外掛程式，以使用 DCR 將資料串流至 Log Analytics 或 Microsoft Sentinel，並完全控制輸出結構描述。 了解如何部署外掛程式。

使用新的外掛程式，您可以：

• 控制資料行名稱和類型的設定。
• 執行擷取時轉換，例如篩選或擴充。
• 將自訂記錄內嵌至自訂資料表，或將 Syslog 輸入資料流內嵌至 Log Analytics Syslog 資料表。

僅限擷取到自訂記錄擷取支援的標準資料表。

若要深入了解如何使用 Logstash 資料收集引擎，請參閱開始使用 Logstash。

概觀

架構和背景

Logstash 引擎由三個元件組成：

• 輸入外掛程式：來自各種來源的自訂資料收集。
• 篩選外掛程式：根據指定的準則操作和正規化資料。
• 輸出外掛程式：自訂將已收集和處理的資料傳送到各種目的地。

Logstash 的 Microsoft Sentinel 輸出外掛程式會使用 Log Analytics 記錄擷取 API，將 JSON 格式的資料傳送至 Log Analytics 工作區。 資料會內嵌至自訂記錄或標準資料表。

• 深入瞭解 記錄擷取 API。

在 Logstash 中部署 Microsoft Sentinel 輸出外掛程式

若要設定外掛程式，請遵循下列步驟：

1. 檢閱必要條件
2. 安裝外掛程式
3. 建立範例檔案
4. 建立必要的 DCR 相關資源
5. 設定 Logstash 設定檔
6. 重新啟動 Logstash
7. 檢視 Microsoft Sentinel 中的傳入記錄
8. 監視輸出外掛程式稽核記錄

必要條件

• 安裝支援的 Logstash 版本。 外掛程式支援下列 Logstash 版本：

  • 7.0 - 7.17.13
  • 8.0 - 8.9
  • 8.11 - 8.13

  注意

  如果您使用 Logstash 8，建議您在管線中停用 ECS。

• 確認您至少擁有 Log Analytics 工作區的參與者權限。

• 確認您有權在工作區中建立 DCR 物件。

安裝外掛程式

Logstash 集合中提供 Microsoft Sentinel 輸出外掛程式。

• 請遵循 Logstash 使用外掛程式 檔中的指示，安裝 microsoft-sentinel-log-analytics-logstash-output-plugin 外掛程式。
• 如果您的 Logstash 系統沒有網際網路存取，請遵循 Logstash 離線外掛程式管理文件中的指示，以準備並使用離線外掛程式套件。 (這將需要您建置另一個具有網際網路存取的 Logstash 系統。)

建立範例檔案

在本節中，您會在下列其中一個案例中建立範例檔案：

• 建立自訂記錄的範例檔案
• 建立範例檔案以將記錄擷取到 Syslog 資料表

建立自訂記錄的範例檔案

在此案例中，您會設定 Logstash 輸入外掛程式，將事件傳送至 Microsoft Sentinel。 在此範例中，我們使用產生器輸入外掛程式來模擬事件。 您可以使用任何其他輸入外掛程式。

在此範例中，Logstash 設定檔如下所示：

input {
      generator {
            lines => [
                 "This is a test log message"
            ]
           count => 10
      }
}

1. 將下列輸出外掛程式設定複製到您的 Logstash 設定檔。

   output {
       microsoft-sentinel-log-analytics-logstash-output-plugin {
         create_sample_file => true
         sample_file_path => "<enter the path to the file in which the sample data will be written>" #for example: "c:\\temp" (for windows) or "/tmp" for Linux. 
       }
   }
   

2. 若要確定參考的檔案路徑在建立範例檔案之前已存在，請啟動 Logstash。

   此外掛程式會將十筆記錄寫入至設定路徑中名為 sampleFile<epoch seconds>.json 的範例檔案。 例如：c:\temp\sampleFile1648453501.json。 以下是此外掛程式所建立範例檔案的一部分：

   [
           {
               "host": "logstashMachine",
               "sequence": 0,
               "message": "This is a test log message",
               "ls_timestamp": "2022-03-28T17:45:01.690Z",
               "ls_version": "1"
           },
           {
               "host": "logstashMachine",
               "sequence": 1
       ...
   
       ]    
   

   此外掛程式會自動將這些屬性新增至每筆記錄：

   • ls_timestamp：從輸入外掛程式收到記錄的時間
   • ls_version：Logstash 管線版本。

   您可以在建立 DCR時移除這些欄位。

建立範例檔案以將記錄擷取到 Syslog 資料表

在此案例中，您會設定 Logstash 輸入外掛程式，將 syslog 事件傳送至 Microsoft Sentinel。

1. 如果您尚未將 syslog 訊息轉送至 Logstash 電腦，您可以使用記錄器命令來產生訊息。 例如 (適用於 Linux)：

   logger -p local4.warn --rfc3164 --tcp -t CEF: "0|Microsoft|Device|cef-test|example|data|1|here is some more data for the example" -P 514 -d -n 127.0.0.1
   Here is an example for the Logstash input plugin:
   input {
        syslog {
            port => 514
       }
   }
   

2. 將下列輸出外掛程式設定複製到您的 Logstash 設定檔。

   output {
       microsoft-sentinel-log-analytics-logstash-output-plugin {
         create_sample_file => true
         sample_file_path => "<enter the path to the file in which the sample data will be written>" #for example: "c:\\temp" (for windows) or "/tmp" for Linux. 
       }
   }
   

3. 若要確定檔案路徑在建立範例檔案之前已存在，請啟動 Logstash。

   此外掛程式會將十筆記錄寫入至設定路徑中名為 sampleFile<epoch seconds>.json 的範例檔案。 例如：c:\temp\sampleFile1648453501.json。 以下是此外掛程式所建立範例檔案的一部分：

   [
       	{
       		"logsource": "logstashMachine",
       		"facility": 20,
       		"severity_label": "Warning",
       		"severity": 4,
       		"timestamp": "Apr  7 08:26:04",
       		"program": "CEF:",
       		"host": "127.0.0.1",
       		"facility_label": "local4",
       		"priority": 164,
       		"message": 0|Microsoft|Device|cef-test|example|data|1|here is some more data for the example",
       		"ls_timestamp": "2022-04-07T08:26:04.000Z",
       		"ls_version": "1"
       	}
   ]    
   
   

   此外掛程式會自動將這些屬性新增至每筆記錄：

   • ls_timestamp：從輸入外掛程式收到記錄的時間
   • ls_version：Logstash 管線版本。

   您可以在建立 DCR時移除這些欄位。

建立必要的 DCR 資源

若要設定 Microsoft Sentinel DCR 型 Logstash 外掛程式，您必須先建立 DCR 相關資源。

在本節中，您會在下列其中一個案例中建立要用於 DCR 的資源：

• 建立 DCR 資源以擷取到自訂資料表
• 建立 DCR 資源以擷取到標準資料表

建立 DCR 資源以擷取到自訂資料表

若要將資料擷取到自訂資料表，請遵循下列步驟 (根據使用 REST API (Azure 入口網站) 將資料傳送至 Azure 監視器記錄教學課程)：

1. 請檢閱必要條件。

2. 設定應用程式。

3. 新增自訂記錄資料表。

4. 使用您在上一節中建立的範例檔案來剖析和篩選範例資料。

5. 從 DCR 收集資訊。

6. 將權限指派給 DCR。

   略過「傳送範例資料」步驟。

如果您遇到任何問題，請參閱疑難排解步驟。

建立 DCR 資源以擷取到標準資料表

若要將資料擷取到標準資料表 (例如 Syslog 或 CommonSecurityLog)，您可以運用使用 REST API (Resource Manager 範本) 將資料傳送至 Azure 監視器記錄教學課程中的程序。 雖然此教學課程說明如何將資料擷取到自訂資料表，但您可以輕鬆地調整程序，將資料擷取到標準資料表。 下列步驟指出步驟中的相關變更。

1. 請檢閱必要條件。

2. 收集工作區詳細資料。

3. 設定應用程式。

   略過「在 Log Analytics 工作區中建立新資料表」步驟。 將資料擷取到標準資料表時，由於 Log Analytics 中已定義該資料表，因此不需要執行此步驟。

4. 建立 DCR。 在此步驟中：

   • 提供您在上一節中建立的範例檔案。
   • 使用您建立的範例檔案來定義 streamDeclarations 屬性。 範例檔案中的每個欄位都應該有一個具有相同名稱和適當類型的對應資料行 (請參閱下列範例)。
   • 將 outputStream 屬性值設定為標準資料表 (而不是自訂資料表) 的名稱。 不同於自訂資料表，標準資料表名稱不會以 _CL 結尾。
   • 資料表名稱的開頭應該是 Microsoft-，而不是 Custom-。 在我們的範例中，outputStream 屬性值為 Microsoft-Syslog。

5. 將權限指派給 DCR。

   略過「傳送範例資料」步驟。

如果您遇到任何問題，請參閱疑難排解步驟。

範例：將資料擷取到 Syslog 資料表的 DCR

請注意：

• streamDeclarations 資料行名稱和類型應該與範例檔案欄位相同，但您不需要指定所有欄位。 例如，在下列 DCR 中，會從 streamDeclarations 資料行省略 PRI、type 和 ls_version 欄位。
• dataflows 屬性會將輸入轉換成 Syslog 資料表格式，並將 outputStream 設定為 Microsoft-Syslog。

{
	"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
	"contentVersion": "1.0.0.0",
	"parameters": {
		"dataCollectionRuleName": {
			"type": "String",
			"metadata": {
				"description": "Specifies the name of the Data Collection Rule to create."
			}
		},
		"location": {
			"defaultValue": "westus2",
			"allowedValues": [
				"westus2",
				"eastus2",
				"eastus2euap"
			],
			"type": "String",
			"metadata": {
				"description": "Specifies the location in which to create the Data Collection Rule."
			}
		},
        "location": {
            "defaultValue": "[resourceGroup().location]", 
            "type": "String", 
            "metadata": {
                "description": "Specifies the location in which to create the Data Collection Rule." 
            } 
        },
		"workspaceResourceId": {
			"type": "String",
			"metadata": {
				"description": "Specifies the Azure resource ID of the Log Analytics workspace to use."
			}
		}
	},
	"resources": [
		{
			"type": "Microsoft.Insights/dataCollectionRules",
			"apiVersion": "2021-09-01-preview",
			"name": "[parameters('dataCollectionRuleName')]",
			"location": "[parameters('location')]",
			"properties": {
				"streamDeclarations": {
					"Custom-SyslogStream": {
						"columns": [
							{
                        "name": "ls_timestamp",
                        "type": "datetime"
                    },	{
                        "name": "timestamp",
                        "type": "datetime"
                    },
                    {
                        "name": "message",
                        "type": "string"
                    }, 
					{
                        "name": "facility_label",
                        "type": "string"
                    },
					{
                        "name": "severity_label",
                        "type": "string"
                    },
                    {
                        "name": "host",
                        "type": "string"
                    },
                    {
                        "name": "logsource",
                        "type": "string"
                    }
	]
				      }
				},
				"destinations": {
					"logAnalytics": [
						{
							"workspaceResourceId": "[parameters('workspaceResourceId')]",
							"name": "clv2ws1"
						}
					]
				},
				"dataFlows": [
					{
					"streams": [
						"Custom-SyslogStream"
					],
					"destinations": [
						"clv2ws1"
					],
					"transformKql": "source | project TimeGenerated = ls_timestamp, EventTime = todatetime(timestamp), Computer = logsource, HostName = logsource, HostIP = host, SyslogMessage = message, Facility = facility_label, SeverityLevel = severity_label",
						"outputStream": "Microsoft-Syslog"
					}
				]
			}
		}
	],
	"outputs": {
		"dataCollectionRuleId": {
			"type": "String",
			"value": "[resourceId('Microsoft.Insights/dataCollectionRules', parameters('dataCollectionRuleName'))]"
		}
	}
}

設定 Logstash 設定檔

若要設定 Logstash 設定檔，將記錄擷取到自訂資料表，請擷取下列值：

擷取必要值之後：

1. 將您在上一個步驟所建立 Logstash 設定檔的輸出區段取代為下列範例。
2. 將下列範例中的預留位置字串取代為您擷取的值。
3. 請務必將 create_sample_file 屬性變更為 false。

選用設定

範例：輸出外掛程式設定區段

output {
    microsoft-sentinel-log-analytics-logstash-output-plugin {
      client_app_Id => "<enter your client_app_id value here>"
      client_app_secret => "<enter your client_app_secret value here>"
      tenant_id => "<enter your tenant id here> "
      data_collection_endpoint => "<enter your logsIngestion URI here> "
      dcr_immutable_id => "<enter your DCR immutableId here> "
      dcr_stream_name => "<enter your stream name here> "
      create_sample_file=> false
      sample_file_path => "c:\\temp"
      proxy => "http://proxy.example.com"
    }
}

若要設定 Microsoft Sentinel Logstash 輸出外掛程式的其他參數，請參閱輸出外掛程式的讀我檔案。

重新啟動 Logstash

請重新啟動已更新輸出外掛程式設定的 Logstash，並根據您的 DCR 設定查看資料是否已擷取到正確的資料表。

在 Microsoft Sentinel 中檢視傳入記錄

1. 驗證訊息正傳送至輸出外掛程式。

2. 從 Microsoft Sentinel 導覽功能表，按一下 [記錄]。 在 [資料表] 標題下，展開 [自訂記錄] 類別。 尋找並按一下您在組態中指定的資料表的名稱 (具有 _CL 尾碼)。

   

3. 若要查看資料表中的記錄，請使用資料表名稱作為結構描述來查詢資料表。

   

監視輸出外掛程式稽核記錄

若要監視 Microsoft Sentinel 輸出外掛程式的連線和活動，請啟用適當的 Logstash 記錄檔。 如需記錄檔位置，請參閱 Logstash 目錄配置文件。

如果您在此記錄檔中沒有看到任何資料，請在本機產生並傳送一些事件 (透過輸入和篩選外掛程式)，以確定輸出外掛程式正在接收資料。 Microsoft Sentinel 將僅支援與輸出外掛程式相關的問題。

網路安全性

定義網路設定，並啟用 Microsoft Sentinel Logstash 輸出外掛程式的網路隔離。

虛擬網路服務標籤

Microsoft Sentinel 輸出外掛程式支援 Azure 虛擬網路服務標籤。 需要 AzureMonitor 和 AzureActiveDirectory 標籤。

Azure 虛擬網路服務標籤可用來定義 網路安全性群組、Azure 防火牆 和使用者定義路由的網路存取控制。 建立安全性規則和路由時，請以服務標籤取代特定的 IP 位址。 針對無法使用 Azure 虛擬網路服務標籤的案例，以下提供防火牆需求。

防火牆需求

下表列出無法使用 Azure 虛擬網路服務標籤之案例的防火牆需求。

限制

• 僅限擷取到自訂記錄擷取支援的標準資料表。
• streamDeclarations 屬性中輸入資料流的資料行必須以字母開頭。 如果資料行以其他字元開頭 (例如 @ 或 _)，則作業會失敗。
• 需要 TimeGenerated 日期時間欄位。 您必須在 KQL 轉換中包含此欄位。
• 針對其他可能的問題，請檢閱教學課程中的疑難排解一節。

下一步

在本文中，您已了解如何使用 Logstash 將外部資料來源連線到 Microsoft Sentinel。 若要深入了解 Microsoft Sentinel，請參閱下列文章：

• 學習如何洞察資料及潛在威脅。
• 開始 使用 Microsoft Sentinel 來偵測威脅。