在 Microsoft Sentinel data lake 中创建 KQL 作业

KQL 作业是对 Microsoft Sentinel 数据湖中的数据执行一次性或计划的 KQL 查询。 将工作用于调查和分析场景，例如：

• 用于事件调查和事件响应 (IR) 的长时间运行的一次性查询
• 使用低保真度日志支持扩充工作流的数据聚合任务
• 历史威胁情报（TI）匹配扫描用于回顾分析
• 异常检测扫描，用于识别多个表中的异常模式

当查询使用跨不同数据集的联接或联合时，KQL 作业特别有效。

使用作业将数据从数据湖层提升到分析层。 进入分析层后，使用高级搜寻 KQL 编辑器查询数据。 将数据提升到分析层具有以下优势：

• 合并分析层中的当前数据和历史数据，对数据运行高级分析和机器学习模型。
• 通过在分析层中运行查询来降低查询成本。
• 将数据从多个工作区合并到分析层中的单个工作区。
• 将 Microsoft Entra ID、Microsoft 365 和 Microsoft Resource Graph 数据合并到分析层中，以跨数据源运行高级分析。

可以将数据提升到新表，或将结果追加到分析层中的现有表。 创建新表时，表名称后缀为 _KQL_CL ，以指示表是由 KQL 作业创建的。

先决条件

若要在 Microsoft Sentinel data lake 中创建和管理 KQL 作业，需要满足以下先决条件。

加入数据湖

若要在 Microsoft Sentinel data lake 中创建和管理 KQL 作业，必须先载入到 Data Lake。 有关加入到数据湖的详细信息，请参阅加入到 Microsoft Sentinel 数据湖。

权限

Microsoft Entra ID 角色提供对数据湖中所有工作区的广泛访问权限。 若要在所有工作区中读取表、写入分析层，并使用 KQL 查询来计划作业，您必须拥有受支持的 Microsoft Entra ID 角色之一。 有关角色和权限的详细信息，请参阅 Microsoft Sentinel data lake 角色和权限。

若要在分析层中创建新的自定义表，请将 Log Analytics 工作区中的 Log Analytics 参与者 角色分配给 Data Lake 托管标识。

若要分配角色，请执行以下步骤：

1. 在 Azure 门户中，转到要向其分配角色的 Log Analytics 工作区。
2. 在左侧导航窗格中，选择“访问控制 (IAM)”。
3. 选择“添加角色分配”。
4. 在 “角色 ”表中，选择“Log Analytics 参与者”，然后选择“ 下一步”。
5. 选择 托管标识，然后选择 选择成员。
6. 数据湖托管标识是一个系统分配的托管标识，其名称为 msg-resources-<guid>。 选择托管身份，然后选择 选择。
7. 选择“查看并分配”。

有关给托管标识分配角色的详细信息，请参阅 使用 Azure 门户分配 Azure 角色。

创建职位

可以创建任务以按计划或一次性运行。 创建作业时，需要指定结果的目标工作区和表。 可以将结果写入新表，或将它们追加到分析层中的现有表。 可以创建新的 KQL 作业，也可以从包含查询和作业设置的模板创建作业。 有关详细信息，请参阅 从模板创建 KQL 作业。

1. 从 KQL 查询编辑器或作业管理页启动作业创建过程。

   1. 若要从 KQL 查询编辑器创建作业，请选择查询编辑器右上角的 “创建作业 ”按钮。

   2. 若要从作业管理页创建作业，请选择Microsoft Sentinel>数据湖探索>作业，然后选择创建作业按钮。

2. 输入 作业名称。 作业名称对于租户必须是唯一的。 作业名称最多可以包含 256 个字符。 不能在作业名称中使用 # 或 -。

3. 输入提供作业上下文和用途的 作业说明 。

4. 从 “选择工作区 ”下拉列表中，选择目标工作区。 此工作区位于要在其中写入查询结果的分析层中。

5. 选择目标表：

   1. 若要创建新表，请选择“ 创建新表 ”并输入表名称。 KQL 作业创建的表将 _KQL_CL 作为表名的后缀。

   2. 若要追加到现有表，请选择“ 添加到现有表 ”，然后选择表格名称，形成下拉列表。 添加到现有表时，查询结果必须与现有表的架构匹配。

6. 选择“下一步”。

7. 在 “准备查询 ”面板中查看或写入查询。 如果查询中未指定日期范围，请检查时间选取器是否设置为作业所需的时间范围。

8. 从 “所选工作区 ”下拉列表中选择要对其运行查询的工作区。 这些工作区是您要查询其表的源工作区。 您选择的工作区将决定可供查询的表。 所选工作区适用于查询编辑器中的所有查询选项卡。 使用多个工作区时， union() 运算符默认应用于具有不同工作区中相同名称和架构的表。 使用workspace()运算符从特定工作区查询表，例如workspace("MyWorkspace").AuditLogs。

   注释

   如果要写入现有表，查询必须返回与目标表架构匹配的架构的结果。 如果查询未返回具有正确架构的结果，则作业在运行时会失败。

9. 选择“下一步”。

   

   在 “计划查询作业 ”页上，选择是要运行作业一次还是按计划运行。 如果选择 一次，则作业在作业定义完成后立即运行。 如果选择“ 计划”，则可以指定要运行的作业的日期和时间，或按定期计划运行作业。

10. 选择 一次性任务 或 定时任务。

    注释

    编辑单次任务会立即触发其执行。

11. 如果选择了 “计划”，请输入以下详细信息：

    1. 从下拉列表中选择 “重复频率 ”。 可以选择“ 按分钟”、“ 每小时”、“ 每日”、“ 每周”或 “每月”。
    2. 根据所选频率，设置“重复间隔”值，以确定作业的运行频率。
    3. 在 “设置计划”下，输入 “开始日期 ”日期和时间。 创建作业后，“ 发件人 ”字段中的作业开始时间必须至少为 30 分钟。 从该日期和时间起，作业根据“运行频率”下拉列表中选择的频率运行。
    4. 选择“结束”日期和时间以指定作业计划何时完成。 如果希望计划无限期继续，请选择“ 设置作业”以无限期运行。

    作业的起始时间和结束时间按照用户的区域设置进行设置。

    注释

    如果计划作业以高频率运行，例如每 30 分钟运行一次，则必须考虑数据在 Data Lake 中可用所需的时间。 新引入的数据可用于查询之前，延迟通常最多为 15 分钟。

12. 选择 “下一步 ”以查看作业详细信息。

    

13. 查看作业详细信息，然后选择 “提交 ”以创建作业。 如果作业是一次性作业，则它在选择 “提交”后运行。 如果作业已安排，则会将其添加到 “作业” 页中的作业列表中，并根据开始日期和时间运行。

14. 作业已安排，并显示以下页面。 可以通过选择链接来查看职位。

从模板创建作业

可以从预定义的作业模板创建 KQL 作业。 作业模板包含 KQL 查询和作业设置，例如目标工作区和表、计划和说明。 可以创建自己的作业模板或使用由Microsoft提供的内置模板。

若要从模板创建作业，请执行以下步骤：

1. 在 “作业 ”页或 KQL 查询编辑器中，选择“ 创建作业”，然后选择“ 从模板创建”。

2. 在 “作业模板 ”页上，从可用模板列表中选择要使用的模板。

3. 查看模板中的 “说明 ”和 “KQL”查询 。

4. 从模板中选择“创建作业”。

   

5. 此时会打开作业创建向导，其中包含 “创建新的 KQL 作业 ”页。 从模板中预填充了作业详细信息，但不包括目标工作区。

6. 从 “选择工作区 ”下拉列表中选择目标工作区。

7. 根据需要查看和修改作业详细信息，然后选择 “下一步 ”以继续执行作业创建向导。

8. 剩余步骤与创建新任务相同。 字段是从模板预填充的，可以根据需要进行修改。 有关详细信息，请参阅 “创建作业”。

提供以下模板：

注意事项和限制

在 Microsoft Sentinel data lake 中创建作业时，请考虑以下限制和最佳做法：

KQL

• 除以下各项外，所有 KQL 运算符和函数均受支持：

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• 使用 stored_query_results 此命令时，在 KQL 查询中提供时间范围。 查询编辑器上方的时间选择器不适用于此命令。

• 不支持用户定义的函数。

职位

• 作业名称对于租户必须是唯一的。
• 作业名称最多可以包含 256 个字符。
• 作业名称不能包含#或-。
• 作业开始时间在创建或编辑作业后必须至少为 30 分钟。

数据湖引入延迟

Data Lake 层将数据存储在冷存储中。 与热分析层或准实时分析层不同，冷存储针对长期保留和成本效益进行了优化，不提供对新引入的数据的即时访问。 向数据湖中的现有表添加新行时，数据可供查询前的典型延迟长达 15 分钟。 在运行查询和计划 KQL 作业时，考虑摄取延迟，确保配置回溯窗口和作业计划，以避免尚不可用的数据。

若要避免查询可能尚不可用的数据，请在 KQL 查询或作业中包含延迟参数。 例如，在计划自动化作业时，请将查询的结束时间设置为 now() - delay，其中 delay 与典型的数据就绪延迟 15 分钟匹配。 此方法可确保查询仅针对已完全加载并且已准备好进行分析的数据。

let lookback = 15m;
let delay = 15m;
let endTime = now() - delay;
let startTime = endTime - lookback;
CommonSecurityLog
| where TimeGenerated between (startTime .. endTime)

此方法对于具有短回退窗口或频繁执行间隔的作业有效。

请考虑将回溯期与作业频率重叠，以降低遗漏延迟到达数据的风险。

有关详细信息，请参阅处理计划分析规则中的引入延迟。

列名

导出不支持以下标准列。 引入过程会覆盖目标层中的这些列：

• 租户ID

• _TimeReceived

• 类型

• SourceSystem

• _资源ID

• _SubscriptionId（订阅编号）

• _ItemId

• _BilledSize（账单大小）

• _IsBillable

• _WorkspaceId

• TimeGenerated 的内容如果超过两天，则会被覆盖。 若要保留原始事件时间，将源时间戳写入单独的列。

有关服务限制，请参阅 Microsoft Sentinel data Lake 服务限制。

KQL 作业的服务参数和限制

下表列出了 Microsoft Sentinel data lake 中 KQL 作业的服务参数和限制。

有关故障排除提示和错误消息，请参阅 对 Microsoft Sentinel data lake 的 KQL 查询进行故障排除。

相关内容

• 管理 Microsoft Sentinel 数据湖中的作业
• Microsoft Sentinel data lake 概述
• Microsoft Sentinel data lake 中的 KQL 查询
• Jupyter 笔记本和 Microsoft Sentinel 数据湖