你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
借助 Microsoft Sentinel 数据湖，可以存储和分析高容量、低保真日志，例如防火墙或 DNS 数据、资产清单和历史记录，保存时间最长可达 12 年。 由于存储和计算已分离，因此可以使用多个工具查询相同的数据副本，而无需移动或复制数据。
可以使用 Kusto 查询语言（KQL）和 Jupyter Notebook 浏览数据湖中的数据，以支持各种方案，从威胁搜寻和调查到扩充和机器学习。
本文介绍数据湖探索的核心概念和方案，重点介绍常见用例，并演示如何使用熟悉的工具与数据交互。
KQL 交互式查询
使用 Kusto 查询语言（KQL）直接在多个工作区的数据湖中运行交互式查询。
使用 KQL，分析师可以：
- 使用历史数据进行调查和响应：使用 Data Lake 中的长期数据收集取证证据、调查事件、检测模式和响应事件。
- 使用大量日志丰富调查：利用 Data Lake 中存储的干扰或低保真数据，为安全调查添加上下文和深度。
- 关联 Data Lake 中的资产和日志数据：查询资产清单和标识日志，以将用户活动与资源连接，并发现更广泛的攻击。
在 Defender 门户的 Microsoft Sentinel>中使用 KQL 查询，直接对长期数据运行临时交互式 KQL 查询。 加入过程完成后，可以使用数据湖探索。 KQL 查询非常适合 SOC 分析师来调查分析层中可能不再存在数据的事件。 查询支持使用熟悉的查询进行取证分析，而无需重写代码。 若要开始使用 KQL 查询，请参阅 Data Lake 探索 - KQL 查询。
KQL 作业
KQL 作业是对 Microsoft Sentinel 数据湖中的数据进行的一次性或按计划的异步 KQL 查询。 作业在调查和分析场景中是有用的，例如：
- 用于事件调查和事件响应 (IR) 的长时间运行的一次性查询
- 使用低保真度日志支持扩充工作流的数据聚合任务
- 历史威胁情报（TI）匹配扫描用于回顾分析
- 异常检测扫描，用于识别多个表中的异常模式
- 将数据从 Data Lake 提升到分析层，以启用事件调查或日志关联。
在 Data Lake 上运行一次性 KQL 作业，以将特定历史数据从 Data Lake 层提升到分析层，或在 Data Lake 层中创建自定义摘要表。 在调查跨越分析层窗口的事件时，提升数据对于根本原因分析或零时差漏洞检测非常有用。 在 Data Lake 上提交计划作业，以自动执行定期查询，以检测异常或使用历史数据生成基线。 威胁猎人可以利用这个工具来监控一段时间内的异常模式，并将结果输入检测系统或仪表板。 有关详细信息，请参阅 Microsoft Sentinel data lake 中创建作业 ，并在 Microsoft Sentinel data lake 中管理作业。
探索场景
以下场景说明了如何使用 Microsoft Sentinel 数据湖中的 KQL 查询来增强安全操作：
| 情景 | 详细信息 | 示例： |
|---|---|---|
| 使用长期历史数据调查安全事件 | 安全团队通常需要超出默认保留时段才能发现事件的完整范围。 | 调查暴力攻击的第 3 层 SOC 分析师使用针对 Data Lake 的 KQL 查询来查询超过 90 天的数据。 分析人员从一年前确定可疑活动后，将调查结果提升到分析层，以便进行更深入的分析与事件关联。 |
| 检测异常并随时间推移生成行为基线 | 检测工程师依赖于历史数据来建立基线并识别可能指示恶意行为的模式。 | 检测工程师在几个月内分析登录日志，以检测活动高峰。 通过在数据湖中计划 KQL 作业，它们会生成时序基线并发现与凭据滥用一致的模式。 |
| 使用大量低保真日志增强调查质量 | 对于分析层，某些日志过于干扰或繁多，但对于上下文分析仍具有价值。 | SOC 分析师使用 KQL 查询仅存储在 Data Lake 中的网络和防火墙日志。 这些日志虽然不在分析层中，但有助于验证警报并在调查期间提供支持证据。 |
| 使用灵活的数据分层响应新兴威胁 | 当新的威胁情报出现时，分析师需要快速访问和处理历史数据。 | 威胁情报分析师通过在数据湖中运行建议的 KQL 查询来响应新发布的威胁分析报告。 一旦发现几个月前的相关活动，所需的日志将被提升到分析阶层。 若要为将来的检测启用实时检测，可以在相关表上调整分层策略，将最新的日志镜像到分析层。 |
| 浏览来自传统安全日志以外的源的资产数据 | 使用资产清单（如 Microsoft Entra ID 对象和 Azure 资源）丰富调查。 | 分析人员可以使用 KQL 查询标识和资源资产信息，例如Microsoft Entra ID 用户、应用、组或 Azure 资源清单，以关联日志以获取补充现有安全数据的更广泛的上下文。 |