什么是 Microsoft Sentinel 数据湖？

Microsoft Sentinel Data Lake 是一个专用的云原生安全数据湖，用于转换组织管理和分析安全数据的方式。 它设计为真正的数据湖，可大规模引入、存储和分析大量多样化的安全数据。 通过将安全数据集中到单个开放格式的可扩展平台中，它可以提供深入的可见性、长期保留和高级分析。

借助 Data Lake，你可以将所有安全数据引入Microsoft Sentinel 经济高效，无需在覆盖范围和成本之间进行选择。 可以保留更长的数据，检测具有更大上下文和历史深度的威胁，并在不影响安全性的情况下更快地做出响应。

Microsoft Sentinel Data Lake 完全托管，因此无需部署或维护数据基础结构。 它提供统一的数据平台，用于端到端威胁分析和响应。 它跨资产、活动日志和威胁情报在湖中存储安全数据的单个副本，并利用 KQL 和 Jupyter 笔记本等多个分析工具进行深度安全分析。

传统的 SIEM 解决方案在应对存储和查询长期安全数据时遭遇成本高昂和复杂性问题。 Microsoft Sentinel data lake 通过以下方式解决这些挑战：

• 在 Microsoft Defender XDR、第三方源和资产、活动日志以及威胁情报之间统一安全数据。
• 使用分层存储、按需数据升级和单个数据副本优化成本
• 可利用长达 12 年的安全数据和遥测信息进行查询和分析，从而获得深入的安全洞察
• 为 AI 和自动化提供支持，以加快检测和响应速度。

使用单个数据副本，使用 KQL 通过复杂的 Python 库和机器学习工具运行查询和 Jupyter 笔记本，以便对取证、事件响应和异常情况检测进行更深入的分析。

建筑

Microsoft Sentinel 数据湖，构建在 Azure 的可扩展基础设施之上，帮助集中引入、分析和对各种数据源采取行动。 Microsoft Sentinel data Lake 技术体系结构包含以下主要优势：

• 开放格式的 Parquet 数据文件，实现互操作性和扩展性
• 用于高效且经济高效的存储的单一数据副本
• 存储与计算分离，提高灵活性
• 支持多个分析引擎，从安全数据中解锁见解
• 与 Microsoft Sentinel SIEM 及其安全运营工作流的原生集成

存储分层

Microsoft Sentinel 设计了两个不同的存储层，以优化成本和性能：

• 分析层：现有的 Microsoft Sentinel 数据层支持高级搜寻、警报和事件管理，帮助你主动识别和解决基础结构和应用程序中的问题。 此层专为高性能分析和实时数据处理而设计。
• Data Lake 层：提供集中式长期存储，用于查询和基于 Python 的高级分析。 它专为经济高效地在长达 12 年内保留大量安全数据而设计。 分析层中的数据镜像到湖层，保留数据的单个副本。

有关数据层和数据保留的详细信息，请参阅Microsoft Defender 门户中管理数据层和数据保留。

支持的数据源

Microsoft Sentinel data lake 适用于所有现有的 Sentinel 数据连接器，包括：

• 所有Microsoft Defender 和 Microsoft Sentinel 数据源
• Microsoft 365
• Microsoft Entra ID
• Microsoft Resource Graph
• 终结点检测和响应 （EDR） 平台
• 防火墙和网络日志
• 云基础结构和工作负荷遥测
• 标识和访问日志（Microsoft Entra、Okta 等）
• DNS、代理和电子邮件遥测

使用 Kusto 查询语言进行灵活查询

通过使用 Kusto 查询语言（KQL）探索数据湖，您可以针对数据湖资源编写并运行查询。 使用查询编辑器浏览数据、分析湖并创建作业，以便将数据从 Data Lake 层提升到分析层。 KQL 查询提供以下关键功能：

• KQL 查询编辑器：提供编辑和运行 KQL 查询的功能，并支持 IntelliSense 和自动完成。
• 完全支持 KQL：使用各种 KQL 功能，包括机器学习函数和高级分析。
• 作业创建：创建一次性或计划作业，以将数据从湖提升到分析层。

有关详细信息，请参阅 KQL 和 Microsoft Sentinel data lake。

通过 Jupyter 笔记本的强大分析能力

Microsoft Sentinel data lake 中的 Jupyter 笔记本为数据分析和机器学习提供了强大的环境。 使用 Python 库生成和运行机器学习模型、执行高级分析和可视化数据。 笔记本支持丰富的可视化效果，使你能够从安全数据中获得见解。 计划笔记本以定期汇总数据、运行机器学习模型，并将数据从 Data Lake 层提升到分析层。

有关详细信息，请参阅 Microsoft Sentinel data lake 中的 Jupyter 笔记本。

活动审核

Microsoft Sentinel 数据湖提供对数据湖中活动的跟踪审计。 审核日志捕获数据访问、作业管理和查询事件，使你能够监视和调查活动。

审核的部分活动包括：

• 通过 KQL 查询访问湖中的数据
• 在 Data Lake 上运行笔记本
• 创建、编辑、运行和删除作业

默认情况下会为 Microsoft Sentinel 数据湖启用审核。 审核日志中会显示已审核的操作。

有关审核的数据湖活动的详细信息，请参阅 Microsoft Sentinel data lake 的审核日志。

支持的区域

有关支持的区域，请参阅 Microsoft Sentinel 数据湖支持的区域。

开始

若要开始使用 Microsoft Sentinel data lake，请按照 载入指南中的这些步骤作。 有关使用 Microsoft Sentinel 数据湖的详细信息，请参阅以下文章：

• Microsoft Sentinel data lake 中的 Jupyter 笔记本。
• KQL 和 Microsoft Sentinel 数据湖
• Microsoft Sentinel 数据湖的权限
• 在 Microsoft Defender 门户中管理数据层和保留期
• 管理和监视 Microsoft Sentinel 的成本