你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Jupyter 笔记本和 Microsoft Sentinel 数据湖

Jupyter 笔记本是 Microsoft Sentinel Data Lake 生态系统不可或缺的一部分,提供强大的数据分析和可视化工具。 笔记本由 Microsoft Sentinel Visual Studio Code 扩展提供,使你能够使用 Python for Spark(PySpark)与数据湖进行交互。 借助笔记本,可以执行复杂的数据转换、运行机器学习模型,并直接在笔记本环境中创建可视化效果。

具有 Jupyter 笔记本的 Microsoft Sentinel Visual Studio Code 扩展提供一个强大的环境,可用于探索和分析数据湖,具体优势如下:

  • 交互式数据浏览:Jupyter 笔记本提供用于浏览和分析数据的交互式环境。 可以在一个位置运行代码片段、可视化结果和记录结果。
  • 与 Python 库集成:Microsoft Sentinel 扩展包括各种 Python 库,使你能够使用现有工具和框架进行数据分析、机器学习和可视化。
  • 功能强大的数据分析:通过 Apache Spark 计算会话的集成,可以使用分布式计算的强大功能高效分析大型数据集。 这样,就可以对安全数据执行复杂的转换和聚合。
  • 低缓攻击:分析与安全事件、警报和事故相关的大规模、复杂、互联的数据,以便检测到复杂的威胁和模式,例如横向移动或低缓攻击,这些攻击能够逃避传统的基于规则的系统。
  • AI 和 ML 集成:与 AI 和机器学习集成,以增强异常情况检测、威胁预测和行为分析,使安全团队能够构建代理以自动执行调查。
  • 可伸缩性:笔记本提供可伸缩性,可高效地处理大量数据,并启用深度批处理来发现趋势、模式和异常。
  • 可视化功能:Jupyter 笔记本支持各种可视化库,使你能够创建数据的图表、图形和其他视觉表示形式,从而帮助你获得见解并有效地传达结果。
  • 协作和共享:Jupyter 笔记本可以轻松地与同事共享,从而可以协作处理数据分析项目。 可以导出各种格式的笔记本,包括 HTML 和 PDF,以便轻松共享和演示。
  • 文档和可重现性:Jupyter 笔记本允许你在单个文件中记录代码、分析和发现,从而更轻松地重现结果并与其他人共享工作。

笔记本的湖探索场景

以下场景演示了如何使用 Microsoft Sentinel Lake 中的 Jupyter 笔记本来增强安全操作:

情景 DESCRIPTION
登录失败的用户行为 通过分析失败登录尝试的模式,建立正常用户行为的基线。 调查在失败登录之前和之后尝试的操作,以检测潜在的入侵或暴力破解活动。
敏感数据路径 确定有权访问敏感数据资产的用户和设备。 将访问日志与组织上下文相结合,以评估风险暴露、映射访问路径以及确定安全评审区域的优先级。
异常威胁分析 通过识别与已建立基线的偏差(例如来自异常位置、设备或时间的登录行为)来分析威胁。 使用资产数据覆盖用户行为,以识别高风险活动,包括潜在的内部威胁。
风险评分优先级 将自定义风险评分模型应用于 Data Lake 中的安全事件。 使用上下文信号(例如资产关键性和用户角色)丰富事件,以量化风险、评估爆炸半径,并优先处理事件进行调查。
探索分析和可视化 跨多个日志源执行探索数据分析,以重新构造攻击时间线、确定根本原因,并生成自定义可视化效果,以帮助向利益干系人传达结果。

写入湖和分析层

可以使用笔记本将数据写入湖层和分析层。 适用于 Visual Studio Code 的 Microsoft Sentinel 扩展提供了一个 PySpark Python 库,用于抽象化写入湖和分析层的复杂性。 可以使用 MicrosoftSentinelProvider 类的 save_as_table() 函数将数据写入自定义表或将数据追加到湖层或分析层中的现有表。 有关详细信息,请参阅 Microsoft Sentinel Provider 类参考

作业和调度

可以使用适用于 Visual Studio Code 的 Microsoft Sentinel 扩展来安排作业,以在特定时间点或以特定时间间隔运行。 作业允许自动执行数据处理任务,以汇总、转换或分析 Microsoft Sentinel 数据湖中的数据。 使用作业来处理数据并将结果写入湖层或分析层中的自定义表。 有关详细信息,请参阅 创建和管理 Jupyter 笔记本作业