你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Jupyter 笔记本是 Microsoft Sentinel Data Lake 生态系统不可或缺的一部分,提供强大的数据分析和可视化工具。 笔记本由 Microsoft Sentinel Visual Studio Code 扩展提供,使你能够使用 Python for Spark(PySpark)与数据湖进行交互。 借助笔记本,可以执行复杂的数据转换、运行机器学习模型,并直接在笔记本环境中创建可视化效果。
具有 Jupyter 笔记本的 Microsoft Sentinel Visual Studio Code 扩展提供一个强大的环境,可用于探索和分析数据湖,具体优势如下:
- 交互式数据浏览:Jupyter 笔记本提供用于浏览和分析数据的交互式环境。 可以在一个位置运行代码片段、可视化结果和记录结果。
- 与 Python 库集成:Microsoft Sentinel 扩展包括各种 Python 库,使你能够使用现有工具和框架进行数据分析、机器学习和可视化。
- 功能强大的数据分析:通过 Apache Spark 计算会话的集成,可以使用分布式计算的强大功能高效分析大型数据集。 这样,就可以对安全数据执行复杂的转换和聚合。
- 低缓攻击:分析与安全事件、警报和事故相关的大规模、复杂、互联的数据,以便检测到复杂的威胁和模式,例如横向移动或低缓攻击,这些攻击能够逃避传统的基于规则的系统。
- AI 和 ML 集成:与 AI 和机器学习集成,以增强异常情况检测、威胁预测和行为分析,使安全团队能够构建代理以自动执行调查。
- 可伸缩性:笔记本提供可伸缩性,可高效地处理大量数据,并启用深度批处理来发现趋势、模式和异常。
- 可视化功能:Jupyter 笔记本支持各种可视化库,使你能够创建数据的图表、图形和其他视觉表示形式,从而帮助你获得见解并有效地传达结果。
- 协作和共享:Jupyter 笔记本可以轻松地与同事共享,从而可以协作处理数据分析项目。 可以导出各种格式的笔记本,包括 HTML 和 PDF,以便轻松共享和演示。
- 文档和可重现性:Jupyter 笔记本允许你在单个文件中记录代码、分析和发现,从而更轻松地重现结果并与其他人共享工作。
笔记本的湖探索场景
以下场景演示了如何使用 Microsoft Sentinel Lake 中的 Jupyter 笔记本来增强安全操作:
| 情景 | DESCRIPTION |
|---|---|
| 登录失败的用户行为 | 通过分析失败登录尝试的模式,建立正常用户行为的基线。 调查在失败登录之前和之后尝试的操作,以检测潜在的入侵或暴力破解活动。 |
| 敏感数据路径 | 确定有权访问敏感数据资产的用户和设备。 将访问日志与组织上下文相结合,以评估风险暴露、映射访问路径以及确定安全评审区域的优先级。 |
| 异常威胁分析 | 通过识别与已建立基线的偏差(例如来自异常位置、设备或时间的登录行为)来分析威胁。 使用资产数据覆盖用户行为,以识别高风险活动,包括潜在的内部威胁。 |
| 风险评分优先级 | 将自定义风险评分模型应用于 Data Lake 中的安全事件。 使用上下文信号(例如资产关键性和用户角色)丰富事件,以量化风险、评估爆炸半径,并优先处理事件进行调查。 |
| 探索分析和可视化 | 跨多个日志源执行探索数据分析,以重新构造攻击时间线、确定根本原因,并生成自定义可视化效果,以帮助向利益干系人传达结果。 |
写入湖和分析层
可以使用笔记本将数据写入湖层和分析层。 适用于 Visual Studio Code 的 Microsoft Sentinel 扩展提供了一个 PySpark Python 库,用于抽象化写入湖和分析层的复杂性。 可以使用 MicrosoftSentinelProvider 类的 save_as_table() 函数将数据写入自定义表或将数据追加到湖层或分析层中的现有表。 有关详细信息,请参阅 Microsoft Sentinel Provider 类参考。
作业和调度
可以使用适用于 Visual Studio Code 的 Microsoft Sentinel 扩展来安排作业,以在特定时间点或以特定时间间隔运行。 作业允许自动执行数据处理任务,以汇总、转换或分析 Microsoft Sentinel 数据湖中的数据。 使用作业来处理数据并将结果写入湖层或分析层中的自定义表。 有关详细信息,请参阅 创建和管理 Jupyter 笔记本作业。