简介
Microsoft Fabric 中的 Eventhouse 为大量数据提供数据存储。 它是一个容器,其中包含一个或多个 KQL 数据库,每个数据库都经过优化,用于存储和分析从各种源持续到达的实时数据。
可以使用 Eventstream 将数据加载到 Eventhouse 中的 KQL 数据库,也可以直接将数据引入 KQL 数据库。 引入数据后,可以:
- 使用 KQL 查询集中的 Kusto 查询语言(KQL)或 T-SQL 查询数据。
- 使用 Real-Time 仪表板可视化数据。
- 使用 Fabric 激活器根据数据自动执行作。
了解 KQL 数据库的工作原理有助于编写有效的查询来分析实时数据。 在本模块中,你将了解使 KQL 数据库非常适合实时数据的特征,然后通过探索 KQL 查询技术和数据库对象(如具体化视图和存储函数)来应用此知识。
KQL 数据库如何处理实时数据?
KQL 数据库通过引入时间自动对数据进行分区,使最近的数据在存储历史数据以供趋势分析时快速访问。 分区 意味着数据库根据数据到达时将数据组织到单独的存储位置,因此在查询最近数据时,数据库确切地知道要搜索的位置,而不是扫描所有数据。
将其视为数字传送带 - 事件持续流动,在到达时自动进行组织,并在流不断流动时立即可供分析。
这种基于时间的自动组织工作是因为实时数据具有独特的特征:它表示在特定时间点发生的不可变事件。 不可变 意味着这些事件发生后无法更改 - 下午 3:15 的温度读数将始终是该读数,因为它表示当时实际发生的情况。 由于每个事件在发生时都会永久绑定到它,因此会创建我们称之为 时序数据 的数据,其中时间戳通常与事件本身一样重要。
时序数据遵循仅追加模式,其中不断添加新事件,并且很少更新或删除数据,因为事件表示在特定时刻实际发生的情况。 这与传统的关系数据库基本不同,通常更新现有记录并维护不同数据表之间的关系。