partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

partition 运算符根据键列中的值将其输入表的记录分区为多个子表。 该运算符对每个子表运行一个子查询，并生成单个输出表，该表是所有子查询结果的并集。

当需要仅对属于同一分区键的行的子集执行子查询，而不是整个数据集的查询时，分区运算符非常有用。 These subqueries could include aggregate functions, window functions, top N and others.

partition 运算符支持多种子查询操作策略：

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

此运算符返回各个子查询的结果的并集。

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

当分区键的相异值数量不大（以千计）时，应该应用此策略。

子查询必须为表格转换，它不指定表格源。 源是隐式的，将根据子表分区进行分配。 Only certain supported operators can be used in the subquery. 分区数量没有限制。

若要使用此策略，请指定 hint.strategy=native。

Shuffle strategy

当分区键的相异值数量很大（以百万计）时，应该应用此策略。

子查询必须为表格转换，它不指定表格源。 源是隐式的，将根据子表分区进行分配。 Only certain supported operators can be used in the subquery. 分区数量没有限制。

若要使用此策略，请指定 hint.strategy=shuffle。 For more information about shuffle strategy and performance, see shuffle query.

本机和随机策略支持的运算符

以下运算符列表可用于具有本机或随机策略的子查询：

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

出于历史原因，策略 legacy 是默认策略。 However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

在某些情况下，legacy 策略可能是必需的，因为它支持在子查询中包含表格源。 In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

如果子查询是没有表格源的表格转换，则源是隐式的，并且基于子表分区。

若要使用此策略，请指定 hint.strategy=legacy 或省略任何其他策略指示。

Examples

本节中的示例演示如何使用语法帮助你入门。

查找顶部值

在某些情况下，使用 partition 运算符编写查询比使用 top-nested 运算符更高效且更方便。 以下查询针对每个以 summarize 开头的 top 运行计算 State 和 W 的子查询："WYOMING"、"WASHINGTON"、"WEST VIRGINIA" 和 "WISCONSIN"。

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

以下查询返回按 EventType 的以“W”开头的每个 TotalInjuries 中的前 2 个 State 值：

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

以下查询返回前 3 个 DamagedProperty 值 foreach EpisodeId 和列 EpisodeId 和 State。

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

使用显式源的 Legacy 策略

以下查询运行两个子查询：

• 当 x == 1 时，查询从 StormEvents 返回所有具有 InjuriesIndirect == 1 的行。
• 当 x == 2 时，查询从 StormEvents 返回所有具有 InjuriesIndirect == 2 的行。

最终结果是这两个子查询的并集。

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. 此方法只与 legacy 策略相关。

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)