partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

L’opérateur de partition partition partitionne les enregistrements de sa table d’entrée en plusieurs sous-tables en fonction des valeurs d’une colonne clé. L’opérateur exécute une sous-requête sur chaque sous-table et produit une table de sortie unique qui correspond à l’union des résultats de toutes les sous-requêtes.

L’opérateur de partition est utile lorsque vous devez effectuer une sous-requête uniquement sur un sous-ensemble de lignes appartenant à la même clé de partition, et non une requête de l’ensemble du jeu de données. These subqueries could include aggregate functions, window functions, top N and others.

L’opérateur de partition prend en charge plusieurs stratégies d’opération de sous-requête :

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

L’opérateur retourne une union des résultats des sous-requêtes individuelles.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

Cette stratégie doit être appliquée lorsque le nombre de valeurs distinctes de la clé de partition n’est pas volumineux, à peu près dans les milliers.

La sous-requête doit être une transformation tabulaire qui ne spécifie pas de source tabulaire. La source est implicite et est affectée en fonction des partitions de sous-tables. Only certain supported operators can be used in the subquery. Il n’existe aucune restriction sur le nombre de partitions.

Pour utiliser cette stratégie, spécifiez hint.strategy=native.

Shuffle strategy

Cette stratégie doit être appliquée lorsque le nombre de valeurs distinctes de la clé de partition est important, dans les millions.

La sous-requête doit être une transformation tabulaire qui ne spécifie pas de source tabulaire. La source est implicite et est affectée en fonction des partitions de sous-tables. Only certain supported operators can be used in the subquery. Il n’existe aucune restriction sur le nombre de partitions.

Pour utiliser cette stratégie, spécifiez hint.strategy=shuffle. For more information about shuffle strategy and performance, see shuffle query.

Opérateurs pris en charge pour les stratégies natives et aléatoires

La liste suivante d’opérateurs peut être utilisée dans les sous-requêtes avec les stratégies natives ou aléatoires :

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

Pour des raisons historiques, la legacy stratégie est la stratégie par défaut. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

Dans certains scénarios, la legacy stratégie peut être nécessaire en raison de sa prise en charge de l’inclusion d’une source tabulaire dans la sous-requête. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

Si la sous-requête est une transformation tabulaire sans source tabulaire, la source est implicite et est basée sur les partitions de sous-tables.

Pour utiliser cette stratégie, spécifiez hint.strategy=legacy ou omettez toute autre indication de stratégie.

Examples

Les exemples de cette section montrent comment utiliser la syntaxe pour vous aider à commencer.

Rechercher les principales valeurs

Dans certains cas, il est plus performant et plus facile d’écrire une requête à l’aide de l’opérateur partition que d’utiliser l’opérateur top-nested . La requête suivante exécute un calcul de sous-requête summarize et top pour chacun State commençant Wpar : « WYOMING », « WASHINGTON », « WEST VIRGINIA » et « WISCONSIN ».

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

La requête suivante retourne les 2 EventType premières valeurs par chacune TotalInjuries commençant par State « W » :

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

La requête suivante retourne les 3 DamagedProperty premières valeurs foreach EpisodeId et les colonnes EpisodeId et State.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

Stratégie héritée avec une source explicite

La requête suivante exécute deux sous-requêtes :

• Quand x == 1, la requête retourne toutes les lignes de StormEvents ce type InjuriesIndirect == 1.
• Quand x == 2, la requête retourne toutes les lignes de StormEvents ce type InjuriesIndirect == 2.

Le résultat final est l’union de ces deux sous-requêtes.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. Cette approche s’applique uniquement à la legacy stratégie.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)