partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

El operador de partición divide los registros de su tabla de entrada en varias subtables según los valores de una columna de clave. El operador ejecuta una subconsulta en cada subtable y genera una única tabla de salida que es la unión de los resultados de todas las subconsultas.

El operador de partición es útil cuando necesita realizar una subconsulta solo en un subconjunto de filas que pertenecen a la misma clave de partición y no a una consulta del conjunto de datos completo. These subqueries could include aggregate functions, window functions, top N and others.

El operador de partición admite varias estrategias de operación de subconsulta:

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

El operador devuelve una unión de los resultados de las subconsultas individuales.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

Esta estrategia se debe aplicar cuando el número de valores distintos de la clave de partición no es grande, aproximadamente en los miles.

La subconsulta debe ser una transformación tabular que no especifique un origen tabular. El origen es implícito y se asigna según las particiones de la subtable. Only certain supported operators can be used in the subquery. No hay ninguna restricción en el número de particiones.

Para usar esta estrategia, especifique hint.strategy=native.

Shuffle strategy

Esta estrategia debe aplicarse cuando el número de valores distintos de la clave de partición es grande, en los millones.

La subconsulta debe ser una transformación tabular que no especifique un origen tabular. El origen es implícito y se asigna según las particiones de la subtable. Only certain supported operators can be used in the subquery. No hay ninguna restricción en el número de particiones.

Para usar esta estrategia, especifique hint.strategy=shuffle. For more information about shuffle strategy and performance, see shuffle query.

Operadores admitidos para las estrategias nativas y aleatorias

La siguiente lista de operadores se puede usar en subconsultas con las estrategias nativas o aleatorias:

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

Por razones históricas, la legacy estrategia es la estrategia predeterminada. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

En algunos escenarios, la legacy estrategia podría ser necesaria debido a su compatibilidad con la inclusión de un origen tabular en la subconsulta. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

Si la subconsulta es una transformación tabular sin un origen tabular, el origen es implícito y se basa en las particiones subtables.

Para usar esta estrategia, especifique hint.strategy=legacy o omita cualquier otra indicación de estrategia.

Examples

Los ejemplos de esta sección muestran cómo usar la sintaxis para ayudarle a empezar.

Búsqueda de los valores principales

En algunos casos, es más eficaz y fácil escribir una consulta mediante el partition operador que el top-nested operador . La consulta siguiente ejecuta una subconsulta calculando summarize y top para cada una de ellas State a partir Wde : "MSDN", "WASHINGTON", "WEST VIRGINIA" y "WISCONSIN".

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

La consulta siguiente devuelve los dos EventType valores principales por TotalInjuries cada uno State que comienza por "W":

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

La consulta siguiente devuelve los tres DamagedProperty valores principales de foreach EpisodeId y las columnas EpisodeId y State.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

Estrategia heredada con origen explícito

La consulta siguiente ejecuta dos subconsultas:

• Cuando x == 1, la consulta devuelve todas las filas de StormEvents que tienen InjuriesIndirect == 1.
• Cuando x == 2, la consulta devuelve todas las filas de StormEvents que tienen InjuriesIndirect == 2.

El resultado final es la unión de estas dos subconsultas.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. Este enfoque solo es relevante para la legacy estrategia.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)