partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

O operador de partição particiona os registros de sua tabela de entrada em várias subtabelas de acordo com os valores em uma coluna de chave. O operador executa uma subconsulta em cada subtabela e produz uma única tabela de saída que é a união dos resultados de todas as subconsultas.

O operador de partição é útil quando você precisa executar uma subconsulta somente em um subconjunto de linhas que pertencem à mesma chave de partição, e não uma consulta de todo o conjunto de dados. These subqueries could include aggregate functions, window functions, top N and others.

O operador de partição suporta várias estratégias de operação de subconsulta:

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

O operador retorna uma união dos resultados das subconsultas individuais.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

Esta estratégia deve ser aplicada quando o número de valores distintos da chave de partição não é grande, aproximadamente aos milhares.

A subconsulta deve ser uma transformação tabular que não especifique uma fonte tabular. A fonte é implícita e é atribuída de acordo com as partições da subtabela. Only certain supported operators can be used in the subquery. Não há restrição quanto ao número de partições.

Para usar essa estratégia, especifique hint.strategy=native.

Shuffle strategy

Esta estratégia deve ser aplicada quando o número de valores distintos da chave de partição é grande, na casa dos milhões.

A subconsulta deve ser uma transformação tabular que não especifique uma fonte tabular. A fonte é implícita e é atribuída de acordo com as partições da subtabela. Only certain supported operators can be used in the subquery. Não há restrição quanto ao número de partições.

Para usar essa estratégia, especifique hint.strategy=shuffle. For more information about shuffle strategy and performance, see shuffle query.

Operadores suportados para as estratégias nativas e shuffle

A seguinte lista de operadores pode ser usada em subconsultas com as estratégias nativas ou shuffle:

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

Por razões históricas, a estratégia legacy é a estratégia padrão. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

Em alguns cenários, a estratégia legacy pode ser necessária devido ao seu suporte para incluir uma fonte tabular na subconsulta. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

Se a subconsulta for uma transformação tabular sem uma fonte tabular, a origem estará implícita e se baseará nas partições da subtabela.

Para usar essa estratégia, especifique hint.strategy=legacy ou omita qualquer outra indicação de estratégia.

Examples

Os exemplos nesta seção mostram como usar a sintaxe para ajudá-lo a começar.

Encontrar os melhores valores

Em alguns casos, é mais eficiente e mais fácil escrever uma consulta usando o operador partition do que usando o operador top-nested. A consulta a seguir executa uma subconsulta calculando summarize e top para cada State começando com W: "WYOMING", "WASHINGTON", "WEST VIRGINIA" e "WISCONSIN".

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

A consulta a seguir retorna os 2 principais valores de EventType por TotalInjuries para cada State que começa com 'W':

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

A consulta a seguir retorna os 3 principais valores de DamagedProperty para cada EpisodeId e as colunas EpisodeId e State.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

Estratégia legada com fonte explícita

A consulta a seguir executa duas subconsultas:

• Quando x == 1, a consulta retorna todas as linhas de StormEvents que tenham InjuriesIndirect == 1.
• Quando x == 2, a consulta retorna todas as linhas de StormEvents que tenham InjuriesIndirect == 2.

O resultado final é a união dessas duas subconsultas.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. Esta abordagem só é relevante para a estratégia legacy.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)