partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

O operador de partição particiona os registros de sua tabela de entrada em várias subtabelas de acordo com os valores em uma coluna de chave. O operador executa uma subconsulta em cada subtabela e produz uma única tabela de saída que é a união dos resultados de todas as subconsultas.

O operador de partição é útil quando você precisa executar uma subconsulta somente em um subconjunto de linhas que pertencem à mesma chave de partição e não a uma consulta de todo o conjunto de dados. These subqueries could include aggregate functions, window functions, top N and others.

O operador de partição dá suporte a várias estratégias de operação de subconsulta:

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

O operador retorna uma união dos resultados das subconsultas individuais.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

Essa estratégia deve ser aplicada quando o número de valores distintos da chave de partição não for grande, aproximadamente na casa dos milhares.

A subconsulta deve ser uma transformação tabular que não especifica uma fonte tabular. A fonte é implícita e é atribuída de acordo com as partições da subtabela. Only certain supported operators can be used in the subquery. Não há restrição quanto ao número de partições.

Para usar essa estratégia, especifique hint.strategy=native.

Shuffle strategy

Essa estratégia deve ser aplicada quando o número de valores distintos da chave de partição for grande, na casa dos milhões.

A subconsulta deve ser uma transformação tabular que não especifica uma fonte tabular. A fonte é implícita e é atribuída de acordo com as partições da subtabela. Only certain supported operators can be used in the subquery. Não há restrição quanto ao número de partições.

Para usar essa estratégia, especifique hint.strategy=shuffle. For more information about shuffle strategy and performance, see shuffle query.

Operadores suportados para as estratégias nativas e aleatórias

A seguinte lista de operadores pode ser usada em subconsultas com as estratégias nativas ou aleatórias:

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

Por razões históricas, a legacy estratégia é a estratégia padrão. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

Em alguns cenários, a legacy estratégia pode ser necessária devido ao seu suporte para incluir uma fonte tabular na subconsulta. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

Se a subconsulta for uma transformação tabular sem uma fonte tabular, a origem será implícita e se baseará nas partições da subtabela.

Para usar essa estratégia, especifique hint.strategy=legacy ou omita qualquer outra indicação de estratégia.

Examples

Os exemplos nesta seção mostram como usar a sintaxe para ajudá-lo a começar.

Encontre os melhores valores

Em alguns casos, é mais eficiente e fácil escrever uma consulta usando o partition operador do que usando o top-nested operador. A consulta a seguir executa uma subconsulta calculando summarize e top para cada um State começando com W: "WYOMING", "WASHINGTON", "WEST VIRGINIA" e "WISCONSIN".

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

A consulta a seguir retorna os 2 EventType principais valores por TotalInjuries para cada State um que começa com 'W':

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

A consulta a seguir retorna os 3 DamagedProperty principais valores foreach EpisodeId e as colunas EpisodeId e State.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

Estratégia legada com fonte explícita

A consulta a seguir executa duas subconsultas:

• Quando x == 1, a consulta retorna todas as linhas que StormEvents têm InjuriesIndirect == 1.
• Quando x == 2, a consulta retorna todas as linhas que StormEvents têm InjuriesIndirect == 2.

O resultado final é a união dessas duas subquestões.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. Essa abordagem é relevante apenas para a legacy estratégia.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)