partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

Der Partitionsoperator partitioniert die Datensätze seiner Eingabetabelle in mehrere Untertabellen gemäß Werten in einer Schlüsselspalte. Der Operator führt eine Unterabfrage für jede Untertabelle aus und erzeugt eine einzelne Ausgabetabelle, die die Vereinigung der Ergebnisse aller Unterabfragen darstellt.

Der Partitionsoperator ist nützlich, wenn Sie eine Unterabfrage nur für eine Teilmenge von Zeilen ausführen müssen, die zum gleichen Partitionsschlüssel gehören, und keine Abfrage des gesamten Datasets. These subqueries could include aggregate functions, window functions, top N and others.

Der Partitionsoperator unterstützt mehrere Strategien des Unterabfragevorgangs:

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

Der Operator gibt eine Vereinigung der Ergebnisse der einzelnen Unterabfragen zurück.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

Diese Strategie sollte angewendet werden, wenn die Anzahl der unterschiedlichen Werte des Partitionsschlüssels nicht groß ist, etwa in den Tausenden.

Die Unterabfrage muss eine tabellarische Transformation sein, die keine tabellarische Quelle angibt. Die Quelle ist implizit und wird entsprechend den Untertabellenpartitionen zugewiesen. Only certain supported operators can be used in the subquery. Es gibt keine Einschränkung für die Anzahl der Partitionen.

Um diese Strategie zu verwenden, geben Sie hint.strategy=nativean.

Shuffle strategy

Diese Strategie sollte angewendet werden, wenn die Anzahl der unterschiedlichen Werte des Partitionsschlüssels in den Millionen groß ist.

Die Unterabfrage muss eine tabellarische Transformation sein, die keine tabellarische Quelle angibt. Die Quelle ist implizit und wird entsprechend den Untertabellenpartitionen zugewiesen. Only certain supported operators can be used in the subquery. Es gibt keine Einschränkung für die Anzahl der Partitionen.

Um diese Strategie zu verwenden, geben Sie hint.strategy=shufflean. For more information about shuffle strategy and performance, see shuffle query.

Unterstützte Operatoren für die systemeigenen und shuffle-Strategien

Die folgende Liste der Operatoren kann in Unterabfragen mit den systemeigenen oder shuffle-Strategien verwendet werden:

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

Aus historischen Gründen ist die Strategie die legacy Standardstrategie. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

In einigen Szenarien kann die legacy Strategie aufgrund der Unterstützung für die Aufnahme einer tabellarischen Quelle in die Unterabfrage erforderlich sein. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

Wenn es sich bei der Unterabfrage um eine tabellarische Transformation ohne tabellarische Quelle handelt, ist die Quelle implizit und basiert auf den Untertabellenpartitionen.

Um diese Strategie zu verwenden, geben Oder weglassen Sie hint.strategy=legacy andere Strategieanzeigen.

Examples

Die Beispiele in diesem Abschnitt zeigen, wie Sie die Syntax verwenden, um Ihnen den Einstieg zu erleichtern.

Auffinden der obersten Werte

In einigen Fällen ist es leistungsfähiger und einfacher, eine Abfrage mit dem partition Operator zu schreiben, als den top-nested Operator zu verwenden. Die folgende Abfrage führt eine Berechnete summarize Unterabfrage aus und top beginnt mit StateW: "WYOMING", "WASHINGTON", "WEST VIRGINIA" und "WISCONSIN".

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

Die folgende Abfrage gibt die obersten 2 EventType Werte TotalInjuries für jede State zurück, die mit "W" beginnt:

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

Die folgende Abfrage gibt die obersten 3 DamagedProperty Werte foreach EpisodeId und die Spalten EpisodeId und State.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

Legacystrategie mit expliziter Quelle

Die folgende Abfrage führt zwei Unterabfragen aus:

• Wenn x == 1die Abfrage alle Zeilen zurückgibt, aus StormEvents denen dies der Wert ist InjuriesIndirect == 1.
• Wenn x == 2die Abfrage alle Zeilen zurückgibt, aus StormEvents denen dies der Wert ist InjuriesIndirect == 2.

Das Endergebnis ist die Vereinigung dieser beiden Unterabfragen.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. Dieser Ansatz ist nur für die legacy Strategie relevant.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)