scan-Operator

Gilt für: ✅Microsoft Fabric

Scannt Daten, führt Abgleiche durch und erstellt Sequenzen basierend auf den Prädikaten.

Übereinstimmende Datensätze werden gemäß den in den Schritten des Operators definierten Prädikaten bestimmt. Ein Prädikat kann vom Zustand abhängen, der durch vorherige Schritte generiert wird. Die Ausgabe für den übereinstimmenden Datensatz wird durch den Eingabedatensatz und die zuordnungen bestimmt, die in den Schritten des Operators definiert sind.

Syntax

T| scan [ with_match_id=MatchIdColumnName ] [ declare(ColumnDeclarations) ] with(StepDefinitions)

ColumnDeclarations-Syntax

Columnname:ColumnType[=DefaultValue ] [, ... ]

StepDefinition-Syntax

step StepName [ outputlastnone = | all | ] :Bedingung [ Spaltenzuweisung= [,=> ... ];

Erfahren Sie mehr über Syntaxkonventionen.

Parameters

Returns

Ein Datensatz für jede Übereinstimmung eines Datensatzes von der Eingabe zu einem Schritt. Das Schema der Ausgabe ist das Schema der Quelle, die mit der Spalte in der declare Klausel erweitert wird.

Scanlogik

scan überschreitet die serialisierten Eingabedaten, datensätze nach Datensatz, vergleicht jeden Datensatz mit der Bedingung jedes Schritts und berücksichtigt dabei den aktuellen Zustand jedes Schritts.

State

Der zugrunde liegende Zustand des scan Operators kann als Tabelle mit jeweils einer Zeile stepbetrachtet werden. Jeder Schritt behält seinen eigenen Zustand mit den neuesten Werten der Spalten und deklarierten Variablen aus allen vorherigen Schritten und dem aktuellen Schritt. Falls relevant, enthält sie auch die Übereinstimmungs-ID für die fortlaufende Sequenz.

Wenn ein Scanoperator n Schritte mit dem Namen s_1, s_2, ..., s_n hat, würde schritt s_kk Datensätze in seinem Zustand aufweisen, der s_1, s_2, ..., s_k entspricht. Der Schrittname. Das ColumnName-Format wird verwendet, um auf einen Wert im Zustand zu verweisen. Beispielsweise würde auf eine Spalte col1 verwiesen, s_2.col1 die zu Schritt s_2 im Status s_k gehört. Ein ausführliches Beispiel finden Sie in der exemplarischen Vorgehensweise zur Überprüfungslogik.

Der Zustand beginnt leer und wird aktualisiert, wenn ein gescannter Eingabedatensatz einem Schritt entspricht. Wenn der Status des aktuellen Schritts nicht inAktiv ist, wird der Schritt als aktive Sequenz bezeichnet.

Abgleichslogik

Jeder Eingabedatensatz wird von dem letzten Schritt bis zum ersten Schritt anhand aller Schritte in umgekehrter Reihenfolge ausgewertet. Wenn ein Datensatz r anhand eines Schritts s_k ausgewertet wird, wird die folgende Logik angewendet:

• Check 1: Wenn der Zustand des vorherigen Schritts (s_k-1) nicht in Betracht kommt und r die Bedingung von s_k erfüllt, tritt eine Übereinstimmung auf. Die Übereinstimmung führt zu den folgenden Aktionen:

  1. Der Status der s_k wird gelöscht.
  2. Der Zustand von s_k-1 wird gefördert, um zum Zustand der s_k zu werden.
  3. Die Zuordnungen von s_k werden berechnet und erweitert r.
  4. Der erweiterte r wird der Ausgabe und dem Status von s_k hinzugefügt.

  Note

  Wenn "Check 1 " zu einer Übereinstimmung führt, wird "2" ignoriert, und r bewegt sich, um gegen s_k-1 ausgewertet zu werden.

• Überprüfen Sie 2: Wenn der Status von s_k eine aktive Sequenz aufweist oder s_k der erste Schritt ist und r die Bedingung von s_k erfüllt, tritt eine Übereinstimmung auf. Die Übereinstimmung führt zu den folgenden Aktionen:

  1. Die Zuordnungen von s_k werden berechnet und erweitert r.
  2. Die Werte, die s_k im Zustand s_k darstellen, werden durch die Werte des erweiterten R ersetzt.
  3. Wenn s_k definiert output=allist, wird der ausgabe das erweiterte r hinzugefügt.
  4. Wenn s_k der erste Schritt ist, beginnt eine neue Sequenz, und die Übereinstimmungs-ID steigt um 1. Dies wirkt sich nur auf die Ausgabe aus, wenn with_match_id sie verwendet wird.

Sobald die Überprüfungen für s_k abgeschlossen sind, wird r fort, um gegen s_k-1 ausgewertet zu werden.

Ein ausführliches Beispiel für diese Logik finden Sie in der exemplarischen Vorgehensweise zur Überprüfungslogik.

Examples

Das Beispiel in diesem Abschnitt zeigt, wie Sie die Syntax verwenden, um Ihnen bei den ersten Schritten zu helfen.

Kumulierte Summe

Berechnen Sie die kumulierte Summe für eine Eingabespalte. Das Ergebnis dieses Beispiels entspricht der Verwendung von row_cumsum().

range x from 1 to 5 step 1 
| scan declare (cumulative_x:long=0) with 
(
    step s1: true => cumulative_x = x + s1.cumulative_x;
)

Output

Kumulierte Summe für mehrere Spalten mit einer Zurücksetzungsbedingung

Berechnen Sie die kumulierte Summe für zwei Eingabespalten, setzen Sie den Summenwert auf den aktuellen Datensatzwert zurück, wenn die kumulierte Summe 10 oder mehr erreicht hat.

range x from 1 to 5 step 1
| extend y = 2 * x
| scan declare (cumulative_x:long=0, cumulative_y:long=0) with 
(
    step s1: true => cumulative_x = iff(s1.cumulative_x >= 10, x, x + s1.cumulative_x), 
                     cumulative_y = iff(s1.cumulative_y >= 10, y, y + s1.cumulative_y);
)

Output

Weiterleiten einer Spalte

Füllen Sie eine Zeichenfolgenspalte vorwärts aus. Jedem leeren Wert wird der zuletzt angezeigte Nichterwendwert zugewiesen.Each empty value is assigned the last seen nonempty value.

let Events = datatable (Ts: timespan, Event: string) [
    0m, "A",
    1m, "",
    2m, "B",
    3m, "",
    4m, "",
    6m, "C",
    8m, "",
    11m, "D",
    12m, ""
]
;
Events
| sort by Ts asc
| scan declare (Event_filled: string="") with 
(
    step s1: true => Event_filled = iff(isempty(Event), s1.Event_filled, Event);
)

Output

Tagging von Sitzungen

Teilen Sie die Eingabe in Sitzungen auf: Eine Sitzung endet 30 Minuten nach dem ersten Ereignis der Sitzung, nach dem eine neue Sitzung gestartet wird. Beachten Sie die Verwendung der with_match_id Kennzeichnung, die für jede eindeutige Übereinstimmung (Sitzung) des Scans einen eindeutigen Wert zuweist. Beachten Sie außerdem die besondere Verwendung von zwei Schritten in diesem Beispiel als Bedingung, inSessiontrue sodass alle Datensätze aus der Eingabe erfasst und ausgegeben werden, während endSession Datensätze erfasst werden, die mehr als 30 m vom sessionStart Wert für die aktuelle Übereinstimmung stammen. Der endSession Schritt hat output=none die Bedeutung, dass es keine Ausgabedatensätze erzeugt. Der endSession Schritt wird verwendet, um den Status der aktuellen Übereinstimmung von inSession zu zu endSessionwechseln, sodass eine neue Übereinstimmung (Sitzung) beginnen kann, beginnend mit dem aktuellen Datensatz.

let Events = datatable (Ts: timespan, Event: string) [
    0m, "A",
    1m, "A",
    2m, "B",
    3m, "D",
    32m, "B",
    36m, "C",
    38m, "D",
    41m, "E",
    75m, "A"
]
;
Events
| sort by Ts asc
| scan with_match_id=session_id declare (sessionStart: timespan) with 
(
    step inSession: true => sessionStart = iff(isnull(inSession.sessionStart), Ts, inSession.sessionStart);
    step endSession output=none: Ts - inSession.sessionStart > 30m;
)

Output

Berechnen der Sitzungslänge pro Benutzer

Berechnen Sie die Startzeit, die Endzeit und die Dauer der Sitzung der einzelnen Benutzer mithilfe des scan Operators. Eine Sitzung wird als Zeitraum zwischen der Anmeldung eines Benutzers und der nachfolgenden Abmeldung definiert. Durch kombinieren partition und scan mit und output=nonemit output=all diesem Muster wird sichergestellt, dass pro Sitzung (d. h. pro Login/Logout-Paar) statt einer Zeile pro Ereignis eine einzelne Zeile zurückgegeben wird.

Die Logik funktioniert wie folgt:

• In Schritt 1: Erfassen des Anmeldezeitstempels mithilfe eines Scanschritts mit output=none
• In Schritt 2: Ausstrahlen einer Zeile nur dann, wenn ein übereinstimmender Abmeldung mithilfe einer übereinstimmenden Abmeldung gefunden wird output=all

let LogsEvents = datatable(Timestamp:datetime, userID:int, EventType:string)
[
    datetime(2024-05-28 08:15:23), 1, "login",
    datetime(2024-05-28 08:30:15), 2, "login",
    datetime(2024-05-28 09:10:27), 3, "login",
    datetime(2024-05-28 12:30:45), 1, "logout",
    datetime(2024-05-28 11:45:32), 2, "logout",
    datetime(2024-05-28 13:25:19), 3, "logout"
];
LogsEvents
| sort by userID, Timestamp
| partition hint.strategy=native by userID (
    sort by Timestamp asc 
    | scan declare (start: datetime, end: datetime, sessionDuration: timespan) with (
        step s1 output=none: EventType == "login" => start = Timestamp;
        step s2 output=all: EventType == "logout" => start = s1.start, end = Timestamp, sessionDuration = Timestamp - s1.start;
    )
)
| project start, end, userID, sessionDuration

Output

Ereignisse zwischen Start und Stopp

Suchen Sie alle Abfolgen von Ereignissen zwischen dem Ereignis Start und dem Ereignis Stop , die innerhalb von 5 Minuten auftreten. Weisen Sie für jede Sequenz eine Übereinstimmungs-ID zu.

let Events = datatable (Ts: timespan, Event: string) [
    0m, "A",
    1m, "Start",
    2m, "B",
    3m, "D",
    4m, "Stop",
    6m, "C",
    8m, "Start",
    11m, "E",
    12m, "Stop"
]
;
Events
| sort by Ts asc
| scan with_match_id=m_id with 
(
    step s1: Event == "Start";
    step s2: Event != "Start" and Event != "Stop" and Ts - s1.Ts <= 5m;
    step s3: Event == "Stop" and Ts - s1.Ts <= 5m;
)

Output

Berechnen eines benutzerdefinierten Trichters von Ereignissen

Berechnen Eines Trichterabschlusses der Sequenz Hail ->Tornado>Thunderstorm Wind nach State benutzerdefinierten Schwellenwerten für die Zeiten zwischen den Ereignissen (Tornado innerhalb 1h und Thunderstorm Wind innerhalb ).2h Dieses Beispiel ähnelt dem funnel_sequence_completion-Plug-In, ermöglicht jedoch größere Flexibilität.

StormEvents
| partition hint.strategy=native by State 
    (
    sort by StartTime asc
    | scan with 
    (
        step hail: EventType == "Hail";
        step tornado: EventType == "Tornado" and StartTime - hail.StartTime <= 1h;
        step thunderstormWind: EventType == "Thunderstorm Wind" and StartTime - tornado.StartTime <= 2h;
    )
    )
| summarize dcount(State) by EventType

Output

Exemplarische Vorgehensweise zur Überprüfungslogik

In diesem Abschnitt wird die Scanlogik mithilfe einer schrittweisen exemplarischen Vorgehensweise der Ereignisse zwischen Start- und Stoppbeispiel veranschaulicht:

let Events = datatable (Ts: timespan, Event: string) [
    0m, "A",
    1m, "Start",
    2m, "B",
    3m, "D",
    4m, "Stop",
    6m, "C",
    8m, "Start",
    11m, "E",
    12m, "Stop"
]
;
Events
| sort by Ts asc
| scan with_match_id=m_id with 
(
    step s1: Event == "Start";
    step s2: Event != "Start" and Event != "Stop" and Ts - s1.Ts <= 5m;
    step s3: Event == "Stop" and Ts - s1.Ts <= 5m;
)

Output

Der Zustand

Stellen Sie sich den Status des scan Operators als Tabelle mit einer Zeile für jeden Schritt vor, in der jeder Schritt über einen eigenen Zustand verfügt. Dieser Zustand enthält die neuesten Werte der Spalten und deklarierten Variablen aus allen vorherigen Schritten und dem aktuellen Schritt. Weitere Informationen finden Sie unter "Bundesland".

In diesem Beispiel kann der Zustand mit der folgenden Tabelle dargestellt werden:

Das "X" gibt an, dass für diesen Schritt ein bestimmtes Feld irrelevant ist.

Die entsprechende Logik

Dieser Abschnitt folgt der übereinstimmenden Logik durch jeden Datensatz der Events Tabelle und erläutert die Transformation des Zustands und der Ausgabe in jedem Schritt.

Datensatz 1

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Die Prüfung 1 wird nicht übergeben, da der Status s2 leer ist und Check 2 nicht übergeben wird, da s3 keine aktive Sequenz vorhanden ist.
• s2: Die Prüfung 1 wird nicht übergeben, da der Status s1 leer ist und Check 2 nicht übergeben wird, da s2 keine aktive Sequenz vorhanden ist.
• s1: Check 1 ist irrelevant, da kein vorheriger Schritt vorhanden ist. Check 2 wird nicht übergeben, weil der Datensatz nicht die Bedingung erfüllt Event == "Start". Datensatz 1 wird verworfen, ohne den Zustand oder die Ausgabe zu beeinträchtigen.

State:

Datensatz 2

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Die Prüfung 1 wird nicht übergeben, da der Status s2 leer ist und Check 2 nicht übergeben wird, da s3 keine aktive Sequenz vorhanden ist.
• s2: Die Prüfung 1 wird nicht übergeben, da der Status s1 leer ist und Check 2 nicht übergeben wird, da s2 keine aktive Sequenz vorhanden ist.
• s1: Check 1 ist irrelevant, da kein vorheriger Schritt vorhanden ist. Check 2 wird übergeben, da der Datensatz die Bedingung von Event == "Start". Diese Übereinstimmung initiiert eine neue Sequenz und wird m_id zugewiesen. Datensatz 2 und seine m_id (0) werden dem Zustand und der Ausgabe hinzugefügt.

State:

Datensatz 3

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Die Prüfung 1 wird nicht übergeben, da der Status s2 leer ist und Check 2 nicht übergeben wird, da s3 keine aktive Sequenz vorhanden ist.
• s2: Überprüfung 1 wird übergeben, da der Status nicht s1 erfüllt ist und der Datensatz die Bedingung erfüllt Ts - s1.Ts < 5m. Diese Übereinstimmung bewirkt, dass der Zustand der s1 Löschung erfolgt und die Reihenfolge s1 höhergestuft s2wird. Datensatz 3 und seine m_id (0) werden dem Zustand und der Ausgabe hinzugefügt.
• s1: Check 1 ist irrelevant, da kein vorheriger Schritt vorhanden ist und Check 2 nicht übergeben wird, da der Datensatz nicht die Bedingung erfüllt Event == "Start".

State:

Datensatz 4

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Überprüfung 1 wird nicht übergeben, weil der Datensatz nicht die Bedingung Event == "Stop"erfüllt, und Check 2 wird nicht übergeben, da s3 keine aktive Sequenz vorhanden ist.
• s2: Überprüfung 1 wird nicht übergeben, weil der Status s1 leer ist. Die Prüfung 2 wird bestanden, da sie die Bedingung von Ts - s1.Ts < 5m. Datensatz 4 und seine m_id (0) werden dem Zustand und der Ausgabe hinzugefügt. Die Werte aus diesem Datensatz überschreiben die vorherigen Zustandswerte für s2.Ts und s2.Event.
• s1: Check 1 ist irrelevant, da kein vorheriger Schritt vorhanden ist und Check 2 nicht übergeben wird, da der Datensatz nicht die Bedingung erfüllt Event == "Start".

State:

Datensatz 5

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Prüfung 1 wird übergeben, weil s2 sie nicht entsent ist und die s3 Bedingung erfüllt Event == "Stop". Diese Übereinstimmung bewirkt, dass der Zustand der s2 Löschung erfolgt und die Reihenfolge s2 höhergestuft s3wird. Datensatz 5 und seine m_id (0) werden dem Zustand und der Ausgabe hinzugefügt.
• s2: Die Prüfung 1 wird nicht übergeben, da der Status s1 leer ist und Check 2 nicht übergeben wird, da s2 keine aktive Sequenz vorhanden ist.
• s1: Check 1 ist irrelevant, da kein vorheriger Schritt vorhanden ist. Check 2 wird nicht übergeben, weil der Datensatz nicht die Bedingung erfüllt Event == "Start".

State:

Datensatz 6

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Check 1 wird nicht übergeben, weil der Status s2 leer ist und Check 2 nicht übergeben wird, da s3 die s3 Bedingung von Event == "Stop".
• s2: Die Prüfung 1 wird nicht übergeben, da der Status s1 leer ist und Check 2 nicht übergeben wird, da s2 keine aktive Sequenz vorhanden ist.
• s1: Überprüfung 1 wird nicht übergeben, weil kein vorheriger Schritt vorhanden ist, und Check 2 wird nicht übergeben, weil sie nicht die Bedingung erfüllt Event == "Start". Datensatz 6 wird verworfen, ohne den Zustand oder die Ausgabe zu beeinträchtigen.

State:

Datensatz 7

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Prüfung 1 wird nicht übergeben, weil der Status s2 leer ist und Check 2 nicht übergeben wird, weil sie nicht die Bedingung erfüllt Event == "Stop".
• s2: Die Prüfung 1 wird nicht übergeben, da der Status s1 leer ist und Check 2 nicht übergeben wird, da s2 keine aktive Sequenz vorhanden ist.
• s1: Überprüfung 1 wird nicht übergeben, da kein vorheriger Schritt vorhanden ist. Die Prüfung 2 wird bestanden, da sie die Bedingung von Event == "Start". Diese Übereinstimmung initiiert eine neue Sequenz s1 mit einer neuen m_id. Datensatz 7 und seine m_id (1) werden dem Zustand und der Ausgabe hinzugefügt.

State:

Datensatz 8

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Prüfung 1 wird nicht übergeben, weil der Status s2 leer ist und Check 2 nicht übergeben wird, weil sie nicht die s3 Bedingung erfüllt Event == "Stop".
• s2: Überprüfung 1 wird übergeben, da der Status nicht s1 erfüllt ist und der Datensatz die Bedingung erfüllt Ts - s1.Ts < 5m. Diese Übereinstimmung bewirkt, dass der Zustand der s1 Löschung erfolgt und die Reihenfolge s1 höhergestuft s2wird. Datensatz 8 und seine m_id (1) werden dem Zustand und der Ausgabe hinzugefügt.
• s1: Check 1 ist irrelevant, da kein vorheriger Schritt vorhanden ist und Check 2 nicht übergeben wird, da der Datensatz nicht die Bedingung erfüllt Event == "Start".

State:

Datensatz 9

Aufzeichnen der Auswertung bei jedem Schritt:

• s3: Prüfung 1 wird übergeben, weil s2 sie nicht entsent ist und die s3 Bedingung erfüllt Event == "Stop". Diese Übereinstimmung bewirkt, dass der Zustand der s2 Löschung erfolgt und die Reihenfolge s2 höhergestuft s3wird. Datensatz 9 und seine m_id (1) werden dem Zustand und der Ausgabe hinzugefügt.
• s2: Die Prüfung 1 wird nicht übergeben, da der Status s1 leer ist und Check 2 nicht übergeben wird, da s2 keine aktive Sequenz vorhanden ist.
• s1: Die Prüfung 1 wird nicht übergeben, weil kein vorheriger Schritt vorhanden ist, und Check 2 wird nicht übergeben, da der Datensatz die Bedingung des Ereignisses nicht erfüllt == "Start".

State:

Endgültige Ausgabe