Verwenden eines Notizbuchs und kqlmagic zum Analysieren von Daten im Azure-Daten-Explorer

Jupyter Notebook ist eine Open-Source-Webanwendung, mit der Sie Dokumente mit Live-Code, Gleichungen, Visualisierungen und erzählendem Text erstellen und gemeinsam nutzen können. Es ist nützlich für eine breite Palette von Aufgaben, z. B. Datenreinigung und -transformation, numerische Simulation, statistische Modellierung, Datenvisualisierung und maschinelles Lernen.

Kqlmagic erweitert die Fähigkeiten des Python-Kerns in Jupyter Notebook, so dass Sie Kusto-Abfragesprache (KQL) queries natively. Sie können Python und KQL zum Abfragen und Visualisieren von Daten mithilfe der umfassenden Bibliothek „Plot.ly“ kombinieren, die im render-Operator integriert ist. Die Kqlmagic-Erweiterung ist mit Jupyter Lab, Visual Studio Code Jupyter Erweiterung und Azure Data Studio kompatibel, und unterstützte Datenquellen umfassen Azure Data Explorer, Azure Monitor-Protokolle und Application Insights.

In diesem Artikel erfahren Sie, wie Sie die Kqlmagic-Erweiterung in einem Notizbuch verwenden, um eine Verbindung mit daten herzustellen und abzufragen, die im Azure-Daten-Explorer gespeichert sind.

Voraussetzungen

• Ein Microsoft-Konto oder eine Microsoft Entra-Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
• Ein Notizbuch, das auf Ihrem lokalen Computer installiert ist. Andernfalls verwenden Sie Azure Data Studio.
• Python 3.6. Um die Kernel-Version von Jupyter Notebook auf Python 3.6 zu ändern, wählen Sie Kernel>Change Kernel>Python 3.6.

Install kqlmagic

Sobald Sie die kqlmagic-Erweiterung installiert und geladen haben, können Sie KQL-Abfragen in Ihrem Notebook schreiben. Wenn der Kernel anhält oder die Ergebnisse nicht wie erwartet sind, laden Sie die kqlmagic-Erweiterung erneut.

1. Um kqlmagic zu installieren, führen Sie den folgenden Befehl aus:

   !pip install Kqlmagic --no-cache-dir  --upgrade
   

2. Um die kqlmagic-Erweiterung zu laden, führen Sie den folgenden Befehl aus:

   %reload_ext Kqlmagic
   

Herstellen der Verbindung zu einem Cluster

Wählen Sie die Registerkarte für Ihre bevorzugte Methode zur Verbindung mit Ihrem Cluster.

%kql AzureDataExplorer://tenant='<tenant-id>';certificate='<certificate>';certificate_thumbprint='<thumbprint>';cluster='<cluster-name>';database='<database-name>'

%kql AzureDataExplorer://code;cluster='<cluster-name>';database='<database-name>'

%kql AzureDataExplorer://tenant='<tenant-id>';clientid='<aad-appid>';clientsecret='<aad-appkey>';cluster='<cluster-name>';database='<database-name>'

%kql AzureDataExplorer://username='<username>';password='<password>';cluster='<cluster-name>';database='<database-name>'

%kql azureDataExplorer://anonymous;cluster='<cluster-name>';database='<database-name>'

Beispiel für eine Clusterverbindung

Der folgende Befehl verwendet die Microsoft Entra-Code-Methode zur Authentifizierung bei der Samples Datenbank, die auf dem help cluster. Für Nicht-Microsoft Entra-Benutzer ersetzen Sie den Tenant-Namen Microsoft.com durch Ihren Microsoft Entra-Tenant.

%kql AzureDataExplorer://tenant="Microsoft.com";code;cluster='help';database='Samples'

Verbindungsoptionen

Um die Abfrage der Anmeldeinformationen zu vereinfachen, können Sie eine der folgenden Optionsflags nach der Verbindung hinzufügen.

Beispiel für eine Verbindung mit Azure CLI

Jede der in der vorherigen Tabelle beschriebenen Optionen kann nach einer Verbindung hinzugefügt werden. Im folgenden Beispiel wird die Azure CLI-Anmeldeoption als Authentifizierungsmethode verwendet:

%kql azureDataExplorer://code;cluster='help';database='Samples' -try_azcli_login

Anzeige von Verbindungsinformationen

Um alle bestehenden Verbindungen zu sehen, führen Sie den folgenden Befehl aus:

%kql --conn

Um die Details einer bestimmten Verbindung zu überprüfen, führen Sie den folgenden Befehl aus:

%kql --conn <database-name>@<cluster-name>

Abfragen und Visualisieren

Fragen Sie Daten mit dem Render-Operator ab, und visualisieren Sie Daten mithilfe der Bibliothek „ploy.ly“ Durch die Abfrage und Visualisierung wird eine integrierte Benutzeroberfläche bereitgestellt, die die native KQL verwendet.

Kqlmagic unterstützt abgesehen von timepivot, pivotchart und ladderchart die meisten Diagramme. Der Render-Operator wird mit Ausnahme von kind, ysplit und accumulate mit allen Attributen unterstützt.

Abfragen und Rendern eines Kreisdiagramms

%%kql
StormEvents
| summarize statecount=count() by State
| sort by statecount 
| take 10
| render piechart title="My Pie Chart by State"

Abfragen und Rendern eines Zeitdiagramms

%%kql
StormEvents
| summarize count() by bin(StartTime,7d)
| render timechart

Anpassen der Diagrammfarben

Wenn Ihnen die Standardfarbpalette nicht gefällt, können Sie die Diagramme mit Palettenoptionen anpassen. Die verfügbaren Paletten finden Sie hier: Wählen Sie eine Farbpalette für Ihr kqlmagic-Abfragediagramm aus

1. Mit folgendem Befehl rufen Sie eine Liste der Paletten auf:

   %kql --palettes -popup_window
   

2. Wählen Sie die Farbpalette cool aus, und rendern Sie die Abfrage erneut:

   %%kql -palette_name "cool"
   StormEvents
   | summarize statecount=count() by State
   | sort by statecount
   | take 10
   | render piechart title="My Pie Chart by State"
   

Parametrisieren einer Abfrage mit Python

Kqlmagic ermöglicht einen einfachen Austausch zwischen Kusto-Abfragesprache und Python. To learn more: Parametrisieren Sie Ihre kqlmagic-Abfrage mit Python

Verwenden einer Python-Variablen in KQL-Abfragen

Sie können den Wert einer Python-Variablen in Ihrer Abfrage verwenden, um die Daten zu filtern:

statefilter = ["TEXAS", "KANSAS"]

%%kql
let _state = statefilter;
StormEvents 
| where State in (_state) 
| summarize statecount=count() by bin(StartTime,1d), State
| render timechart title = "Trend"

Konvertieren von Abfrageergebnissen in Pandas Dataframe

Sie können in Pandas DataFrame auf die Ergebnisse einer KQL-Abfrage zugreifen. Wie im folgenden Beispiel gezeigt können Sie mit der Variablen _kql_raw_result_ auf die Ergebnisse der zuletzt ausgeführten Abfrage zugreifen und diese unkompliziert in Pandas DataFrame konvertieren:

df = _kql_raw_result_.to_dataframe()
df.head(10)

Beispiel

In vielen Analyseszenarios sollten Sie, wiederverwendbare Notebooks erstellen, die viele Abfragen enthalten und die Ergebnisse einer Abfrage an nachfolgende Abfragen übergeben. Im folgenden Beispiel wird die Python-Variable statefilter verwendet, um die Daten zu filtern.

1. Führen Sie eine Abfrage aus, um die zehn Zustände mit dem Höchstwert für die DamageProperty-Eigenschaft aufzuführen:

   %%kql
   StormEvents
   | summarize max(DamageProperty) by State
   | order by max_DamageProperty desc
   | take 10
   

2. Führen Sie eine Abfrage aus, um den Zustand mit dem Höchstwert zu extrahieren, und legen Sie diesen in einer Python-Variablen fest:

   df = _kql_raw_result_.to_dataframe()
   statefilter =df.loc[0].State
   statefilter
   

3. Führen Sie eine Abfrage mit der let-Anweisung und der Python-Variablen aus:

   %%kql
   let _state = statefilter;
   StormEvents 
   | where State in (_state)
   | summarize statecount=count() by bin(StartTime,1d), State
   | render timechart title = "Trend"
   

4. Führen Sie den help-Befehl aus:

   %kql --help "help"
   

Beispiel-Notebooks

• Starten Sie mit kqlmagic für Azure Data Explorer
• Starten Sie mit kqlmagic für Application Erkenntnisse
• Starten Sie mit kqlmagic für Azure Monitor Logs
• Parametrisieren Sie Ihre kqlmagic-Abfrage mit Python
• Wählen Sie eine Farbpalette für Ihr kqlmagic-Abfragediagramm aus

Zugehöriger Inhalt

• Learn Kusto-Abfragesprache (KQL)