Erste Schritte mit Azure Data Lake Analytics mit Azure CLI

Wichtig

Neue Azure Data Lake Analytics-Konten können nicht mehr erstellt werden, es sei denn, Ihr Abonnement wurde aktiviert. Wenn Sie Ihr Abonnement freischalten lassen möchten, wenden Sie sich an den Support und stellen Sie Ihr Geschäftsszenario bereit.

Wenn Sie Azure Data Lake Analytics bereits verwenden, müssen Sie bis zum 29. Februar 2024 einen Migrationsplan zu Azure Synapse Analytics für Ihre Organisation erstellen.

In diesem Artikel wird beschrieben, wie Sie die Befehlszeilenschnittstelle von Azure CLI verwenden, um Azure Data Lake Analytics-Konten zu erstellen, USQL-Aufträge und Kataloge zu übermitteln. Der Auftrag liest eine DATEI mit tabstopptrennten Werten (TSV) und konvertiert sie in eine CSV-Datei (Kommagetrennte Werte).

Voraussetzungen

Bevor Sie beginnen, benötigen Sie die folgenden Elemente:

Ein Azure-Abonnement. Siehe Kostenlose Azure-Testversion.
Dieser Artikel erfordert, dass Sie die Azure CLI Version 2.0 oder höher ausführen. Wenn Sie installieren oder ein Upgrade durchführen müssen, finden Sie unter Azure CLI installieren weitere Informationen.

So melden Sie sich bei Ihrem Azure-Abonnement an:

az login

Sie werden aufgefordert, zu einer URL zu navigieren und einen Authentifizierungscode einzugeben. Folgen Sie dann den Anweisungen, um Ihre Anmeldeinformationen einzugeben.

Nachdem Sie sich angemeldet haben, listet der Anmeldebefehl Ihre Abonnements auf.

So verwenden Sie ein bestimmtes Abonnement:

az account set --subscription <subscription id>

Erstellen eines Data Lake Analytics-Kontos

Sie benötigen ein Data Lake Analytics-Konto, bevor Sie beliebige Aufträge ausführen können. Zum Erstellen eines Data Lake Analytics-Kontos müssen Sie die folgenden Elemente angeben:

Azure Resource Group. Ein Data Lake Analytics-Konto muss innerhalb einer Azure-Ressourcengruppe erstellt werden. Mit Azure Resource Manager können Sie mit den Ressourcen in Ihrer Anwendung als Gruppe arbeiten. Sie können alle Ressourcen für Ihre Anwendung in einem einzigen koordinierten Vorgang bereitstellen, aktualisieren oder löschen.

So listen Sie die vorhandenen Ressourcengruppen unter Ihrem Abonnement auf:

az group list

So erstellen Sie eine neue Ressourcengruppe:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Name des Data Lake Analytics-Kontos. Jedes Data Lake Analytics-Konto hat einen Namen.
Ort. Verwenden Sie eines der Azure-Rechenzentren, die Data Lake Analytics unterstützen.
Standardmäßiges Data Lake Store-Konto: Jedes Data Lake Analytics-Konto verfügt über ein Standardmäßiges Data Lake Store-Konto.

So listen Sie das vorhandene Data Lake Store-Konto auf:

az dls account list

So erstellen Sie ein neues Data Lake Store-Konto:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Verwenden Sie die folgende Syntax, um ein Data Lake Analytics-Konto zu erstellen:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Nach dem Erstellen eines Kontos können Sie die folgenden Befehle verwenden, um die Konten auflisten und Kontodetails anzuzeigen:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Hochladen von Daten in data Lake Store

In diesem Lernprogramm verarbeiten Sie einige Suchprotokolle. Das Suchprotokoll kann entweder im Data Lake-Speicher oder im Azure Blob Storage gespeichert werden.

Das Azure-Portal bietet eine Benutzeroberfläche zum Kopieren einiger Beispieldatendateien in das standardmäßige Data Lake Store-Konto, das eine Suchprotokolldatei enthält. Siehe Vorbereiten von Quelldaten zum Hochladen der Daten in das Standardmäßige Data Lake Store-Konto.

Verwenden Sie die folgenden Befehle, um Dateien mit Azure CLI hochzuladen:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics kann auch auf Azure Blob Storage zugreifen. Informationen zum Hochladen von Daten in Azure Blob Storage finden Sie unter Verwenden der Azure CLI mit Azure Storage.

Data Lake Analytics-Aufträge übermitteln

Die Data Lake Analytics-Aufträge werden in der Sprache U-SQL geschrieben. Weitere Informationen zu U-SQL finden Sie unter "Erste Schritte mit der U-SQL-Sprache und U-SQL-Sprachreferenz".

So erstellen Sie ein Data Lake Analytics-Auftragsskript

Erstellen Sie eine Textdatei mit dem folgenden U-SQL-Skript, und speichern Sie die Textdatei auf Ihrer Arbeitsstation:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Dieses U-SQL-Skript liest die Quelldatendatei mit Extractors.Tsv(), und erstellt dann eine CSV-Datei mit Outputters.Csv().

Ändern Sie die beiden Pfade nur, wenn Sie die Quelldatei an einen anderen Speicherort kopieren. Data Lake Analytics erstellt den Ausgabeordner, wenn er nicht vorhanden ist.

Es ist einfacher, relative Pfade für Dateien zu verwenden, die in Standardkonten des Data Lake Store gespeichert sind. Sie können auch absolute Pfade verwenden. Beispiel:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Sie müssen absolute Pfade verwenden, um auf Dateien in verknüpften Speicherkonten zuzugreifen. Die Syntax für Dateien, die im verknüpften Azure Storage-Konto gespeichert sind, lautet:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Hinweis

Azure Blob-Container mit öffentlichen Blobs werden nicht unterstützt. Azure Blob-Container mit öffentlichen Containern wird nicht unterstützt.

So übermitteln Sie Aufträge

Verwenden Sie die folgende Syntax, um einen Auftrag zu übermitteln.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Beispiel:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

So listen Sie Aufträge auf, und zeigen Sie Auftragsdetails an

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

So kündigen Sie Aufträge

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Abrufen von Auftragsergebnissen

Nachdem ein Auftrag abgeschlossen wurde, können Sie die folgenden Befehle verwenden, um die Ausgabedateien auflisten und die Dateien herunterzuladen:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"