Rozpoczynanie pracy z usługą Azure Data Lake Analytics przy użyciu interfejsu wiersza polecenia platformy Azure

Ważne

Nie można już tworzyć nowych kont usługi Azure Data Lake Analytics, chyba że subskrypcja została włączona. Jeśli potrzebujesz, aby Twoja subskrypcja została włączona, skontaktuj się z pomocą techniczną i podaj swój scenariusz biznesowy.

Jeśli używasz już usługi Azure Data Lake Analytics, musisz utworzyć plan migracji do usługi Azure Synapse Analytics dla organizacji do 29 lutego 2024 r.

W tym artykule opisano sposób używania interfejsu wiersza polecenia platformy Azure do tworzenia kont usługi Azure Data Lake Analytics, przesyłania zadań USQL i katalogów. Zadanie odczytuje plik wartości rozdzielonych tabulatorami (TSV) i konwertuje go na plik wartości rozdzielanych przecinkami (CSV).

Wymagania wstępne

Przed rozpoczęciem potrzebne są następujące elementy:

Subskrypcja platformy Azure. Zobacz Uzyskiwanie bezpłatnej wersji próbnej platformy Azure.
W tym artykule wymaga się, aby używać Azure CLI w wersji 2.0 lub nowszej. Jeśli konieczna będzie instalacja lub uaktualnienie, zobacz Instalowanie interfejsu wiersza polecenia platformy Azure.

Aby zalogować się do subskrypcji platformy Azure:

az login

Użytkownik jest proszony o przejście do adresu URL i wprowadzenie kodu uwierzytelniania. Następnie postępuj zgodnie z instrukcjami, aby wprowadzić dane logowania.

Po zalogowaniu polecenie logowania wyświetla listę subskrypcji.

Aby użyć określonej subskrypcji:

az account set --subscription <subscription id>

Tworzenie konta usługi Data Lake Analytics

Aby można było uruchamiać jakiekolwiek zadania, potrzebne jest konto usługi Data Lake Analytics. Aby utworzyć konto usługi Data Lake Analytics, należy określić następujące elementy:

Grupa zasobów Azure. Konto usługi Data Lake Analytics musi zostać utworzone w grupie zasobów platformy Azure. Usługa Azure Resource Manager umożliwia pracę z zasobami w aplikacji jako grupą. Możesz wdrożyć, zaktualizować lub usunąć wszystkie zasoby aplikacji w ramach jednej skoordynowanej operacji.

Aby wyświetlić listę istniejących grup zasobów w ramach subskrypcji:

az group list

Aby utworzyć nową grupę zasobów:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Nazwa konta usługi Data Lake Analytics. Każde konto usługi Data Lake Analytics ma nazwę.
Lokalizacja. Użyj jednego z centrów danych platformy Azure, które obsługują usługę Data Lake Analytics.
Domyślne konto usługi Data Lake Store: każde konto usługi Data Lake Analytics ma domyślne konto usługi Data Lake Store.

Aby wyświetlić listę istniejących kont Data Lake Store:

az dls account list

Aby utworzyć nowe konto usługi Data Lake Store:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Użyj następującej składni, aby utworzyć konto usługi Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Po utworzeniu konta możesz użyć następujących poleceń, aby wyświetlić listę kont i wyświetlić szczegóły konta:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Przekazywanie danych do usługi Data Lake Store

W tym samouczku przetworzysz niektóre dzienniki wyszukiwania. Dziennik wyszukiwania można przechowywać w usłudze Data Lake Store lub Azure Blob Storage.

Witryna Azure Portal udostępnia interfejs użytkownika do kopiowania przykładowych plików danych do domyślnego konta usługi Data Lake Store, które zawiera plik dziennika wyszukiwania. Zobacz Przygotowywanie danych źródłowych , aby przekazać dane do domyślnego konta usługi Data Lake Store.

Aby przekazać pliki przy użyciu interfejsu wiersza polecenia platformy Azure, użyj następujących poleceń:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Usługa Data Lake Analytics może również uzyskiwać dostęp do usługi Azure Blob Storage. Aby przekazać dane do usługi Azure Blob Storage, zobacz Używanie interfejsu wiersza polecenia platformy Azure z usługą Azure Storage.

Przesyłanie zadań usługi Data Lake Analytics

Zadania usługi Data Lake Analytics są zapisywane w języku U-SQL. Aby dowiedzieć się więcej na temat języka U-SQL, zobacz Wprowadzenie do języka U-SQL i dokumentacji języka U-SQL.

Aby utworzyć skrypt zadania usługi Data Lake Analytics

Utwórz plik tekstowy z następującym skryptem U-SQL i zapisz plik tekstowy na stacji roboczej:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Ten skrypt U-SQL odczytuje plik danych źródłowych przy użyciu funkcji Extractors.Tsv(), a następnie tworzy plik csv przy użyciu elementu Outputters.Csv().

Nie należy modyfikować dwóch ścieżek, chyba że plik źródłowy zostanie skopiowany do innej lokalizacji. Usługa Data Lake Analytics tworzy folder wyjściowy, jeśli nie istnieje.

Łatwiej jest używać ścieżek względnych dla plików przechowywanych na domyślnych kontach usługi Data Lake Store. Można również stosować bezwzględne ścieżki. Na przykład:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Aby uzyskać dostęp do plików na połączonych kontach przechowywania, należy użyć ścieżek bezwzględnych. Składnia plików przechowywanych na połączonym koncie usługi Azure Storage to:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Uwaga

Kontenery obiektów blob platformy Azure z publicznymi obiektami blob nie są obsługiwane. Kontener obiektów blob platformy Azure z kontenerami publicznymi nie jest obsługiwany.

Aby przesłać prace

Użyj następującej składni, aby przesłać zadanie.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Na przykład:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Aby wyświetlić listę zadań i wyświetlić szczegóły zadania

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Aby anulować zadania

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Pobieranie wyników zadania

Po zakończeniu zadania możesz użyć następujących poleceń, aby wyświetlić listę plików wyjściowych i pobrać pliki:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"