Introdução ao Azure Data Lake Analytics usando a CLI do Azure

Importante

Novas contas do Azure Data Lake Analytics não podem mais ser criadas, a menos que sua assinatura tenha sido habilitada. Se você precisar que sua assinatura seja habilitada contate o suporte e forneça seu cenário de negócios.

Se você já estiver usando o Azure Data Lake Analytics, precisará criar um plano de migração para o Azure Synapse Analytics para sua organização até 29 de fevereiro de 2024.

Este artigo descreve como usar a interface de linha de comando da CLI do Azure para criar contas do Azure Data Lake Analytics, enviar trabalhos usql e catálogos. O processo lê um arquivo TSV (valores separados por tabulação) e o converte em um arquivo CSV (valores separados por vírgulas).

Pré-requisitos

Antes de começar, você precisa dos seguintes itens:

Uma assinatura do Azure. Consulte Obter a avaliação gratuita do Azure.
Este artigo exige que você esteja executando a CLI do Azure versão 2.0 ou posterior. Se você precisa instalar ou atualizar, consulte Instalar a CLI do Azure.

Para entrar em sua assinatura do Azure:

az login

É solicitado que você navegue até uma URL e insira um código de autenticação. Em seguida, siga as instruções para inserir suas credenciais.

Depois de fazer logon, o comando de logon lista suas assinaturas.

Para usar uma assinatura específica:

az account set --subscription <subscription id>

Criar conta do Data Lake Analytics

Você precisa de uma conta do Data Lake Analytics antes de executar qualquer trabalho. Para criar uma conta do Data Lake Analytics, especifique os seguintes itens:

Grupo de Recursos do Azure Uma conta do Data Lake Analytics deve ser criada em um grupo de recursos do Azure. O Azure Resource Manager permite que você trabalhe com os recursos em seu aplicativo como um grupo. Você pode implantar, atualizar ou excluir todos os recursos do aplicativo em uma única operação coordenada.

Para listar os grupos de recursos existentes em sua assinatura:

az group list

Para criar um novo grupo de recursos:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Nome da conta do Data Lake Analytics. Cada conta do Data Lake Analytics tem um nome.
Localização Use um dos data centers do Azure que dá suporte ao Data Lake Analytics.
Conta padrão do Data Lake Store: cada conta do Data Lake Analytics tem uma conta padrão do Data Lake Store.

Para listar a conta existente do Data Lake Store:

az dls account list

Para criar uma nova conta do Data Lake Store:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Use a seguinte sintaxe para criar uma conta do Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Depois de criar uma conta, você pode usar os seguintes comandos para listar as contas e mostrar detalhes da conta:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Carregar dados no Data Lake Store

Neste tutorial, você processará alguns logs de pesquisa. O log de pesquisa pode ser armazenado no Armazenamento do Data Lake ou no Armazenamento de Blobs do Azure.

O portal do Azure fornece uma interface do usuário para copiar alguns arquivos de dados de exemplo para a conta padrão do Data Lake Store, que inclui um arquivo de log de pesquisa. Consulte Preparar dados de origem para carregar os dados na conta padrão do Data Lake Store.

Para carregar arquivos usando a CLI do Azure, use os seguintes comandos:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

O Data Lake Analytics também pode acessar o Armazenamento de Blobs do Azure. Para carregar dados no Armazenamento de Blobs do Azure, consulte Usando a CLI do Azure com o Armazenamento do Azure.

Enviar trabalhos do Data Lake Analytics

Os trabalhos do Data Lake Analytics são escritos na linguagem U-SQL. Para saber mais sobre o U-SQL, consulte Introdução à linguagem U-SQL e à referência de linguagem U-SQL.

Para criar um script de trabalho do Data Lake Analytics

Crie um arquivo de texto com o seguinte script U-SQL e salve o arquivo de texto em sua estação de trabalho:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Esse script U-SQL lê o arquivo de dados de origem usando Extractors.Tsv()e cria um arquivo csv usando Outputters.Csv().

Não modifique os dois caminhos, a menos que você copie o arquivo de origem em um local diferente. O Data Lake Analytics criará a pasta de saída se ela não existir.

É mais simples usar caminhos relativos para arquivos armazenados em contas padrão do Data Lake Store. Você também pode usar caminhos absolutos. Por exemplo:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Você deve usar caminhos absolutos para acessar arquivos em contas de Armazenamento vinculadas. A sintaxe dos arquivos armazenados na conta vinculada do Armazenamento do Azure é:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Observação

Contêineres de Blob do Azure com blobs públicos não são suportados. Não há suporte para o contêiner de Blob do Azure com contêineres públicos.

Para enviar trabalhos

Use a sintaxe a seguir para enviar um trabalho.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Por exemplo:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Para listar trabalhos e mostrar detalhes do trabalho

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Para cancelar trabalhos

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Recuperar resultados da tarefa

Depois que um trabalho for concluído, você poderá usar os seguintes comandos para listar os arquivos de saída e baixar os arquivos:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"