Introdução ao Azure Data Lake Store Gen1 usando Azure PowerShell

Saiba como usar o Azure PowerShell para criar uma conta do Azure Data Lake Storage Gen1 e executar operações básicas, como criar pastas, carregar e baixar arquivos de dados, excluir sua conta etc. Para obter mais informações sobre o Data Lake Storage Gen1, consulte Visão geral do Data Lake Storage Gen1.

Pré-requisitos

• Uma assinatura do Azure. Consulte Obter avaliação gratuita do Azure.
• Azure PowerShell 1.0 ou superior. Veja como instalar e configurar o Azure PowerShell.

Autenticação

Este artigo usa uma abordagem de autenticação mais simples com o Data Lake Storage Gen1, em que você é solicitado a inserir as credenciais da conta do Azure. O nível de acesso à conta do Data Lake Storage Gen1 e ao sistema de arquivos é controlado pelo nível de acesso do usuário conectado. No entanto, há outras abordagens para autenticar com o Data Lake Storage Gen1, que são a autenticação de usuário final ou a autenticação serviço a serviço. Para obter instruções e mais informações sobre como autenticar, consulte autenticação do usuário final ou autenticação serviço a serviço.

Criar uma conta do Data Lake Storage Gen1

1. Na área de trabalho, abra uma nova janela do Windows PowerShell. Insira o snippet de código a seguir para entrar em sua conta do Azure, definir a assinatura e registrar o provedor do Data Lake Storage Gen1. Quando solicitado a fazer logon, certifique-se de fazer logon como um proprietário/administrador da assinatura:

   # Log in to your Azure account
   Connect-AzAccount
   
   # List all the subscriptions associated to your account
   Get-AzSubscription
   
   # Select a subscription
   Set-AzContext -SubscriptionId <subscription ID>
   
   # Register for Azure Data Lake Storage Gen1
   Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"
   

2. Uma conta do Data Lake armazenamento Gen1 está associada um grupo de recursos do Azure. Comece criando um grupo de recursos.

   $resourceGroupName = "<your new resource group name>"
   New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
   

   

3. Crie uma conta do Azure Data Lake Storage Gen1. O nome especificado deve conter apenas letras minúsculas e números.

   $dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>"
   New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
   

   

4. Verifique se a conta foi criada com êxito.

   Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
   

   A saída do cmdlet deve ser True.

Criar estruturas de diretório

Você pode criar diretórios em sua conta do Data Lake Storage Gen1 para gerenciar e armazenar dados.

1. Especifique um diretório raiz.

   $myrootdir = "/"
   

2. Crie um novo diretório chamado mynewdirectory na raiz especificada.

   New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory
   

3. Verifique se o novo diretório foi criado com êxito.

   Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir
   

   Ele deverá exibir uma saída conforme mostrado na seguinte captura de tela:

   

Carregar dados

É possível carregar seus dados no Data Lake Storage Gen1 diretamente no nível da raiz ou em um diretório que você criou na conta. Os snippets nesta seção demonstram como carregar alguns dados de exemplo para o diretório (mynewdirectory) que você criou na seção anterior.

Se você estiver procurando alguns dados de exemplo para carregar, poderá obter a pasta Dados de Ambulância do Repositório Git do Azure Data Lake. Baixe o arquivo e armazene-o em um diretório local no computador, como C:\sampledata.

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "C:\sampledata\vehicle1_09142014.csv" `
   -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Renomear, fazer download e excluir dados

Para renomear um arquivo, use o seguinte comando:

Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
    -Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Para baixar um arquivo, use o seguinte comando:

Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
    -Destination "C:\sampledata\vehicle1_09142014_Copy.csv"

Para excluir um arquivo, use o seguinte comando:

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Quando solicitado, insira Y para excluir o item. Se você tiver mais de um arquivo para excluir, você pode fornecer todos os caminhos separados por vírgula.

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

Excluir sua conta

Use o comando a seguir para excluir sua conta do Data Lake Storage Gen1.

Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

Quando solicitado, insira Y para excluir a conta.

Próximas etapas

• Diretrizes de ajuste de desempenho para usar o PowerShell com o Azure Data Lake Storage Gen1
• Usar o Azure Data Lake Storage Gen1 para requisitos de Big Data
• Proteger dados no Data Lake Storage Gen1
• Usar o Azure Data Lake Analytics com o Data Lake Storage Gen1
• Usar o Azure HDInsight com o Data Lake Storage Gen1