Desenvolver scripts U-SQL usando o Data Lake Tools para Visual Studio

As Ferramentas do Azure Data Lake e do Stream Analytics incluem funcionalidade relacionada a dois serviços do Azure, o Azure Data Lake Analytics e o Azure Stream Analytics. Para obter mais informações sobre os cenários do Azure Stream Analytics, consulte as ferramentas do Azure Stream Analytics para Visual Studio.

Este artigo descreve como usar o Visual Studio para criar contas do Azure Data Lake Analytics. Você pode definir trabalhos no U-SQL e enviar trabalhos para o serviço Data Lake Analytics. Para saber mais sobre a Análise Data Lake, consulte a Visão geral da Análise Data Lake do Azure.

Pré-requisitos

• Visual Studio: há suporte para todas as edições, exceto Express.

  • Visual Studio 2019
  • Visual Studio 2017
  • Visual Studio 2015
  • Visual Studio 2013

• SDK do Microsoft Azure para .NET versão 2.7.1 ou posterior. Instale-o usando o instalador da plataforma Web.

• Uma conta do Data Lake Analytics. Para criar uma conta, confira Introdução ao Azure Data Lake Analytics usando o portal do Azure.

Instale as Ferramentas do Azure Data Lake para Visual Studio

Este tutorial requer que as Ferramentas do Data Lake para Visual Studio sejam instaladas. Para obter mais informações, consulte Instalar o Data Lake Tools para Visual Studio.

Conectar-se a uma conta do Azure Data Lake Analytics

1. Abra o Visual Studio.

2. Abra o Data Lake Analytics Explorer selecionando Exibir>Data Lake Analytics Explorer.

3. Clique com o botão direito do mouse no Azure e selecione Conectar-se à Assinatura do Microsoft Azure. Em Entrar em sua conta, siga as instruções.

4. No Gerenciador de Servidores, selecione Azure>Data Lake Analytics. Você verá uma lista de suas contas do Data Lake Analytics.

Gravar seu primeiro script U-SQL

O texto a seguir é um script U-SQL simples. Ele define um pequeno conjunto de dados e grava esse conjunto de dados no Data Lake Store padrão como um arquivo chamado /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Enviar um trabalho do Data Lake Analytics

1. No Visual Studio, selecione Arquivo>Novo>Projeto.

2. Selecione o tipo de Projeto U-SQL e, em seguida, selecione Avançar. Em Configurar seu novo projeto, selecioneCriar.

   O Visual Studio cria uma solução que contém um arquivo Script.usql .

3. Cole o script de Gravar seu primeiro script U-SQL na janela Script.usql .

4. No Gerenciador de Soluções, clique com o botão direito do mouse em Script.usql e selecione Enviar Script.

5. Em Enviar Trabalho, escolha sua conta do Data Lake Analytics e selecione Enviar.

   

Após o envio do trabalho, a guia Exibição de trabalho é aberta para mostrar o progresso do trabalho.

• O Resumo do Trabalho mostra o resumo do trabalho.
• O Grafo de Trabalho visualiza o progresso do trabalho.
• O MetaData Operations mostra todas as ações que foram executadas no catálogo U-SQL.
• Os dados mostram todas as entradas e saídas.
• O Histórico de Estado mostra a linha do tempo e os detalhes do estado.
• A Análise de UA mostra quantas UAs (unidades de análise) foram usadas no trabalho e explora simulações de diferentes estratégias de alocação de UA.
• O diagnóstico fornece uma análise avançada para execução do trabalho e otimização de desempenho.

Para ver o status do trabalho mais recente e atualizar a tela, selecione Atualizar.

Verificar o status do trabalho

1. No Data Lake Analytics Explorer, selecione Data Lake Analytics.

2. Expanda o nome da conta do Data Lake Analytics.

3. Clique duas vezes em Trabalhos.

4. Selecione o trabalho que você enviou anteriormente.

Veja o resultado do trabalho

1. No Data Lake Analytics Explorer, navegue até o trabalho que você enviou.

2. Selecione a guia Dados em seu trabalho.

3. Na guia Saídas do Trabalho, selecione o arquivo "/data.csv".

Próximas etapas

• Executar scripts U-SQL em sua própria estação de trabalho para teste e depuração
• Depurar código C# em trabalhos U-SQL usando as Ferramentas do Azure Data Lake para Visual Studio Code
• Usar as Ferramentas do Azure Data Lake para Visual Studio Code