Desenvolver scripts U-SQL usando o Data Lake Tools for Visual Studio

As Ferramentas Azure Data Lake e Stream Analytics incluem funcionalidades relacionadas a dois serviços do Azure, Azure Data Lake Analytics e Azure Stream Analytics. Para obter mais informações sobre os cenários do Azure Stream Analytics, consulte Ferramentas do Azure Stream Analytics para Visual Studio.

Este artigo descreve como usar o Visual Studio para criar contas do Azure Data Lake Analytics. Você pode definir trabalhos em U-SQL e enviar trabalhos para o serviço Data Lake Analytics. Para mais informações sobre a Data Lake Analytics, consulte Descrição geral do Azure Data Lake Analytics.

Pré-requisitos

• Visual Studio: são suportadas todas as edições exceto a Express.

  • Visual Studio 2019
  • Visual Studio 2017
  • Visual Studio 2015
  • Visual Studio 2013

• SDK do Microsoft Azure para .NET versão 2.7.1 ou posterior. Instale-o usando o instalador da plataforma Web.

• A conta do Data Lake Analytics. Para criar uma conta, consulte Introdução ao Azure Data Lake Analytics com o portal do Azure.

Instalar as Ferramentas do Azure Data Lake para Visual Studio

Este tutorial requer que o Data Lake Tools for Visual Studio esteja instalado. Para obter mais informações, consulte Instalar ferramentas Data Lake para Visual Studio.

Conectar-se a uma conta do Azure Data Lake Analytics

1. Abra o Visual Studio.

2. Abra o Data Lake Analytics Explorer selecionando View>Data Lake Analytics Explorer.

3. Clique com o botão direito do mouse em Azure e selecione Conectar à Assinatura do Microsoft Azure. Em Iniciar sessão na sua conta, siga as instruções.

4. No Gerenciador de Servidores, selecione Azure>Data Lake Analytics. Você verá uma lista de suas contas do Data Lake Analytics.

Escreva seu primeiro script U-SQL

O texto a seguir é um script U-SQL simples. Ele define um pequeno conjunto de dados e grava esse conjunto de dados no Repositório Data Lake padrão como um arquivo chamado /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Submeter um trabalho do Data Lake Analytics

1. No Visual Studio, selecione Arquivo>Novo>Projeto.

2. Selecione o tipo de projeto U-SQL e, em seguida, selecione Avançar. Em Configurar seu novo projeto, selecione Criar.

   Visual Studio cria uma solução que contém um arquivo Script.usql .

3. Cole o script de Escreva seu primeiro script U-SQL na janela Script.usql .

4. No Gerenciador de Soluções, clique com o botão direito do mouse em Script.usql e selecione Enviar Script.

5. Em Enviar trabalho, escolha sua conta do Data Lake Analytics e selecione Enviar.

   

Após o envio do trabalho, a guia Visualização do trabalho é aberta para mostrar o progresso do trabalho.

• Resumo do Trabalho mostra o resumo do trabalho.
• O Job Graph visualiza o progresso do trabalho.
• MetaData Operations mostra todas as ações que foram executadas no catálogo U-SQL.
• Os dados mostram todas as entradas e saídas.
• O Histórico do Estado mostra a linha do tempo e os detalhes do estado.
• A Análise da UA mostra quantas UA (unidades analíticas) foram usadas no trabalho e explora simulações de diferentes estratégias de alocação de UA.
• O diagnóstico fornece uma análise avançada para execução de tarefas e otimização de desempenho.

Para ver o status do trabalho mais recente e atualizar a tela, selecione Atualizar.

Verificar o estado da tarefa

1. No Data Lake Analytics Explorer, selecione Data Lake Analytics.

2. Expanda o nome da conta do Data Lake Analytics.

3. Clique duas vezes em Trabalhos.

4. Selecione o trabalho que você enviou anteriormente.

Veja o resultado do trabalho

1. No Data Lake Analytics Explorer, vai até ao trabalho que submeteste.

2. Selecione a guia Dados em seu trabalho.

3. Na guia Saídas de trabalho, selecione o "/data.csv" ficheiro.

Próximos passos

• Execute scripts U-SQL em sua própria estação de trabalho para teste e depuração
• Depurar código C# em trabalhos U-SQL usando o Azure Data Lake Tools for Visual Studio Code
• Usar as Ferramentas do Azure Data Lake para o Visual Studio Code