Analisar logs do Site usando o Azure Data Lake Analytics

Saiba como analisar logs de sites usando o Data Lake Analytics, especialmente ao descobrir quais referenciadores encontraram erros ao tentarem visitar o site.

Pré-requisitos

• Visual Studio 2015 ou Visual Studio 2013.

• Ferramentas do Data Lake para Visual Studio.

  Depois que as Ferramentas do Data Lake para Visual Studio estiverem instaladas, você verá um item do Data Lake no menu Ferramentas no Visual Studio:

  

• Conhecimento básico do Data Lake Analytics e das Ferramentas do Data Lake para Visual Studio. Para começar, consulte:

  • Desenvolva um script U-SQL usando as ferramentas do Data Lake para Visual Studio.

• Uma conta do Data Lake Analytics. Consulte Criar uma conta do Azure Data Lake Analytics.

• Instale os dados de exemplo. No portal do Azure, abra sua conta do Data Lake Analytics e selecione Scripts de Exemplo no menu à esquerda e selecione Copiar Dados de Exemplo.

Conectar-se ao Azure

Antes de criar e testar scripts U-SQL, primeiro você deve se conectar ao Azure.

Para se conectar ao Data Lake Analytics

1. Abra o Visual Studio.
2. Selecione Opções e Configurações do Data Lake>.
3. Selecione Entrar ou Alterar Usuário se alguém tiver se conectado e siga as instruções.
4. Selecione OK para fechar a caixa de diálogo Opções e Configurações.

Para navegar em suas contas do Data Lake Analytics

1. No Visual Studio, abra o Gerenciador de Servidores pressionando CTRL+ALT+S.
2. No Gerenciador de Servidores, expanda o Azure e expanda o Data Lake Analytics. Você verá uma lista de suas contas do Data Lake Analytics se houver alguma. Você não pode criar contas do Data Lake Analytics na interface do estúdio. Para criar uma conta, consulte Introdução ao Azure Data Lake Analytics usando o portal do Azure ou Introdução ao Azure Data Lake Analytics usando o Azure PowerShell.

Desenvolver aplicativo U-SQL

Um aplicativo U-SQL é principalmente um script U-SQL. Para saber mais sobre o U-SQL, consulte Introdução ao U-SQL.

Você pode adicionar operadores definidos pelo usuário adicionais ao aplicativo. Para obter mais informações, consulte Desenvolver operadores definidos pelo usuário U-SQL para trabalhos do Data Lake Analytics.

Para criar e enviar um trabalho do Data Lake Analytics

1. Selecione Arquivo Novo Projeto.

2. Selecione o tipo de projeto U-SQL.

   

3. Selecione OK. O Visual Studio cria uma solução com um arquivo Script.usql.

4. Insira o seguinte script no arquivo Script.usql:

   // Create a database for easy reuse, so you don't need to read from a file very time.
   CREATE DATABASE IF NOT EXISTS SampleDBTutorials;
   
   // Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
   DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
   CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
   RETURNS @result TABLE
   (
       s_date DateTime,
       s_time string,
       s_sitename string,
       cs_method string,
       cs_uristem string,
       cs_uriquery string,
       s_port int,
       cs_username string,
       c_ip string,
       cs_useragent string,
       cs_cookie string,
       cs_referer string,
       cs_host string,
       sc_status int,
       sc_substatus int,
       sc_win32status int,
       sc_bytes int,
       cs_bytes int,
       s_timetaken int
   )
   AS
   BEGIN
   
       @result = EXTRACT
           s_date DateTime,
           s_time string,
           s_sitename string,
           cs_method string,
           cs_uristem string,
           cs_uriquery string,
           s_port int,
           cs_username string,
           c_ip string,
           cs_useragent string,
           cs_cookie string,
           cs_referer string,
           cs_host string,
           sc_status int,
           sc_substatus int,
           sc_win32status int,
           sc_bytes int,
           cs_bytes int,
           s_timetaken int
       FROM @"/Samples/Data/WebLog.log"
       USING Extractors.Text(delimiter:' ');
       RETURN;
   END;
   
   // Create a table for storing referrers and status
   DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
   @weblog = SampleDBTutorials.dbo.WeblogsView();
   CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
   (
       INDEX idx1
       CLUSTERED(Year ASC)
       DISTRIBUTED BY HASH(Year)
   ) AS
   
   SELECT s_date.Year AS Year,
       s_date.Month AS Month,
       s_date.Day AS Day,
       cs_referer,
       sc_status,
       COUNT(DISTINCT c_ip) AS cnt
   FROM @weblog
   GROUP BY s_date,
           cs_referer,
           sc_status;
   

   Para entender o U-SQL, consulte Introdução à linguagem U-SQL do Data Lake Analytics.

5. Adicione um novo script U-SQL ao seu projeto e insira o seguinte:

   // Query the referrers that ran into errors
   @content =
       SELECT *
       FROM SampleDBTutorials.dbo.ReferrersPerDay
       WHERE sc_status >=400 AND sc_status < 500;
   
   OUTPUT @content
   TO @"/Samples/Outputs/UnsuccessfulResponses.log"
   USING Outputters.Tsv();
   

6. Volte para o primeiro script U-SQL e, ao lado do botão Enviar , especifique sua conta de Análise.

7. No Gerenciador de Soluções, selecione Script.usql com o botão direito do mouse e selecione Criar Script. Verifique os resultados no painel de saída.

8. No Gerenciador de Soluções, selecione Script.usql com o botão direito do mouse e selecione Enviar Script.

9. Verifique se a Conta de Análise é aquela em que você deseja executar o trabalho e selecione Enviar. Os resultados do envio e o link do trabalho submetido estão disponíveis na janela de Resultados das Ferramentas do Data Lake para Visual Studio quando o envio é concluído.

10. Aguarde até que o trabalho seja concluído com êxito. Se o trabalho falhou, provavelmente está faltando o arquivo de origem. Consulte a seção Pré-requisitos deste tutorial. Para obter mais informações de solução de problemas, consulte Monitorar e solucionar problemas de trabalhos do Azure Data Lake Analytics.

    Quando o trabalho for concluído, você verá a seguinte tela:

    

11. Agora repita as etapas 7 a 10 para Script1.usql.

Para ver a saída do trabalho

1. No Gerenciador de Servidores, expanda o Azure, expanda o Data Lake Analytics, expanda sua conta do Data Lake Analytics, expanda Contas de Armazenamento, clique com o botão direito do mouse na conta padrão do Data Lake Storage e selecione Explorer.
2. Clique duas vezes em Exemplos para abrir a pasta e clique duas vezes em Saídas.
3. Clique duas vezes UnsuccessfulResponses.log.
4. Você também pode clicar duas vezes no arquivo de saída dentro da exibição de grafo do trabalho para navegar diretamente até a saída.

Próximas etapas

Para começar a usar o Data Lake Analytics usando ferramentas diferentes, confira:

• Introdução ao Data Lake Analytics usando o portal do Azure
• Introdução ao Data Lake Analytics usando o Azure PowerShell
• Introdução ao Data Lake Analytics usando o SDK do .NET