Analizowanie dzienników witryn internetowych przy użyciu usługi Azure Data Lake Analytics

Dowiedz się, jak analizować dzienniki witryn internetowych przy użyciu usługi Data Lake Analytics, szczególnie w przypadku znajdowania, które osoby odwołujące się napotkały błędy podczas próby odwiedzenia witryny internetowej.

Wymagania wstępne

• Visual Studio 2015 lub Visual Studio 2013.

• Data Lake Tools for Visual Studio.

  Po zainstalowaniu narzędzi Data Lake Tools for Visual Studio w menu Narzędzia w programie Visual Studio zobaczysz element Data Lake:

  

• Podstawowa wiedza na temat usługi Data Lake Analytics i narzędzi Data Lake Tools for Visual Studio. Aby rozpocząć pracę, zobacz:

  • Tworzenie skryptu U-SQL przy użyciu narzędzi Data Lake tools for Visual Studio.

• Konto usługi Data Lake Analytics. Zobacz Tworzenie konta usługi Azure Data Lake Analytics.

• Zainstaluj przykładowe dane. W witrynie Azure Portal otwórz konto usługi Data Lake Analytics i wybierz pozycję Przykładowe skrypty w menu po lewej stronie, a następnie wybierz pozycję Kopiuj przykładowe dane.

Łączenie się z platformą Azure

Zanim będzie można skompilować i przetestować dowolne skrypty U-SQL, musisz najpierw nawiązać połączenie z platformą Azure.

Aby nawiązać połączenie z usługą Data Lake Analytics

1. Otwórz program Visual Studio.
2. Wybierz pozycję Opcje i ustawienia usługi Data Lake>.
3. Wybierz pozycję Zaloguj się lub Zmień użytkownika , jeśli ktoś się zalogował, i postępuj zgodnie z instrukcjami.
4. Wybierz przycisk OK , aby zamknąć okno dialogowe Opcje i ustawienia.

Aby przeglądać konta w usłudze Data Lake Analytics

1. W programie Visual Studio otwórz Eksploratora serwera , naciskając CTRL+ALT+S.
2. W Eksploratorze serwera rozwiń węzeł Azure, a następnie rozwiń węzeł Data Lake Analytics. Jeśli istnieją, zostanie wyświetlona lista kont usługi Data Lake Analytics. Nie można tworzyć kont usługi Data Lake Analytics z poziomu programu Studio. Aby utworzyć konto, zobacz Rozpoczynanie pracy z usługą Azure Data Lake Analytics przy użyciu witryny Azure Portal lub Rozpoczynanie pracy z usługą Azure Data Lake Analytics przy użyciu programu Azure PowerShell.

Tworzenie aplikacji U-SQL

Aplikacja U-SQL jest głównie skryptem U-SQL. Aby dowiedzieć się więcej na temat języka U-SQL, zobacz Wprowadzenie do języka U-SQL.

Do aplikacji można dodawać operatory zdefiniowane przez użytkownika. Aby uzyskać więcej informacji, zobacz Tworzenie operatorów zdefiniowanych przez użytkownika U-SQL dla zadań usługi Data Lake Analytics.

Aby utworzyć i przesłać zadanie w ramach usługi Data Lake Analytics

1. Wybierz Plik > Nowy > Projekt.

2. Wybierz typ projektu U-SQL.

   

3. Kliknij przycisk OK. Program Visual Studio tworzy rozwiązanie z plikiem Script.usql.

4. Wprowadź następujący skrypt w pliku Script.usql:

   // Create a database for easy reuse, so you don't need to read from a file very time.
   CREATE DATABASE IF NOT EXISTS SampleDBTutorials;
   
   // Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
   DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
   CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
   RETURNS @result TABLE
   (
       s_date DateTime,
       s_time string,
       s_sitename string,
       cs_method string,
       cs_uristem string,
       cs_uriquery string,
       s_port int,
       cs_username string,
       c_ip string,
       cs_useragent string,
       cs_cookie string,
       cs_referer string,
       cs_host string,
       sc_status int,
       sc_substatus int,
       sc_win32status int,
       sc_bytes int,
       cs_bytes int,
       s_timetaken int
   )
   AS
   BEGIN
   
       @result = EXTRACT
           s_date DateTime,
           s_time string,
           s_sitename string,
           cs_method string,
           cs_uristem string,
           cs_uriquery string,
           s_port int,
           cs_username string,
           c_ip string,
           cs_useragent string,
           cs_cookie string,
           cs_referer string,
           cs_host string,
           sc_status int,
           sc_substatus int,
           sc_win32status int,
           sc_bytes int,
           cs_bytes int,
           s_timetaken int
       FROM @"/Samples/Data/WebLog.log"
       USING Extractors.Text(delimiter:' ');
       RETURN;
   END;
   
   // Create a table for storing referrers and status
   DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
   @weblog = SampleDBTutorials.dbo.WeblogsView();
   CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
   (
       INDEX idx1
       CLUSTERED(Year ASC)
       DISTRIBUTED BY HASH(Year)
   ) AS
   
   SELECT s_date.Year AS Year,
       s_date.Month AS Month,
       s_date.Day AS Day,
       cs_referer,
       sc_status,
       COUNT(DISTINCT c_ip) AS cnt
   FROM @weblog
   GROUP BY s_date,
           cs_referer,
           sc_status;
   

   Aby zrozumieć język U-SQL, zobacz Wprowadzenie do języka U-SQL usługi Data Lake Analytics.

5. Dodaj nowy skrypt U-SQL do projektu i wprowadź następujące polecenie:

   // Query the referrers that ran into errors
   @content =
       SELECT *
       FROM SampleDBTutorials.dbo.ReferrersPerDay
       WHERE sc_status >=400 AND sc_status < 500;
   
   OUTPUT @content
   TO @"/Samples/Outputs/UnsuccessfulResponses.log"
   USING Outputters.Tsv();
   

6. Wróć do pierwszego skryptu U-SQL i obok przycisku Prześlij określ konto usługi Analytics.

7. W Eksploratorze rozwiązań wybierz prawym przyciskiem pozycję Script.usql, a następnie wybierz pozycję Kompiluj skrypt. Sprawdź wyniki w okienku Dane wyjściowe.

8. W Eksploratorze rozwiązań wybierz prawym przyciskiem pozycję Script.usql, a następnie wybierz pozycję Prześlij skrypt.

9. Sprawdź , czy konto analizy jest kontem, w którym chcesz uruchomić zadanie, a następnie wybierz pozycję Prześlij. Wyniki przesyłania i link do zadania są dostępne w oknie wyników narzędzia Data Lake Tools for Visual Studio po zakończeniu przesyłania.

10. Poczekaj na pomyślne zakończenie zadania. Jeśli zadanie nie powiodło się, najprawdopodobniej brakuje pliku źródłowego. Zobacz sekcję Wymagania wstępne tego samouczka. Aby uzyskać więcej informacji na temat rozwiązywania problemów, zobacz Monitorowanie i rozwiązywanie problemów z zadaniami usługi Azure Data Lake Analytics.

    Po zakończeniu zadania zostanie wyświetlony następujący ekran:

    

11. Teraz powtórz kroki od 7 do 10 dla skryptu Script1.usql.

Aby wyświetlić dane wyjściowe zadania

1. W Eksploratorze serwera rozwiń Azure, rozwiń Data Lake Analytics, rozwiń swoje konto Data Lake Analytics, rozwiń Konta magazynu, kliknij prawym przyciskiem myszy domyślne konto Data Lake Storage, a następnie wybierz Eksplorator.
2. Kliknij dwukrotnie pozycję Przykłady , aby otworzyć folder, a następnie kliknij dwukrotnie pozycję Dane wyjściowe.
3. Kliknij dwukrotnie UnsuccessfulResponses.log.
4. Możesz również kliknąć dwukrotnie plik wyjściowy w widoku grafu zadania, aby przejść bezpośrednio do danych wyjściowych.

Następne kroki

Aby rozpocząć pracę z usługą Data Lake Analytics przy użyciu różnych narzędzi, zobacz:

• Rozpoczynanie pracy z usługą Data Lake Analytics przy użyciu witryny Azure Portal
• Rozpoczynanie pracy z usługą Data Lake Analytics przy użyciu programu Azure PowerShell
• Rozpoczynanie pracy z usługą Data Lake Analytics przy użyciu zestawu SDK platformy .NET