Samouczek: Pisanie do tabeli Delta przechowywanej w usłudze Azure Data Lake Storage Gen2

W tym samouczku pokazano, jak utworzyć zadanie Stream Analytics, aby zapisać w tabeli Delta w usłudze Azure Data Lake Storage Gen2. W tym poradniku nauczysz się, jak:

Wymagania wstępne

Przed rozpoczęciem wykonaj następujące kroki:

• Jeśli nie masz subskrypcji platformy Azure, utwórz bezpłatne konto.
• Wdróż generator zdarzeń TollApp na platformie Azure, użyj tego linku, aby wdrożyć szablon platformy Azure TollApp. Ustaw parametr "interval" na 1. Utwórz nową grupę zasobów i użyj jej na potrzeby tego kroku.
• Utwórz konto usługi Data Lake Storage Gen2.

Tworzenie zadania usługi Stream Analytics

1. Zaloguj się do witryny Azure Portal.

2. Wybierz pozycję Wszystkie usługi w menu po lewej stronie.

3. Przenieś wskaźnik myszy nad zadaniami usługi Stream Analytics w sekcji Analiza i wybierz pozycję + (plus).

   

4. W lewym górnym rogu witryny Azure Portal wybierz pozycję Utwórz zasób.

5. Wybierz Analytics>zadanie Stream Analytics z listy wyników.

6. Na stronie Nowe zadanie usługi Stream Analytics wykonaj następujące kroki:

   1. W polu Subskrypcja wybierz subskrypcję platformy Azure.
   2. W polu Grupa zasobów wybierz ten sam zasób, który został użyty wcześniej we wdrożeniu usługi TollApp.
   3. W polu Nazwa wprowadź nazwę zadania. Nazwa zadania usługi Stream Analytics może zawierać tylko znaki alfanumeryczne, łączniki i podkreślenia, a musi zawierać od 3 do 63 znaków.
   4. W przypadku środowiska hostingu upewnij się, że wybrano opcję Chmura .
   5. Dla Jednostki Stream wybierz 1. Jednostki przesyłania strumieniowego reprezentują zasoby obliczeniowe wymagane do wykonania zadania. Aby dowiedzieć się więcej na temat skalowania jednostek przesyłania strumieniowego, zapoznaj się z artykułem opisujący i dostosowujący jednostki przesyłania strumieniowego .

   

7. Wybierz pozycję Przejrzyj i utwórz w dolnej części strony.

8. Na stronie Przegląd + tworzenie przejrzyj ustawienia i wybierz pozycję Utwórz, aby utworzyć stronę Stream Analytics.

9. Na stronie wdrożenia wybierz Przejdź do zasobu, aby przejść do strony zadania Stream Analytics.

Konfigurowanie danych wejściowych zadania

Następnym krokiem jest zdefiniowanie źródła danych wejściowych zadania odczytu danych przy użyciu centrum zdarzeń utworzonego we wdrożeniu TollApp.

1. Znajdź zadanie usługi Stream Analytics utworzone w poprzedniej sekcji.

2. W sekcji Topologia zadań zadania usługi Stream Analytics wybierz pozycję Dane wejściowe.

3. Wybierz + Dodaj wejście i Centrum zdarzeń.

   

4. Wypełnij formularz wejściowy następującymi wartościami utworzonymi za pomocą szablonu platformy Azure TollApp:

   1. Dla aliasu wejściowego wprowadź entrystream.

   2. Wybierz centrum zdarzeń z subskrypcji.

   3. W polu Subskrypcja wybierz subskrypcję platformy Azure.

   4. Wybierz przestrzeń nazw centrum zdarzeń utworzoną w poprzedniej sekcji dla przestrzeni nazw centrum zdarzeń.

   5. Użyj opcji domyślnych w pozostałych ustawieniach i wybierz pozycję Zapisz.

      

Konfigurowanie danych wyjściowych zadania

Następnym krokiem jest zdefiniowanie ujścia danych wyjściowych, w którym zadanie może zapisywać dane. W tym samouczku zapisujesz dane wyjściowe w tabeli delty w usłudze Azure Data Lake Storage Gen2.

1. W sekcji Topologia zadań zadania usługi Stream Analytics wybierz opcję Dane wyjściowe .

2. Wybierz + Dodaj dane wyjściowe>magazyn obiektów blob/usługę ADLS Gen2.

   

3. Wypełnij formularz danych wyjściowych następującymi szczegółami i wybierz pozycję Zapisz:

   1. W polu Alias danych wyjściowych wprowadź wartość DeltaOutput.

   2. Wybierz Blob Storage/ADLS Gen2 z subskrypcji.

   3. W polu Subskrypcja wybierz subskrypcję platformy Azure.

   4. W polu Konto przechowywania wybierz utworzone konto usługi ADLS Gen2 (rozpoczynające się od tollapp).

   5. W polu Kontener wybierz pozycję Utwórz nową i podaj unikatową nazwę kontenera.

   6. W obszarze Format serializacji zdarzeń wybierz pozycję Delta Lake. Chociaż usługa Delta Lake jest wymieniona jako jedna z opcji w tym miejscu, nie jest to format danych. Delta Lake używa wersjonowanych plików Parquet do przechowywania danych. Aby dowiedzieć się więcej o Delta Lake.

   7. W polu Ścieżka tabeli delty wpisz folder samouczka/tabela delty.

   8. Użyj opcji domyślnych w pozostałych ustawieniach i wybierz pozycję Zapisz.

      

Tworzenie zapytań

Na tym etapie masz skonfigurowane zadanie usługi Stream Analytics w celu odczytywania przychodzącego strumienia danych. Następnym krokiem jest utworzenie zapytania, które analizuje dane w czasie rzeczywistym. Zapytania używają języka przypominającego SQL, który ma pewne rozszerzenia specyficzne dla usługi Stream Analytics.

1. Teraz wybierz pozycję Zapytanie w obszarze Topologia zadania w menu po lewej stronie.

2. Wprowadź następujące zapytanie w oknie zapytania. W tym przykładzie zapytanie odczytuje dane z usługi Event Hubs i kopiuje wybrane wartości do tabeli delty w usłudze ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Wybierz pozycję Zapisz zapytanie na pasku narzędzi.

   

Uruchamianie zadania usługi Stream Analytics i sprawdzanie danych wyjściowych

1. Wróć do strony przeglądu zadania w witrynie Azure Portal i wybierz pozycję Uruchom.

   

2. Na stronie Start job (Uruchamianie zadania ) upewnij się, że wybrano pozycję Now (Now ) w polu Job output start time (Godzina rozpoczęcia zadania), a następnie wybierz pozycję Start (Rozpocznij ) w dolnej części strony.

   

3. Po kilku minutach w portalu znajdź konto przechowywania i kontener, który skonfigurowano jako wyjście dla zadania. Teraz możesz zobaczyć tabelę delty w folderze określonym w kontenerze. Uruchomienie zadania po raz pierwszy zajmuje kilka minut, lecz gdy już się uruchomi, będzie nadal działać w miarę napływu danych.

   

Uprzątnij zasoby

Gdy grupa zasobów, zadanie usługi Stream Analytics i wszystkie powiązane zasoby nie będą już potrzebne, usuń grupę zasobów. Usunięcie zadania pozwala uniknąć naliczania opłat za jednostki przesyłania strumieniowego używane przez zadanie. Jeśli planujesz korzystać z zadania w przyszłości, możesz go zatrzymać i uruchomić ponownie później, gdy będzie to potrzebne. Jeśli nie zamierzasz nadal korzystać z tego zadania, usuń wszystkie zasoby utworzone w tym samouczku, wykonując następujące czynności:

1. W menu po lewej stronie w witrynie Azure Portal wybierz pozycję Grupy zasobów, a następnie wybierz nazwę utworzonego zasobu.
2. Na stronie grupy zasobów wybierz pozycję Usuń, wpisz nazwę zasobu do usunięcia w polu tekstowym, a następnie wybierz pozycję Usuń.

Dalsze kroki

W tym samouczku utworzono proste zadanie usługi Stream Analytics, przefiltrowano dane przychodzące i zapisano wyniki w tabeli Delta na koncie usługi ADLS Gen2. Aby dowiedzieć się więcej o zadaniach usługi Stream Analytics: