Szybki start: pozyskiwanie danych przy użyciu potoków usługi Azure Synapse (wersja zapoznawcza)

Program Microsoft Cloud Migration Factory (CMF) ma na celu pomoc klientom w migracji do sieci szkieletowej. Program oferuje praktyczne zasoby klawiaturowe bez ponoszenia kosztów dla klienta. Te zasoby są przypisywane przez okres 6–8 tygodni ze wstępnie zdefiniowanym i uzgodnionym zakresem. Nominacje klientów są akceptowane przez zespół ds. kont Microsoft lub bezpośrednio, przesyłając wniosek o pomoc zespołowi CMF.

W tym szybkim przewodniku dowiesz się, jak załadować dane ze źródła danych do puli Azure Synapse Data Explorer.

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz bezpłatne konto platformy Azure.

• Utwórz pulę Eksploratora Danych, korzystając z programu Synapse Studio lub portalu Azure

• Utwórz bazę danych eksploratora danych.

  1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Dane.

  2. Wybierz + (Dodaj nowy zasób) >pulę Eksploratora danych i skorzystaj z poniższych informacji:

     Setting	Sugerowana wartość	Description
     Nazwa puli	contosodataexplorer	Nazwa puli Eksploratora danych, której użyć
     Name	TestDatabase	Nazwa bazy danych musi być unikatowa w obrębie klastra.
     Domyślny okres przechowywania	365	Przedział czasu (w dniach), w którym gwarantowana jest dostępność danych dla zapytania. Przedział czasu jest mierzony od momentu pozyskania danych.
     Domyślny okres pamięci podręcznej	31	Przedział czasu (w dniach), w którym często używane w zapytaniach dane mają być dostępne na dysku SSD lub w pamięci RAM zamiast w magazynie długoterminowym.

  3. Wybierz pozycję Utwórz, aby utworzyć bazę danych. Tworzenie zazwyczaj zajmuje mniej niż minutę.

• Tworzenie tabeli

  1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Opracuj.
  2. W obszarze Skrypty KQL wybierz +(Dodaj nowy zasób) >skrypt KQL. W okienku po prawej stronie możesz nazwać skrypt.
  3. W menu Połącz z wybierz pozycję contosodataexplorer.
  4. W menu Użyj bazy danych wybierz pozycję TestDatabase.
  5. Wklej następujące polecenie i wybierz pozycję Uruchom , aby utworzyć tabelę.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Wskazówka

  Sprawdź, czy tabela została pomyślnie utworzona. W okienku po lewej stronie wybierz pozycję Dane, wybierz menu contosodataexplorer i następnie wybierz Odśwież. Pod contosodataexplorer rozwiń Tabele i upewnij się, że StormEvents znajduje się na liście.

• Pobierz punkty końcowe dla zapytań i ingestii danych. Aby skonfigurować połączoną usługę, potrzebny będzie punkt końcowy zapytania.

  1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Zarządzaj pulami>eksploratora danych.

  2. Wybierz pulę Eksploratora danych, której chcesz użyć, aby wyświetlić jego szczegóły.

     

  3. Zanotuj punkty końcowe zapytań i pozyskiwania danych. Użyj punktu końcowego zapytania jako klastra podczas konfigurowania połączeń z pulą eksploratora danych. Podczas konfigurowania zestawów SDK na potrzeby pozyskiwania danych użyj punktu końcowego pozyskiwania danych.

     

Tworzenie usługi połączonej

W Azure Synapse Analytics połączona usługa to miejsce, gdzie definiujesz informacje o połączeniach do innych usług. W tej sekcji utworzysz połączoną usługę dla usługi Azure Data Explorer.

1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Zarządzaj połączonymi usługami>.

2. Wybierz + Nowy.

   

3. Wybierz usługę Azure Data Explorer z galerii, a następnie wybierz pozycję Kontynuuj.

   

4. Na stronie Nowe połączone usługi użyj następujących informacji:

   Setting	Sugerowana wartość	Description
   Name	contosodataexplorerlinkedservice	Nazwa nowej połączonej usługi Azure Data Explorer.
   Metoda uwierzytelniania	Tożsamość zarządzana	Metoda uwierzytelniania nowej usługi.
   Metoda wyboru konta	Wprowadź ręcznie	Metoda określania punktu końcowego zapytania.
   Endpoint	https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net	Punkt końcowy zapytania, który zanotowałeś wcześniej.
   Baza danych	TestDatabase	Baza danych, w której chcesz pozyskiwać dane.

   

5. Wybierz pozycję Testuj połączenie , aby zweryfikować ustawienia, a następnie wybierz pozycję Utwórz.

Utwórz przepływ do pozyskania danych

Potok danych zawiera logiczny przepływ informacji na potrzeby wykonywania zestawu działań. W tej sekcji utworzysz potok zawierający działanie kopiowania, które przenosi dane z preferowanego źródła do puli Data Explorer.

1. W programie Synapse Studio w okienku po lewej stronie wybierz pozycję Integruj.

2. Wybierz pozycję +>Pipeline. W okienku po prawej stronie możesz nazwać potok.

   

3. W obszarze Działania>Przenieś i przekształć przeciągnij Kopiuj dane na płótno potoku.

4. Wybierz działanie kopiowania i przejdź do karty Źródło . Wybierz lub utwórz nowy źródłowy zestaw danych jako źródło, z których chcesz skopiować dane.

5. Przejdź do karty Ujście . Wybierz pozycję Nowy , aby utworzyć nowy zestaw danych ujścia.

   

6. Wybierz zestaw danych usługi Azure Data Explorer z galerii, a następnie wybierz pozycję Kontynuuj.

7. W okienku Ustaw właściwości użyj poniższych informacji, a następnie wybierz przycisk OK.

   Setting	Sugerowana wartość	Description
   Name	AzureDataExplorerTable	Nazwa nowego rurociągu.
   Połączona usługa	contosodataexplorerlinkedservice	Utworzona wcześniej połączona usługa.
   Tabela	StormEvents	Utworzona wcześniej tabela.

   

8. Aby zweryfikować pipeline, wybierz pozycję Weryfikuj na pasku narzędzi. Wynik walidacji Pipeline jest widoczny po prawej stronie strony.

Debuguj i opublikuj pipeline

Po zakończeniu konfigurowania potoku możesz przeprowadzić debugowanie przed opublikowaniem artefaktów, aby sprawdzić, czy wszystko jest poprawne.

1. Wybierz pozycję Debuguj na pasku narzędzi. Stan działania potoku jest wyświetlany na karcie Dane wyjściowe w dolnej części okna.

2. Po pomyślnym uruchomieniu potoku na górnym pasku narzędzi wybierz pozycję Opublikuj wszystko. Ta akcja publikuje jednostki (zestawy danych i potoki) utworzone w usłudze Synapse Analytics.

3. Poczekaj na wyświetlenie komunikatu Pomyślnie opublikowano. Aby wyświetlić komunikaty powiadomień, wybierz przycisk dzwonka w prawym górnym rogu.

Wyzwalanie i monitorowanie pipeliny

W tej sekcji ręcznie wyzwolisz pipeline opublikowany w poprzednim kroku.

1. Wybierz pozycję Dodaj wyzwalacz na pasku narzędzi, a następnie wybierz pozycję Wyzwól teraz. Na stronie Uruchamianie potoku wybierz przycisk OK.

2. Przejdź do karty Monitor znajdującej się na lewym pasku bocznym. Widzisz uruchomienie potoku, które zostało zainicjowane wyzwalaczem ręcznym.

3. Po pomyślnym zakończeniu przebiegu potoku wybierz link w kolumnie Nazwa potoku , aby wyświetlić szczegóły przebiegu działania lub ponownie uruchomić potok. W tym przykładzie istnieje tylko jedno działanie, dlatego na liście jest widoczny tylko jeden wpis.

4. Aby uzyskać szczegółowe informacje na temat operacji kopiowania, wybierz link Szczegóły (ikona okularów) w kolumnie Nazwa działania. Możesz monitorować szczegóły, takie jak ilość danych skopiowanych ze źródła do ujścia, przepływność danych, kroki wykonywania z odpowiednim czasem trwania i używane konfiguracje.

5. Aby wrócić do widoku przebiegów potoku, wybierz link Wszystkie uruchomienia potoku u góry. Wybierz pozycję Odśwież, aby odświeżyć listę.

6. Sprawdź, czy Twoje dane są poprawnie zapisane w puli Data Explorer.

Dalsze kroki

• Analizowanie za pomocą Eksploratora danych
• Monitorowanie pul eksploratora danych