Jak pozyskiwać dane historyczne do usługi Azure Data Explorer

LightIngest przydaje się do ładowania danych historycznych z istniejącego systemu magazynu do usługi Azure Data Explorer. Chociaż możesz utworzyć własne polecenie przy użyciu listy argumentów wiersza polecenia, w tym artykule pokazano, jak automatycznie wygenerować to polecenie za pomocą kreatora importu danych. Oprócz utworzenia polecenia można użyć tego procesu, aby utworzyć nową tabelę i utworzyć mapowanie schematu. To narzędzie wywnioskowuje mapowanie schematu z zestawu danych.

Element docelowy

1. W internetowym interfejsie użytkownika usługi Azure Data Explorer z menu po lewej stronie wybierz pozycję Zapytanie.

2. Kliknij prawym przyciskiem myszy bazę danych, w której chcesz pozyskać dane, a następnie wybierz pozycję LightIngest.

   

   Zostanie otwarte okno Pozyskiwanie danych z wybraną kartą Miejsce docelowe . Pola Klaster i Baza danych są wypełniane automatycznie.

3. Wybierz tabelę docelową. Aby pozyskać dane do nowej tabeli, wybierz pozycję Nowa tabela, a następnie wprowadź nazwę tabeli.

   Uwaga

   Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, znaki alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

   

4. Wybierz pozycję Dalej: Źródło.

Źródło

1. W obszarze Wybierz źródło wybierz pozycję Dodaj adres URL lub Wybierz kontener.

   • Podczas dodawania adresu URL w obszarze Link do źródła określ klucz konta lub adres URL sygnatury dostępu współdzielonego do kontenera. Adres URL sygnatury dostępu współdzielonego można utworzyć ręcznie lub automatycznie.

   • Podczas wybierania kontenera z konta magazynu wybierz subskrypcję magazynu, konto magazynu i kontener z menu rozwijanych.

     

   Uwaga

   Maksymalny rozmiar pliku obsługiwany w pozyskiwaniu wynosi 6 GB. Zaleceniem jest pozyskiwanie plików z zakresu od 100 MB do 1 GB.

2. Wybierz pozycję Ustawienia zaawansowane, aby zdefiniować dodatkowe ustawienia procesu pozyskiwania przy użyciu technologii LightIngest.

   

3. W okienku Konfiguracja zaawansowana zdefiniuj ustawienia LightIngest zgodnie z poniższą tabelą.

   

   Właściwości	opis
   Wzorzec czasu tworzenia	Określ, aby zastąpić właściwość czasu pozyskiwania utworzonego zakresu wzorcem, na przykład, aby zastosować datę na podstawie struktury folderów kontenera. Zobacz również Wzorzec czasu tworzenia.
   Wzorzec nazwy obiektu blob	Określ wzorzec używany do identyfikowania plików do importu. Pozyskaj wszystkie pliki zgodne ze wzorcem nazwy obiektu blob w danym kontenerze. Obsługuje symbole wieloznaczne. Zalecamy ujęcie w cudzysłów podwójnych.
   Tag	Tag przypisany do pozyskanych danych. Tag może być dowolnym ciągiem.
   Ograniczanie ilości plików	Określ liczbę plików do przetworzenia. Pozyskiwanie pierwszych n plików, które są zgodne ze wzorcem nazwy obiektu blob, do określonej liczby.
   Nie czekaj na zakończenie pozyskiwania	W przypadku ustawienia obiekty blob są kolejki do pozyskiwania bez monitorowania procesu pozyskiwania. Jeśli nie zostanie ustawiona, funkcja LightIngest będzie nadal sondować stan pozyskiwania do momentu ukończenia pozyskiwania.
   Wyświetlanie tylko wybranych elementów	Wyświetl listę plików w kontenerze, ale nie pozyskuje ich.

4. Wybierz pozycję Gotowe , aby powrócić do karty Źródło .

   1. Opcjonalnie wybierz pozycję Filtry plików, aby filtrować dane w celu pozyskiwania tylko plików w określonej ścieżce folderu lub przy użyciu określonego rozszerzenia pliku.

      

      Domyślnie jeden z plików w kontenerze jest losowo wybierany i używany do generowania schematu dla tabeli.

   2. Opcjonalnie w obszarze Plik definiujący schemat określ plik do użycia.

5. Wybierz pozycję Dalej: Schemat , aby wyświetlić i edytować konfigurację kolumny tabeli.

Schemat

Karta schematu zawiera podgląd danych.

Aby wygenerować polecenie LightIngest, wybierz pozycję Dalej: Rozpocznij pozyskiwanie.

Opcjonalnie:

• Zmień automatycznie wnioskowany format danych, wybierając żądany format z menu rozwijanego.
• Zmień automatycznie wnioskowaną nazwę mapowania. Można użyć znaków alfanumerycznych i podkreśleń. Spacje, znaki specjalne i łączniki nie są obsługiwane.
• W przypadku korzystania z istniejącej tabeli można zachować bieżący schemat tabeli, jeśli schemat tabeli jest zgodny z wybranym formatem.
• Wybierz pozycję Przeglądarka poleceń, aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.
• Edytuj kolumny. W obszarze Podgląd częściowych danych wybierz menu rozwijane kolumn, aby zmienić różne aspekty tabeli.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

• Typ tabeli jest nowy lub istniejący
• Typ mapowania to nowy lub istniejący

Pozyskiwanie

1. Gdy tabela, mapowanie i polecenie LightIngest wyświetlają zielone znaczniki wyboru, wybierz ikonę kopiowania w prawym górnym rogu pola wygenerowane polecenie, w celu skopiowania wygenerowanego polecenia LightIngest.

   

   Uwaga

   Jeśli jest to wymagane, możesz pobrać narzędzie LightIngest, wybierając pozycję Pobierz lightingest.

2. Aby ukończyć proces pozyskiwania, należy uruchomić polecenie LightIngest przy użyciu skopiowanego polecenia.

Krok 1. Przygotowanie do ponownego partycjonowania

1. Dostosuj zasady przechowywania, aby zachować stare dane. W poniższym przykładzie ustawisz zasady przechowywania dla tabeli MyTable na 10 lat.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Dostosuj zasady buforowania, aby wszystkie dane znajdowały się w gorącej pamięci podręcznej na potrzeby ponownego partycjonowania, ponieważ tylko gorące dane mogą być ponownie partycjonowane po pozyskaniu. W poniższym przykładzie dla tabeli MyTable ustawiono buforowanie na 10 lat.

   .alter table MyTable policy caching hot = 3650d
   

   Ważne

   Zwiększenie zasad buforowania może używać znacznie większej ilości gorącej pamięci podręcznej niż w normalnych operacjach i może spowodować zwiększenie kosztów.

Krok 2. Inicjowanie ponownego partycjonowania

1. Utwórz zasady partycjonowania, które partycjonuje dane według kolumny o nazwie Timestamp. W poniższym przykładzie ustawisz zasady partycjonowania dla tabeli MyTable na partycje według kolumny o nazwie Timestamp.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Aby uzyskać informacje o właściwościach zasad partycjonowania, zobacz właściwości partycji. W przypadku pozyskiwania danych historycznych ważne jest ustawienie następujących właściwości:

   • Ustaw właściwość EffectiveDateTime na datę wcześniejszą niż początek przetwarzania, aby wyzwolić ponowne partycjonowanie.
   • Ustaw właściwość RangeSize na jeden dzień, aby dane zostały ponownie podzielone na jednodniowe segmenty. Należy jednak ustawić tę wartość tak, aby dopasować je do danych. Jeśli na przykład masz mniej niż kilka GB danych dziennie, rozważ ustawienie większej wartości.
   • Ustaw właściwość OverrideCreationTime na true, aby po ponownym podzieleniu danych na dzienne przedziały zakresy były oznaczone tym dniem jako czas tworzenia.

2. Ustaw zasady scalania, aby umożliwić scalanie wszystkich zakresów, w tym zakresów starszych niż 14 dni. Ustawienie tych zasad jest ważne, ponieważ proces ponownego partycjonowania tworzy zakresy starsze niż 14 dni, które domyślnie są wykluczone przez proces scalania.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Monitoruj postęp ponownego partycjonowania przy użyciu polecenia .show database extents partitioning statistics (Pokaż zakresy bazy danych). W zwróconych wynikach wyszukaj tabelę, którą dzielisz, i monitoruj kolumnę PartitionedRowPercentage . Gdy wartość kolumny PartitionedRowPercentage to 100, ponowne partycjonowanie zostanie ukończone.

Krok 3. Czyszczenie po ponownym partycjonowaniu

Po zakończeniu ponownego partycjonowania można wyczyścić zasady ustawione w poprzednich krokach.

1. Usuń zasady partycjonowania.

   .delete table MyTable policy partitioning
   

2. Usuń zasady scalania.

   .delete table MyTable policy merge
   

3. Usuń lub ustaw zasady buforowania.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Usuń lub ustaw zasady przechowywania.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Powiązana zawartość

• Wykonywanie zapytań o dane w usłudze Azure Data Explorer