Pozyskiwanie danych z usługi Logstash do usługi Azure Data Explorer

Logstash to potok przetwarzania danych po stronie serwera typu open source, który pozyskuje dane z wielu źródeł jednocześnie, przekształca dane, a następnie wysyła dane do Twojej ulubionej „przechowalni”. W tym artykule wyślesz te dane do usługi Azure Data Explorer, która jest szybką i wysoce skalowalną usługą eksploracji danych na potrzeby danych dzienników i telemetrii. Początkowo utworzysz tabelę i mapowanie danych w klastrze testowym, a następnie przekierowujesz usługę Logstash, aby wysłać dane do tabeli i zweryfikować wyniki.

Wymagania wstępne

• Konto Microsoft lub tożsamość użytkownika Microsoft Entra. Subskrypcja platformy Azure nie jest wymagana.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Instrukcje instalacji usługi Logstash w wersji 8.7.lub nowszej.

Utwórz tabelę

Po utworzeniu klastra i bazy danych nadszedł czas na utworzenie tabeli.

1. Uruchom następujące polecenie w oknie zapytania bazy danych w celu utworzenia tabeli:

   .create table logs (timestamp: datetime, message: string)
   

2. Uruchom następujące polecenie, aby potwierdzić, że nowa tabela logs została utworzona i jest pusta:

   logs
   | count
   

Utwórz mapowanie

Mapowanie jest używane przez usługę Azure Data Explorer do przekształcania danych przychodzących do docelowego schematu tabeli. Następujące polecenie tworzy nowe mapowanie o nazwie basicmsg, które wyodrębnia właściwości z przychodzącego kodu JSON zgodnie z informacjami w elemencie path i wysyła je do elementu column.

Uruchom następujące polecenie w oknie zapytania:

.create table logs ingestion json mapping 'basicmsg' '[{"column":"timestamp","path":"$.@timestamp"},{"column":"message","path":"$.message"}]'

Zainstaluj wtyczkę wyjściową Logstash

Wtyczka wyjściowa Logstash komunikuje się z usługą Azure Data Explorer i wysyła dane do tej usługi. Aby uzyskać więcej informacji, zobacz Wtyczka usługi Logstash.

W wierszu poleceń przejdź do katalogu głównego Logstash, a następnie uruchom następujące polecenie, aby zainstalować wtyczkę.

bin/logstash-plugin install logstash-output-kusto

Konfigurowanie usługi Logstash w celu wygenerowania przykładowego zestawu danych

Logstash może wygenerować przykładowe zdarzenia, których można użyć do testowania pełnego przepływu pracy. Jeśli już używasz usługi Logstash i masz dostęp do własnego strumienia zdarzeń, przejdź do następnej sekcji.

1. Edytuj nowy plik tekstowy zawierający wymagane ustawienia potoku (przy użyciu vi).

   vi test.conf
   

2. Wklej następujące ustawienia informujące usługę Logstash o konieczności wygenerowania 1000 zdarzeń testowych:

   input {
       stdin { }
       generator {
           message => "Test Message 123"
           count => 1000
       }
   }
   

Ta konfiguracja obejmuje również wtyczkę wejściową stdin, która umożliwi samodzielne pisanie większej liczby wiadomości (pamiętaj, aby użyć klawisza Enter w celu przesłania ich do potoku).

Konfigurowanie usługi Logstash w celu wysyłania danych do usługi Azure Data Explorer

Wklej następujące ustawienia w pliku konfiguracji użytym w poprzednim kroku. Zastąp wszystkie elementy zastępcze wartościami odpowiednimi dla konfiguracji. Aby uzyskać więcej informacji, zobacz Tworzenie aplikacji Microsoft Entra.

output {
    kusto {
            path => "/tmp/kusto/%{+YYYY-MM-dd-HH-mm-ss}.txt"
            ingest_url => "https://ingest-<cluster name>.kusto.windows.net/"
            app_id => "<application id>"
            app_key => "<application key/secret>"
            app_tenant => "<tenant id>"
            database => "<database name>"
            table => "<target table>" # logs as defined above
            json_mapping => "<mapping name>" # basicmsg as defined above
    }
}

Uruchamianie usługi Logstash

Teraz możemy uruchomić usługę Logstash i przetestować nasze ustawienia.

1. W wierszu poleceń przejdź do katalogu głównego Logstash, a następnie uruchom następujące polecenie:

   bin/logstash -f test.conf
   

   Na ekranie powinny pojawić się informacje, a następnie 1000 komunikatów wygenerowanych przez naszą przykładową konfigurację. W tym momencie można również wprowadzić ręcznie więcej komunikatów.

2. Po kilku minutach uruchom następujące zapytanie usługi Data Explorer, aby wyświetlić komunikaty w zdefiniowanej tabeli:

   logs
   | order by timestamp desc
   

3. Wybieranie klawiszy Ctrl+C w celu zakończenia działania usługi Logstash

Czyszczenie zasobów

Uruchom następujące polecenie w bazie danych, aby wyczyścić tabelę logs:

.drop table logs

Powiązana zawartość

• Pisanie zapytań