Wykrywanie anomalii w Real-Time Intelligence (wersja zapoznawcza)

W tym artykule wyjaśniono, jak skonfigurować wykrywanie anomalii w Real-Time Intelligence w celu automatycznego identyfikowania nietypowych wzorców i wartości odstających w tabelach usługi Eventhouse. System udostępnia zalecane modele i umożliwia konfigurowanie ciągłego monitorowania za pomocą zautomatyzowanych akcji.

Kluczowe możliwości to:

• Zalecenia dotyczące modelu: sugeruje najlepsze algorytmy i parametry danych.
• Interaktywna eksploracja anomalii: wizualizowanie wykrytych anomalii i dostosowywanie czułości modelu.
• Ciągłe monitorowanie: konfigurowanie wykrywania anomalii w czasie rzeczywistym za pomocą automatycznych powiadomień.
• Ponowne analizy przy użyciu nowych danych: zaktualizuj modele w miarę uzyskiwania nowych danych w celu zwiększenia dokładności.

Wymagania wstępne

• Obszar roboczy z włączoną pojemnością usługi Microsoft Fabric
• Rola administratora, współautora lub członkaw obszarze roboczym
• Usługa Eventhouse w obszarze roboczym z bazą danych KQL
• Wtyczka języka Python włączona w tym samym usłudze Eventhouse
  • Aby włączyć wtyczkę, przejdź do swojego Eventhouse.
  • Na górnym pasku narzędzi wybierz pozycję Wtyczki , a następnie włącz rozszerzenie języka Python.
  • Wybierz wtyczkę DL języka Python 3.11.7 i wybierz pozycję Gotowe.

Jak skonfigurować wykrywanie anomalii

Rozpocznij wykrywanie anomalii z tabeli Eventhouse

Wykrywanie anomalii można uruchomić na dwa sposoby:

1. Z centrum Real-Time:

   1. Wybierz Real-Time hub w panelu nawigacji po lewej stronie.

      

   2. Znajdź tabelę, którą chcesz przeanalizować pod kątem anomalii, i wykonaj jedną z następujących czynności:

      1. Wybierz ikonę ⋯ (trzy kropki), aby otworzyć menu wstążki tabeli, a następnie wybierz pozycję Wykrywanie anomalii.

         

      2. Wybierz tabelę, aby otworzyć stronę szczegółów. Na górnym pasku narzędzi wybierz pozycję Wykrywanie anomalii.

         

   3. Na stronie Wykrywanie anomalii, w polu Zapisz do wybierz listę rozwijaną, a następnie wybierz opcję Utwórz detektor.

      

   4. Na stronie Tworzenie detektora anomalii wybierz swój obszar roboczy Fabric, wprowadź nazwę detektora anomalii, a następnie wybierz Utwórz.

      

      Teraz przejdź do sekcji Konfigurowanie kolumn wejściowych na potrzeby analizy , ale pomiń konfigurowanie źródła , ponieważ źródło jest już zaznaczone w centrum Real-Time. Zacznij od skonfigurowania sekcji Monitorowana wartość.

2. Z przycisku Utwórz :

   1. Na stronie głównej Fabric wybierz ikonę wielokropka (...), a następnie opcję Utwórz.

      

   2. W okienku Tworzenie wybierz pozycję Wykrywanie anomalii w sekcji Real-Time Intelligence .

      

Konfigurowanie kolumn wejściowych na potrzeby analizy

Określ kolumny do przeanalizowania i sposobu grupowania danych.

1. W okienku Konfiguracja wykrywania anomalii wybierz źródło danych , które chcesz przeanalizować. Jeśli używasz centrum Real-Time, pomiń wybór źródła i kontynuuj konfigurowanie sekcji Wartość do monitorowania.

   

2. W okienku Wybierz źródło wybierz tabelę Eventhouse i tabelę, którą chcesz przeanalizować, a następnie wybierz pozycję Dodaj.

   

3. W okienku konfiguracji dodaj kolumnę Wartość do obserwowania zawierającą dane liczbowe, które mają być monitorowane pod kątem anomalii.

   

   Uwaga / Notatka

   Upewnij się, że wybrana kolumna zawiera wartości liczbowe, ponieważ tylko dane liczbowe są obsługiwane na potrzeby wykrywania anomalii.

4. Wybierz kolumnę Grupuj według , aby określić sposób partycjonowania danych na potrzeby analizy. Ta kolumna zazwyczaj reprezentuje jednostki, takie jak urządzenia, lokalizacje lub inne grupowania logiczne.

   

5. Wybierz kolumnę Sygnatura czasowa , która reprezentuje czas rejestrowania każdego punktu danych. Ta kolumna ma kluczowe znaczenie dla wykrywania anomalii szeregów czasowych i zapewnia dokładną analizę trendów w czasie.

   

6. Wybierz pozycję Uruchom analizę , aby rozpocząć automatyczną ocenę modelu.

Oczekiwanie na ukończenie analizy

System analizuje dane, aby znaleźć najlepsze modele wykrywania anomalii.

Podczas analizy system:

• Przykłady danych tabeli na potrzeby wydajnego przetwarzania
• Testowanie wielu algorytmów wykrywania anomalii
• Ocenia różne konfiguracje parametrów
• Określa najbardziej efektywne modele dla określonych wzorców danych

Przegląd zalecanych modeli i anomalii

Po zakończeniu analizy możesz przejrzeć wyniki i zbadać wykryte anomalie.

1. Otwórz wyniki wykrywania anomalii, wybierając otrzymane powiadomienie lub przechodząc z powrotem do tabeli i wybierając pozycję Wyświetl wyniki anomalii.

2. Strona wyników zawiera następujące szczegółowe informacje:

   • Wizualizacja danych z wyróżnionymi anomaliami.
   • Lista zalecanych algorytmów sklasyfikowanych według ich skuteczności dla danych.
   • Ustawienia czułości, aby dostosować progi wykrywania.
   • Szczegółowa tabela wykrytych anomalii w wybranym zakresie czasu.

3. Użyj selektora modelu, aby porównać wydajność różnych zalecanych algorytmów i wybrać ten, który najlepiej odpowiada Twoim potrzebom.

4. Dostosuj ustawienia czułości, aby uściślić wyniki wykrywania anomalii:

   • Opcje obejmują poziomy niskich, średnich i wysokich ufności.
   • Poeksperymentuj z tymi ustawieniami, aby zrównoważyć wykrywanie większej liczby anomalii i zmniejszanie wyników fałszywie dodatnich.

5. Interakcja z wizualizacjami i tabelami w celu uzyskania dokładniejszego wglądu w wykryte anomalie i zrozumienie wzorców w danych.

6. Zapisz narzędzie do wykrywania anomalii, aby zachować konfigurację i wrócić do niej później.

7. Opublikuj wykryte anomalie w centrum Real-Time, aby umożliwić ciągłe monitorowanie danych przychodzących. Można również skonfigurować akcje podrzędne, takie jak wysyłanie alertów do aktywatora.

Przeglądając i dostrajając wyniki, możesz upewnić się, że konfiguracja wykrywania anomalii jest zoptymalizowana pod kątem konkretnego przypadku użycia.

Ponowne analiza modeli wykrywania anomalii przy użyciu nowych danych

Zachowaj aktualność modeli wykrywania anomalii, gdy nowe dane staną się dostępne.

Wykonaj kroki, aby ponownie analizować model przy użyciu nowych danych:

1. Przejdź do elementu wykrywania anomalii.
2. Na panelu Edycja zmodyfikuj dowolne z wcześniej wypełnionych pól zgodnie z potrzebami.
3. Wybierz pozycję Uruchom analizę. Spowoduje to uruchomienie nowej analizy w oparciu o zaktualizowane dane wejściowe.

Eksplorowanie zdarzeń wykrywania anomalii i ustawianie alertów

Po opublikowaniu wyników wykrywania anomalii możesz eksplorować wykryte anomalie w centrum Real-Time Hub i skonfigurować alerty w celu powiadamiania o przyszłych anomaliach. Aby uzyskać więcej informacji, zobacz:

• Eksplorowanie zdarzeń związanych z wykrywaniem anomalii
• Ustawianie alertów dotyczących zdarzeń wykrywania anomalii

Ograniczenia i zagadnienia

Należy pamiętać o tych bieżących ograniczeniach:

• Wymagania dotyczące danych: Wystarczające dane historyczne zwiększają rekomendacje i dokładność modelu
• Każdy detektor anomalii może obsługiwać tylko jedną konfigurację modelu.

Uruchamianie wielu operacji w narzędziu do wykrywania anomalii

W przypadku interakcji z detektorem anomalii usługa Eventhouse uruchamia zapytania języka Python w tle w celu obsługi analizy w czasie rzeczywistym. Te operacje obejmują:

• Uruchamianie wykrywania anomalii lub innych typów analizy.
• Przełączanie między zalecanymi modelami.
• Zmiana wyświetlanego przedziału czasu lub identyfikatorów.
• Ciągłe monitorowanie danych przychodzących pod kątem anomalii przez ustawienie alertów.

Usługa Eventhouse obsługuje maksymalnie osiem współbieżnych zapytań dla Eventhouse. Jeśli ten limit zostanie przekroczony, system ponawia próbę zapytań, ale dodatkowe zapytania nie będą kolejkowane i mogą w trybie dyskretnym zakończyć się niepowodzeniem. Komunikaty o błędach zapewniające większą przejrzystość są opracowywane.

Aby uniknąć problemów:

• Zezwalaj na ukończenie każdego zapytania przed rozpoczęciem nowego zapytania.
• Jeśli wydajność wydaje się niska lub nie odpowiada, zmniejsz liczbę współbieżnych zapytań.

Aby uzyskać więcej informacji, zobacz Wtyczka języka Python.

Czas oczekiwania na włączenie wtyczki języka Python

Po rozpoczęciu analizy danych narzędzie do wykrywania anomalii automatycznie włącza wtyczkę języka Python w usłudze Eventhouse. Włączenie wtyczki może potrwać do jednej godziny. Po włączeniu analiza rozpoczyna się automatycznie.

Aby uzyskać więcej informacji, zobacz Włączanie wtyczki języka Python w usłudze Real-Time Intelligence.

Dalsze kroki

Po skonfigurowaniu wykrywania anomalii możesz wykonać następujące czynności:

• Analizuj zdarzenia wykrywania anomalii
• Ustawianie alertów dotyczących zdarzeń wykrywania anomalii
• Konfigurowanie aktywatora na potrzeby automatycznych odpowiedzi
• Dowiedz się więcej o wykrywaniu anomalii wielowariancyjnych
• Tworzenie alertów na podstawie zestawu zapytań KQL

Treści powiązane

• Dokumentacja zapytań języka KQL
• Dokumentacja pulpitu nawigacyjnego w czasie rzeczywistym
• Omówienie aktywatora