Alerty dotyczące usług sztucznej inteligencji

W tym artykule wymieniono alerty zabezpieczeń, które można uzyskać w przypadku usług sztucznej inteligencji z usługi Microsoft Defender for Cloud i wszystkich planów usługi Microsoft Defender, które włączono. Alerty wyświetlane w środowisku zależą od chronionych zasobów i usług oraz dostosowanej konfiguracji.

Dowiedz się, jak reagować na te alerty.

Dowiedz się, jak eksportować alerty.

Alerty dotyczące usług sztucznej inteligencji

Wykryte próby kradzieży poświadczeń we wdrożeniu modelu AI platformy Azure

(AI. Azure_CredentialTheftAttempt)

Opis: Alert dotyczący kradzieży poświadczeń jest przeznaczony do powiadamiania SOC o wykryciu poświadczeń w odpowiedziach modelu GenAI na monit użytkownika wskazujący potencjalne naruszenie. Ten alert ma kluczowe znaczenie dla wykrywania przypadków wycieku poświadczeń lub kradzieży, które są unikatowe dla generowania sztucznej inteligencji i mogą mieć poważne konsekwencje w przypadku powodzenia.

Taktyka MITRE: dostęp poświadczeń, ruch boczny, eksfiltracja

Ważność: średni rozmiar

Próba jailbreaku wdrożenia modelu AI platformy Azure została zablokowana przez osłony zabezpieczeń zawartości usługi Azure AI

(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)

Opis: Alert jailbreak, przeprowadzony przy użyciu techniki wstrzyknięcia bezpośredniego monitu, jest przeznaczony do powiadamiania SOC, że nastąpiła próba manipulowania monitem systemu o obejście zabezpieczeń generacyjnych sztucznej inteligencji, potencjalnie uzyskiwanie dostępu do poufnych danych lub uprzywilejowanych funkcji. Wskazano, że takie próby zostały zablokowane przez bezpieczeństwo zawartości odpowiedzialnej sztucznej inteligencji platformy Azure (nazywane również osłonami monitów), zapewniając integralność zasobów sztucznej inteligencji i bezpieczeństwa danych.

TAKTYKA MITRE: Eskalacja uprawnień, Uchylanie się od obrony

Ważność: średni rozmiar

Próba jailbreaku wdrożenia modelu sztucznej inteligencji platformy Azure została wykryta przez osłony zabezpieczeń zawartości usługi Azure AI

(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)

Opis: Alert jailbreak, przeprowadzony przy użyciu techniki wstrzyknięcia bezpośredniego monitu, jest przeznaczony do powiadamiania SOC, że nastąpiła próba manipulowania monitem systemu o obejście zabezpieczeń generacyjnych sztucznej inteligencji, potencjalnie uzyskiwanie dostępu do poufnych danych lub uprzywilejowanych funkcji. Wskazano, że takie próby zostały wykryte przez bezpieczeństwo zawartości odpowiedzialnej sztucznej inteligencji platformy Azure (nazywane również osłonami monitów), ale nie zostały zablokowane z powodu ustawień filtrowania zawartości lub z powodu niskiej pewności.

TAKTYKA MITRE: Eskalacja uprawnień, Uchylanie się od obrony

Ważność: średni rozmiar

Uszkodzona aplikacja sztucznej inteligencji\model\dane skierowały próbę wyłudzenia informacji dla użytkownika

(AI. Azure_MaliciousUrl.ModelResponse)

Opis: Ten alert wskazuje uszkodzenie aplikacji sztucznej inteligencji opracowanej przez organizację, ponieważ aktywnie udostępnił znany złośliwy adres URL używany do wyłudzania informacji z użytkownikiem. Adres URL pochodzi z samej aplikacji, modelu sztucznej inteligencji lub danych, do których aplikacja może uzyskać dostęp.

Taktyka MITRE: Wpływ (defacement)

Ważność: Wysoka

Adres URL wyłudzania informacji udostępniony w aplikacji sztucznej inteligencji

(AI. Azure_MaliciousUrl.UnknownSource)

Opis: Ten alert wskazuje potencjalne uszkodzenie aplikacji sztucznej inteligencji lub próbę wyłudzenia informacji przez jednego z użytkowników końcowych. Alert określa, że złośliwy adres URL używany do wyłudzania informacji został przekazany podczas konwersacji za pośrednictwem aplikacji sztucznej inteligencji, jednak pochodzenie adresu URL (użytkownika lub aplikacji) jest niejasne.

Taktyka MITRE: Wpływ (defacement), Kolekcja

Ważność: Wysoka

Wykryto próbę wyłudzenia informacji w aplikacji sztucznej inteligencji

(AI. Azure_MaliciousUrl.UserPrompt)

Opis: ten alert wskazuje adres URL używany do ataku wyłudzania informacji wysłany przez użytkownika do aplikacji sztucznej inteligencji. Zawartość zwykle przyciąga odwiedzających do wprowadzania poświadczeń firmowych lub informacji finansowych w legalnej witrynie internetowej. Wysłanie tego do aplikacji sztucznej inteligencji może być przeznaczone do uszkodzenia, zatrucie źródeł danych, do których ma dostęp, lub uzyskanie dostępu do pracowników lub innych klientów za pośrednictwem narzędzi aplikacji.

Taktyka MITRE: Kolekcja

Ważność: Wysoka

Wykryto podejrzanego agenta użytkownika

(AI. Azure_AccessFromSuspiciousUserAgent)

Opis: Agent użytkownika żądania dostępu do jednego z zasobów sztucznej inteligencji platformy Azure zawiera nietypowe wartości wskazujące na próbę nadużyć lub manipulowanie zasobem. Podejrzany agent użytkownika, o których mowa, został zamapowany przez analizę zagrożeń firmy Microsoft jako podejrzany o złośliwą intencję, a tym samym zasoby zostały prawdopodobnie naruszone.

Taktyka MITRE: wykonywanie, rekonesans, dostęp początkowy

Ważność: średni rozmiar

Wykryto wstrzyknięcie monitu ASCII Smuggling

(AI. Azure_ASCIISmuggling)

Opis: Technika przemytu ASCII umożliwia atakującemu wysyłanie niewidocznych instrukcji do modelu sztucznej inteligencji. Te ataki są często przypisywane wstrzyknięciom monitów pośrednich, w których złośliwy aktor zagrożeń przekazuje ukryte instrukcje pomijania barier ochrony aplikacji i modelu. Te ataki są zwykle stosowane bez wiedzy użytkownika, biorąc pod uwagę ich brak widoczności w tekście i mogą naruszyć bezpieczeństwo narzędzi aplikacji lub połączonych zestawów danych.

Taktyka MITRE: wpływ

Ważność: Wysoka

Dostęp z adresu IP tor

(AI. Azure_AccessFromAnonymizedIP)

Opis: Adres IP z sieci Tor uzyskiwał dostęp do jednego z zasobów sztucznej inteligencji. Tor to sieć, która umożliwia ludziom dostęp do Internetu przy zachowaniu ich prawdziwego adresu IP ukrytego. Chociaż istnieją uzasadnione zastosowania, często są one używane przez osoby atakujące do ukrywania swojej tożsamości w przypadku ataków na systemy osób w trybie online.

Taktyka MITRE: Wykonywanie

Ważność: Wysoka

Dostęp z podejrzanego adresu IP

(AI. Azure_AccessFromSuspiciousIP)

Opis: Adres IP uzyskujący dostęp do jednej z usług sztucznej inteligencji został zidentyfikowany przez usługę Microsoft Threat Intelligence jako o wysokim prawdopodobieństwie zagrożenia. Obserwując złośliwy ruch internetowy, ten adres IP pojawił się jako zaangażowany w atakowanie innych celów online.

Taktyka MITRE: Wykonywanie

Ważność: Wysoka

Podejrzany atak na portfel — żądania cykliczne

(AI. Azure_DOWDuplicateRequests)

Opis: Ataki portfelowe to rodzina ataków typowych dla zasobów sztucznej inteligencji, które składają się z podmiotów zagrożeń nadmiernie angażują się w zasób sztucznej inteligencji bezpośrednio lub za pośrednictwem aplikacji w nadziei na spowodowanie dużych szkód finansowych w organizacji. To wykrywanie śledzi duże ilości identycznych żądań przeznaczonych dla tego samego zasobu sztucznej inteligencji, co może być spowodowane trwającym atakiem.

Taktyka MITRE: wpływ

Ważność: średni rozmiar

Podejrzany atak na portfel — anomalia woluminu

(AI. Azure_DOWVolumeAnomaly)

Opis: Ataki portfelowe to rodzina ataków typowych dla zasobów sztucznej inteligencji, które składają się z podmiotów zagrożeń nadmiernie angażują się w zasób sztucznej inteligencji bezpośrednio lub za pośrednictwem aplikacji w nadziei na spowodowanie dużych szkód finansowych w organizacji. To wykrywanie śledzi duże ilości żądań i odpowiedzi przez zasób, które są niespójne z jego historycznych patterów użycia.

Taktyka MITRE: wpływ

Ważność: średni rozmiar

Uzyskiwanie dostępu do anomalii w zasobie sztucznej inteligencji

(AI. Azure_AccessAnomaly)

Opis: Ten alert śledzi anomalie we wzorcach dostępu do zasobu sztucznej inteligencji. Zmiany parametrów żądania przez użytkowników lub aplikacje, takie jak agenci użytkowników, zakresy adresów IP, metody uwierzytelniania itp., mogą wskazywać na naruszony zasób, który jest teraz uzyskiwany przez złośliwych podmiotów. Ten alert może być wyzwalany, gdy żądania są prawidłowe, jeśli reprezentują znaczące zmiany we wzorcu poprzedniego dostępu do określonego zasobu.

Taktyka MITRE: wykonywanie, rekonesans, dostęp początkowy

Ważność: średni rozmiar

Podejrzane wywołanie operacji "Dostęp początkowy" wysokiego ryzyka wykrytej przez jednostkę usługi (zasoby sztucznej inteligencji)

(AI. Azure_AnomalousOperation.InitialAccess)

Opis: Ten alert wykrywa podejrzane wywołanie operacji wysokiego ryzyka w ramach subskrypcji, co może wskazywać na próbę uzyskania dostępu do ograniczonych zasobów. Zidentyfikowane operacje związane z zasobami sztucznej inteligencji zostały zaprojektowane tak, aby umożliwić administratorom efektywne uzyskiwanie dostępu do swoich środowisk. Chociaż to działanie może być uzasadnione, aktor zagrożeń może wykorzystać takie operacje, aby uzyskać początkowy dostęp do ograniczonych zasobów sztucznej inteligencji w danym środowisku. Może to oznaczać, że jednostka usługi została naruszona i jest używana ze złośliwymi intencjami.

Taktyka MITRE: Wstępny dostęp

Ważność: średni rozmiar

Nietypowe wywołanie narzędzia

(AI. Azure_AnomalousToolInvocation)

Opis: Ten alert analizuje nietypowe działanie z aplikacji sztucznej inteligencji połączonej z wdrożeniem modelu Usługi Azure OpenAI. Aplikacja próbowała wywołać narzędzie w sposób, który odbiega od oczekiwanego zachowania. To zachowanie może wskazywać na potencjalne niewłaściwe użycie lub próbę ataku za pośrednictwem jednego z narzędzi dostępnych dla aplikacji.

Taktyka MITRE: Wykonywanie

Ważność: Niska

(Wersja zapoznawcza) Wykryto podejrzaną anomalię w poufnych danych uwidocznionych przez zasób sztucznej inteligencji

(AI. Azure_SensitiveDataAnomaly)

Opis: Ten alert analizuje wzorce użycia poufnych danych zasobów sztucznej inteligencji i ma na celu wykrycie, kiedy aplikacja sztucznej inteligencji omawia poufne dane ze wzorca. Alert szuka typów informacji poufnych, które nie zostały wcześniej przekazane w odpowiedziach modelu, aby wykryć podejrzane zachowanie lub odchylenie intencji aplikacji lub eksfiltracji danych. Ponieważ ten alert jest przeznaczony do wykrywania anomalii, nie będzie wyzwalany dla nowych zasobów ani nowo dołączonych subskrypcji przez określony czas.

Taktyka MITRE: Kolekcja

Ważność: średni rozmiar

(Wersja zapoznawcza) Wykryto próbę rekonesansu LLM

(AI. Azure_LLMReconnaissance)

Opis: Aktor zagrożeń wchodzi w interakcję z aplikacją sztucznej inteligencji w sposób przypominający zachowanie rekonesansu, w tym próby wyodrębnienia instrukcji systemowych, możliwości modelu lub obejścia barier bezpieczeństwa. Te monity mogą poprzedzać próby wstrzyknięcia monitu lub ataków jailbreak. 

TAKTYKA MITRE: Rekonesans

Ważność: Niska

Następne kroki

• Alerty zabezpieczeń w Microsoft Defender dla Chmury
• Reagowanie na alerty zabezpieczeń i zarządzanie nimi w usłudze Microsoft Defender dla Chmury
• Ciągłe eksportowanie danych Defender dla Chmury