Udostępnij przez

Wybieranie docelowej platformy Azure do hostowania wyeksportowanych danych historycznych

Jedną z ważnych decyzji podejmowanych podczas procesu migracji jest miejsce przechowywania danych historycznych. Aby podjąć tę decyzję, musisz zrozumieć i móc porównać różne platformy docelowe.

W tym artykule porównaliśmy platformy docelowe pod względem wydajności, kosztów, użyteczności i obciążeń związanych z zarządzaniem.

Uwaga

Zagadnienia w tej tabeli dotyczą tylko migracji dzienników historycznych i nie mają zastosowania w innych scenariuszach, takich jak długoterminowe przechowywanie.

Dzienniki podstawowe/archiwum Azure Data Explorer (ADX) Azure Blob Storage ADX + Azure Blob Storage
Możliwości: • Zastosuj większość istniejących funkcjonalności dzienników usługi Azure Monitor przy niższych kosztach.
• Dzienniki podstawowe są przechowywane przez osiem dni, a następnie są automatycznie przenoszone do archiwum (zgodnie z oryginalnym okresem przechowywania).
• Użyj zadań wyszukiwania, aby wyszukiwać petabajty danych i znajdować określone zdarzenia.
• Aby uzyskać szczegółowe badania dotyczące określonego zakresu czasu, przywróć dane z archiwum. Dane są następnie dostępne w gorącej pamięci podręcznej na potrzeby dalszej analizy.		 • Zarówno usługi ADX, jak i Microsoft Sentinel korzystają z język zapytań Kusto (KQL), umożliwiając wykonywanie zapytań, agregowanie lub korelowanie danych na obu platformach. Na przykład można uruchomić zapytanie KQL z usługi Microsoft Sentinel, aby dołączyć dane przechowywane w usłudze ADX z danymi przechowywanymi w usłudze Log Analytics.
• Dzięki usłudze ADX masz znaczną kontrolę nad rozmiarem i konfiguracją klastra. Możesz na przykład utworzyć większy klaster, aby uzyskać większą przepływność pozyskiwania, lub utworzyć mniejszy klaster w celu kontrolowania kosztów.		 • Przechowywanie obiektów blob jest zoptymalizowane pod kątem przechowywania ogromnych ilości danych bez struktury.
• Oferuje konkurencyjne koszty.
• Nadaje się do scenariusza, w którym organizacja nie stawia na pierwszym miejscu dostępności lub wydajności, taka jak wtedy, gdy organizacja musi spełniać wymagania zgodności lub audytu.		 • Dane są przechowywane w usłudze Blob Storage, co jest bardziej opłacalnym rozwiązaniem.
• Usługa ADX służy do wykonywania zapytań dotyczących danych w języku KQL, co umożliwia łatwe uzyskiwanie dostępu do danych. Dowiedz się, jak wykonywać zapytania dotyczące danych usługi Azure Monitor przy użyciu usługi ADX
Użyteczność: Wielki

Opcje archiwizacji i wyszukiwania są proste w użyciu i dostępne w portalu usługi Microsoft Sentinel. Jednak dane nie są natychmiast dostępne dla zapytań. Należy przeprowadzić wyszukiwanie, aby pobrać dane, co może zająć trochę czasu, w zależności od ilości skanowanych i zwracanych danych.		 Dobrze

Dość łatwość użycia w kontekście usługi Microsoft Sentinel. Możesz na przykład użyć skoroszytu platformy Azure do wizualizacji danych rozłożonych zarówno w usłudze Microsoft Sentinel, jak i w usłudze ADX. Możesz również wysyłać zapytania dotyczące danych ADX z portalu usługi Microsoft Sentinel przy użyciu serwera proxy ADX.		 Biedny

W przypadku migracji danych historycznych może być konieczne radzenie sobie z milionami plików, a eksplorowanie danych staje się wyzwaniem.		 Sprawiedliwy

Chociaż używanie operatora externaldata jest bardzo trudne w przypadku wskazania dużej liczby obiektów blob, użycie zewnętrznych tabel ADX eliminuje ten problem. Definicja tabeli zewnętrznej rozumie strukturę folderów magazynu obiektów blob i umożliwia niejawne wykonywanie zapytań dotyczących danych zawartych w wielu różnych obiektach blob i folderach.
Obciążenie związane z zarządzaniem: W pełni zarządzane

Opcje wyszukiwania i archiwizacji są w pełni zarządzane i nie dodają dodatkowego obciążenia.		 Wysoki

USŁUGA ADX jest zewnętrzna dla usługi Microsoft Sentinel, która wymaga monitorowania i konserwacji.		 Niski

Chociaż ta platforma wymaga niewielkiej konserwacji, wybranie tej platformy dodaje zadania monitorowania i konfiguracji, takie jak konfigurowanie zarządzania cyklem życia.		 Średni

Dzięki tej opcji można utrzymywać i monitorować usługi ADX i Azure Blob Storage, które są składnikami zewnętrznymi usługi Microsoft Sentinel. Chociaż usługa ADX może być czasami zamykana, rozważ dodatkowe obciążenie związane z zarządzaniem za pomocą tej opcji.
Wydajność: Średni

Zazwyczaj korzystasz z podstawowych dzienników w archiwum przy użyciu zadań wyszukiwania, które są odpowiednie, gdy chcesz zachować dostęp do danych, ale nie potrzebujesz natychmiastowego dostępu do danych.		 Wysoki do niski

• Wydajność zapytań klastra ADX zależy od liczby węzłów w klastrze, jednostki SKU maszyny wirtualnej klastra, partycjonowania danych i nie tylko.
• Podczas dodawania węzłów do klastra wydajność zwiększa się wraz z dodanymi kosztami.
• Jeśli używasz usługi ADX, zalecamy skonfigurowanie rozmiaru klastra w celu zrównoważenia wydajności i kosztów. Ta konfiguracja zależy od potrzeb organizacji, w tym od szybkości ukończenia migracji, częstotliwości uzyskiwania dostępu do danych i oczekiwanego czasu odpowiedzi.		 Niski

Oferuje dwie warstwy wydajności: Premium lub Standardowa. Chociaż obie warstwy są opcją długoterminowego przechowywania, standard jest bardziej ekonomiczny. Dowiedz się więcej o limitach wydajności i skalowalności.		 Niski

Ponieważ dane znajdują się w usłudze Blob Storage, wydajność jest ograniczona przez platformę.
Koszty: Wysoki

Koszt składa się z dwóch składników:
• Koszt przetwarzania. Każdy GB danych importowanych do Dzienników Podstawowych podlega kosztom pozyskiwania w ramach Microsoft Sentinel i Azure Monitor Logs, co daje w sumie około 1 USD/GB. Zobacz szczegóły cennika.
• Koszt archiwizacji. Koszt danych w warstwie Archiwum wynosi około 0,02 USD/GB miesięcznie. Zobacz szczegóły cennika.
Oprócz tych dwóch składników kosztów, jeśli potrzebujesz częstego dostępu do danych, dodatkowe koszty mają zastosowanie podczas uzyskiwania dostępu do danych za pośrednictwem zadań wyszukiwania.		 Wysoki do niski

• Ponieważ usługa ADX jest klastrem maszyn wirtualnych, opłaty są naliczane na podstawie użycia zasobów obliczeniowych, magazynu i sieci oraz znaczników ADX (zobacz szczegóły cennika. W związku z tym im więcej węzłów dodajesz do klastra i tym więcej przechowywanych danych, tym wyższy będzie koszt.
• Usługa ADX oferuje również funkcje skalowania automatycznego, aby dostosować się do obciążenia na żądanie. Usługi ADX mogą również korzystać z cen typowych dla wystąpień zarezerwowanych. Możesz uruchomić własne obliczenia kosztów w kalkulatorze cen platformy Azure.		 Niski

Dzięki optymalnej konfiguracji usługa Azure Blob Storage ma najniższe koszty. Aby uzyskać większą wydajność i oszczędność kosztów, zarządzanie cyklem życia zasobów Azure Storage może służyć do automatycznego umieszczania starszych blobów w tańsze warstwy magazynowania.		 Niski

AdX działa tylko jako serwer proxy w tym przypadku, więc klaster może być mały. Ponadto klaster można zamknąć, gdy nie potrzebujesz dostępu do danych i uruchamiać go tylko wtedy, gdy jest potrzebny dostęp do danych.
Jak uzyskać dostęp do danych: Zadania wyszukiwania Bezpośrednie zapytania KQL Operator danych zewnętrznych KQL Zmodyfikowane zapytania KQL
Scenariusz: Okazjonalny dostęp

Istotne w scenariuszach, w których nie trzeba uruchamiać dużych analiz ani wyzwalać reguł analizy, a dostęp do danych trzeba uzyskiwać tylko od czasu do czasu.		 Częsty dostęp

Istotne w scenariuszach, w których należy często uzyskiwać dostęp do danych i kontrolować, jak klaster ma rozmiar i konfigurację.		 Zgodność/inspekcja

• Optymalna do przechowywania ogromnych ilości danych bez struktury.
• Istotne w scenariuszach, w których nie potrzebujesz szybkiego dostępu do danych lub wysokiej wydajności, takich jak w przypadku wymogów prawnych lub audytu.		 Okazjonalny dostęp

Istotne w scenariuszach, w których chcesz korzystać z niskich kosztów usługi Azure Blob Storage i utrzymywać stosunkowo szybki dostęp do danych.
Złożoność: Bardzo niski Średni Niski Wysokie
Gotowość: Ogólna dostępność GA – Ogólna dostępność Ogólna dostępność Ogólna dostępność

Zagadnienia ogólne

Teraz, gdy już wiesz więcej o dostępnych platformach docelowych, zapoznaj się z tymi głównymi czynnikami, aby sfinalizować decyzję.

Korzystanie z pozyskanych dzienników

Zdefiniuj sposób, w jaki organizacja będzie używać zebranych logów, do kierowania wyborem platformy pozyskiwania.

Rozważ następujące trzy ogólne scenariusze:

  • Twoja organizacja musi przechowywać dzienniki tylko na potrzeby zgodności lub inspekcji. W takim przypadku twoja organizacja rzadko uzyskuje dostęp do danych. Nawet jeśli Organizacja uzyskuje dostęp do danych, wysoka wydajność lub łatwość użycia nie są priorytetem.
  • Twoja organizacja musi zachować dzienniki, aby zespoły mogły łatwo i dość szybko uzyskiwać dostęp do dzienników.
  • Twoja organizacja musi przechowywać dzienniki, aby zespoły mogły od czasu do czasu uzyskiwać dostęp do dzienników. Wydajność i łatwość użycia są pomocnicze.

Zapoznaj się z porównaniem platformy, aby zrozumieć, która platforma pasuje do każdego z tych scenariuszy.

Szybkość migracji

W niektórych scenariuszach może być konieczne spełnienie ścisłego terminu, na przykład organizacja może wymagać pilnego przeniesienia z poprzedniego rozwiązania SIEM z powodu zdarzenia wygaśnięcia licencji.

Przejrzyj składniki i czynniki, które określają szybkość migracji.

Źródło danych

Źródło danych jest zazwyczaj lokalnym systemem plików lub magazynem w chmurze, na przykład S3. Wydajność magazynu serwera zależy od wielu czynników, takich jak technologia dysków (SSD a HDD), charakter żądań we/wy i rozmiar każdego żądania.

Na przykład wydajność maszyny wirtualnej platformy Azure waha się od 30 MB na sekundę w przypadku mniejszych jednostek SKU maszyny wirtualnej do 20 GB na sekundę dla niektórych jednostek SKU zoptymalizowanych pod kątem magazynu przy użyciu dysków NVM Express (NVMe). Dowiedz się, jak zaprojektować maszynę wirtualną platformy Azure, aby uzyskać wysoką wydajność przechowywania danych. Większość pojęć można również zastosować do serwerów lokalnych.

Moc obliczeniowa

W niektórych przypadkach, nawet jeśli dysk może szybko kopiować dane, wydajność obliczeniowa jest wąskim gardłem w procesie kopiowania. W takich przypadkach możesz wybrać jedną z następujących opcji skalowania:

  • Skalowanie w pionie. Zwiększasz moc pojedynczego serwera, dodając więcej procesorów CPU lub zwiększając szybkość procesora CPU.
  • Skaluj w poziomie. Dodajesz więcej serwerów, co zwiększa równoległość procesu kopiowania.

Platforma docelowa

Każda z platform docelowych omówionych w tej sekcji ma inny profil wydajności.

  • Podstawowe dzienniki usługi Azure Monitor. Domyślnie dzienniki podstawowe mogą być wypychane do usługi Azure Monitor z szybkością około 1 GB na minutę. Ta stawka umożliwia pozyskiwanie około 1,5 TB dziennie lub 43 TB miesięcznie.
  • Azure Data Explorer. Wydajność pozyskiwania różni się w zależności od rozmiaru aprovisionowanego klastra i stosowanych ustawień partii. Dowiedz się więcej o najlepszych rozwiązaniach dotyczących pozyskiwania, w tym o wydajności i monitorowaniu.
  • Azure Blob Storage. Wydajność konta usługi Azure Blob Storage może się znacznie różnić w zależności od liczby i rozmiaru plików, rozmiaru zadania, współbieżności itd. Dowiedz się, jak zoptymalizować wydajność narzędzia AzCopy za pomocą usługi Azure Storage.

Ilość danych

Ilość danych jest głównym czynnikiem wpływającym na czas trwania procesu migracji. Dlatego należy rozważyć sposób konfigurowania środowiska w zależności od zestawu danych.

Aby określić minimalny czas trwania migracji i miejsce, w którym może wystąpić wąskie gardło, należy wziąć pod uwagę ilość danych oraz przepustowość przetwarzania platformy docelowej. Na przykład wybierasz platformę docelową, która może pozyskiwać 1 GB na sekundę, a migracja wynosi 100 TB. W tym przypadku migracja obejmie co najmniej 100 000 GB danych, przesyłanych z prędkością 1 GB na sekundę. Podziel wynik przez 3600, co daje 27 godzin. To obliczenie jest poprawne, jeśli pozostałe składniki w potoku, takie jak dysk lokalny, sieć i maszyny wirtualne, są w stanie działać z prędkością 1 GB na sekundę.

Następne kroki

W tym artykule przedstawiono sposób mapowania reguł migracji z usługi QRadar na usługę Microsoft Sentinel.

Wybieranie narzędzia do pozyskiwania danych

  • Last updated on