Wprowadzenie do analizy w skali chmury

Analiza w skali chmury opiera się na strefach startowych platformy Azure, aby uprościć wdrażanie i zarządzanie. Głównym celem strefy docelowej platformy Azure jest zapewnienie, że podczas wdrażania aplikacji lub obciążenia na platformie Azure wymagana infrastruktura jest już wdrożona. Przed wdrożeniem strefy docelowej analityki w skali chmury, należy przejść przez Cloud Adoption Framework dla platformy Azure, aby wdrożyć architekturę strefy docelowej platformy Azure z uwzględnieniem stref docelowych platformy.

W przypadku suwerennych obciążeń firma Microsoft udostępnia suwerenną strefę docelową (SLZ), która jest wariantem strefy docelowej platformy Azure. SLZ jest przeznaczona dla organizacji, które potrzebują zaawansowanych suwerennych mechanizmów kontroli. Analizę w skali chmury można wdrożyć względem tego wariantu strefy docelowej platformy Azure.

Analiza w skali chmury obejmuje wdrażanie w strefach docelowych aplikacji. Te strefy zazwyczaj znajdują się w grupie zarządzania strefą docelową. Zasady filtruj w dół do przykładowych szablonów udostępnianych przez firmę Microsoft.

Możesz użyć tych przykładowych szablonów dla wdrożeń usługi Data Lakehouse i siatki danych .

Ocena analizy w skali chmury

Często firma szuka jasności lub normatywnych wskazówek przed rozpoczęciem definiowania szczegółów technicznych dla konkretnego przypadku użycia lub projektu albo kompleksowej analizy w skali chmury. Ponieważ firma formułuje ogólną strategię danych, może być trudne, aby upewnić się, że uwzględniane są wszystkie wymagane i strategiczne zasady w zakresie bieżącego użycia.

Aby przyspieszyć dostarczanie tej kompleksowej implementacji szczegółowych informacji, biorąc pod uwagę te wyzwania, firma Microsoft opracowała wstępny scenariusz analizy w skali chmury. Jest ona zgodna z kluczowymi tematami omówionymi w temacie Opracowywanie planu analizy w skali chmury.

Analiza w skali chmury opiera się na ramie Cloud Adoption Framework i stosuje zasady Azure Well-Architected Framework. Przewodnik Cloud Adoption Framework zawiera normatywne wskazówki i najlepsze rozwiązania dotyczące modeli operacyjnych w chmurze, architektur referencyjnych i szablonów platform. Te wskazówki opierają się na doświadczeniach z rzeczywistego świata, pochodzących z najbardziej wymagających, zaawansowanych i złożonych środowisk.

Analiza w skali chmury pomaga przygotować się do tworzenia i operacjonalizacji stref docelowych w celu hostowania i uruchamiania obciążeń analitycznych. Strefy docelowe można tworzyć na podstawie zwiększonych zabezpieczeń, ładu i zgodności. Strefy docelowe są skalowalne i modułowe, ale obsługują autonomię i innowacje.

Historia architektury danych

Pod koniec lat 80. wprowadzono magazyn danych 1. generacji. Ten model łączy różne źródła danych z całego przedsiębiorstwa. Pod koniec lat 2000. pojawiła się druga generacja, wraz z wprowadzeniem ekosystemów big data, takich jak Hadoop i jeziora danych. W połowie lat 2010-tych pojawiła się platforma danych w chmurze: strumieniowe pozyskiwanie danych oraz wprowadzenie architektur, takich jak Kappa lub Lambda. Na początku 2020 r. wprowadzono magazyny danych, siatki danych, sieci szkieletowe danych i wzorce operacyjne skoncentrowane na danych.

Pomimo tych postępów wiele organizacji nadal korzysta ze scentralizowanej platformy monolitycznej: generacji 1. Ten system działa dobrze, aż do punktu. Jednak wąskie gardła mogą wystąpić z powodu współzależnych procesów, ściśle powiązanych składników i hiperspecjalizowanych zespołów. Zadania wyodrębniania, przekształcania i ładowania (ETL) mogą stać się widoczne i spowalniać osie czasu dostarczania.

Magazyny danych i jeziora danych są nadal cenne i odgrywają ważną rolę w ogólnej architekturze. W poniższej dokumentacji przedstawiono niektóre wyzwania, które mogą wystąpić podczas używania tych tradycyjnych rozwiązań do skalowania. Te wyzwania są szczególnie istotne w złożonej organizacji, w której zmieniają się źródła danych, wymagania, zespoły i dane wyjściowe.

Przechodzenie do analizy w skali chmury

Bieżąca architektura danych analitycznych i model operacyjny mogą obejmować magazyn danych, magazyn danych typu data lake i struktury typu data lakehouse, sieć szkieletową danych lub siatkę danych.

Każdy model danych ma własne zalety i wyzwania. Analiza w skali chmury ułatwia zmianę bieżącego podejścia do zarządzania danymi, dzięki czemu może ewoluować wraz z infrastrukturą.

Możesz obsługiwać dowolną platformę danych i scenariusz, aby utworzyć kompleksową strukturę analizy w skali chmury, która służy jako podstawa i umożliwia skalowanie.

Nowoczesna platforma danych i żądane wyniki

Jednym z pierwszych kroków jest aktywowanie strategii danych w celu sprostania wyzwaniom dzięki iteracyjnemu tworzeniu skalowalnej i elastycznej nowoczesnej platformy danych.

Zamiast być przytłoczonym zgłoszeniami serwisowymi i starać się sprostać konkurencyjnym potrzebom biznesowym, dzięki wdrożeniu nowoczesnej platformy danych możesz odgrywać bardziej konsultacyjną rolę, ponieważ zwalniasz czas, aby skupić się na bardziej wartościowych zadaniach. Udostępniasz linie biznesowe z platformą i systemami do samoobsługowych potrzeb związanych z danymi i analizą.

Poniżej przedstawiono zalecane obszary początkowej koncentracji uwagi:

• Poprawianie jakości danych, ułatwianie zaufania i uzyskiwanie szczegółowych informacji w celu podejmowania decyzji biznesowych opartych na danych.
• Zaimplementuj całościowe dane, zarządzanie i analizę na dużą skalę w całej organizacji.
• Ustanów niezawodny nadzór nad danymi, który umożliwia samoobsługę i elastyczność dla linii biznesowych.
• Zachowaj zgodność z zabezpieczeniami i przepisami w w pełni zintegrowanym środowisku.
• Szybko stwórz fundamenty zaawansowanych możliwości analitycznych przy użyciu gotowego rozwiązania o dobrze zaprojektowanych, powtarzalnych, modułowych wzorcach.

Zarządzanie infrastrukturą analiz

Drugą kwestią jest ustalenie, w jaki sposób organizacja będzie implementować nadzór nad danymi.

Nadzór nad danymi to proces zapewniania, że dane używane w operacjach biznesowych, raportach i analizie są wykrywalne, dokładne, zaufane oraz że mogą być chronione.

W przypadku wielu firm oczekuje się, że dane i sztuczna inteligencja będą napędzać przewagę konkurencyjną. W rezultacie kierownictwo chętnie sponsoruje inicjatywy sztucznej inteligencji w ich determinacji, aby stać się oparte na danych. Jednak aby sztuczna inteligencja była skuteczna, musi używać zaufanych danych. W przeciwnym razie można naruszyć dokładność decyzji, decyzje mogą być opóźnione lub działania mogą zostać pominięte, co może mieć wpływ na wynik. Firmy nie chcą, aby jakość ich danych była niska. Dopóki nie przejrzysz wpływu transformacji cyfrowej na dane, może się wydawać proste, aby naprawić jakość danych.

Organizacje, które mają dane rozmieszczone w wielu chmurach hybrydowych i rozproszonych danych, mają trudności z znalezieniem miejsca, w którym znajdują się ich dane, i do zarządzania nim. Nienadzorowane dane mogą mieć znaczący wpływ na biznes. Niska jakość danych wpływa na operacje biznesowe, ponieważ błędy danych powodują błędy procesów i opóźnienia. Niska jakość danych wpływa również na podejmowanie decyzji biznesowych i możliwość zachowania zgodności. Zapewnienie jakości danych w źródle jest często preferowane, ponieważ rozwiązywanie problemów z jakością w systemie analitycznym może być bardziej złożone i kosztowne niż stosowanie reguł jakości danych na wczesnym etapie pozyskiwania. Aby ułatwić śledzenie działań związanych z danymi i zarządzanie nimi, zarządzanie danymi musi obejmować:

• Odnajdywanie danych.
• Jakość danych.
• Tworzenie zasad.
• Udostępnianie danych.
• Metadane.

Zabezpieczanie majątku analitycznego

Innym głównym czynnikiem ładu w zakresie danych jest ochrona danych. Ochrona danych może pomóc zapewnić zgodność z przepisami prawnymi i zapobiec naruszeniom zabezpieczeń danych. Prywatność danych i rosnąca liczba naruszeń danych sprawiły, że ochrona danych jest priorytetem. Naruszenia danych podkreślają ryzyko związane z poufnymi danymi, takimi jak dane osobowe klientów. Konsekwencje naruszenia prywatności danych lub naruszenia zabezpieczeń danych mogą obejmować:

• Poważne szkody dla wizerunku marki.
• Utrata zaufania klientów i udziału w rynku.
• Zmniejszenie ceny akcji, która wpływa na zwrot uczestników projektu z inwestycji i wynagrodzeń kadry kierowniczej.
• Znaczne kary finansowe z powodu niepowodzeń kontroli lub niespełnienia wymogów zgodności.
• Działania prawne.
• Wtórne skutki naruszenia, na przykład, klienci mogą padć ofiarą kradzieży tożsamości.

W większości przypadków publicznie cytowane firmy muszą zadeklarować naruszenia. W przypadku wystąpienia naruszeń klienci mogą obwiniać firmę, a nie hakera. Klienci mogą bojkotować firmę przez kilka miesięcy lub nigdy nie wrócić.

Brak zgodności z przepisami prawnymi dotyczącymi prywatności danych może spowodować znaczne kary finansowe. Zarządzanie danymi pomaga uniknąć tych zagrożeń.

Model operacyjny i korzyści

Wdrożenie nowoczesnej platformy strategii danych nie zmienia tylko technologii używanej przez organizację. Zmienia również sposób działania organizacji.

Analiza w skali chmury zawiera wskazówki ułatwiające organizowanie i szkolenie pracowników, w tym:

• Definicje persona, rola i odpowiedzialność.
• Sugerowane struktury dla zespołów zwinnych, pionowych i międzydomenowych.
• Zasoby szkoleniowe, w tym dane platformy Azure i certyfikaty sztucznej inteligencji za pośrednictwem usługi Microsoft Learn.

Ważne jest również zaangażowanie użytkowników końcowych w całym procesie modernizacji i kontynuowanie rozwoju platformy i dołączanie nowych przypadków użycia.

Architektury

Strefy docelowe platformy Azure reprezentują strategiczną ścieżkę projektową i docelowy stan techniczny środowiska. Umożliwiają one wdrażanie i zarządzanie, aby można było zwiększyć elastyczność i zgodność. Zapewniają one również, że po dodaniu nowej aplikacji lub obciążenia do środowiska właściwa infrastruktura jest już włączona. Strefy zarządzania danymi i lądowania danych w Azure, zintegrowane z rozwiązaniami do zarządzania i analizy SaaS firmy Microsoft, są zaprojektowane z uwzględnieniem tych podstawowych zasad i, w połączeniu z innymi elementami analizy w skali chmury, mogą pomóc w ich wdrożeniu.

• Samoobsługa.
• Scalability.
• Szybki start.
• Security.
• Privacy.
• Zoptymalizowane operacje.

Strefa docelowa zarządzania danymi

Strefa docelowa zarządzania danymi stanowi podstawę scentralizowanego zarządzania danymi i zarządzania nimi w całej organizacji. Ułatwia również komunikację w celu pozyskiwania danych z całych zasobów cyfrowych, w tym z infrastruktury wielochmurowej i hybrydowej.

Strefa docelowa zarządzania danymi obsługuje wiele innych funkcji zarządzania danymi i zarządzania nimi, takich jak:

• Wykazy danych.
• Zarządzanie jakością danych.
• Klasyfikacja danych.
• Pochodzenie danych.
• Repozytoria modelowania danych.
• Wykazy interfejsów API.
• Udostępnianie danych i kontrakty.

Strefy docelowe danych

Strefy lądowania danych przybliżają dane użytkownikom i umożliwiają samoobsługę przy zachowaniu wspólnego zarządzania i nadzoru za pośrednictwem połączenia ze strefą lądowania zarządzania danymi.

Hostują standardowe usługi, takie jak sieć, monitorowanie i pozyskiwanie i przetwarzanie danych, oprócz dostosowań, takich jak produkty danych i wizualizacje.

Strefy docelowe danych są kluczem do umożliwienia skalowalności platformy. W zależności od rozmiaru i potrzeb organizacji można zacząć od jednej lub wielu stref docelowych.

Podczas podejmowania decyzji o jednej i wielu strefach docelowych należy wziąć pod uwagę wymagania dotyczące zależności regionalnych i rezydencji danych. Czy na przykład istnieją lokalne przepisy lub przepisy, które wymagają, aby dane były w określonej lokalizacji?

Niezależnie od początkowej decyzji można dodawać lub usuwać strefy docelowe danych zgodnie z potrzebami. Jeśli zaczniesz od jednej strefy docelowej, zalecamy zaplanowanie rozszerzenia na wiele stref docelowych, aby uniknąć przyszłych potrzeb związanych z migracją.

Aby uzyskać więcej informacji na temat stref docelowych, zobacz Strefy docelowe platformy Azure na potrzeby analizy w skali chmury.

Podsumowanie

Po przeczytaniu tego zestawu dokumentacji, w szczególności sekcjach dotyczących ładu, zabezpieczeń, obsługi i najlepszych rozwiązań zalecamy skonfigurowanie środowiska weryfikacji koncepcji przy użyciu szablonów wdrażania. Te szablony, wraz ze wskazówkami dotyczącymi architektury, zapewniają praktyczne doświadczenie z niektórymi technologiami platformy Azure i rozwiązania Microsoft SaaS. Aby uzyskać więcej informacji, zobacz listę kontrolną Wprowadzenie.

Następny krok