Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Dotyczy:✅ punktu końcowego analizy SQL i magazynu w Microsoft Fabric
W tym artykule opisano architekturę i zarządzanie obciążeniem związane z magazynowaniem danych w usłudze Microsoft Fabric.
Przetwarzanie danych
Magazyn danych i punkt końcowy analizy SQL korzystają z tej samej podstawowej architektury przetwarzania. W miarę pobierania lub pozyskiwania danych wykorzystuje się silnik rozproszony stworzony zarówno do obsługi małych, jak i dużych zbiorów danych oraz funkcji obliczeniowych.
System przetwarzania jest bezserwerowy, ponieważ moc obliczeniowa zaplecza automatycznie skalowana jest w górę i w dół, aby spełniać wymagania dotyczące obciążenia.
Po przesłaniu zapytania fronton SQL (FE) wykonuje optymalizację zapytań w celu określenia najlepszego planu na podstawie rozmiaru i złożoności danych. Po wygenerowaniu planu jest on przydzielany aparatowi przetwarzania zapytań rozproszonych (DQP). DQP organizuje rozproszone wykonywanie zapytania, dzieląc je na mniejsze zapytania wykonywane w węzłach obliczeniowych zaplecza. Każde małe zapytanie jest nazywane zadaniem i reprezentuje rozproszoną jednostkę wykonywania. Odczytuje pliki z OneLake, łączy wyniki z innych zadań, grupuje lub porządkuje dane pobrane z innych zadań. W przypadku zadań dotyczących importu danych zapisuje również dane w odpowiednich tabelach docelowych.
Po przetworzeniu danych wyniki są zwracane do interfejsu SQL, aby przekazać je z powrotem do użytkownika lub aplikacji zamawiającej.
Elastyczność i odporność
Pojemność obliczeniowa zaplecza korzysta z architektury szybkiego udostępniania. Mimo że nie ma umowy SLA dotyczącej przypisywania zasobów, zazwyczaj nowe węzły są pozyskiwane w ciągu kilku sekund. W miarę wzrostu zapotrzebowania na zasoby nowe obciążenia korzystają ze zwiększonej zdolności. Skalowanie to operacja online, a przetwarzanie zapytań odbywa się nieprzerwanie.
System jest odporny na uszkodzenia i jeśli stan węzła pogorszy się, operacje wykonywane na tym węźle są przekazywane do węzłów w dobrej kondycji w celu ich zakończenia.
Punkt końcowy usługi Warehouse i analizy SQL zapewniają możliwość zwiększenia wydajności , która umożliwia obciążeniom wykorzystanie większej ilości zasobów w celu uzyskania lepszej wydajności, a także korzystanie z funkcji smoothing w celu zapewnienia pomocy klientom, którzy tworzą nagłe skoki w godzinach szczytu, podczas gdy mają dużo bezczynnej pojemności, która jest nieużywane. Smoothing upraszcza zarządzanie pojemnością, rozkładając ocenę mocy obliczeniowej, aby zapewnić bezproblemowe i wydajne wykonywanie zadań klientów.
Planowanie i zasoby
Harmonogram przetwarzania zapytań rozproszonych działa na poziomie zadania . Zapytania są reprezentowane dla planisty jako skierowany graf acykliczny (DAG) zadań. Ta koncepcja jest znana użytkownikom platformy Spark. Grupa DAG umożliwia równoległość i współbieżność, ponieważ zadania, które nie zależą od siebie, mogą być wykonywane jednocześnie lub poza kolejnością.
Po nadejściu zapytań, ich zadania są zaplanowane zgodnie z zasadami FIFO (first-in-first-out). Jeśli zasoby są bezczynne, harmonogram może użyć podejścia "najlepszego dopasowania do zasobów", aby zoptymalizować współbieżność.
Gdy planista identyfikuje presję zasobów, wywołuje operację skalowania. Skalowanie jest zarządzane autonomicznie, a topologia zaplecza rośnie wraz ze wzrostem współbieżności. Ponieważ uzyskanie węzłów trwa kilka sekund, system nie jest zoptymalizowany pod kątem spójnej wydajności podsekund zapytań, które wymagają rozproszonego przetwarzania.
Gdy ciśnienie ustąpi, topologia warstwy backendowej zmniejsza się ponownie i zwalnia zasoby do regionu.
Izolacja pozyskiwania
Dotyczy:✅ Magazyn danych w usłudze Microsoft Fabric
W puli obliczeniowej zaplecza usługi Warehouse w Microsoft Fabric operacje ładowania zapewniają izolację zasobów przed obciążeniami analitycznymi. Zwiększa to wydajność i niezawodność, ponieważ zadania pozyskiwania mogą być uruchamiane na dedykowanych węzłach zoptymalizowanych pod kątem etL i nie konkurują z innymi zapytaniami ani aplikacjami dla zasobów.
Sesje
Punkt końcowy magazynu danych i analizy SQL ma ograniczenie liczby sesji użytkownika do 2048 na jedno miejsce pracy. Po osiągnięciu tego limitu zostanie zwrócony błąd: The user session limit for the workspace is 2048 and has been reached.
Uwaga
Ponieważ usługa Microsoft Fabric jest platformą SaaS, istnieje wiele połączeń systemowych, które są uruchamiane w celu ciągłego optymalizowania środowiska. Dynamiczne widoki zarządzania pokazują sesje systemowe i sesje użytkowników. Aby uzyskać więcej informacji, zobacz Monitorowanie za pomocą widoków DMV.
Najlepsze rozwiązania
Obszar roboczy usługi Microsoft Fabric zapewnia naturalną granicę izolacji rozproszonego systemu obliczeniowego. Zadania mogą korzystać z tej granicy, aby zarządzać kosztami i wydajnością.
Skróty OneLake mogą być używane do tworzenia replik tabel dostępnych tylko do odczytu w innych obszarach roboczych, aby rozłożyć obciążenie między wiele mechanizmów SQL, tworząc granicę izolacji. Może to skutecznie zwiększyć maksymalną liczbę sesji wykonujących zapytania tylko do odczytu.
