Udostępnij przez


Zdolność do nagłego zwiększania wydajności w hurtowni danych Fabric

Dotyczy:✅ Punkt końcowy analizy SQL i Magazyn w usłudze Microsoft Fabric

Pojemność Fabric to odrębna pula zasobów, której rozmiar (lub SKU) określa moc dostępną dla obliczeń. Punkt końcowy magazynu danych i analizy SQL zapewniają możliwość elastycznego zwiększania zasobów, co umożliwia zadaniom wykorzystanie większej ilości zasobów w celu osiągnięcia lepszej wydajności.

Pojemność z możliwością chwilowego zwiększenia obciążenia

Pojemność z możliwością zwiększenia wydajności ma bezpośrednią korelację z jednostką SKU przypisaną do pojemności Fabric przestrzeni roboczej. Jest to również funkcja obciążenia. Obciążenie, które nie jest wymagające, może nigdy nie skorzystać z jednostek pojemności z możliwością zwiększenia wydajności. Obciążenie może osiągnąć optymalną wydajność w ramach zakupionej pojemności bazowej.

Aby określić, czy obciążenie korzysta z elastycznej pojemności, można użyć następującej formuły do obliczenia współczynnika skalowania obciążenia: Capacity Units (CU) / duration / Baseline CU = Scale factor

Na przykładzie tej formuły, jeśli pojemność wynosi F8, a obciążenie trwa 100 sekund i zużywa 1500 CU, współczynnik skalowania zostanie obliczony w następujący sposób: 1500 / 100 / 8 = 1.875

CU można określić przy użyciu aplikacji Microsoft Fabric Capacity Metrics.

Gdy współczynnik skalowania wynosi ponad 1, oznacza to, że pojemność rozszerzalna jest używana do zaspokojenia potrzeb związanych z obciążeniem. Oznacza to również, że obciążenie robocze używa jednostek przepustowości z przyszłego przedziału czasu. Jest to podstawowa koncepcja usługi Microsoft Fabric o nazwie smoothing.

Smoothing oferuje ulgę dla klientów, którzy powodują nagłe skoki w godzinach szczytu, podczas gdy mają dużo niewykorzystanej mocy, która pozostaje nieużywana. Smoothing upraszcza zarządzanie wydajnością, rozkładając ocenę mocy obliczeniowej, aby zapewnić bezproblemowe i wydajne uruchamianie zadań klientów.

Zabezpieczenia SKU

Możliwość zwiększenia pojemności jest ograniczona. Istnieje limit stosowany do zasobów obliczeniowych zaplecza w celu znacznego zmniejszenia ryzyka obciążeń punktów końcowych magazynu i analizy SQL powodujących ograniczanie przepustowości.

Limit jest czynnikiem skalowania bezpośrednio skorelowanym z rozmiarem jednostki SKU pojemności przypisanym do obszaru roboczego w ramach struktury Fabric.

SKU tkaniny Równoważny produkt SKU Premium Jednostki pojemności bazowej (CU) Współczynnik elastycznego skalowania
F2 2 1x - 32x
F4 4 1x - 16x
F8 8 1x - 12x
F16 16 1x - 12x
F32 32 1x - 12x
F64 P1 64 1x - 12x
F128 P2 128 1x - 12x
F256 P3 256 1x - 12x
F512 P4 512 1x - 12x
F1024 P5 1024 1x - 12x
F2048 2048 1x - 12x

Mniejsze rozmiary jednostek SKU są często używane w scenariuszach tworzenia i testowania lub obciążeniach ad hoc. Większy współczynnik skalowania przedstawiony w tabeli zapewnia większą moc obliczeniową, która jest zgodna z niższym ogólnym użyciem zwykle występującym w tych środowiskach.

Większe rozmiary jednostek SKU mają dostęp do większej całkowitej liczby jednostek pojemności, dzięki czemu bardziej złożone obciążenia mogą być uruchamiane optymalnie i z większą współbieżnością. W związku z tym, jeśli żądana wydajność obciążenia nie jest osiągana, zwiększenie rozmiaru pojemności SKU może być korzystne.

Uwaga

Maksymalny burzliwy współczynnik skalowania może być obserwowany tylko przez bardzo krótkie interwały czasu, często w pojedynczym zapytaniu przez sekundy lub nawet milisekundy. Korzystając z aplikacji Microsoft Fabric Capacity Metrics do monitorowania elastycznej pojemności, współczynnik skalowania w dłuższych okresach czasu będzie niższy.

Granice izolacji

Magazyn danych w pełni izoluje pobieranie danych od przetwarzania zapytań, zgodnie z opisem w Zarządzaniu obciążeniami.

Elastyczny współczynnik skalowania można osiągnąć niezależnie podczas przetwarzania danych wejściowych jednocześnie z osiągnięciem elastycznego współczynnika skalowania na potrzeby przetwarzania zapytań. Te czynniki skalowania hermetyzują wszystkie procesy w jednym obszarze roboczym. Pojemność można jednak przypisać do wielu obszarów roboczych. W związku z tym zagregowany maksymalny współczynnik skalowania w ramach pojemności będzie reprezentowany w następującej formule: ([Query burstable scale factor] + [Ingestion burstable scale factor]) * [number of Fabric workspaces] = [aggregate burstable scale factor]

Kwestie wymagające rozważenia

  • Zazwyczaj złożone zapytanie w obszarze roboczym przypisanym do SKU o małym rozmiarze pojemności powinno zakończyć się pomyślnie. Jeśli jednak pobieranie danych lub przetwarzanie danych pośrednich fizycznie nie jest możliwe w ramach dynamicznego współczynnika skalowania, pojawi się następujący komunikat o błędzie: This query was rejected due to current capacity constraints. Zapoznaj się z wytycznymi dotyczącymi wydajności, aby zoptymalizować dane i zapytania przed zwiększeniem rozmiaru SKU. Aby zwiększyć rozmiar jednostki SKU, skontaktuj się z administratorem pojemności.

  • Po zmianie rozmiaru pojemności nowe bariery ochronne zostaną zastosowane po uruchomieniu następnego zapytania. Wydajność powinna ustabilizować się do nowego rozmiaru SKU w ciągu kilku sekund od pierwszego przesłania zapytania.

  • Obciążenie działające na nieoptymalnym rozmiarze pojemności może podlegać rywalizacji o zasoby (takie jak przepełnienie), co może zwiększyć wykorzystanie jednostek obliczeniowych (CU) przez obciążenie.