Udostępnij przez

Cennik Dataflow Gen2 dla Data Factory w Microsoft Fabric

Przepływ danych Gen2 ułatwia kształtowanie i przekształcanie danych. Oferuje on interfejs niskokodowy i ponad 300 wbudowanych przekształceń danych i sztucznej inteligencji, które wykorzystują znane środowisko Power Query, dostępne w programach Excel, Power BI, Power Platform i Dynamics 365.

Po opublikowaniu przepływu danych zostanie utworzona definicja uruchamiana podczas odświeżania. Silnik Dataflow Gen2 używa tej definicji do planowania i zarządzania uruchamianiem zapytań — pomiędzy źródłami danych, bramami i silnikami obliczeniowymi. Tworzy tabele w magazynie przejściowym lub wysyła je do wybranego celu, dzięki czemu uzyskujesz niezawodne wyniki bez zbędnego wysiłku.

Diagram architektury przepływu danych Gen2.

Diagram przedstawia składniki architektury DataFlow Gen2 usługi Data Factory, w tym Lakehouse, używane do przechowywania danych w trakcie ich pobierania, oraz element Warehouse używany jako silnik obliczeniowy do szybszego zapisywania wyników w środowisku przejściowym lub końcowym. Gdy nie można używać obliczeń magazynowych lub gdy etapowanie jest wyłączone dla zapytania, aparat Mashup wyodrębni, przekształci lub załaduje dane do etapowania lub miejsc docelowych dla danych. Więcej informacji na temat działania przepływu danych Gen2 można dowiedzieć się w tym blogu: Data Factory Spotlight: Dataflow Gen2.

Podczas odświeżania lub publikowania elementu Dataflow Gen2 jednostki pojemności Fabricu są używane dla następujących silników:

  • Standardowe zasoby obliczeniowe: Opłaty są naliczane na podstawie czasu przetwarzania zapytania we wszystkich zapytaniach Dataflow, które są wykonywane przez silnik Mashup.
  • Obliczenia przepływu danych na dużą skalę: opłaty są naliczane po włączeniu etapu wstępnego, w oparciu o czas trwania użycia silnika SQL w usługach przechowywania Lakehouse (magazynowanie etapowe) i magazynowaniu (obliczenia pamięci masowej).
  • Szybkie kopiowanie: opłaty są naliczane, gdy łączniki szybkiego kopiowania są włączone i mogą być używane w przepływie danych na podstawie czasu trwania zadania kopiowania.

Model cenowy przepływu danych Gen2

Sposób określania stawek cenowych

Cennik usługi Dataflow Gen2 zależy od tego, jak każde zapytanie korzysta z obliczeń. W przypadku standardowych obliczeń komputerowych zapytania są uruchamiane na silniku mashup. W zależności od tego, czy przepływ danych to Dataflow Gen2 (CI/CD), ocena jest różna.

W usłudze Dataflow Gen2 (CI/CD) występuje dwuwarstwowa stawka zastosowana do czasu trwania zapytania:

  • Jeśli zapytanie działa poniżej 10 minut, jest oceniane na 12 CU
  • Jeśli działa dłużej, każda dodatkowa sekunda jest oceniana na poziomie 1,5 CU.

Jeśli Twoja usługa Dataflow Gen2 nie jest w trybie CI/CD, stawka wynosi 16 CU przez cały czas trwania zapytania.

W przypadku scenariuszy o dużej skali — po włączeniu inscenizacji — zapytania są uruchamiane w silniku SQL na lakehouse lub warehouse. Każda sekunda czasu obliczeniowego zużywa 6 sekund CU, więc dłuższe zapytania zużywają więcej.

Jeśli włączysz szybką kopię, istnieje oddzielna stawka za przenoszenie danych: 1,5 CU, w zależności od czasu trwania działania.

Na koniec każdego przebiegu, Dataflow Gen2 sumuje użycie CU z każdego silnika i rozlicza je na podstawie cen pojemności Fabric w twoim regionie.

Tabela szybkości aktualizacji

Typ silnika drugiej generacji przepływu danych Mierniki zużycia Szybkość zużycia CU Stopień szczegółowości raportowania zużycia
Komputacja Standardowa (Dataflow Gen2 (CI/CD)) Na podstawie czasu wykonywania każdego zapytania przez silnik mashupu w sekundach. "Standard Compute ma dwie warstwy cenowe w zależności od czasu trwania zapytania." - Za każdą sekundę do 10 minut, 12 CU
- Co sekundę powyżej 10 minut, 1,5 CU		 Na element Dataflow Gen2
Standardowa obliczeniowa (bez CI/CD) Na podstawie czasu wykonywania każdego zapytania przez silnik mashupu w sekundach. 16 jednostek obliczeniowych Na element Dataflow Gen2
Obliczenia przepływów danych o dużej skali W oparciu o czas wykonania silnika SQL Lakehouse/Warehouse (z włączoną warstwą pośrednią) wyrażony w sekundach. 6 CU (jeśli CU wymaga wyjaśnienia lub ma polski odpowiednik, należy to dodać) Na obszar roboczy
Przenoszenie danych Na podstawie czasu trwania przebiegu szybkiego kopiowania w sekundach i używanych zasobów inteligentnej optymalizacji przepływności. 1.5 CU Na element Dataflow Gen2

Cennik bramy danych sieci wirtualnej z Dataflow Gen2

Bramę danych wirtualnej sieci (VNET) obciąża się opłatą za dodatkową infrastrukturę, powiązaną z pojemnością infrastruktury. Oznacza to, że ma własny licznik i powoduje naliczenie rachunku, który jest zarówno spójny, jak i dodatkowy we wszystkich uruchomieniach elementów Fabric.

Łączny rachunek za uruchomienie usługi Dataflow Gen2 za pośrednictwem bramy danych sieci wirtualnej jest obliczany jako: Opłata za usługę Dataflow Gen2 + opłata za bramę danych sieci wirtualnej.

Opłata za bramę danych sieci wirtualnej jest proporcjonalna do użycia bramy danych sieci wirtualnej, gdzie użycie jest definiowane jako dostępność lub każdorazowe włączenie bramy danych sieci wirtualnej.

Tempo zużycia CU w bramie danych VNET: 4 CU

Dowiedz się więcej na stronie Cennik i rozliczenia bram danych sieci wirtualnej.

Zmiany wskaźnika konsumpcji obciążeń usługi Microsoft Fabric

Stawki zużycia mogą ulec zmianie w dowolnym momencie. Firma Microsoft podejmuje odpowiednie działania, aby powiadomić za pośrednictwem poczty e-mail i powiadomienia w produkcie. Zmiany wchodzą w życie w dniu określonym w Notatkach o wydaniu i Microsoft Fabric Blog. Jeśli jakakolwiek zmiana wskaźnika zużycia obciążenia usługi Microsoft Fabric znacznie zwiększy liczbę jednostek wydajności (CU) wymaganych do użycia określonego obciążenia, klienci mogą skorzystać z opcji anulowania dostępnych dla wybranej formy płatności.

Szacowanie kosztów przy użyciu aplikacji Fabric Metrics i historii odświeżania Dataflow.

Aplikacja Metryki pojemności Microsoft Fabric zapewnia wgląd w wykorzystanie pojemności dla wszystkich obszarów roboczych Fabric powiązanych z daną pojemnością. Jest on używany przez administratorów pojemności do monitorowania wydajności obciążeń i ich użycia w porównaniu do zakupionej pojemności. Użycie aplikacji Metryki jest najbardziej dokładnym sposobem oszacowania kosztów przebiegów odświeżania usługi Dataflow Gen2. Aby zrozumieć, jak ceny warstwowe wpływały na standardowe koszty obliczeniowe, musisz także użyć historii odświeżania Dataflow.

W tych ćwiczeniach pokazano, jak zweryfikować koszty zarówno dla przepływów danych CI/CD, jak i nie-CI/CD. Dla przepływu danych CI/CD używając standardowych zasobów obliczeniowych posłużymy się przykładem i udostępnimy instrukcje dla wszystkich pozostałych scenariuszy.

Ćwiczenie 1: Standardowe obliczenia dla przepływu danych CI/CD

Poniższy przepływ danych zawiera dwa zapytania obejmujące przekształcenia, a etapowanie jest wyłączone.

Zrzut ekranu przedstawiający usługę Dataflow Gen2 z dwoma zapytaniami.

Zrzut ekranu przedstawiający usługę Dataflow Gen2 z wyłączoną inscenizacją.

Usługa Dataflow Gen2 będzie używać tylko Standard Compute.

Dla każdego zapytania uzyskaj dostęp do czasu trwania zapytania z historii odświeżania i zastosuj następującą formułę, aby obliczyć zużycie CU na zapytanie.

W przypadku pierwszego zapytania czas trwania wynosi 2131 sekund.

Zrzut ekranu przedstawiający historię odświeżania zapytania 1.

Podobnie w przypadku drugiego zapytania czas trwania wynosi 913 sekund

Zrzut ekranu przedstawiający historię odświeżania zapytania 2.

StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)

W przypadku zapytania 1 obliczone użycie wynosi 9497 CU sekund, a w przypadku zapytania 2 obliczone użycie wynosi 7670 CU sekund.

Zagreguj zużycie pojemności w sekundach CU i zweryfikuj zużycie w aplikacji metryki pojemności Fabric. W tym scenariuszu aplikacja metryk pokazuje 17 180 CU sekund jako standardowe użycie obliczeniowe, które porównuje się dobrze z obliczonym zużyciem 17 167 CU sekund. Wszelkie rozbieżności mogą być spowodowane zaokrągleniami w okresowym raportowaniu użycia.

Zrzut ekranu przedstawiający aplikację Metryki Pojemności Fabric pokazującą wykorzystanie przepływu danych.

Ćwiczenie 2. Standardowe przetwarzanie dla przepływu danych niewykorzystującego CI/CD

Jeśli przepływ danych obejmuje transformację, a etapowanie jest wyłączone, usługa Dataflow Gen2 będzie używać tylko środowiska obliczeniowego w warstwie Standardowej.

Dla każdego zapytania uzyskaj dostęp do czasu trwania zapytania z historii odświeżania i zastosuj następującą formułę, aby obliczyć zużycie CU na zapytanie.

StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16

Zagreguj zużycie pojemności w sekundach CU i zweryfikuj zużycie w aplikacji metryki pojemności Fabric.

Ćwiczenie 3: Zrozumienie użycia zasobów obliczeniowych na dużą skalę (zarówno dla przepływów CI/CD jak i poza CI/CD)

Jeśli przepływ danych używa przemieszczania, aby dowiedzieć się, ile zasobów obliczeniowych o dużej skali użyto, otwórz aplikację Metryki pojemności sieci szkieletowej i przefiltruj według nazwy przepływu danych. Kliknij prawym przyciskiem myszy nazwę, wyszukaj obliczenia o dużej skali na liście operacji i sprawdź czas trwania.

HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6

Ćwiczenie 4: Zrozumienie wykorzystania obliczeń szybkiej kopii (zarówno przepływy danych CI/CD, jak i nie-CI/CD)

Jeśli przepływ danych korzysta z funkcji szybkiego kopiowania, aby dowiedzieć się, ile zasobów obliczeniowych przenoszenia danych zostało użytych, otwórz aplikację Fabric Capacity Metrics i przefiltruj według nazwy przepływu danych. Kliknij prawym przyciskiem myszy nazwę, wyszukaj pozycję Przenoszenie danych na liście operacji i sprawdź czas trwania.

FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5

Powiązana zawartość

  • Last updated on