Udostępnij przez


Przykład cenowy: kopiowanie danych i przekształcanie ich za pomocą usługi Azure Databricks

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym scenariuszu chcesz skopiować dane z usługi AWS S3 do usługi Azure Blob Storage i przekształcić dane za pomocą usługi Azure Databricks zgodnie z godzinnym harmonogramem przez 8 godzin dziennie przez 30 dni.

Ceny używane w tym przykładzie są hipotetyczne i nie mają na celu sugerowania dokładnych rzeczywistych cen. Koszty odczytu/zapisu i monitorowania nie są wyświetlane, ponieważ są one zwykle niewielkie i nie wpływają znacząco na ogólne koszty. Wykonania działań są również zaokrąglane do najbliższego 1000 w szacunkach kalkulatora cen.

Uwaga

To oszacowanie dotyczy tylko kosztów usługi Azure Data Factory. Usługa Azure Databricks również poniesie koszty w tym scenariuszu, które można oszacować przy użyciu kalkulatora cen platformy Azure.

Zapoznaj się z kalkulatorem cen platformy Azure, aby uzyskać bardziej szczegółowe scenariusze i oszacować przyszłe koszty korzystania z usługi.

Konfigurowanie

Aby zrealizować ten scenariusz, należy utworzyć kanał z następującymi elementami:

  • Jedno działanie kopiowania z wejściowym zestawem danych do skopiowania z usługi AWS S3 oraz wyjściowy zestaw danych dla danych w usłudze Azure Storage.
  • Jedno działanie usługi Azure Databricks na potrzeby przekształcania danych.
  • Jeden wyzwalacz harmonogramu, aby uruchamiać pipelines co godzinę. Jeśli chcesz uruchomić potok, możesz go wyzwolić natychmiast lub zaplanować. Oprócz samego potoku danych każde wystąpienie wyzwalacza jest liczone jako pojedyncze uruchomienie aktywności.

Diagram przedstawia potok z wyzwalaczem harmonogramu. W potoku aktywność kopiowania przepływa do wejściowego zestawu danych, wyjściowego zestawu danych i aktywności DataBricks uruchamianej na platformie Azure Databricks. Wejściowy zestaw danych jest przesyłany do powiązanej usługi AWS S3. Wyjściowy zestaw danych jest przesyłany do powiązanej usługi Azure Storage.

Szacowanie kosztów

Operacje Typy i jednostki
Uruchamianie potoku 3 przebiegi działań na jedno wykonanie (1 dla uruchomienia wyzwalacza, 2 dla przebiegów działań) = 720 przebiegów działań, zaokrąglonych w górę, ponieważ kalkulator zezwala tylko na przyrosty co 1000.
Założenia dotyczące kopiowania danych: godziny DIU na wykonanie = 10 minut 10 min \ 60 min * 4 Środowisko Azure Integration Runtime (domyślne ustawienie DIU = 4) Aby uzyskać więcej informacji na temat jednostek integracji danych i optymalizacji wydajności kopiowania, zobacz ten artykuł
Wykonaj działanie usługi Databricks Założenie: zewnętrzny czas wykonywania na każde wykonanie = 10 minut 10 min \ 60 min wykonania działania potoku zewnętrznego

Przykład kalkulatora cen

Łączna cena scenariusza dla 30 dni: 41,01 USD

Zrzut ekranu przedstawiający kalkulator cen skonfigurowany na potrzeby kopiowania danych i przekształcania za pomocą scenariusza usługi Azure Databricks.