Udostępnij przez

Czym jest interfejs API Livy do inżynierii danych?

Dotyczy:✅ Inżynieria danych i nauka o danych w usłudze Microsoft Fabric

Interfejs API usługi Livy usługi Microsoft Fabric umożliwia użytkownikom przesyłanie i wykonywanie kodu Platformy Spark w ramach obliczeń platformy Spark skojarzonych z usługą Fabric Lakehouse, eliminując konieczność tworzenia dowolnego notesu lub artefaktów definicji zadań platformy Spark. Ta integracja z usługą Lakehouse zapewnia prosty dostęp do danych przechowywanych w usłudze OneLake.

Funkcje

Interfejs API Fabric Livy umożliwia przesyłanie zadań w dwóch różnych trybach.

  • Zadania sesji
    • Zadanie sesji usługi Livy wiąże się z ustanowieniem sesji platformy Spark, która pozostaje aktywna w trakcie interakcji z interfejsem API usługi Livy. Sesje usługi Livy są przydatne w przypadku obciążeń interaktywnych.
    • Sesja platformy Spark rozpoczyna się po przesłaniu zadania i trwa do momentu zakończenia go przez użytkownika lub zakończenia systemu po upływie 20 minut braku aktywności. W trakcie sesji można uruchamiać wiele zadań, udostępniać stan i buforowane dane między przebiegami.
  • Zadania wsadowe
    • Zadanie wsadowe usługi Livy wiąże się z przesłaniem aplikacji Spark na potrzeby jednorazowego wykonania zadania. W przeciwieństwie do zadania sesji Livy, zadanie przetwarzania wsadowego nie utrzymuje trwającej sesji Spark.
    • W przypadku zadań wsadowych usługi Livy każde zadanie inicjuje nową sesję platformy Spark, która kończy się po zakończeniu zadania. Takie podejście działa dobrze w przypadku zadań, które nie opierają się na poprzednich obliczeniach lub wymagają utrzymania stanu między zadaniami.

Rozpocznij pracę z interfejsem API Livy

Dowiedz się, jak tworzyć i uruchamiać zadania platformy Spark przy użyciu interfejsu API usługi Livy w usłudze Fabric:

Powiązana zawartość

  • Last updated on