Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ten artykuł zawiera zalecenia i zasoby dotyczące konfigurowania zasobów obliczeniowych dla zadań lakeflow.
Ważne
Ograniczenia dotyczące przetwarzania bezserwerowego dla zadań obejmują następujące elementy:
- Brak obsługi planowania ciągłego .
- Brak obsługi domyślnych lub opartych na czasie wyzwalaczy interwałów w Strumieniowaniu Strukturalnym.
Aby uzyskać więcej ograniczeń, zobacz Ograniczenia obliczeń bezserwerowych.
Każda praca może mieć jedno lub więcej zadań. Należy zdefiniować zasoby obliczeniowe dla każdego zadania. Wiele zadań zdefiniowanych dla tego samego zadania może używać tego samego zasobu obliczeniowego.
Jakie są zalecane obliczenia dla każdego zadania?
W poniższej tabeli przedstawiono zalecane i obsługiwane typy obliczeń dla każdego typu zadania.
Uwaga
Bezserwerowe obliczenia dla zadań mają ograniczenia i nie obsługują wszystkich obciążeń. Zobacz Ograniczenia obliczeń bezserwerowych.
| Zadanie | Zalecane obliczenia | Obsługiwane zasoby obliczeniowe |
|---|---|---|
| Notebooks | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| Skrypt języka Python | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| Koło języka Python | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| SQL | Bezserwerowa usługa SQL Warehouse | Bezserwerowy Magazyn SQL, zaawansowany Magazyn SQL |
| Potoki deklaratywne platformy Spark w usłudze Lakeflow | Potok bezserwerowy | Potok bezserwerowy, potok klasyczny |
| dbt | Bezserwerowa usługa SQL Warehouse | Bezserwerowy Magazyn SQL, zaawansowany Magazyn SQL |
| Polecenia interfejsu wiersza polecenia dbt | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| JAR | Zadania klasyczne | Klasyczne prace, uniwersalne klasyki |
| Przesyłanie zadań Spark | Zadania klasyczne | Zadania klasyczne |
Cennik zadań Lakeflow jest powiązany z mocą obliczeniową używaną do uruchamiania zadań. Aby uzyskać więcej informacji, zobacz Cennik usługi Databricks.
Jak mogę skonfigurować zasoby obliczeniowe dla zadań?
Obliczenia zadań klasycznych są konfigurowane bezpośrednio z interfejsu użytkownika zadań lakeflow, a te konfiguracje są częścią definicji zadania. Wszystkie inne dostępne typy obliczeniowe przechowują swoje konfiguracje z innymi aktywami obszaru roboczego. Poniższa tabela zawiera więcej szczegółów:
| Typ środowiska obliczeniowego | Szczegóły |
|---|---|
| Obliczenia dotyczące klasycznych zadań | Obliczenia dla zadań klasycznych można skonfigurować przy użyciu tego samego interfejsu użytkownika i ustawień dostępnych dla obliczeń wszystkich celów. Zobacz Informacje o konfiguracji obliczeniowej. |
| Bezserwerowe obliczenia dla zadań | Bezserwerowe obliczenia dla zadań są domyślne dla wszystkich zadań, które je obsługują. Usługa Databricks zarządza ustawieniami obliczeniowymi dla bezserwerowych obliczeń. Zobacz Run your Lakeflow Jobs with serverless compute for workflows (Uruchamianie zadań lakeflow z bezserwerowymi obliczeniami dla przepływów pracy). |
| Magazyny SQL | Bezserwerowe i profesjonalne magazyny danych SQL są konfigurowane przez administratorów obszaru roboczego lub użytkowników z uprawnieniami do nieograniczonego tworzenia klastrów. Konfigurujesz zadania do uruchamiania względem istniejących hurtowni SQL. Zobacz Nawiązywanie połączenia z usługą SQL Warehouse. |
| Obliczenia deklaratywnych potoków Spark w Lakeflow | Podczas konfigurowania potoku konfigurujesz ustawienia obliczeniowe dla potoków deklaratywnych platformy Spark w usłudze Lakeflow. Zobacz Konfigurowanie klasycznych obliczeń dla potoków. Usługa Azure Databricks zarządza zasobami obliczeniowymi dla bezserwerowych deklaratywnych potoków Spark Lakeflow. Zobacz Jak skonfigurować potok bezserwerowy. |
| Obliczenia ogólnego przeznaczenia | Opcjonalnie można skonfigurować zadania przy użyciu klasycznych obliczeń ogólnego przeznaczenia. Usługa Databricks nie zaleca tej konfiguracji dla zadań produkcyjnych. Zobacz Informacje o konfiguracji obliczeniowej i Czy zasoby obliczeniowe przeznaczone do wszystkich celów powinny być kiedykolwiek używane dla zadań?. |
Udostępnianie zasobów obliczeniowych między zadaniami
Skonfiguruj zadania tak, aby używały tych samych zasobów obliczeniowych w celu optymalizacji wykorzystania zasobów przy pomocą zadań, które zarządzają wieloma zadaniami. Udostępnianie zasobów obliczeniowych między zadaniami może zmniejszyć opóźnienie związane z czasem uruchamiania.
Za pomocą pojedynczego zasobu obliczeniowego zadania można uruchamiać wszystkie zadania, które są częścią zadania lub wiele zasobów zadań zoptymalizowanych pod kątem określonych obciążeń. Wszystkie obliczenia zadań skonfigurowane jako część zadania są dostępne dla wszystkich innych zadań w zadaniu.
W poniższej tabeli przedstawiono różnice między obliczeniami zadań skonfigurowanymi dla pojedynczego zadania i obliczeniami zadań współużytkowanych między zadaniami:
| Jedno zadanie | Współużytkowany między zadaniami | |
|---|---|---|
| Rozpocznij | Po rozpoczęciu uruchamiania zadania. | Kiedy rozpoczyna się pierwsze uruchomienie zadania skonfigurowanego do korzystania z zasobu obliczeniowego. |
| Zakończ | Po uruchomieniu zadania. | Po zakończeniu wykonywania zadania skonfigurowanego do korzystania z zasobów obliczeniowych. |
| Bezczynne obliczenia | Nie dotyczy. | Funkcjonalność obliczeniowa pozostaje włączona i w stanie bezczynności, gdy zadania, które nie korzystają z zasobów obliczeniowych, są uruchamiane. |
Wspólny klaster zadań jest ograniczony do jednego uruchomienia zadania i nie może być używany przez inne zadania lub uruchomienia tego samego zadania.
Nie można zadeklarować bibliotek w konfiguracji współdzielonego klastra zadań. Biblioteki zależne należy dodać w ustawieniach zadań.
Przeglądanie, konfigurowanie i zamiana zadań obliczeniowych
Sekcja Obliczenia w panelu Szczegóły zadania zawiera listę wszystkich zasobów obliczeniowych skonfigurowanych dla zadań w bieżącym zadaniu.
Zadania skonfigurowane do używania zasobu obliczeniowego są wyróżnione na wykresie zadań po umieszczeniu wskaźnika myszy na specyfikacji obliczeniowej.
Użyj przycisku Zamień, aby zmienić obliczenia dla wszystkich zadań skojarzonych z zasobem obliczeniowym.
Zasoby obliczeniowe zadań klasycznych mają opcję Konfiguruj . Inne zasoby obliczeniowe udostępniają opcje wyświetlania i modyfikowania szczegółów konfiguracji obliczeniowej.
Więcej informacji
Aby uzyskać dodatkowe informacje na temat konfigurowania klasycznych zadań usługi Azure Databricks, zobacz Najlepsze rozwiązania dotyczące konfigurowania klasycznych zadań usługi Lakeflow.