Databricks Runtime 8.4 (EoS)

Poniższe notatki o wydaniu zawierają informacje o środowiskach Databricks Runtime 8.4 i Databricks Runtime 8.4 Photon, wykorzystujących Apache Spark 3.1.2. Usługa Databricks wydała tę wersję w lipcu 2021 r. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

• Funkcje i ulepszenia usługi Delta Lake
• Funkcje i ulepszenia automatycznego modułu ładującego
• Uaktualnienia łączników
• Poprawki błędów

Funkcje i ulepszenia usługi Delta Lake

• Kanał zmian danych Delta table (GA)
• Łatwe ładowanie udostępnionych tabel delty za pomocą środowiska Databricks Runtime
• Więcej tabel korzysta z dynamicznego oczyszczania plików
• Lepsza wydajność dzięki automatycznej dostrajaniu rozmiaru pliku docelowego
• Więcej sposobów określania tabel w DeltaTable.forName
• Niezawodne przesyłanie strumieniowe zapisów w wielu tabelach przy użyciu polecenia foreachBatch
• Zwiększenie wydajności zapytań odczytu w niektórych obciążeniach dzięki dostrojeniu punktów kontrolnych
• Tworzenie GroupState w celu przetestowania zdefiniowanych przez użytkownika funkcji przesyłania strumieniowego ze strukturą

Kanał danych zmian tabeli Delta (GA)

Źródło danych zmian tabeli delty jest teraz ogólnie dostępne. Reprezentuje zmiany na poziomie wiersza między różnymi wersjami tabeli. Po włączeniu dodatkowe informacje są rejestrowane w odniesieniu do zmian na poziomie wiersza dla każdej operacji zapisu w tabeli. Zobacz Używanie kanału danych o zmianach w Delta Lake na platformie Azure Databricks.

Łatwe ładowanie udostępnionych tabel delty za pomocą środowiska Databricks Runtime

Łącznik Apache Spark dla Delta Sharing 0.1.0 jest teraz dostępny w środowisku Databricks Runtime. Tabela udostępniona za pomocą spark.read.format("deltaSharing").load(uri) może zostać załadowana bezpośrednio, bez konieczności dołączania do klastra łącznika Delta Sharing Spark.

Więcej tabel korzysta z dynamicznego oczyszczania plików

Funkcja dynamicznego oczyszczania plików została dostrojona do wyzwalania w tabelach z mniejszą liczbą plików. Zobacz Dynamiczne oczyszczanie plików.

Lepsza wydajność dzięki automatycznej dostrajaniu rozmiaru pliku docelowego

Rozmiar pliku docelowego dla tabel delty jest teraz automatycznie dostrojony na podstawie rozmiaru tabeli. Wcześniej rozmiar OPTIMIZE pliku docelowego dla i OPTIMIZE ZORDER BY wynosił 1 GB. Dzięki autotunerowi opartemu na rozmiarze tabeli, tabele Delta do 2,56 TB będą używać 256 MB jako rozmiaru docelowego. Tabele większe niż 10 TB będą używać 1 GB, tak jak poprzednio. Tabele między tymi rozmiarami będą używać rozmiarów docelowych, które rosną proporcjonalnie wraz z rozmiarem tabeli. Zobacz Konfigurowanie usługi Delta Lake w celu kontrolowania rozmiaru pliku danych.

Więcej sposobów określania tabel w DeltaTable.forName

DeltaTable.forName teraz obsługuje używanie delta.`<path>` do identyfikowania tabel.

Niezawodne przesyłanie strumieniowe zapisów w wielu tabelach przy użyciu polecenia foreachBatch

Idempotentne zapisy przesyłania strumieniowego delta w poleceniu foreachBatch() są teraz obsługiwane. Aby uzyskać szczegółowe informacje, zobacz Zapisy idempotentne w wielu tabelach.

Zwiększona wydajność zapytań dotyczących odczytu w przypadku niektórych obciążeń dzięki dostrojonym punktom kontrolnym

Delta Lake teraz reguluje, jak często wykonuje ulepszone punkty kontrolne. Zamiast tworzyć punkty kontrolne z określonym interwałem czasowym, funkcja Delta teraz dynamicznie dostosowuje częstotliwość tych punktów w oparciu o określone zdarzenia wyzwalające. Zwiększa to wydajność zapytań odczytu w obciążeniach, w których nie można było wcześniej zastosować optymalizacji pomijania danych. Aby użyć tych optymalizacji, uaktualnij zadania zapisujące do Delta Lake do środowiska Databricks Runtime 8.4.

Utwórz GroupState do testowania funkcji strukturalnego przesyłania strumieniowego zdefiniowanych przez użytkownika

Do tej pory tylko silnik Strukturalnego Przesyłania Strumieniowego mógł tworzyć wystąpienia klasy GroupState. W związku z tym wszystkie testy jednostkowe funkcji zdefiniowanej przez użytkownika wymagały uruchomienia zapytania przesyłania strumieniowego na platformie Apache Spark.

Teraz możesz tworzyć instancje GroupState przy użyciu TestGroupState.create(…). Dzięki temu można przetestować funkcję zdefiniowaną przez użytkownika w prostych testach jednostkowych, które nie wymagają uruchamiania platformy Spark. Zobacz Przetestuj funkcję aktualizacji mapGroupsWithState. W szczególności tworzy wystąpienia typu TestGroupState, które rozszerzają interfejs GroupState o dodatkowe metody do introspekcji stanu wewnętrznego po zastosowaniu funkcji zdefiniowanej przez użytkownika.

Funkcje i ulepszenia automatycznego modułu ładującego

• Konfigurowanie wypełniania kopii zapasowych w celu przechwytywania nieodebranych plików
• Ograniczony ślad magazynowania dla dużych strumieni danych
• Uproszczona konfiguracja z obsługą bez ścieżek

Konfigurowanie wypełniania kopii zapasowych w celu przechwytywania nieodebranych plików

Auto Loader obsługuje teraz asynchroniczne przeprowadzanie uzupełnień w celu przechwytywania plików, które mogły zostać pominięte w powiadomieniach dotyczących plików. Systemy magazynowania plików i systemy powiadomień nie mogą zagwarantować 100% dostarczania wszystkich zdarzeń plików. W związku z tym Databricks zaleca włączenie okresowych uzupełnień w celu przechwycenia wszystkich danych za pomocą Auto Loadera. Użyj opcji cloudFiles.backfillInterval do zaplanowania regularnego uzupełniania twoich danych. Zobacz Typowe opcje automatycznego modułu ładującego.

Zajętość przestrzeni magazynowej dla dużych strumieni danych

Teraz można skonfigurować Auto Loader, aby wygasało i usuwało wpisy w bazie danych RocksDB, aby ograniczyć jego rozmiar magazynowy w lokalizacji punktu kontrolnego. Usługa Databricks nie zaleca używania tej opcji, chyba że przetwarza się dane rzędu milionów plików na godzinę. Niepoprawne ustawienie tej opcji lub próba jej dostosowania mogą prowadzić do wielu problemów z jakością danych, takich jak ignorowanie nieprzetworzonych plików lub duplikowanie niektórych plików zamiast ich jednokrotnego przetwarzania. Aby uzyskać więcej szczegółowych informacji, zobacz Śledzenie zdarzeń pliku.

Uproszczona konfiguracja z obsługą bez konieczności określania ścieżek

Zasobniki S3

Teraz możesz podać kolejkę SQS, która odbiera zdarzenia z wielu ścieżek lub zasobników S3. Jeśli podasz adres URL kolejki SQS, w tym przypadku opcja path nie jest wymagana. Auto Loader konstruuje ścieżki S3 przy użyciu zasobnika i klucza ze zdarzeń S3. Jeśli chcesz odczytać pliki za pośrednictwem punktów instalacji systemu plików DBFS, możesz użyć cloudFiles.pathRewrites polecenia , aby zmienić prefiksy ścieżki na dbFS. Nie jest to wymagane, chyba że uzyskujesz dostęp do danych na różnych kontach za pomocą polecenia AssumeRole.

Zobacz Opcje powiadomień o plikach.

Kontenery usługi Azure Data Lake Storage

Teraz możesz podać kolejkę Azure, która odbiera zdarzenia z wielu kontenerów. Jeśli podasz nazwę kolejki platformy Azure, opcja path nie jest wymagana. Domyślnie moduł automatycznego ładowania konstruuje ścieżki usługi Azure Data Lake Storage przy użyciu kontenera i klucza w zdarzeniach plików. Jeśli chcesz użyć ścieżek WASB lub punktów instalacji systemu plików DBFS, możesz użyć cloudFiles.pathRewrites polecenia , aby zmienić prefiksy ścieżki.

Zobacz Opcje powiadomień o plikach.

Uaktualnienia łączników

• Łącznik Snowflake Spark został zaktualizowany do wersji 2.9.0.
• Szyfrowanie KMS jest teraz obsługiwane w instrukcji UNLOAD łącznika Redshift.

Poprawki błędów

• Rozwiązano problem dotyczący klastrów z włączoną kontrolą dostępu do tabeli, w której select * from folder można wyświetlać zawartość folderu, nawet jeśli użytkownik nie ma uprawnień dostępu do plików.
• Właściciele baz danych niebędący administratorami mogą teraz usuwać tabele, których nie są właścicielami, w bazach danych. Rozwiązano problem polegający na tym, że właściciele baz danych nie mogli usunąć bazy danych, jeśli w bazie danych istniały tabele nienależące do firmy.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • certyfikat został uaktualniony z wersji 2020.12.5 do 2021.5.30
  • Zaktualizowano distill z wersji 0.3.1 do 0.3.2
  • Program koalas został uaktualniony z wersji 1.8.0 do wersji 1.8.1
  • Protobuf uaktualniono z wersji 3.17.0 do 3.17.3
• Uaktualnione biblioteki języka R:
  • od 4.0.4 do 4.1.0
  • rozruch z wersji 1.3-27 do 1.3-28
  • zajęcia od 7.3-18 do 7.3-19
  • klaster z wersji 2.1.1 do wersji 2.1.2
  • kompilator z wersji 4.0.4 do 4.1.0
  • zestawy danych z wersji 4.0.4 do 4.1.0
  • grafika z wersji 4.0.4 do 4.1.0
  • grDevices - aktualizacja z wersji 4.0.4 do wersji 4.1.0
  • siatka z 4.0.4 do 4.1.0
  • KernSmooth z 2.23-18 do 2.23-20
  • Siatka od 0.20-41 do 0.20-44
  • MASA z 7.3-53.1 do 7.3-54
  • Macierz od 1.3-2 do 1.3-3
  • metody z zakresu od 4.0.4 do 4.1.0
  • mgcv z 1.8-33 do 1.8-35
  • sieć nnet z wersji 7.3-15 na 7.3-16
  • równoległe z wersji 4.0.4 do 4.1.0
  • Rserve z 1.8-7 do 1.8-8
  • SparkR z wersji 3.1.1 do 3.1.2
  • splajny od 4.0.4 do 4.1.0
  • statystyki z 4.0.4 do 4.1.0
  • stats4 z 4.0.4 do 4.1.0
  • przeżycie z 3.2-7 do 3.2-11
  • tcltk z 4.0.4 do 4.1.0
  • narzędzia z wersji 4.0.4 do 4.1.0
  • Narzędzia z wersji 4.0.4 do 4.1.0
• Uaktualnione biblioteki Java:
  • snowflake-jdbc z 3.12.8 do 3.13.3
  • spark-snowflake_2.12 z wersji 2.8.1-spark_3.0 do 2.9.0-spark_3.1
  • RoaringBitmap z 0.9.0 do 0.9.14
  • podkładki od 0.9.0 do 0.9.14
  • rocksdbjni fromm 6.2.2 do 6.20.3

Apache Spark

Środowisko Databricks Runtime 8.4 zawiera platformę Apache Spark 3.1.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.3 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-35792] [SQL] Widok nie powinien przechwytywać konfiguracji używanych w RelationConversions
• [SPARK-35700] [SQL] Odczytywanie tabeli ORC z polami char/varchar utworzonej i zapisanej przez systemy zewnętrzne
• [SPARK-35636] [SQL] Klucze lambda nie powinny być przywołyne poza funkcją lambda
• [SPARK-35800] [Cherry Pick] Ulepszanie testowalności groupstate przez wprowadzenie testGroupState
• [SPARK-35391] Naprawianie przecieku pamięci w funkcji ExecutorAllocationListener
• [SPARK-35799] [CherryPick] Naprawiono pomiar metryki allUpdatesTimeMs w elemencie FlatMapGroupsWithStateExec
• [SPARK-35763] [SS] Usuń zależność wyliczenia podklasy StateStoreCustomMetric
• [SPARK-35791 [SQL] Poprawne zarządzanie mapą w toku dla sprzężenia ANTI uwzględniającego wartości NULL
• [SPARK-35695] [SQL] Zbieranie obserwowanych metryk z buforowanych i adaptacyjnych drzew wykonywania
• [SPARK-35767] [SQL] Unikaj dwukrotnego wykonywania planu podrzędnego w programie CoalesceExec
• [SPARK-35746] [Interfejs użytkownika] Napraw ID zadania na osi czasu wydarzeń zadań na stronie etapu
• [SPARK-35673] [SQL] Napraw wskazówkę zdefiniowaną przez użytkownika i nierozpoznaną wskazówkę w podzapytaniu.
• [SPARK-35714] [CORE] Poprawka usterki zakleszczenia podczas wyłączania egzekutora.
• [SPARK-35689] [SS] Dodaj alert dziennika, gdy właściwość keyWithIndexToValue zwraca wartość null
• [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint nie powinien ignorować pliku shuffle indeksowego podczas aktualizowania
• [SPARK-35643] [PYTHON] Naprawiono niejednoznaczne odwołanie w kolumnie functions.py()
• [SPARK-35652] [SQL] joinWith w dwóch tabelach wygenerowanych na podstawie tej samej tabeli
• [SPARK-35679] [SQL] przekroczenie wartości w funkcji instantToMicros
• [SPARK-35602] [SS] Aktualizowanie schematu stanu w celu akceptowania długiej długości kodu JSON
• [SPARK-35653] [SQL] Naprawa błędu CatalystToExternalMap, gdzie ścieżka interpretowana powoduje niepowodzenie dla mapowania z klasami przypadków jako kluczami lub wartościami
• [SPARK-35296] [SQL] Zezwalaj na działanie elementu Dataset.observe, nawet jeśli funkcja CollectMetricsExec w zadaniu obsługuje wiele partycji.
• [SPARK-35659] [SS] Unikaj zapisu wartości null do StateStore
• [SPARK-35665] [SQL] Rozwiąż nierozwiązane aliasy w CollectMetrics
• [SPARK-35558] Optymalizacja dla pobierania wielokwantyli
• [SPARK-35621] [SQL] Dodanie przycinania identyfikatora reguły do reguły TypeCoercion
• [SPARK-35077] [SQL] Migracja do transformWithPruning dla pozostałych reguł optymalizatora
• [SPARK-35610] [CORE] Naprawienie przecieku pamięci wprowadzonego przez hak zamknięcia zatrzymania funkcji wykonawczej
• [SPARK-35544] [SQL] Dodanie przycinania wzorca drzewa do reguł analizatora
• [SPARK-35566] [SS] Napraw wiersze wyjściowe StateStoreRestoreExec
• [SPARK-35454] [SQL][3.1] Jeden element LogicalPlan może być zgodny z wieloma identyfikatorami zestawu danych
• [SPARK-35538] [SQL] Migracja miejsc wywołania funkcji transformAllExpressions do użycia transformAllExpressionsWithPruning
• [SPARK-35106] [Core][sql] Unikaj niepowodzenia zmiany nazwy spowodowanej brakiem katalogu docelowego
• [SPARK-35287] [SQL] Zezwalaj funkcji RemoveRedundantProjects na zachowywanie elementu ProjectExec, który generuje wartość UnsafeRow dla elementu DataSourceV2ScanRelation
• [SPARK-35495] [R] Zmiana opiekuna SparkR dla CRAN
• [SPARK-27991] [CORE] Odrocz żądanie pobierania na netty OOM
• [SPARK-35171] [R] Deklarowanie pakietu markdown jako zależności pakietu SparkR
• [SPARK-35454] [SQL] Jeden plan logiczny może być zgodny z wieloma identyfikatorami zestawu danych
• [SPARK-35298] [SQL] Migracja do funkcji transformWithPruning dla reguł w Optimizer.scala
• [SPARK-35480] [SQL] Umożliwienie działania funkcji percentile_approx z tabelą przestawną
• [SPARK-35093] [SQL] AQE teraz używa planu newQueryStage jako klucza do wyszukiwania buforowanych wymian do ponownego użycia
• [SPARK-35146] [SQL] Zmigrować na transformWithPruning lub resolveWithPruning dla reguł w pliku finishAnalysis.scala
• [SPARK-35411] [SQL] Dodawanie podstawowych informacji podczas serializacji TreeNode do formatu json
• [SPARK-35294] [SQL] Dodawanie przycinania drzewa podczas przeszukiwania w regułach z wydzielonymi plikami w optymalizatorze
• [SPARK-34897] [SQL][3.1] Wsparcie uzgadniania schematów na podstawie indeksu po przycinaniu zagnieżdżonych kolumn
• [SPARK-35144] [SQL] Migrowanie do funkcji transformWithPruning dla reguł obiektów
• [SPARK-35155] [SQL] Dodaj przycinanie identyfikatora reguły do reguł analizatora
• [SPARK-35382] [PYTHON] Rozwiąż problemy z nazwą zmiennej lambda w zagnieżdżonych funkcjach ramki danych w interfejsach API języka Python.
• [SPARK-35359] [SQL] Wstawianie danych typu char/varchar nie powiedzie się, gdy długość danych przekroczy ograniczenie długości
• [SPARK-35381] [R] Naprawa problemów z nazwą zmiennej lambda w zagnieżdżonych funkcjach wyższego rzędu w interfejsach API języka R

Środowisko systemu

• System operacyjny: Ubuntu 18.04.5 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.8
• R: 4.1.0 (2021-05-18)
• Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN z dnia 2020-11-02.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)