Databricks Runtime 7.4 (EoS)

Usługa Databricks wydała tę wersję w listopadzie 2020 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.4 obsługiwanym przez platformę Apache Spark 3.0.

Nowe funkcje

W tej sekcji:

• Funkcje i ulepszenia usługi Delta Lake
• Automatyczne ładowanie obsługuje teraz delegowanie zasobów powiadomień o plikach do administratorów
• Nowe USAGE uprawnienia zapewniają administratorom większą kontrolę nad uprawnieniami dostępu do danych
• Funkcja DBFS FUSE jest teraz włączona dla klastrów z obsługą przekazywania

Funkcje i ulepszenia usługi Delta Lake

Ta wersja zawiera następujące funkcje i ulepszenia usługi Delta Lake:

• Nowy interfejs API umożliwia usłudze Delta Lake sprawdzenie, czy dane dodane do tabeli spełniają ograniczenia
• Nowy interfejs API umożliwia wycofanie tabeli delty do starszej wersji tabeli
• Nowa wersja początkowa umożliwia zwracanie tylko najnowszych zmian w źródle przesyłania strumieniowego usługi Delta Lake
• Zwiększona stabilność OPTIMIZE

Nowy interfejs API umożliwia usłudze Delta Lake sprawdzenie, czy dane dodane do tabeli spełniają ograniczenia

Usługa Delta Lake obsługuje CHECK teraz ograniczenia. Po podaniu usługa Delta Lake automatycznie sprawdza, czy dane dodane do tabeli spełniają określone wyrażenie. Aby dodać CHECK ograniczenia, użyj ALTER TABLE ADD CONSTRAINTS polecenia . Aby uzyskać szczegółowe informacje, zobacz Ograniczenia dotyczące usługi Azure Databricks.

Nowy interfejs API umożliwia wycofanie tabeli delty do starszej wersji tabeli

Teraz możesz wycofać tabele Delta do starszych wersji, używając polecenia RESTORE.

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Skala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE Tworzy nowe zatwierdzenie, które powoduje wycofanie wszystkich zmian wprowadzonych w tabeli od wersji, którą chcesz przywrócić. Wszystkie istniejące dane i metadane są przywracane, w tym schemat, ograniczenia, identyfikatory transakcji przesyłania strumieniowego, COPY INTO metadane oraz wersja protokołu tabeli. Aby uzyskać szczegółowe informacje, zobacz Przywracanie tabeli delty.

Nowa wersja początkowa umożliwia zwracanie tylko najnowszych zmian w źródle przesyłania strumieniowego usługi Delta Lake

Aby zwrócić tylko najnowsze zmiany, określ startingVersion wartość latest. Aby uzyskać szczegółowe informacje, zobacz Określanie pozycji początkowej.

Zwiększona stabilność OPTIMIZE

OPTIMIZE (bez żadnych predykatów partycji) można skalować tak, by działać na tabelach z dziesiątkami milionów małych plików. Wcześniej sterownik platformy Apache Spark mógł zużyć całą pamięć, przez co OPTIMIZE nie zostałby ukończony. OPTIMIZE teraz obsługuje bardzo duże tabele z dziesiątkami milionów plików.

Automatyczne ładowanie obsługuje teraz delegowanie zasobów powiadomień o plikach do administratorów

Nowy interfejs API języka Scala umożliwia administratorom konfigurowanie zasobów powiadomień dotyczących plików dla modułu ładującego automatycznego. Inżynierowie danych mogą teraz obsługiwać strumienie automatycznego modułu ładującego z mniejszą liczbą uprawnień, delegując początkową konfigurację zasobów do swoich administratorów. Zobacz Ręczne konfigurowanie zasobów powiadomień o plikach lub zarządzanie nimi.

Nowe USAGE uprawnienia zapewniają administratorom większą kontrolę nad uprawnieniami dostępu do danych

Aby wykonać akcję na obiekcie w bazie danych, należy teraz przyznać USAGE uprawnienie tej bazie danych oprócz uprawnień wymaganych do wykonania akcji. Uprawnienie USAGE jest przyznawane dla bazy danych lub wykazu. Wraz z wprowadzeniem USAGE uprawnień właściciel tabeli nie może już jednostronnie zdecydować się na udostępnienie go innemu użytkownikowi. Użytkownik musi również mieć USAGE uprawnienia do bazy danych zawierającej tabelę.

W obszarach roboczych z włączoną users kontrolą dostępu do tabel grupa automatycznie ma USAGE uprawnienia do katalogu głównego CATALOG.

Aby uzyskać szczegółowe informacje, zobacz USAGE uprawnienia.

Funkcja DBFS FUSE jest teraz włączona dla klastrów z obsługą przekazywania

Teraz można odczytywać i zapisywać z systemu plików DBFS przy użyciu instalacji FUSE, /dbfs/ gdy używasz klastra o wysokiej współbieżności włączonego na potrzeby przekazywania poświadczeń. Regularne instalowanie jest obsługiwane. Instalacje, które wymagają poświadczeń przejścia, nie są obsługiwane.

Ulepszenia

Język Spark SQL obsługuje IFF i CHARINDEX jako synonimy dla IF i POSITION

W środowisku Databricks Runtime IF() jest synonimem CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

Środowisko Databricks Runtime obsługuje IFF() teraz jako synonim dla IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX to alternatywna nazwa POSITION funkcji. CHARINDEX znajduje pozycję pierwszego wystąpienia ciągu w innym ciągu z opcjonalnym indeksem początkowym.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Domyślnie dla notesów języka Python włączono wiele danych wyjściowych na komórkę

Środowisko Databricks Runtime 7.1 wprowadziło obsługę wielu danych wyjściowych na komórkę w notesach języka Python (i komórkach języka Python w notesach innych niż Python), ale trzeba było włączyć tę funkcję dla notesu. Ta funkcja jest domyślnie włączona w środowisku Databricks Runtime 7.4. Zobacz Wyświetlanie wielu danych wyjściowych na komórkę.

Ulepszenia autouzupełniania notesów języka Python

Autouzupełnianie dla języka Python zawiera dodatkowe informacje o typie generowane na podstawie statycznej analizy kodu przy użyciu biblioteki Jedi. Możesz nacisnąć Tab, aby wyświetlić listę opcji.

Ulepszono display wektory spark ML w wersji zapoznawczej ramki danych platformy Spark

Format display zawiera teraz etykiety dla typu wektorów (rozrzednionych lub gęstych), długości, indeksów (dla wektorów rozrzednionych) i wartości.

Inne poprawki

• Rozwiązano problem z picklingiem w collections.namedtuple notesach.
• Rozwiązano problem z picklingiem z interakcyjnymi zdefiniowanymi klasami i metodami.
• Usunięto usterkę powodującą niepowodzenie wywołań mlflow.start_run() w przypadku przekazywania lub klastrów z włączoną kontrolą dostępu do tabeli.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • Narzędzie jedi zostało uaktualnione z wersji 0.14.1 do 0.17.2.
  • Program koalas został uaktualniony z wersji 1.2.0 do wersji 1.3.0.
  • Parso uaktualniono z wersji 0.5.2 do 0.7.0.
• Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.

Apache Spark

Środowisko Databricks Runtime 7.4 zawiera platformę Apache Spark 3.0.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.3 LTS (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-33170] [SQL] Dodawanie konfiguracji SQL w celu kontrolowania zachowania szybkiej awarii w pliku FileFormatWriter
• [SPARK-33136] [SQL] Naprawiono błędnie zamieniony parametr w V2WriteCommand.outputResolved
• [SPARK-33134] [SQL] Zwracanie częściowych wyników tylko dla głównych obiektów JSON
• [SPARK-33038] [SQL] Połącz początkowe i bieżące plany AQE...
• [SPARK-33118] [SQL] TWORZENIE TYMCZASOWEgo TABLE kończy się niepowodzeniem z lokalizacją
• [SPARK-33101] [ML] Rozpropaguj konfigurację usługi Hadoop w formacie LibSVM z opcji DS do bazowego systemu plików HDFS
• [SPARK-33035] [SQL] Aktualizuje przestarzałe wpisy mapowania atrybutów w poleceniu QueryPlan#transformUpWithNewOutput
• [SPARK-33091] [SQL] Unikaj używania mapy zamiast foreach, aby uniknąć potencjalnego efektu ubocznego u wywołujących orcUtils.readCatalystSchema
• [SPARK-33073] [PYTHON] Ulepszanie obsługi błędów w przypadku błędów konwersji biblioteki Pandas na strzałkę
• [SPARK-33043] [ML] Obsługa obliczeń heurystycznych spark.driver.maxResultSize=0 w obliczeniach heurystycznych programu RowMatrix
• [SPARK-29358] [SQL] Spraw, aby unionByName opcjonalnie wypełniało brakujące kolumny wartością null
• [SPARK-32996] [WEB-UI] Obsługa pustych funkcji Wykonawczej w funkcji ExecutorMetricsJsonSerializer
• [SPARK-32585] [SQL] Obsługa wyliczenia scala w scalaReflection
• [SPARK-33019] [CORE] Użyj polecenia spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 domyślnie
• [SPARK-33018] [SQL] Rozwiązywanie problemu ze statystykami szacowania, jeśli element podrzędny ma 0 bajtów
• [SPARK-32901] [CORE] Nie przydzielaj pamięci podczas rozlania elementu UnsafeExternalSorter
• [SPARK-33015] [SQL] Użyj parametru millisToDays() w regule ComputeCurrentTime
• [SPARK-33015] [SQL] Obliczanie bieżącej daty tylko raz
• [SPARK-32999] [SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
• [SPARK-32659] [ SQL] Rozgłoszeniowa tablica zamiast zestawu w InSubqueryExec
• [SPARK-32718] [SQL] Usuń niepotrzebne słowa kluczowe dla jednostek interwału
• [SPARK-32886] [WEBUI] naprawa "niezdefiniowanego" linku w widoku osi czasu zdarzenia
• [SPARK-32898] [CORE] Naprawianie nieprawidłowej funkcji wykonawczejRunTime, gdy zadanie zostało zabite przed rozpoczęciem rzeczywistym
• [SPARK-32635] [SQL] Dodawanie nowego przypadku testowego w module katalizatora
• [SPARK-32930] [CORE] Zastąp przestarzałe metody isFile/isDirectory
• [SPARK-32906] [SQL] Nazwy pól struktury nie powinny zmieniać się po normalizacji zmiennoprzecinkowych
• [SPARK-24994] [SQL] Dodawanie optymalizatora UnwrapCastInBinaryComparison w celu uproszczenia literału całkowitego
• [SPARK-32635] [SQL] Naprawianie propagacji składanej
• [SPARK-32738] [CORE] Jeśli wystąpi błąd krytyczny, należy zmniejszyć liczbę aktywnych wątków Inbox.process
• [SPARK-32900] [CORE] Zezwalaj na rozlanie elementu UnsafeExternalSorter w przypadku wystąpienia wartości null
• [SPARK-32897] [ PYTHON] Nie pokazuj ostrzeżenia o wycofaniu w metodzie SparkSession.builder.getOrCreate
• [SPARK-32715] [CORE] Naprawianie przecieku pamięci, gdy nie można przechowywać fragmentów emisji
• [SPARK-32715] [CORE] Naprawianie przecieku pamięci, gdy nie można przechowywać fragmentów emisji
• [SPARK-32872] [CORE] Zapobiegaj przekroczeniu progu wzrostu przez element BytesToBytesMap w MAX_CAPACITY
• [SPARK-32876] [SQL] Zmień domyślne wersje rezerwowe na 3.0.1 i 2.4.7 w programie HiveExternalCatalogVersionsSuite
• [SPARK-32840] [SQL] Nieprawidłowa wartość interwału może być po prostu klejem z jednostką
• [SPARK-32819] [SQL] ignoreNullability parametr powinien być skuteczny rekursywnie
• [SPARK-32832] [SS] Użyj opcji CaseInsensitiveMap dla opcji DataStreamReader/Writer
• [SPARK-32794] [SS] Naprawiono rzadki błąd przypadku narożnego w a aparatze mikrosadowym z niektórymi zapytaniami stanowymi + brak partii danych i źródłami V1
• [SPARK-32813] [ SQL] Pobierz domyślną konfigurację czytnika wektoryzowanego ParquetSource, jeśli nie ma aktywnej sesji SparkSession
• [SPARK-32823] [INTERNETOWY interfejs użytkownika] Naprawianie głównego raportowania zasobów interfejsu użytkownika
• [SPARK-32824] [CORE] Popraw komunikat o błędzie, gdy użytkownik zapomni o wartości .amount w konfiguracji zasobu
• [SPARK-32614] [SQL] Nie stosuj przetwarzania komentarzy, jeśli "komentarz" nie jest ustawiony dla pliku CSV
• [SPARK-32638] [SQL] Poprawia odwołania podczas dodawania aliasów w WidenSetOperationTypes
• [SPARK-32810] [SQL] Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schematu
• [SPARK-32815] [ML] Naprawienie błędu ładowania źródła danych LibSVM w ścieżkach plików za pomocą metacharactrów glob
• [SPARK-32753] [SQL] Kopiowanie tagów tylko do węzła bez tagów
• [SPARK-32785] [SQL] Interwał z zwisanymi częściami nie powinien powodować wartości null
• [SPARK-32764] [SQL] -0.0 powinna być równa 0,0
• [SPARK-32810] [SQL] Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schematu
• [SPARK-32779] [SQL] Unikaj używania zsynchronizowanego interfejsu API sesjiCatalog w przepływie klienta. Prowadzi to do zakleszczenia
• [SPARK-32791] [SQL] Metryka tabeli niepartycjonowanej nie powinna mieć czasu dynamicznego przycinania partycji
• [SPARK-32767] [SQL] Połączenie segmentowe powinno działać, jeśli spark.sql.shuffle.partitions jest większe niż liczba segmentów
• [SPARK-32788] [ SQL] skanowanie tabeli bez partycji nie powinno mieć filtru partycji
• [SPARK-32776] [SS] Limit strumieniowania nie powinien być optymalizowany przez PropagateEmptyRelation
• [SPARK-32624] [SQL] Naprawianie regresji w kodziegenContext.addReferenceObj w zagnieżdżonych typach Scala
• [SPARK-32659] [SQL] Ulepszanie testu oczyszczania DPP dla typu niepodzielnego
• [SPARK-31511] [SQL] Zabezpieczanie wątków przez iteratory BytesToBytesMap
• [SPARK-32693] [SQL] Porównaj dwie ramki danych z tym samym schematem z wyjątkiem właściwości dopuszczanej do wartości null
• [SPARK-28612] [SQL] Poprawny dokument metody DataFrameWriterV2.replace()

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.4.

Środowisko systemu

• System operacyjny: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (kompilacja 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R w wersji 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN firmy Microsoft w wersji XXXX-XX-XX.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)