Databricks Runtime 10.4 LTS (EoS)

Poniższe informacje o wydaniu zawierają informacje o środowiskach Databricks Runtime 10.4 i Databricks Runtime 10.4 Photon działających na Apache Spark 3.2.1. Photon jest w publicznej wersji zapoznawczej. Usługa Databricks wydała tę wersję w marcu 2022 r.

Nowe funkcje i ulepszenia

• Konwerter tabel Apache Iceberg to Delta (publiczna wersja zapoznawcza)
• Automatyczne wycofywanie kompaktowania jest teraz domyślnie włączone
• Funkcja Low Shuffle Merge jest teraz domyślnie włączona
• Tagi kolejności wstawiania są teraz zachowywane dla UPDATEs i DELETEs
• HikariCP jest teraz domyślną pulą połączeń magazynu metadanych Hive
• Łącznik usługi Azure Synapse umożliwia teraz ustawienie maksymalnej liczby dozwolonych wierszy odrzucania
• Asynchroniczne sprawdzanie stanu jest teraz ogólnie dostępne
• Wartości domyślne parametrów można teraz określić dla funkcji zdefiniowanych przez użytkownika SQL
• Nowe funkcje Spark SQL
• Nowy katalog roboczy dla klastrów o wysokiej współbieżności
• Obsługa kolumn Identity w tabelach Delta jest teraz ogólnie dostępna

Konwerter tabel Apache Iceberg to Delta (publiczna wersja zapoznawcza)

Funkcja Konwertuj na funkcję Delta obsługuje teraz konwertowanie tabeli Apache Iceberg na tabelę delty. Robi to przy użyciu natywnych metadanych i manifestów plików Iceberg. Zobacz Konwersja na Delta Lake.

Automatyczne wycofywanie kompaktowania jest teraz domyślnie włączone

Ta wersja poprawia zachowanie zapisów usługi Delta Lake, które zatwierdzają się w przypadku równoczesnych transakcji automatycznego kompaktowania. Przed tą wersją takie operacje zapisu często kończyłyby się z powodu współbieżnych modyfikacji tabeli. Operacje zapisu powiedzą się teraz nawet wtedy, gdy istnieją współbieżne transakcje autokompaktacji.

Funkcja Low Shuffle Merge jest teraz domyślnie włączona

Polecenie MERGE INTO zawsze korzysta teraz z nowej implementacji low-shuffle. To zachowanie znacznie poprawia wydajność MERGE INTO polecenia dla większości obciążeń. Ustawienie konfiguracji, które zostało wcześniej użyte do włączenia tej funkcji, zostało usunięte. Zobacz Scalanie z niskim przełączaniem na platformie Azure Databricks.

Tagi kolejności wstawiania są teraz zachowywane dla UPDATE i DELETE.

Polecenia UPDATE i DELETE zachowują teraz istniejące informacje klastrowania (w tym kolejność Z) dla plików, które są aktualizowane lub usuwane. Takie zachowanie jest najlepszym rozwiązaniem i takie podejście nie ma zastosowania do przypadków, gdy pliki są tak małe, że te pliki są łączone podczas aktualizacji lub usuwania.

HikariCP jest teraz domyślną pulą połączeń magazynu metadanych Hive

HikariCP zapewnia wiele ulepszeń stabilności dostępu do magazynu metadanych Hive przy zachowaniu mniejszej liczby połączeń w porównaniu z poprzednią implementacją puli połączeń BoneCP. Funkcja HikariCP jest domyślnie włączona w dowolnym klastrze środowiska Databricks Runtime używającym magazynu metadanych Hive usługi Databricks (na przykład, gdy spark.sql.hive.metastore.jars nie jest ustawiona). Można również jawnie przełączyć się do innych implementacji puli połączeń, na przykład BoneCP, ustawiając wartość spark.databricks.hive.metastore.client.pool.type.

Łącznik usługi Azure Synapse umożliwia teraz ustawienie maksymalnej liczby dozwolonych wierszy odrzucania

Łącznik usługi Azure Synapse teraz obsługuje opcję maxErrors dla DataFrame. Ta aktualizacja umożliwia skonfigurowanie maksymalnej liczby odrzuconych wierszy, które są dozwolone podczas operacji odczytu i zapisu przed anulowaniem operacji ładowania. Wszystkie odrzucone wiersze są ignorowane. Jeśli na przykład dwa z dziesięciu rekordów zawierają błędy, przetwarzane są tylko osiem rekordów.

Ta opcja odpowiada bezpośrednio opcji REJECT_VALUE dla polecenia CREATE EXTERNAL TABLE w programie PolyBase oraz opcji MAXERRORS polecenia COPY dla łącznika usługi Azure Synapse.

Domyślnie maxErrors wartość jest ustawiona na 0wartość : wszystkie rekordy powinny być prawidłowe.

Asynchroniczne sprawdzanie stanu jest teraz ogólnie dostępne

Możesz włączyć asynchroniczne tworzenie punktów kontrolnych stanu w stanowych zapytaniach przesyłania strumieniowego z dużymi aktualizacjami stanu. Może to zmniejszyć kompleksowe opóźnienie mikrosadowe. Ta funkcja jest teraz ogólnie dostępna. Zobacz Asynchroniczne punkty kontrolne stanu dla zapytań stanowych.

Wartości domyślne parametrów można teraz określić dla funkcji zdefiniowanych przez użytkownika SQL

Podczas tworzenia funkcji zdefiniowanej przez użytkownika SQL (SQL UDF) można teraz określić wyrażenia domyślne dla parametrów funkcji zdefiniowanej przez użytkownika SQL. Następnie można wywołać funkcję zdefiniowanej przez użytkownika SQL bez podawania argumentów dla tych parametrów, a usługa Databricks wypełni wartości domyślne dla tych parametrów. Zobacz CREATE FUNCTION (SQL i Python).

Nowe funkcje Spark SQL

Następujące funkcje Spark SQL są teraz dostępne w tej wersji:

• try_multiply: zwraca multiplier wartość pomnożona przez multiplicandwartość lub NULL przy przepełnieniu.
• try_subtract: zwraca odejmowanie expr2 wartości z expr1, lub NULL na przepełnieniu.

Nowy katalog roboczy dla klastrów o wysokiej współbieżności

W klastrach High Concurrency o wysokiej współbieżności z włączoną kontrolą dostępu do tabel lub przekazywaniem poświadczeń, bieżący katalog roboczy notebooków jest teraz katalogiem macierzystym użytkownika. Wcześniej katalog roboczy był /databricks/driver.

Obsługa kolumn tożsamości w tabelach delty jest teraz ogólnie dostępna

Usługa Delta Lake obsługuje teraz kolumny identyfikacyjne. Gdy zapisujesz do tabeli Delta, która definiuje kolumnę tożsamości i nie podajesz wartości dla tej kolumny, Delta automatycznie przypisuje unikatową oraz statystycznie rosnącą lub malejącą wartość. Zobacz CREATE TABLE [USING].

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • filelock z wersji 3.4.2 do 3.6.0
• Uaktualnione biblioteki języka R:
  • warzenie od 1.0-6 do 1.0-7
  • broom z wersji 0.7.11 do 0.7.12
  • interfejs wiersza polecenia z wersji 3.1.0 do 3.2.0
  • program clipr z wersji 0.7.1 do 0.8.0
  • przestrzeń kolorów z zakresu od 2.0 do 2.0-3
  • crayon od wersji 1.4.2 do wersji 1.5.0
  • dplyr z wersji 1.0.7 do 1.0.8
  • dtplyr z wersji 1.2.0 do 1.2.1
  • oceniaj od 0,14 do 0,15
  • foreach z wersji 1.5.1 do 1.5.2
  • przyszłość z wersji 1.23.0 do 1.24.0
  • typy ogólne od 0.1.1 do 0.1.2
  • aktualizacja glue z wersji 1.6.0 do 1.6.1
  • Zaktualizuj gower z wersji 0.2.2 do 1.0.0
  • iteratory z wersji 1.0.13 do 1.0.14
  • jsonlite z wersji 1.7.3 do 1.8.0
  • magrittr z wersji 2.0.1 do 2.0.2
  • mgcv z 1.8-38 do 1.8-39
  • filar od 1.6.4 do 1.7.0
  • randomForest z 4.6-14 do 4.7-1
  • aktualizacja readr z wersji 2.1.1 do 2.1.2
  • przepisy od 0.1.17 do 0.2.0
  • rlang z wersji 0.4.12 do 1.0.1
  • rpart z 4.1-15 do 4.1.16
  • RSQLite z wersji 2.2.9 do 2.2.10
  • sparklyr z 1.7.4 do 1.7.5
  • testthat z 3.1.1 do 3.1.2
  • tidyr od wersji 1.1.4 do wersji 1.2.0
  • tidyselect z wersji 1.1.1 do 1.1.2
  • tinytex z 0.36 do 0.37
  • yaml z wersji 2.2.1 do 2.3.5
• Uaktualnione biblioteki Java:
  • io.delta.delta-sharing-spark_2.12 z wersji 0.3.0 do 0.4.0

Apache Spark

Środowisko Databricks Runtime 10.4 LTS obejmuje platformę Apache Spark 3.2.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 10.3 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-38322] [SQL] Etap zapytania pomocy technicznej pokazuje statystyki środowiska uruchomieniowego w trybie objaśnienia sformatowanego
• [SPARK-38162] [SQL] Optymalizowanie planu jednego wiersza w normalnym i optymalizatorze AQE
• [SPARK-38229] [SQL] Nie należy sprawdzać temp/external/ifNotExists z użyciem visitReplaceTable podczas parsowania
• [SPARK-34183] [SS] DataSource V2: wymagana dystrybucja i kolejność przy wykonaniu mikropartiami
• [SPARK-37932] [SQL]Poczekaj na rozwiązanie problemu z brakującymi atrybutami przed zastosowaniem DeduplicateRelations
• [SPARK-37904] [SQL] Ulepsz RebalancePartitions w regułach optymalizatora
• [SPARK-38236] [SQL][3.2][3.1] Sprawdź, czy lokalizacja tabeli jest bezwzględna według wartości "new Path(locationUri).isAbsolute" w tabeli create/alter
• [SPARK-38035] [SQL] Dodaj testy platformy Docker dla wbudowanego dialektu JDBC
• [SPARK-38042] [SQL] Upewnij się, że funkcja ScalaReflection.dataTypeFor działa w przypadku aliasowanych typów tablic
• [SPARK-38273] Iteratory SQL powinny zamknąć bazowe strumienie wejściowe
• [SPARK-38311] [SQL] Naprawiono DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite w trybie ANSI
• [SPARK-38305] [CORE] Jawne sprawdzanie, czy źródło istnieje w unpack() przed wywołaniem metod FileUtil
• [SPARK-38275] [ SS] Uwzględnij użycie pamięci writeBatch jako całkowite użycie pamięci magazynu stanów bazy danych RocksDB
• [SPARK-38132] [SQL] Usuń NotPropagation regułę
• [SPARK-38286] [ SQL] Parametry MaxRows i maxRowsPerPartition mogą ulec przepełnieniu
• [SPARK-38306] [SQL] Fix ExplainSuite,StatisticsCollectionSuite i StringFunctionsSuite w trybie ANSI
• [SPARK-38281] [SQL][testy] Popraw AnalysisSuite w trybie ANSI
• [SPARK-38307] [SQL][testy] Naprawa ExpressionTypeCheckingSuite i CollectionExpressionsSuite w trybie ANSI
• [SPARK-38300] [SQL] Użyj ByteStreams.toByteArray , aby uprościć fileToString i resourceToBytes w catalyst.util
• [SPARK-38304] [SQL] Funkcja Elt() powinna zwracać wartość null, jeśli indeks ma wartość null w trybie ANSI
• [SPARK-38271] PoissonSampler może zwracać więcej wierszy niż MaxRows
• [SPARK-38297] [PYTHON] Jawne rzutowanie wartości zwracanej na DataFrame.to_numpy w kontekście POS
• [SPARK-38295] [SQL][test] Napraw ArithmeticExpressionSuite w trybie ANSI
• [SPARK-38290] [SQL] Naprawianie aplikacji JsonSuite i ParquetIOSuite w trybie ANSI
• [SPARK-38299] [SQL] Usunięcie przestarzałych elementów StringBuilder.newBuilder
• [SPARK-38060] [SQL] Uwzględnianie wartości allowNonNumericNumber podczas analizowania cytowanych wartości NaN i Infinity w czytniku JSON
• [SPARK-38276] [SQL] Dodawanie zatwierdzonych planów TPCDS w trybie ANSI
• [SPARK-38206] [SS] Ignoruj wartość null podczas porównywania typu danych kluczy sprzężenia w sprzężeniu strumienia
• [SPARK-37290] [SQL] — czas planowania wykładniczego w przypadku funkcji niedeterministycznej
• [SPARK-38232] [SQL] Formatowane wyjaśnienie nie uwzględnia podzapytań na etapie zapytania w AQE
• [SPARK-38283] [SQL] Testowanie nieprawidłowej analizy daty/godziny w trybie ANSI
• [SPARK-38140] [SQL] Statystyki kolumn desc (min, max) dla typu znacznika czasu nie są zgodne z wartościami z powodu różnicy strefy czasowej
• [SPARK-38227] [SQL][ss] Zastosowanie ścisłej nullowalności kolumn zagnieżdżonych w oknach czasowych i sesyjnych
• [SPARK-38221] [SQL] Efektywnie iteruje wyrażenia grupujące podczas przenoszenia złożonych wyrażeń grupowania z węzła agregacji
• [SPARK-38216] [SQL] Niepowodzenie na wczesnym etapie, jeśli wszystkie kolumny są partycjonowane podczas tworzenia tabeli Programu Hive
• [SPARK-38214] [SS]Nie trzeba filtrować okien, gdy funkcja windowDuration jest wielokrotną wartością slideDuration
• [SPARK-38182] [SQL] Napraw wyjątek NoSuchElementException, jeśli wypchnięty filtr nie zawiera żadnych odwołań
• [SPARK-38159] [SQL] Dodawanie nowego atrybutu FileSourceMetadataAttribute dla metadanych pliku ukrytego
• [SPARK-38123] [SQL] Ujednolicone użycie DataType jako targetTypeQueryExecutionErrors#castingCauseOverflowError
• [SPARK-38118] [SQL] Func(nieprawidłowy typ danych) w klauzuli HAVING powinien zgłaszać błąd niezgodności danych
• [SPARK-35173] [ SQL][python] Dodaj wsparcie dla dodawania wielu kolumn
• [SPARK-38177] [SQL] Naprawa nieprawidłowych przekształceń w optymalizatorze
• [SPARK-38228] [SQL] Starsze przypisanie pamięci masowej nie powinno się nie udać w przypadku błędu w trybie ANSI
• [SPARK-38173] [SQL] Nie można poprawnie rozpoznać cytowanej kolumny, gdy używana jest opcja quotedRegexColumnNa...
• [SPARK-38130] [SQL] Usuń sprawdzanie posortowania wpisów przez array_sort
• [SPARK-38199] [SQL] Usuń nieużywane dataType określone w definicji IntervalColumnAccessor
• [SPARK-38203] [SQL] Naprawianie aplikacji SQLInsertTestSuite i SchemaPruningSuite w trybie ANSI
• [SPARK-38163] [SQL] Zachowaj klasę SparkThrowable błędów podczas konstruowania konstruktora funkcji
• [SPARK-38157] [SQL] Jawne ustawienie anSI na wartość false w teście timestampNTZ/timestamp.sql i SQLQueryTestSuite w celu dopasowania do oczekiwanych złotych wyników
• [SPARK-38069] [SQL][ss] Ulepszanie obliczania przedziału czasu
• [SPARK-38164] [SQL] Nowe funkcje SQL: try_subtract i try_multiply
• [SPARK-38176] [SQL] Tryb ANSI: zezwalaj na niejawne rzutowanie ciągu do innych prostych typów
• [SPARK-37498] [PYTHON] Dodaj w końcu dla test_reuse_worker_of_parallelize_range
• [SPARK-38198] [SQL][3.2] Naprawa działania QueryExecution.debug#toFile, użycie przekazanego parametru maxFields, gdy explainMode jest ustawiony na CodegenMode.
• [SPARK-38131] [SQL] Używanie klas błędów tylko w wyjątkach napotykanych przez użytkownika
• [SPARK-37652] [SQL] Dodaj test optymalizacji przesuniętego sprzężenia za pomocą operatora UNION
• [SPARK-37585] [SQL] Aktualizowanie metryki wejściowej w źródle danychRDD za pomocą elementu TaskCompletionListener
• [SPARK-38113] [SQL] Używanie klas błędów w błędach wykonywania przestawnych
• [SPARK-38178] [SS] Poprawianie logiki w celu mierzenia użycia pamięci bazy danych RocksDB
• [SPARK-37969] [SQL] HiveFileFormat powinien sprawdzać nazwę pola
• [SPARK-37652] Przywróć "[SQL]Dodaj test optymalizacji niesymetrycznego sprzężenia za pomocą unii"
• [SPARK-38124] [SQL][ss] Wprowadzenie StatefulOpClusteredDistribution i zastosowanie do łączenia strumień-strumień
• [SPARK-38030] [SQL] Canonicalization nie powinna usuwać wartości null atrybutu AttributeReference dataType
• [SPARK-37907] [SQL] Obsługa metody InvokeLike — stałefoldowanie
• [SPARK-37891] [CORE] Dodaj kontrolę scalastyle, aby wyłączyć scala.concurrent.ExecutionContext.Implicits.global
• [SPARK-38150] [SQL] Aktualizacja komentarza dla RelationConversions
• [SPARK-37943] [SQL] Używanie klas błędów w błędach kompilacji grupowania
• [SPARK-37652] [SQL]Dodawanie testu optymalizacji niesymetrycznego sprzężenia za pomocą unii
• [SPARK-38056] [Internetowy interfejs użytkownika][3.2] Rozwiązano problem polegający na tym, że przesyłanie strumieniowe ze strukturą nie działało na serwerze historii podczas korzystania z bazy danych LevelDB
• [SPARK-38144] [CORE] Usuń nieużywaną spark.storage.safetyFraction konfigurację
• [SPARK-38120] [SQL] Napraw HiveExternalCatalog.listPartitions, gdy nazwa kolumny partycji jest wielką literą i jest kropka w wartości partycji
• [SPARK-38122] [Docs] Aktualizowanie klucza aplikacji w usłudze DocSearch
• [SPARK-37479] [SQL] Migracja przestrzeni nazw DROP do domyślnego użycia polecenia V2
• [SPARK-35703] [SQL] Złagodzenie ograniczenia dla łącznia wiaderkowego i usunięcie HashClusteredDistribution
• [SPARK-37983] [SQL] Wycofaj metryki czasu kompilacji agg z agregacji sortowania
• [SPARK-37915] [SQL] Łączenie związków, jeśli istnieje projekt między nimi
• [SPARK-38105] [SQL] Używanie klas błędów w błędach analizowania sprzężeń
• [SPARK-38073] [PYTHON] Aktualizowanie funkcji atexit w celu uniknięcia problemów z późnym powiązaniem
• [SPARK-37941] [SQL] Używanie klas błędów w błędach kompilacji rzutowania
• [SPARK-37937] [SQL] Używanie klas błędów w błędach analizowania sprzężenia bocznego
• [SPARK-38100] [SQL] Usuń nieużywaną metodę prywatną w Decimal
• [SPARK-37987] [SS] Naprawianie niestabilnego testu StreamingAggregationSuite.zmiana schematu stanu podczas ponownego uruchamiania zapytania
• [SPARK-38003] [SQL] Reguła LookupFunctions powinna wyszukiwać tylko funkcje z rejestru funkcji skalarnych
• [SPARK-38075] [ SQL] Naprawa błędu hasNext w iteratorze danych wyjściowych procesu HiveScriptTransformationExec
• [SPARK-37965] [SQL] Usuwanie nazwy pola wyboru podczas odczytywania/zapisywania istniejących danych w orc
• [SPARK-37922] [SQL] Połącz do jednego rzutowania, jeśli możemy bezpiecznie połączyć dwa rzutowania (dla dbr-branch-10.x)
• [SPARK-37675] [SPARK-37793] Zapobiegaj nadpisywaniu scalonych plików wypychanych po sfinalizowaniu mieszania
• [SPARK-38011] [SQL] Usuwanie zduplikowanej i bezużytecznej konfiguracji w pliku ParquetFileFormat
• [SPARK-37929] [SQL] Obsługa trybu kaskadowego dla interfejsu dropNamespace API
• [SPARK-37931] [SQL] W razie potrzeby podaj nazwę kolumny
• [SPARK-37990] [SQL] Obsługa funkcji TimestampNTZ w obiekcie RowToColumnConverter
• [SPARK-38001] [SQL] Zastąp klasy błędów dotyczące nieobsługiwanych funkcji przez UNSUPPORTED_FEATURE
• [SPARK-37839] [SQL] Ds v2 obsługuje częściowe wypychanie agregacji AVG
• [SPARK-37878] [SQL] Migruj SHOW CREATE TABLE na domyślne użycie polecenia w wersji 2
• [SPARK-37731] [SQL] Refaktoryzacja i uporządkowanie wyszukiwania funkcji w analizatorze
• [SPARK-37979] [SQL] Przełączanie do bardziej ogólnych klas błędów w funkcjach AES
• [SPARK-37867] [SQL] Kompilowanie funkcji agregujących wbudowanego dialektu JDBC
• [SPARK-38028] [SQL] Uwidaczniaj wektor strzałki ze strzałkiKolumnVector
• [SPARK-30062] [SQL] Dodaj instrukcję IMMEDIATE do implementacji skracania w dialekcie DB2
• [SPARK-36649] [SQL] Obsługa Trigger.AvailableNow źródła danych platformy Kafka
• [SPARK-38018] [SQL] Napraw funkcję ColumnVectorUtils.populate w celu poprawnej obsługi typu CalendarIntervalType
• [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved powinno obsłużyć ExecutorDecommission jako zakończone
• [SPARK-38019] [CORE] Uczynienie ExecutorMonitor.timedOutExecutors deterministycznym
• [SPARK-37957] [SQL] Poprawnie przekaż flagę deterministyczną dla skalarowych funkcji V2
• [SPARK-37985] [SQL] Napraw niestabilny test dla SPARK-37578
• [SPARK-37986] [SQL] Obsługa funkcji TimestampNTZ w sortowaniu promieniowym
• [SPARK-37967] [SQL] Literal.create obsługuje ObjectType
• [SPARK-37827] [SQL] Umieść kilka wbudowanych właściwości tabeli w V1Table.propertie, aby dostosować je do polecenia V2
• [SPARK-37963] [SQL] Należy zaktualizować identyfikator URI partycji po zmianie nazwy tabeli w inMemoryCatalog
• [SPARK-35442] [SQL] Obsługa propagacji pustej relacji za pomocą agregacji/unii
• [SPARK-37933] [SQL] Zmiana metody przechodzenia reguł wypychania V2ScanRelationPushDown
• [SPARK-37917] [SQL] Przenieś limit 1 dla prawej strony lewego połączenia częściowego/anty, jeśli warunek połączenia jest pusty
• [SPARK-37959] [ML] Naprawa UT sprawdzania norm w KMeans i BiKMeans
• [SPARK-37906] [SQL] spark-sql nie powinien przekazywać ostatniego komentarza do zaplecza
• [SPARK-37627] [SQL] Dodawanie posortowanej kolumny w bucketTransform

Aktualizacje konserwacyjne

Zobacz konserwacyjne aktualizacje środowiska Databricks Runtime 10.4 LTS.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.4 LTS
  • Uwaga: jest to wersja systemu Ubuntu używana przez kontenery środowiska Databricks Runtime. Kontenery DBR działają na maszynach wirtualnych dostawcy usług w chmurze, które mogą używać innej wersji systemu Ubuntu lub dystrybucji systemu Linux.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN wykonanej przez Microsoft z dnia 2022-02-24. Migawka nie jest już dostępna.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)