Databricks Runtime 11.1 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.1 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w lipcu 2022 roku.

Nowe funkcje i ulepszenia

• Photon jest ogólnie dostępny
• Photon: obsługiwane typy wystąpień
• Zestawienie danych zmian może teraz automatycznie obsługiwać znaczniki czasu poza zakresem
• Opis i wyświetlanie funkcji SQL teraz pokazują nazwy Unity Catalog w danych wyjściowych (wersja publiczna)
• wnioskowanie i ewolucja schematu dla plików Parquet w programie Auto Loader (publiczna wersja zapoznawcza)
• program Auto Loader obsługuje teraz ewolucję schematu dla Avro (GA)
• Obsługa Delta Lake dla dynamicznego zastępowania partycji
• obsługa schematu informacji dla obiektów utworzonych w wykazie aparatu Unity
• Ograniczenia dotyczące informacji w tabelach Delta Lake z Unity Catalog (wersja poglądowa)
• Unity Catalog jest ogólnie dostępny
• Udostępnianie różnicowe jest ogólnie dostępne

Photon jest ogólnie dostępny

Aplikacja Photon jest teraz ogólnie dostępna, począwszy od środowiska Databricks Runtime 11.1. Platforma Photon jest natywnym wektorowym silnikiem zapytań na platformie Azure Databricks, napisanym tak, aby był bezpośrednio kompatybilny z interfejsami API platformy Apache Spark, dzięki czemu działa z istniejącym kodem. Technologia Photon została opracowana w języku C++, aby korzystać z nowoczesnego sprzętu i używa najnowszych technik przetwarzania wektoryzowanych zapytań w celu wykorzystania równoległości danych i instrukcji w procesorach CPU, zwiększając wydajność rzeczywistych danych i aplikacji — wszystko to natywnie w usłudze Data Lake.

Photon jest częścią środowiska uruchomieniowego o wysokiej wydajności, które uruchamia istniejące wywołania interfejsu API SQL i DataFrame szybciej, zmniejszając całkowity koszt obciążenia. Narzędzie Photon jest domyślnie używane w magazynach SQL usługi Databricks.

Nowe funkcje i ulepszenia obejmują:

• Nowy operator sortowania wektoryzowanego
• Nowe funkcje okna wektoryzowanego
• Nowe typy wystąpień i rozmiary we wszystkich chmurach

Ograniczenia:

• Funkcje zdefiniowane przez użytkownika języka Scala/Python nie są obsługiwane przez aplikację Photon
• RDD nie jest obsługiwany przez Photon
• Przesyłanie strumieniowe ze strukturą nie jest obsługiwane przez usługę Photon

Aby uzyskać więcej informacji, zobacz następujące ogłoszenia photon.

Photon: Nowy operator sortowania wektoryzowanego

Photon teraz obsługuje wektoryzowane sortowanie, kiedy zapytanie zawiera SORT_BY, CLUSTER_BYlub funkcję okna z ORDER BY.

Ograniczenia: Aplikacja Photon nie obsługuje klauzuli globalnej ORDER BY . Sortowanie na potrzeby oceny okien będzie działać z użyciem technologii Photon, ale sortowanie globalne będzie nadal wykonywane na platformie Spark.

Photon: Nowe funkcje okna wektoryzowanego

Photon obsługuje teraz wektoryzowaną ocenę funkcji okna dla wielu typów ramek i funkcji. Nowe funkcje okien obejmują: row_number, rank, dense_rank, lag, lead, percent_rank, ntilei nth_value. Obsługiwane typy ramek okien: bieżące (UNBOUNDED PRECEDING AND CURRENT ROW), nieograniczone (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), rosnące (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) i malejące (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Ograniczenia:

• Aplikacja Photon obsługuje tylko ROWS wersje wszystkich typów ramek.
• Photon nie obsługuje jeszcze typu ramki przesuwanej (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: obsługiwane typy wystąpień

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Zestawienie danych zmian może teraz automatycznie obsługiwać znaczniki czasu poza zakresem

Zasilanie danymi zmiany (CDF) ma teraz nowy tryb, który pozwala na podawanie znaczników czasu lub wersji wykraczających poza wersję najnowszego zatwierdzenia, bez zgłaszania błędów. Ten tryb jest domyślnie wyłączony. Możesz ją włączyć, ustawiając konfigurację spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled na true.

Polecenia opisania i pokazania funkcji SQL teraz pokazują nazwy w katalogu Unity w wynikach (wersja publiczna)

Polecenia DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAINi SHOW CREATE TABLE teraz zawsze wyświetlają nazwę katalogu w wyniku.

Wnioskowanie schematu i ewolucja plików Parquet w narzędziu do automatycznego ładowania (publiczna wersja zapoznawcza)

Moduł automatycznego ładowania obsługuje teraz wnioskowanie schematu i ewolucję plików Parquet. Podobnie jak w przypadku formatów JSON, CSV i Avro, można teraz użyć kolumny uratowanych danych do ratowania nieoczekiwanych danych, które mogą pojawić się w plikach Parquet. Obejmuje to dane, których nie można przeanalizować w oczekiwanym typie danych, kolumny o różnej wielkości liter, lub dodatkowe kolumny, które nie są częścią oczekiwanego schematu. Automatyczne ładowanie można skonfigurować tak, aby automatycznie ewoluował schemat podczas dodawania nowych kolumn w danych przychodzących. Zobacz Konfigurowanie wnioskowania i ewolucji schematu w Auto Loader.

Auto Loader teraz obsługuje ewolucję schematu dla Avro (GA)

Zobacz Konfigurowanie wnioskowania i ewolucji schematu w Auto Loader.

Obsługa zastępowania dynamicznego partycji w Delta Lake

Delta Lake umożliwia teraz dynamiczny tryb nadpisywania partycji, aby zastąpić wszystkie istniejące dane w każdej logicznej partycji, dla której zapis wprowadzi nowe dane. Zobacz Selektywne zastępowanie danych za pomocą usługi Delta Lake.

Obsługa schematu danych dla obiektów utworzonych w Unity Catalog

Schemat informacji zawiera oparty na języku SQL interfejs API do metadanych różnych obiektów bazy danych, w tym tabel i widoków, ograniczeń i procedur. W schemacie informacji znajduje się zestaw widoków opisujących obiekty znane wykazowi schematu, do którego masz uprawnienia. Schemat informacyjny katalogu SYSTEM zwraca informacje o obiektach we wszystkich katalogach w metamagazynie. Zobacz Schemat informacji.

Ograniczenia informacyjne dotyczące tabel Delta Lake z Unity Catalog (publiczna wersja zapoznawcza)

Teraz można definiować ograniczenia klucza głównego i klucza obcego na tabelach Delta Lake przy użyciu Unity Catalog. Ograniczenia informacyjne nie są wymuszane. Zobacz klauzulę CONSTRAINT.

Katalog Unity jest ogólnodostępny

Unity Catalog jest teraz dostępny, począwszy od wersji środowiska wykonawczego Databricks Runtime 11.1. Zobacz Co to jest Katalog Unity?.

Udostępnianie różnicowe jest ogólnie dostępne

Udostępnianie różnicowe jest teraz ogólnie dostępne, począwszy od środowiska Databricks Runtime 11.1.

Udostępnianie różnicowe usługi Databricks w usłudze Databricks jest w pełni zarządzane bez konieczności wymiany tokenów. Możesz tworzyć i zarządzać dostawcami, adresatami oraz udziałami w interfejsie użytkownika lub za pomocą interfejsów API SQL i REST.

Niektóre funkcje obejmują ograniczanie dostępu adresatów, wykonywanie zapytań dotyczących danych przy użyciu list dostępu do adresów IP i ograniczeń regionów oraz delegowanie zarządzania udostępnianiem delty do osób niebędących administratorami. Możesz również wykonywać zapytania dotyczące zmian danych lub udostępniać wersje przyrostowe za pomocą zestawienia zmian danych. Zobacz Co to jest udostępnianie różnicowe?.

Zmiany zachowania

Redakcja właściwości poufnych dla DESCRIBE TABLE oraz POKAŻ WŁAŚCIWOŚCI TABLE

Właściwości poufne są redagowane w ramkach danych i danych wyjściowych DESCRIBE TABLE poleceń i SHOW TABLE PROPERTIES .

Klastry zadań są domyślnie w trybie dostępu pojedynczego użytkownika za pomocą środowiska Databricks Runtime 11.1 lub nowszego

Aby być zgodnym z Unity Catalog, klastry zadań używające środowiska Databricks Runtime 11.1 lub nowszego utworzone za pomocą interfejsu użytkownika lub API zadań będą domyślnie działały w trybie dostępu pojedynczego użytkownika. Tryb dostępu pojedynczego użytkownika obsługuje większość języków programowania, funkcji klastra i funkcji nadzoru nad danymi. Nadal można skonfigurować standardowy tryb dostępu (dawniej tryb dostępu współdzielonego) za pomocą interfejsu użytkownika lub interfejsu API, ale języki lub funkcje mogą być ograniczone.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • filelock z wersji 3.6.0 do 3.7.1
  • wykres z 5.6.0 do 5.8.2
  • protobuf z wersji 3.20.1 do 4.21.2
• Uaktualnione biblioteki języka R:
  • chron z 2.3-56 do 2.3-57
  • Interfejs DBI z wersji 1.1.2 do 1.1.3
  • dbplyr z wersji 2.1.1 do 2.2.0
  • e1071 z 1.7-9 do 1.7-11
  • przyszłość z wersji 1.25.0 do 1.26.1
  • globals od wersji 0.14.0 do wersji 0.15.1
  • hardhat z 0.2.0 do 1.1.0
  • ipred z 0.9-12 do 0.9-13
  • openssl z 2.0.0 do 2.0.2
  • równolegle z wersji 1.31.1 do 1.32.0
  • processx z wersji 3.5.3 do 3.6.1
  • progressr z 0.10.0 do 0.10.1
  • serwer proxy z 0.4-26 do 0.4-27
  • ps z 1.7.0 do 1.7.1
  • randomForest z 4.7-1 do 4.7-1.1
  • roxygen2 z 7.1.2 do 7.2.0
  • Rserve z 1.8-10 do 1.8-11
  • RSQLite z wersji 2.2.13 do 2.2.14
  • sparklyr z 1.7.5 do 1.7.7
  • tinytex z 0.38 do 0.40
  • usethis z 2.1.5 do 2.1.6
  • xfun od 0.30 do 0.31
• Uaktualnione biblioteki Java:
  • io.delta.delta-sharing-spark_2.12 z 0.4.0 do 0.5.0

Apache Spark

Środowisko Databricks Runtime 11.2 obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-40054] [SQL] Przywracanie składni obsługi błędów try_cast()
• [SPARK-39489] [CORE] Zwiększanie wydajności rejestrowania zdarzeń JsonProtocol przy użyciu narzędzia Jackson zamiast Json4s
• [SPARK-39319] [CORE][sql] Tworzenie kontekstów zapytań w ramach SparkThrowable
• [SPARK-40085] [SQL] Użyj klasy błędów INTERNAL_ERROR zamiast IllegalStateException, aby wskazać usterki
• [SPARK-40001] [SQL] Spraw, aby zapisy NULL w kolumnach DOMYŚLNYch JSON zapisywały 'null' do magazynu.
• [SPARK-39635] [SQL] Obsługa metryk sterowników w interfejsie API metryk niestandardowych ds w wersji 2
• [SPARK-39184] [SQL] Obsługa niewymiarowej tablicy wyników w sekwencjach dat i znaczników czasu
• [SPARK-40019] [SQL] Refaktoryzacja komentarza containNull w ArrayType i poprawa niejasności logiki w wyrażeniu collectionOperatora dotyczącym containsNull
• [SPARK-39989] [SQL] Obsługa szacowania statystyk kolumn, jeśli jest to wyrażenie z możliwością składania
• [SPARK-39926] [SQL] Naprawa błędu obsługi wartości domyślnych kolumn przy niewektorowych skanach Parquet
• [SPARK-40052] [SQL] Obsługa bajtów bezpośrednich w vectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Naprawianie typu interwału docelowego w błędach przepełnienia rzutu
• [SPARK-39835] [SQL] Naprawa EliminateSorts polegająca na usunięciu globalnego sortowania znajdującego się poniżej sortowania lokalnego
• [SPARK-40002] [SQL] Nie wypychaj limitu przez okno przy użyciu ntile
• [SPARK-39976] [SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
• [SPARK-39985] [SQL] Włącz niejawne wartości kolumn domyślnych we wstawkach z ramek danych
• [SPARK-39776] [SQL] JOIN opisowy ciąg powinien dodać typ połączenia
• [SPARK-38901] [SQL] Rozszerzenie DS w wersji 2 obsługuje funkcje misc wypychania
• [SPARK-40028] [SQL][kontynuacja] Ulepszenie przykładów funkcji tekstowych
• [SPARK-39983] [CORE][sql] Nie buforuj nieserializowane relacje emisji na sterowniku
• [SPARK-39812] [SQL] Uprość kod, który tworzy się za pomocą polecenia AggregateExpressiontoAggregateExpression
• [SPARK-40028] [SQL] Dodawanie przykładów binarnych dla wyrażeń ciągu
• [SPARK-39981] [SQL] Zgłaszanie wyjątku QueryExecutionErrors.castingCauseOverflowErrorInTableInsert w elemecie Cast
• [SPARK-40007] [PYTHON][sql] Dodawanie trybu do funkcji
• [SPARK-40008] [SQL] Obsługa rzutowania całkowitoliczników do interwałów ANSI
• [SPARK-40003] [PYTHON][sql] Dodawanie "mediany" do funkcji
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand powinien ponownie zapisać relację wyników
• [SPARK-39951] [SQL] Aktualizacja sprawdzania kolumnowego Parquet V2 dla zagnieżdżonych pól
• [SPARK-39775] [ CORE][avro] Wyłącz sprawdzanie poprawności wartości domyślnych podczas analizowania schematów Avro
• [SPARK-33236] [shuffle] Backport to DBR 11.x: Włączanie usługi mieszania opartej na wypychaniach w celu przechowywania stanu bazy danych na poziomie NM w celu zachowania ponownego uruchomienia
• [SPARK-39836] [SQL] Uprość program V2ExpressionBuilder, wyodrębniając typową metodę.
• [SPARK-39867] [SQL] Globalny limit nie powinien dziedziczyć elementu OrderPreservingUnaryNode
• [SPARK-39873] [SQL] Usuń OptimizeLimitZero i scal je w EliminateLimits
• [SPARK-39961] [SQL] Tłumaczenie rzutowania w wersji 2 w wersji 2, jeśli rzutowanie jest bezpieczne
• [SPARK-39872] [SQL] Zmiana na użycie BytePackerForLong#unpack8Values z interfejsem API danych wejściowych tablicy w programie VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Usuń niepotrzebne AliasHelper lub PredicateHelper dla niektórych reguł
• [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Zastosuj projekcję, gdy atrybuty grupy są puste
• [SPARK-39900] [SQL] Zajmowanie się częściowym lub negowanym warunkiem w przepychaniu predykatów formatu binarnego
• [SPARK-39904] [SQL] Zmień nazwę inferDate na preferujDate i wyjaśnij semantyka opcji w źródle danych CSV
• [SPARK-39958] [SQL] Dodawanie dziennika ostrzeżeń, gdy nie można załadować niestandardowego obiektu metryki
• [SPARK-39936] [SQL] Przechowywanie schematu we właściwościach widoków platformy Spark
• [SPARK-39932] [SQL] WindowExec powinien wyczyścić końcowy bufor partycji
• [SPARK-37194] [SQL] Unikaj niepotrzebnego sortowania przy zapisie v1, jeśli nie jest to partycja dynamiczna
• [SPARK-39902] [SQL] Dodawanie szczegółów skanowania do węzła skanowania planu platformy Spark w usłudze SparkUI
• [SPARK-39865] [SQL] Pokaż odpowiednie komunikaty o błędach przepełnienia podczas wstawiania danych do tabeli
• [SPARK-39940] [SS] Odśwież tabelę katalogu dla zapytania strumieniowego z wykorzystaniem ujścia DSv1
• [SPARK-39827] [SQL] Używanie klasy ARITHMETIC_OVERFLOW error w przepełnieniu int add_months()
• [SPARK-39914] [SQL] Dodawanie filtru DS v2 do konwersji filtru w wersji 1
• [SPARK-39857] [SQL] Ręczne backport DBR 11.x; V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu w predykacie #43454
• [SPARK-39840] [SQL][python] Wyodrębnij PythonArrowInput jako symetrię do PythonArrowOutput
• [SPARK-39651] [SQL] Warunek filtru przycinania, jeśli porównanie z rand jest deterministyczne
• [SPARK-39877] [PYTHON] Dodaj odwrotne przestawienie do interfejsu API ramki danych PySpark
• [SPARK-39847] [ WARMFIX][ss] Naprawianie stanu wyścigu w RocksDBLoader.loadLibrary() w przypadku przerwania wątku wywołującego
• [SPARK-39909] [SQL] Organizowanie sprawdzania informacji wypychanych dla aplikacji JDBCV2Suite
• [SPARK-39834] [SQL][ss] Uwzględnij statystyki źródła i ograniczenia dla LogicalRDD, jeśli pochodzą z DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) wypełnia brakujące nowe kolumny z wartością null
• [SPARK-39860] [SQL] Więcej wyrażeń powinno rozszerzać predykat
• [SPARK-39823] [SQL][python] Zmień nazwę Dataset.as na Dataset.to i dodaj DataFrame.to w PySpark
• [SPARK-39918] [SQL][pomocnicza] Zastąp wyraz "nieporównywalny" ciągiem "nieporównywalny" w komunikacie o błędzie
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu In
• [SPARK-39862] [SQL] Ręczne backport dla żądania ściągnięcia 43654 przeznaczonego dla DBR 11.x: aktualizacja SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS zezwalać na ALTER TABLE/odmawiać ALTER TABLE ... Polecenie ADD COLUMN oddzielnie.
• [SPARK-39844] [SQL] Ręczne wycofywanie dla żądania ściągnięcia 43652 przeznaczonego dla DBR 11.x
• [SPARK-39899] [SQL] Naprawa przekazania parametrów komunikatów do InvalidUDFClassException
• [SPARK-39890] [SQL] Make TakeOrderedAndProjectExec dziedziczy aliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Obsługa obiektu CharType w narzędziu PySpark
• [SPARK-38864] [SQL] Dodaj unpivot / melt do zestawu danych
• [SPARK-39864] [SQL] Z opóźnieniem zarejestruj element ExecutionListenerBus
• [SPARK-39808] [SQL] Obsługa trybu funkcji agregującej
• [SPARK-39839] [SQL] Obsługa specjalnego przypadku zmiennej długości dziesiętnej o zmiennej długości dziesiętnej z niezerowym przesunięciemAndSize w sprawdzaniu integralności strukturalnej UnsafeRow
• [SPARK-39875] [SQL] Zmień protected metodę w klasie końcowej na private lub package-visible
• [SPARK-39731] [SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyMMdd" przy użyciu zasad analizatora czasu POPRAWIONO
• [SPARK-39805] [SS] Przestarzałe trigger.Once i podwyższanie poziomu trigger.AvailableNow
• [SPARK-39784] [SQL] Umieść wartości literałów po prawej stronie filtra źródła danych po przetłumaczeniu wyrażenia Catalyst na filtr źródła danych
• [SPARK-39672] [SQL][3.1] Usuwanie projektu przed filtrem z skorelowanym podzapytaniem
• [SPARK-39552] [SQL] Ujednolicenie wersji 1 i 2 DESCRIBE TABLE
• [SPARK-39806] [SQL] Uzyskiwanie dostępu do _metadata w tabeli partycjonowanej może spowodować awarię zapytania
• [SPARK-39810] [SQL] Catalog.tableExists powinna obsługiwać zagnieżdżoną przestrzeń nazw
• [SPARK-37287] [SQL] Wydzielenie dynamicznego partycjonowania oraz sortowania według wiader z FileFormatWriter
• [SPARK-39469] [SQL] Określanie typu daty dla wnioskowania schematu CSV
• [SPARK-39148] [SQL] Wypychanie agregacji DS w wersji 2 może współdziałać z OFFSET lub LIMIT
• [SPARK-39818] [SQL] Poprawka błędu w typach ARRAY, STRUCT, MAP z wartościami domyślnymi z polami NULL
• [SPARK-39792] [SQL] Dodaj wartość DecimalDivideWithOverflowCheck dla średniej dziesiętnej
• [SPARK-39798] [SQL] Replcace toSeq.toArray z .toArray[Any] w konstruktorze GenericArrayData
• [SPARK-39759] [SQL] Implementowanie indeksów list w JDBC (dialekt H2)
• [SPARK-39385] [SQL] Obsługuje wypychanie REGR_AVGX i REGR_AVGY
• [SPARK-39787] [SQL] Użyj klasy error w błędzie analizowania funkcji to_timestamp
• [SPARK-39760] [PYTHON] Obsługa platformy Varchar w PySpark
• [SPARK-39557] [SQL] Ręczne przeniesienie do DBR 11.x: Wsparcie typów ARRAY, STRUCT, MAP jako wartości domyślne
• [SPARK-39758] [SQL][3.3] Naprawianie serwera NPE z funkcji regexp w nieprawidłowych wzorcach
• [SPARK-39749] [SQL] Tryb SQL ANSI: użyj reprezentacji zwykłego ciągu podczas rzutowania dziesiętnego na ciąg
• [SPARK-39704] [SQL] Implementowanie funkcji createIndex & dropIndex i indexExists w JDBC (dialekt H2)
• [SPARK-39803] [SQL] Użyj LevenshteinDistance zamiast StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Obsługa typu TimestampNTZ w źródle danych JDBC
• [SPARK-39781] [SS] Dodano obsługę udostępniania max_open_files dostawcy magazynu stanów bazy danych Rocksdb
• [SPARK-39719] [R] Implementowanie databaseExists/getDatabase w usłudze SparkR obsługuje przestrzeń nazw 3L
• [SPARK-39751] [SQL] Zmień nazwę metryki agregacji kluczy skrótu
• [SPARK-39772] [SQL] Przestrzeń nazw powinna mieć wartość null, gdy baza danych ma wartość null w starych konstruktorach
• [SPARK-39625] [ SPARK-38904][sql] Add Dataset.as(StructType)
• [SPARK-39384] [SQL] Kompilowanie wbudowanych funkcji agregacji regresji liniowej dla dialektu JDBC
• [SPARK-39720] [R] Implementowanie tableExists/getTable w usłudze SparkR dla przestrzeni nazw 3L
• [SPARK-39744] [SQL] REGEXP_INSTR Dodawanie funkcji
• [SPARK-39716] [R] Utwórz bieżącą bazę danych/setCurrentDatabase/listCatalogs w usłudze SparkR obsługują przestrzeń nazw 3L
• [SPARK-39788] [SQL] Zmień nazwę catalogName na dla dialectNameJdbcUtils
• [SPARK-39647] [CORE] Rejestrowanie funkcji wykonawczej w usłudze ESS przed zarejestrowaniem menedżera bloków
• [SPARK-39754] [CORE][sql] Usuń nieużywane import lub niepotrzebne {}
• [SPARK-39706] [SQL] Ustaw brakującą kolumnę z wartością defaultValue jako stałą w ParquetColumnVector
• [SPARK-39699] [SQL] Inteligentne tworzenie wyrażeń tworzenia kolekcji przez zwijanie Projektu
• [SPARK-39737] [SQL] PERCENTILE_CONT i PERCENTILE_DISC powinien obsługiwać filtr agregowany
• [SPARK-39579] [SQL][python][R] Umożliwienie kompatybilności ListFunctions/getFunction/functionExists z trójwarstwową przestrzenią nazw
• [SPARK-39627] [SQL] Wypychanie JDBC V2 powinno ujednolicić interfejs API kompilacji
• [SPARK-39748] [SQL][ss] Uwzględnij plan logiczny źródła dla LogicalRDD, jeśli pochodzi z DataFrame
• [SPARK-39385] [SQL] Tłumaczenie funkcji agregacji regresji liniowej na potrzeby wypychania
• [SPARK-39695] [SQL] REGEXP_SUBSTR Dodawanie funkcji
• [SPARK-39667] [SQL] Dodaj inne obejście, jeśli nie ma wystarczającej ilości pamięci do skompilowania i emisji tabeli
• [SPARK-39666] [ES-337834][sql] Użyj UnsafeProjection.create, aby spełniać spark.sql.codegen.factoryMode w ExpressionEncoder
• [SPARK-39643] [SQL] Zakaz wyrażeń podzapytania w wartościach domyślnych
• [SPARK-38647] [SQL] Dodaj SupportsReportOrdering jako domieszkę w interfejsie dla Scan (DataSourceV2)
• [SPARK-39497] [SQL] Popraw wyjątek analizy dla brakującej kolumny klucza mapy
• [SPARK-39661] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
• [SPARK-39713] [SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL]Usługa DS w wersji 2 obsługuje funkcje wypychania daty/godziny
• [SPARK-39638] [SQL] Zmień, aby używać ConstantColumnVector do przechowywania kolumn partycji w OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Czyszczenie z ColumnVectorUtils
• [SPARK-39231] [SQL] Użyj ConstantColumnVector zamiast On/OffHeapColumnVector do przechowywania kolumn partycji w VectorizedParquetRecordReader
• [SPARK-39547] [SQL] Element V2SessionCatalog nie powinien zgłaszać wyjątku NoSuchDatabaseException w elemenie loadNamspaceMetadata
• [SPARK-39447] [SQL] Unikaj funkcji AssertionError w elemencie AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Przeróbka MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec powinien przestrzegać kolejności danych wyjściowych podrzędnych
• [SPARK-39606] [SQL] Używanie statystyk podrzędnych do szacowania operatora zamówienia
• [SPARK-39611] [PYTHON][ps] Naprawić nieprawidłowe aliasy w array_ufunc
• [SPARK-39656] [SQL][3.3] Naprawienie nieprawidłowej przestrzeni nazw w opisieNamespaceExec
• [SPARK-39675] [SQL] Przełącz konfigurację "spark.sql.codegen.factoryMode" z celu testowania do celu wewnętrznego
• [SPARK-39139] [SQL] Ds v2 obsługuje wypychanie DS V2 UDF
• [SPARK-39434] [SQL] Podaj kontekst zapytania o błędzie czasu wykonywania, gdy indeks tablicy jest poza granicą
• [SPARK-39479] [SQL] Usługa DS w wersji 2 obsługuje funkcje matematyczne wypychania (nie ANSI)
• [SPARK-39618] [SQL] REGEXP_COUNT Dodawanie funkcji
• [SPARK-39553] [CORE] wielowątkowe wyrejestrowanie tasowania nie powinno rzucać NullPointerException (NPE) podczas używania Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Dodawanie pliku do adresu brakujących funkcji ogólnych biblioteki pandas
• [SPARK-39444] [SQL] Dodawanie funkcji OptimizeSubqueries do listy nonExcludableRules
• [SPARK-39316] [SQL] Scalanie wartości PromotePrecision i CheckOverflow do arytmetyki binarnej dziesiętnej
• [SPARK-39505] [Interfejs użytkownika] Zawartość dziennika ucieczki renderowana w interfejsie użytkownika
• [SPARK-39448] [SQL] Dodawanie ReplaceCTERefWithRepartition do listy nonExcludableRules
• [SPARK-37961] [SQL] Zastąpij wartość maxRows/maxRowsPerPartition dla niektórych operatorów logicznych
• [SPARK-35223] Przywracanie dodawania problemuNavigationLink
• [SPARK-39633] [SQL] Sygnatura czasowa obsługi w sekundach dla elementu TimeTravel przy użyciu opcji ramki danych
• [SPARK-38796] [SQL] Zaktualizuj dokumentację dotyczącą formatów liczb za pomocą funkcji {try_}to_number
• [SPARK-39650] [SS] Naprawiono błędny schemat danych w deduplikacji przesyłania strumieniowego z zachowaniem zgodności wstecznej
• [SPARK-39636] [CORE][ui] Naprawiono wiele usterek w JsonProtocol, które wpływają na poziomy przechowywania (StorageLevels) i żądania zasobów zadania/wykonawcy (Task/Executor ResourceRequests)
• [SPARK-39432] [SQL] Zwracanie ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
• [SPARK-39349] Dodawanie scentralizowanej metody CheckError dla kontroli jakości ścieżki błędu
• [SPARK-39453] [SQL] Ds v2 obsługuje wypychanie niegregowanych funkcji (innych niż ANSI)
• [SPARK-38978] [SQL] DS V2 obsługuje operator wypychania OFFSET
• [SPARK-39567] [SQL] Obsługa interwałów ANSI w funkcjach percentylu
• [SPARK-39383] [SQL] Obsługuje kolumny DOMYŚLNE w ALTER TABLE ALTER COLUMNS do źródeł danych w wersji 2
• [SPARK-39396] [ SQL] Naprawienie wyjątku logowania LDAP "kod błędu 49 — nieprawidłowe poświadczenia"
• pl-PL: [SPARK-39548] [SQL] Komenda CreateView z zapytaniem zawierającym klauzulę okna napotkała problem z nieprawidłowym odnalezieniem definicji okna.
• [SPARK-39575] [AVRO] dodaj funkcję ByteBuffer#rewind po ByteBuffer#get w Avr...
• [SPARK-39543] Opcja DataFrameWriterV2 powinna zostać przekazana do właściwości magazynu, jeśli powrót do wersji 1
• [SPARK-39564] [SS] Uwidacznia informacje tabeli wykazu do planu logicznego w zapytaniu przesyłanym strumieniowo
• [SPARK-39582] [SQL] Poprawiono znacznik "Since" dla elementu array_agg
• [SPARK-39388] [SQL] Ponowne użycie orcSchema podczas wypychania predykatów Orc
• [SPARK-39511] [SQL] Ulepszenie lokalnego limitu 1 dla prawej strony lewego półłączenia/antyłączenia, jeśli warunek łączenia jest pusty
• [SPARK-38614] [SQL] Nie wypychaj limitu przez okno korzystające z percent_rank
• [SPARK-39551] [SQL] Dodawanie nieprawidłowego sprawdzania planu AQE
• [SPARK-39383] [SQL] Obsługują kolumny DOMYŚLNE w ALTER TABLE ADD COLUMNS do źródeł danych w wersji 2
• [SPARK-39538] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
• [SPARK-39383] [SQL] Ręczne dostosowanie do DBR 11.x: Refaktoryzacja obsługi kolumny DEFAULT, aby pominąć przekazywanie podstawowego analizatora
• [SPARK-39397] [SQL] Zrelaksuj aliasAwareOutputExpression, aby obsługiwać alias za pomocą wyrażenia
• [SPARK-39496] [SQL] Obsługa struktury null w pliku Inline.eval
• [SPARK-39545] [SQL] Zastąp concat metodę dla ExpressionSet języka Scala 2.13, aby zwiększyć wydajność
• [SPARK-39340] [SQL] Funkcja DS v2 agg pushdown powinna zezwalać na kropki w nazwie kolumn najwyższego poziomu
• [SPARK-39488] [SQL] Upraszczanie obsługi błędów obiektu TempResolvedColumn
• [SPARK-38846] [SQL] Dodawanie jawnego mapowania danych między typem liczbowym teradata i typem dziesiętny platformy Spark
• [SPARK-39520] [SQL] Przesłoń -- metodę dla ExpressionSet klasy Scala 2.13
• [SPARK-39470] [SQL] Obsługa rzutowania interwałów ANSI na liczby dziesiętne
• [SPARK-39477] [SQL] Usuń informacje "Liczba zapytań" ze złotych plików SQLQueryTestSuite
• [SPARK-39419] [SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
• [SPARK-39061] [SQL] Poprawnie ustaw wartość null dla atrybutów wyjściowych Inline
• [SPARK-39320] [SQL] Obsługa funkcji agregującej MEDIAN
• [SPARK-39261] [CORE] Ulepszanie formatowania nowego wiersza dla komunikatów o błędach
• [SPARK-39355] [SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE powinien zredagować właściwości
• [SPARK-37623] [SQL] Obsługa funkcji agregującej ANSI: regr_intercept
• [SPARK-39374] [SQL] Ulepszanie komunikatu o błędzie dla listy kolumn określonej przez użytkownika
• [SPARK-39255] [SQL][3.3] Ulepszanie komunikatów o błędach
• [SPARK-39321] [SQL] Refaktoryzacja funkcji TryCast w celu użycia elementu RuntimeReplaceable
• [SPARK-39406] [PYTHON] Akceptowanie tablicy NumPy w elemecie createDataFrame
• [SPARK-39267] [SQL] Czyszczenie niepotrzebnego symbolu dsl
• [SPARK-39171] [SQL] Ujednolicenie wyrażenia rzutowania
• [SPARK-28330] [SQL] Obsługa języka ANSI SQL: klauzula przesunięcia wyniku w wyrażeniu zapytania
• [SPARK-39203] [SQL] Przepisanie lokalizacji tabeli na bezwzględny URI na podstawie URI bazy danych
• [SPARK-39313] [SQL] toCatalystOrdering powinna zakończyć się niepowodzeniem, jeśli nie można przetłumaczyć elementu V2Expression
• [SPARK-39301] [SQL][python] Korzystanie z właściwości LocalRelation i uwzględnianie rozmiaru partii strzałki w elemenie createDataFrame z optymalizacją strzałek
• [SPARK-39400] [SQL] spark-sql powinien usunąć katalog zasobów hive we wszystkich przypadkach

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 11.1.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-08-15.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)