Databricks Runtime 11.0 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.0 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w czerwcu 2022 r.

Nowe funkcje i ulepszenia

• Nowa wersja platformy Apache Spark
• Notesy języka Python używają teraz jądra IPython
• Obsługa adresów ipywidgets
• Łącznik usługi Synapse zapisuje teraz dane Parquet w trybie nie starszym
• Schemat HTTPS jest teraz wymuszany, gdy klient ABFS używa tokenu SAS
• SQL: DESC jest teraz aliasem dla polecenia DESCRIBE
• SQL: Szczegóły wersji nowych current_version funkcji wyjściowych
• Usunięcie brakującego ograniczenia w tabeli Delta powoduje teraz błąd
• SQL: nowa klauzula EXCEPT w instrukcji SELECT wyklucza kolumny z wyboru
• Obsługa usuwania kolumn w tabelach delty (publiczna wersja zapoznawcza)
• COPY INTO Ulepszenia
• CONVERT TO DELTA jest teraz obsługiwana w środowiskach z włączoną obsługą Unity Catalog (publiczna wersja zapoznawcza)

Nowa wersja platformy Apache Spark

Środowisko Databricks Runtime 11.0 i Databricks Runtime 11.0 Photon obejmują platformę Apache Spark 3.3.0. Aby uzyskać szczegółowe informacje, zobacz Apache Spark.

Notesy języka Python używają teraz jądra IPython

W środowisku Databricks Runtime 11.0 lub nowszym notesy języka Python używają jądra IPython do wykonywania kodu w języku Python. Zobacz jądro IPython.

Obsługa adresów ipywidgets

Teraz możesz użyć funkcji ipywidgets, aby udostępnić notesy języka Python w usłudze Databricks. Zobacz ipywidgets.

Łącznik usługi Synapse zapisuje teraz dane Parquet w trybie nie starszym

Łącznik usługi Azure Synapse zapisuje teraz dane Parquet w trybie nie starszym. Zachowuje format znacznika INT96 czasu podczas korzystania z technologii PolyBase i COPY poleceń zarówno dla obciążeń wsadowych, jak i przesyłania strumieniowego.

Schemat HTTPS jest teraz wymuszany, gdy klient ABFS używa tokenu SAS

Gdy klient systemu plików usługi Azure Blob (ABFS) używa tokenu sygnatury dostępu współdzielonego (SAS), schemat HTTPS jest teraz wymuszany.

SQL: DESC jest teraz aliasem dla polecenia DESCRIBE

Teraz możesz użyć DESC jako aliasu dla DESCRIBE podczas opisywania zewnętrznych lokalizacji lub danych logowania do magazynu. Na przykład:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Szczegóły wersji nowych current_version funkcji wyjściowych

Nowa current_version funkcja zwraca bieżącą wersję środowiska Databricks Runtime, jeśli jest dostępna, bieżącą wersję SQL usługi Databricks, jeśli jest dostępna, oraz inne powiązane szczegóły wersji. Ta nowa funkcja umożliwia wykonywanie zapytań o informacje dotyczące wersji. Zobacz current_version funkcję.

Porzucanie brakującego ograniczenia tabeli delty powoduje teraz wystąpienie błędu

Jeśli teraz spróbujesz usunąć ograniczenie tabeli delty według nazwy, a to ograniczenie nie istnieje, zostanie wyświetlony błąd. Aby uzyskać poprzednie zachowanie, które nie zgłasza błędu, jeśli ograniczenie nie istnieje, należy teraz użyć instrukcji IF EXISTS. Zobacz ALTER TABLE.

SQL: Nowa klauzula EXCEPT w poleceniu SELECT wyklucza kolumny z wyboru

SELECT instrukcje obsługują teraz klauzulę EXCEPT, aby wykluczyć kolumny z wybierania. Na przykład SELECT * EXCEPT (x) FROM table zwraca wszystkie kolumny z tablewyjątkiem x. Kolumny zagnieżdżone są również dozwolone. Na przykład SELECT * EXCEPT (x.a) FROM table zwraca wszystkie tablekolumny, ale pomija pole a z struktury x.

Obsługa usuwania kolumn w tabelach delty (publiczna wersja zapoznawcza)

Możesz użyć ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> lub ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *), aby usunąć kolumnę lub listę kolumn odpowiednio z tabeli delty jako operację tylko dla metadanych. Kolumny są skutecznie "miękko usuwane", ponieważ nadal znajdują się w leżących u podstaw plikach Parquet, ale nie są już widoczne dla tabeli Delta.

Można użyć REORG TABLE <table-name> APPLY (PURGE), aby wyzwolić ponowne zapisywanie pliku w plikach, które zawierają wszelkie dane usunięte nietrwale, takie jak porzucone kolumny.

Możesz użyć VACUUM, aby usunąć usunięte pliki z magazynu fizycznego, w tym stare pliki zawierające porzucone kolumny i zostały przepisane przez REORG TABLE.

COPY INTO Ulepszenia

Teraz możesz utworzyć puste tabele zastępcze Delta, aby schemat został później wywnioskowany podczas polecenia COPY INTO.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Poprzednia instrukcja SQL jest idempotentna i można zaplanować jej uruchomienie w celu jednokrotnego pobrania danych do tabeli Delta.

Jeśli nie można odczytać danych, których nie można odczytać z powodu problemu z uszkodzeniem, możesz pominąć uszkodzone pliki, ustawiając wartość na w pliku ignoreCorruptFilestrueFORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Polecenie COPY INTO zwraca liczbę pominiętych plików z powodu uszkodzenia w kolumnie num_skipped_corrupt_files. Ta metryka jest również wyświetlana w kolumnie operationMetrics pod numSkippedCorruptFiles po uruchomieniu DESCRIBE HISTORY w tabeli Delta.

Uszkodzone pliki nie są śledzone przez COPY INTOprogram , więc można je ponownie załadować w kolejnym uruchomieniu, jeśli uszkodzenie zostanie naprawione. Możesz zobaczyć, które pliki są uszkodzone, uruchamiając polecenie COPY INTO w VALIDATE trybie.

CONVERT TO DELTA jest teraz obsługiwane w środowiskach, w których dostępny jest katalog Unity (publiczna wersja zapoznawcza)

W środowiskachUnity-Catalog z obsługą można teraz:

• Przekonwertuj pliki Parquet w lokalizacjach zewnętrznych na usługę Delta Lake.
• Konwertowanie tabel zewnętrznych Parquet na tabele Delta.

Zmiany zachowania

• SQL: lpad funkcje rpad obsługują teraz sekwencje bajtów
• Format ciągu w format_string systemie i printf nie jest już dozwolony %0$
• wartości null w plikach CSV są teraz zapisywane jako puste ciągi bez cudzysłów domyślnie
• właściwość tabeli external jest teraz zarezerwowana
• Usługa Log4j została uaktualniona z wersji Log4j 1 do usługi Log4j 2
• Biblioteki zainstalowane z narzędzia Maven są teraz rozpoznawane w płaszczyźnie obliczeniowej domyślnie

SQL: lpad funkcje rpad obsługują teraz sekwencje bajtów

Funkcje lpad i rpad zostały zaktualizowane w celu dodania obsługi sekwencji bajtów oprócz ciągów.

Format ciągu w format_string systemie i printf nie jest już dozwolony %0$

Określenie formatu %0$ w funkcjach format_string i printf zgłasza teraz błąd domyślnie. Ta zmiana polega na zachowaniu oczekiwanego zachowania przy użyciu poprzednich wersji środowiska Databricks Runtime i typowych baz danych innych firm. Pierwszy argument powinien zawsze odwoływać się do %1$, gdy używasz indeksu argumentu, aby wskazać jego pozycję na liście argumentów.

Wartości null w plikach CSV są teraz zapisywane jako puste ciągi bez cudzysłów domyślnie

Wartości null w plikach CSV zostały wcześniej zapisane jako cytowane puste ciągi. W tej wersji wartości null w plikach CSV są domyślnie zapisywane jako puste ciągi bez cudzysłów. Aby powrócić do poprzedniego zachowania, ustaw opcję nullValue na "" dla operacji zapisu.

Właściwość tabeli external jest teraz zarezerwowana

Właściwość external jest teraz domyślnie zarezerwowaną właściwością tabeli. Wyjątki są teraz zgłaszane podczas używania external właściwości z klauzulami CREATE TABLE ... TBLPROPERTIES i ALTER TABLE ... SET TBLPROPERTIES .

Usługa Log4j została uaktualniona z wersji Log4j 1 do usługi Log4j 2

Program Log4j 1 jest uaktualniany do wersji Log4j 2. Starsze zależności log4j 1 są usuwane.

Jeśli zależysz od klas Log4j 1, które zostały wcześniej uwzględnione w środowisku Databricks Runtime, te klasy już nie istnieją. Należy uaktualnić zależności do usługi Log4j 2.

Jeśli masz niestandardowe wtyczki lub pliki konfiguracji, które zależą od usługi Log4j 2, mogą już nie działać z wersją log4j 2 w tej wersji. Aby uzyskać pomoc, skontaktuj się z zespołem konta usługi Azure Databricks.

Biblioteki zainstalowane z narzędzia Maven są teraz rozpoznawane w płaszczyźnie obliczeniowej domyślnie

Biblioteki Maven są teraz rozpoznawane domyślnie w płaszczyźnie obliczeniowej podczas instalowania bibliotek w klastrze. Klaster musi mieć dostęp do usługi Maven Central. Alternatywnie możesz przywrócić poprzednie zachowanie, ustawiając właściwość konfiguracji platformy Spark:

spark.databricks.libraries.enableMavenResolution false

Poprawki błędów

• Zgodność binarna dla LeafNodeplatformy UnaryNode, i między platformą Apache Spark a BinaryNode środowiskiem Databricks Runtime została naprawiona, a klasy są teraz zgodne z platformą Apache Spark 3.3.0 lub nowszą. Jeśli wystąpi następujący lub podobny komunikat podczas korzystania z pakietu innej firmy w środowisku Databricks Runtime, ponownie skompiluj pakiet za pomocą platformy Apache Spark 3.3.0 lub nowszej: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • platformdirs z wersji 2.5.1 do 2.5.2
  • protobuf z 3.20.0 do 3.20.1
• Uaktualnione biblioteki języka R:
  • Obiekt blob z wersji 1.2.2 do 1.2.3
  • miotła od 0.7.12 do 0.8.0
  • karetki od 6.0-91 do 6.0-92
  • interfejs wiersza polecenia z wersji 3.2.0 do 3.3.0
  • dplyr z wersji 1.0.8 do 1.0.9
  • przyszłość z wersji 1.24.0 do 1.25.0
  • future.apply z wersji 1.8.1 do 1.9.0
  • gert z 1.5.0 do 1.6.0
  • ggplot2 z wersji 3.3.5 do 3.3.6
  • glmnet z 4.1-3 do 4.1-4
  • przystanek od 2.4.3 do 2.5.0
  • httr z 1.4.2 do 1.4.3
  • knitr z 1.38 do 1.39
  • magrittr z wersji 2.0.2 do 2.0.3
  • równolegle z wersji 1.30.0 do 1.31.1
  • ps od 1.6.0 do 1.7.0
  • RColorBrewer od 1.1-2 do 1.1-3
  • RcppEigen z 0.3.3.9.1 do 0.3.3.9.2
  • readxl z wersji 1.3.1 do 1.4.0
  • rmarkdown z wersji 2.13 do 2.14
  • rprojroot z wersji 2.0.2 do 2.0.3
  • RSQLite z wersji 2.2.11 do 2.2.13
  • skaluje z wersji 1.1.1 do 1.2.0
  • testthat z 3.1.2 do 3.1.4
  • tibble z 3.1.6 do 3.1.7
  • tinytex z 0.37 do 0.38
  • tzdb z 0.2.0 do 0.3.0
  • uuid z 1.0-4 do 1.1-0
  • vctrs z 0.3.8 do 0.4.1
• Uaktualnione biblioteki Java:
  • com.fasterxml.jackson.core.jackson-adnotacje z wersji 2.13.0 do 2.13.3
  • com.fasterxml.jackson.core.jackson-core z wersji 2.13.0 do 2.13.3
  • com.fasterxml.jackson.core.jackson-databind z 2.13.0 do 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.13.0 do 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda z 2.13.0 do 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.0 do 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.13.0 do 2.13.3
  • com.google.crypto.tink.tink z 1.6.0 do 1.6.1
  • com.ning.compress-lzf z 1.0.3 do 1.1
  • dev.ludovic.netlib.arpack od 2.2.0 do 2.2.1
  • dev.ludovic.netlib.blas z 2.2.0 do 2.2.1
  • dev.ludovic.netlib.lapack od 2.2.0 do 2.2.1
  • io.netty.netty-all from 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-buffer z wersji 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-codec z wersji 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-common from 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-handler from 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-resolver z wersji 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-tcnative-classes z wersji 2.0.46.Final do wersji 2.0.48.Final
  • io.netty.netty-transport z wersji 4.1.73.Final do wersji 4.1.74.Final
  • io.netty.netty-transport-classes-epoll from 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue z 4.1.73.Final na 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 z wersji 4.1.73.Final do wersji 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 z 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 z 4.1.73.Final do 4.1.74.Final
  • io.netty.netty-transport-native-unix-common from 4.1.73.Final do 4.1.74.Final
  • joda-time.joda-time od 2.10.12 do 2.10.13
  • org.apache.commons.commons-math3 z 3.4.1 do 3.6.1
  • org.apache.httpcomponents.httpcore z wersji 4.4.12 do 4.4.14
  • org.apache.orc.orc-core z wersji 1.7.3 do 1.7.4
  • org.apache.orc.orc-mapreduce z wersji 1.7.3 do 1.7.4
  • org.apache.orc.orc-shims z wersji 1.7.3 do 1.7.4
  • org.eclipse.jetty.jetty-client z wersji 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuation z wersji 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http from 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io z wersji 9.4.43.v20210629 do 9.4.46.v2022031
  • org.eclipse.jetty.jetty-jndi z 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus z wersji 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy z wersji 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security from 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server from 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet z wersji 9.4.43.v20210629 do 9.4.46.v2020331
  • org.eclipse.jetty.jetty-servlets from 9.4.43.v20210629 to 9.4.46.v20331
  • org.eclipse.jetty.jetty-util z wersji 9.4.43.v20210629 do 9.4.46.v2022031
  • org.eclipse.jetty.jetty-util-ajax from 9.4.43.v20210629 to 9.4.46.v2020331
  • org.eclipse.jetty.jetty-webapp z wersji 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml z 9.4.43.v20210629 do 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api z wersji 9.4.43.v20210629 do 9.4.46.v2020331
  • org.eclipse.jetty.websocket.websocket-client from 9.4.43.v20210629 to 9.4.46.v2020331
  • org.eclipse.jetty.websocket.websocket-common from 9.4.43.v20210629 to 9.4.46.v2020331
  • org.eclipse.jetty.websocket.websocket-server from 9.4.43.v20210629 to 9.4.46.v2020331
  • org.eclipse.jetty.websocket.websocket-servlet z 9.4.43.v20210629 do 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client z wersji 2.2.5 do 2.7.4
  • org.postgresql.postgresql z 42.2.19 do 42.3.3.3
  • org.roaringbitmap.RoaringBitmap z 0.9.23 do 0.9.25
  • org.roaringbitmap.shims od 0.9.23 do 0.9.25
  • org.rocksdb.rocksdbjni z 6.20.3 do 6.24.2
  • org.slf4j.jcl-over-slf4j z 1.7.32 do 1.7.36
  • org.slf4j.jul-to-slf4j z 1.7.32 do 1.7.36
  • org.slf4j.slf4j-api od 1.7.30 do 1.7.36

Apache Spark

Środowisko Databricks Runtime 11.0 obejmuje platformę Apache Spark 3.3.0.

W tej sekcji:

• Spark SQL i Core
• Przesyłanie strumieniowe ze strukturą
• PySpark
• MLLIB
• SparkR
• Interfejs użytkownika
• Kompilacja

Spark SQL i Core

Tryb ANSI

• Nowe jawne reguły składni rzutowania w trybie ANSI (SPARK-33354)
• Funkcja Elt() powinna zwracać wartość null, jeśli indeks ma wartość null w trybie ANSI (SPARK-38304)
• Opcjonalnie zwróć wynik null, jeśli element nie istnieje w tablicy/mapie (SPARK-37750)
• Zezwalaj na rzutowanie między typem liczbowym a typem znacznika czasu (SPARK-37714)
• Domyślnie wyłącz zastrzeżone słowa kluczowe ANSI (SPARK-37724)
• Użyj reguł przypisania magazynu do rozpoznawania wywołania funkcji (SPARK-37438)
• Dodaj konfigurację, aby zezwolić na rzutowanie między wartościami Datetime i Numeryczne (SPARK-37179)
• Dodaj konfigurację, aby opcjonalnie wymusić zastrzeżone słowa kluczowe ANSI (SPARK-37133)
• Nie zezwalaj na operacje binarne między literałem interwału i ciągu (SPARK-36508)

Ulepszenia funkcji

• Obsługa typów INTERWAŁów ANSI SQL (SPARK-27790)
• Ulepszenia komunikatów o błędach (SPARK-38781)
• Obsługa metadanych pliku ukrytego dla usługi Spark SQL (SPARK-37273)
• Obsługa nieprzetworzonego literału ciągu (SPARK-36371)
• Klasa Pomocnika dla usługi Batch Dataset.observe() (SPARK-34806)
• Obsługa określania początkowego numeru partycji dla ponownego równoważenia (SPARK-38410)
• Obsługa trybu kaskadowego dla interfejsu dropNamespace API (SPARK-37929)
• Zezwalaj na przypisywanie magazynu i niejawne rzutowanie między typami daty/godziny (SPARK-37707)
• Zbieranie, najpierw i ostatnio powinny być funkcjami agregacji deterministycznej (SPARK-32940)
• Dodawanie klasy ExpressionBuilder dla funkcji ze złożonymi przeciążeniami (SPARK-37164)
• Dodawanie obsługi tablicy do unii według nazwy (SPARK-36546)
• Dodaj df.withMetadata: cukier składniowy w celu zaktualizowania metadanych ramki danych (SPARK-36642)
• Obsługa nieprzetworzonego literału ciągu (SPARK-36371)
• Użyj funkcji CAST w analizowaniu dat/sygnatur czasowych ze wzorcem domyślnym (SPARK-36418)
• Obsługa klasy wartości w schemacie zagnieżdżonym dla zestawu danych (SPARK-20384)
• Dodano obsługę składni AS OF (SPARK-37219)
• Dodaj REPEATABLE w TABLESAMPLE, aby określić ziarno (SPARK-37165)
• Dodaj składnię ANSI set catalog xxx, aby zmienić bieżący katalog (SPARK-36841)
• Obsługa ILIKE (WSZYSTKIE | DOWOLNA | NIEKTÓRE) — bez uwzględniania wielkości liter JAK (SPARK-36674, SPARK-36736, SPARK-36778)
• Etap obsługi zapytania pokazuje statystyki czasu wykonania w sformatowanym trybie wyjaśnienia (SPARK-38322)
• Dodaj metryki rozmiaru rozlania dla łączenia przez sortowanie i scalanie (SPARK-37726)
• Aktualizowanie składni SQL SHOW FUNCTIONS (SPARK-37777)
• Obsługa składni DROP COLUMN [IF EXISTS] (SPARK-38939)
• Nowe wbudowane funkcje i ich rozszerzenia (SPARK-38783)
  • Data/godzina
    • Dodawanie funkcji TIMESTAMPADD() (SPARK-38195)
    • Dodawanie funkcji TIMESTAMPDIFF() (SPARK-38284)
    • DATEDIFF() Dodaj alias dla (TIMESTAMPDIFF()SPARK-38389)
    • DATEADD() Dodaj alias dla (TIMESTAMPADD()SPARK-38332)
    • convert\_timezone() Dodawanie funkcji (SPARK-37552, SPARK-37568)
    • Uwidaczniaj wyrażenie make_date w pliku functions.scala (SPARK-36554)
  • Funkcje AES (SPARK-12567)
    • Dodawanie funkcji wbudowanych aes_encrypt i aes_decrypt (SPARK-12567)
    • Obsługa trybu GCM przez aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Ustaw GCM jako tryb domyślny w aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Dodaj element mode i padding args do aes\_encrypt()/aes\_decrypt() (SPARK-37586)
  • Funkcja agregacji ANSI (SPARK-37671)
    • Obsługa funkcji agregującej ANSI: regr_count (SPARK-37613)
    • Obsługa funkcji agregującej ANSI: regr_avgx i regr_avgy (SPARK-37614)
    • Obsługa funkcji agregacji ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Obsługa funkcji agregacji ANSI: percentile_disc (SPARK-37691)
    • Obsługa funkcji agregującej ANSI: regr_count (SPARK-37613)
    • Obsługa funkcji agregującej ANSI: array_agg (SPARK-27974)
    • Obsługa funkcji agregującej ANSI: regr_r2 (SPARK-37641)
    • Nowa funkcja SQL: try_avg (SPARK-38589)
  • Zbiory
    • Wprowadzenie ARRAY_SIZE funkcji SQL (SPARK-38345)
    • Nowa funkcja SQL: map_contains_key (SPARK-37584)
    • Nowa funkcja SQL: try_element_at (SPARK-37533)
    • Nowa funkcja SQL: try_sum (SPARK-38548)
  • Formatowanie
    • Dodawanie nowej funkcji SQL to_binary (SPARK-37507, SPARK-38796)
    • Nowa funkcja SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Funkcje formatowania typu danych: to\_number (SPARK-28137)
  • Ciąg/plik binarny
    • Dodawanie funkcji ciągu CONTAINS() (SPARK-37508)
    • startswith() Dodawanie funkcji i endswith() ciągów (SPARK-37520)
    • Dodawanie funkcji lpad i rpad dla ciągów binarnych (SPARK-37047)
    • Obsługa funkcji split_part (SPARK-38063)
  • Dodawanie parametru skalowania do funkcji podłogowych i ceil (SPARK-37475)
  • Nowe funkcje SQL: try_subtract i try_multiply (SPARK-38164)
  • Implementuje funkcję agregacji histogram_numeric, która obsługuje agregację częściową (SPARK-16280)
  • Dodawanie max_by/min_by do funkcji sql.functions (SPARK-36963)
  • Dodawanie nowych wbudowanych funkcji SQL: SEC i CSC (SPARK-36683)
  • array_intersect obsługuje zduplikowane wartości Double.NaN i Float.NaN (SPARK-36754)
  • Dodawanie kanapy jako funkcji Języka Scala i Python (SPARK-36660)

Ulepszenia wydajności

• Generowanie kodu pełnoetapowego
  • Dodawanie modułu code-gen do sortowania agregacji bez kluczy grupowania (SPARK-37564)
  • Dodaj kod-gen do pełnego sprzężenia scalania sortowania zewnętrznego (SPARK-35352)
  • Dodaj generowanie kodu do pełnego zewnętrznego sprzężenia haszującego z mieszaniem (SPARK-32567)
  • Dodawanie generowania kodu dla sort merge join (SPARK-37316)
• Wypychanie (filtry)
  • Wypychanie filtrów do części ponownej równoważenia (SPARK-37828)
  • Przesuwanie w dół filtru kolumn boolowskich (SPARK-36644)
  • Obniżenie limitu 1 dla prawostronnego półsprzężenia/antysprzężenia lewego przy pustym warunku sprzężenia (SPARK-37917)
  • Tłumaczenie bardziej standardowych funkcji agregujących na potrzeby wypychania (SPARK-37527)
  • Obsługa propagacji pustej relacji za pomocą agregacji/unii (SPARK-35442)
  • Filtrowanie środowiska uruchomieniowego na poziomie wiersza (SPARK-32268)
  • Obsługa lewego sprzężenia częściowego w filtrach środowiska uruchomieniowego na poziomie wiersza (SPARK-38565)
  • Obsługa wypychania predykatu i oczyszczania kolumn dla usuniętych zduplikowanych zapytań wspólnych tabel (SPARK-37670)
• Wektoryzacja
  • Implementowanie obiektu ConstantColumnVector i poprawianie wydajności ukrytych metadanych pliku (SPARK-37896)
  • Włączanie wektoryzowanego odczytu dla vectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Łączenie/usuwanie/zastępowanie węzłów
  • Łączenie związków, jeśli istnieje projekt między nimi (SPARK-37915)
  • Połącz z jedną obsadą, jeśli możemy bezpiecznie rzutować dwie rzuty (SPARK-37922)
  • Usuń sortowanie, jeśli jest elementem podrzędnym repartitionByExpression (SPARK-36703)
  • Usuwa sprzężenie zewnętrzne, gdy po stronie strumieniowej występuje tylko DISTINCT z aliasem (SPARK-37292)
  • Zamień skrót na agregację sortowania, jeśli element podrzędny jest już posortowany (SPARK-37455)
  • Zwijaj projekty tylko wtedy, gdy nie duplikujemy kosztownych wyrażeń (SPARK-36718)
  • Usuń nadmiarowe aliasy po RewritePredicateSubquery (SPARK-36280)
  • Scal nierelowane podzapytania skalarne (SPARK-34079)
• Partycjonowanie
  • Nie należy dodawać oczyszczania partycji dynamicznej, jeśli istnieje statyczne oczyszczanie partycji (SPARK-38148)
  • Ulepszanie elementów RebalancePartition w regułach optymalizatora (SPARK-37904)
  • Dodawanie małego współczynnika partycji dla partycji ponownego równoważenia (SPARK-37357)
• Dołączyć
  • Dostrajanie logiki obniżania sprzężenia skrótu emisji w funkcji DynamicJoinSelection (SPARK-37753)
  • Ignoruj zduplikowane klucze sprzężenia podczas kompilowania relacji sprzężenia skrótu SEMI/ANTI (SPARK-36794)
  • Obsługa zoptymalizowania niesymetrycznego łączenia, nawet jeśli wymaga to dodatkowego mieszania (SPARK-33832)
• AQE
  • Obsługa eliminowania limitów w optymalizatorze AQE (SPARK-36424)
  • Optymalizowanie planu jednego wiersza w normalnych i optymalizatorach AQE (SPARK-38162)
• Funkcja Aggregate.groupOnly obsługuje wyrażenia złożone (SPARK-38489)
• Tablica ByteArrayMethods powinna szybko pominąć sprawdzanie wyrównania do nieprzygotowanej platformy (SPARK-37796)
• Dodawanie przycinania wzorca drzewa do reguły CTESubstitution (SPARK-37379)
• Dodawanie większej liczby uproszczenie operatorów (SPARK-36665)
• Obsługa typu logicznego w unwrapCastInBinaryComparison (SPARK-36607)
• Łączenie wszystkich wyrażeń po pierwszym wyrażeniu bez wartości null (SPARK-36359)
• Dodawanie gościa planu logicznego w celu propagowania unikatowych atrybutów (SPARK-36194)

Ulepszenia wbudowanego łącznika

• Ogólne
  • Łagodna serializacja daty/godziny ze źródła danych (SPARK-38437)
  • Traktuj lokalizację tabeli jako bezwzględną, gdy pierwsza litera ścieżki jest ukośnikiem w tabeli create/alter (SPARK-38236)
  • Usuwanie zer wiodących z pustej partycji typu liczb statycznych (SPARK-35561)
  • Obsługa ignoreCorruptFiles i ignoreMissingFiles opcje źródła danych (SPARK-38767)
  • Dodaj polecenie SHOW CATALOGS (SPARK-35973)
• Parkiet
  • Włącz dopasowywanie nazw kolumn w schemacie po identyfikatorach pól (SPARK-38094)
  • Usuń nazwę pola wyboru podczas odczytywania/zapisywania danych w Parquet (SPARK-27442)
  • Umożliwia wektoryzowane odczytywanie wartości logicznych z użyciem kodowania RLE w Parquet DataPage V2 (SPARK-37864)
  • Obsługa kodowania strony danych Parquet w wersji 2 (DELTA_BINARY_PACKED) dla ścieżki wektoryzowanej (SPARK-36879)
  • Ponowne tworzenie sygnatur czasowych w strefie czasowej sesji zapisane w metadanych Parquet/Avro (SPARK-37705)
  • Przesunięcie w dół grupy według kolumny partycji dla agregacji (SPARK-36646)
  • Wypychanie agregacji (minimalna/maksymalna/liczba) dla parquet (SPARK-36645)
  • Parquet: włączanie pasujących kolumn schematu według identyfikatora pola (SPARK-38094)
  • Zmniejsz domyślny rozmiar strony o LONG_ARRAY_OFFSET, jeśli są używane G1GC i ON_HEAP (SPARK-37593)
  • Implementowanie wektoryzowanych kodowań DELTA_BYTE_ARRAY i DELTA_LENGTH_BYTE_ARRAY dla obsługi parquet v2 (SPARK-37974)
  • Obsługa typów złożonych dla czytnika wektoryzowanego Parquet (SPARK-34863)
• ORK
  • Usuń nazwę pola wyboru podczas odczytywania/zapisywania istniejących danych w orc (SPARK-37965)
  • Wypychanie agregacji dla ORC (SPARK-34960)
  • Obsługa odczytywania i zapisywania interwałów ANSI ze źródeł danych ORC (SPARK-36931)
  • Obsługa nazw kolumn składających się wyłącznie z liczb w źródłach danych ORC (SPARK-36663)
• Notacja JSON
  • Respect allowNonNumericNumbers podczas analizowania cytowanych wartości NaN i Infinity w czytniku JSON (SPARK-38060)
  • Domyślnie użyj funkcji CAST dla daty/godziny w formacie CSV/JSON (SPARK-36536)
  • Wyrównywanie komunikatu o błędzie dla nieobsługiwanych typów kluczy w funkcji MapType w czytniku Json (SPARK-35320)
• CSV
  • Poprawka odwołująca się do uszkodzonej kolumny rekordu z pliku CSV (SPARK-38534)
  • Wartości null należy zapisać jako nic zamiast cytowanych pustych ciągów "" domyślnie (SPARK-37575)
• JDBC
  • Dodaj instrukcję IMMEDIATE do implementacji obcinania dialektu DB2 (SPARK-30062)
• Ul
  • Obsługa zapisywania tabeli zasobnikowej Hive (formaty plików Hive z hashem Hive) (SPARK-32712)
  • Używanie wyrażeń do filtrowania partycji Hive po stronie klienta (SPARK-35437)
  • Obsługa oczyszczania partycji dynamicznej dla programu HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir powinien korzystać ze źródła danych, jeśli można go przekonwertować (SPARK-38215)
  • Obsługa zapisu wiadrowanej tabeli Hive (format Parquet/ORC z hashem Hive) (SPARK-32709)

Likwiduj węzeł

• FallbackStorage nie powinien podejmować próby rozpoznania dowolnej nazwy hosta "zdalnego" (SPARK-38062)
• Funkcja ExecutorMonitor.onExecutorRemoved powinna obsługiwać funkcję ExecutorDecommission zgodnie z zakończeniem (SPARK-38023)

Inne istotne zmiany

• Dodawanie precyzyjnego blokowania do elementu BlockInfoManager (SPARK-37356)
• Obsługa mapowania typów zasobów procesora GPU/fpga platformy Spark na niestandardowy typ zasobu YARN (SPARK-37208)
• Zgłoś dokładny rozmiar bloku mieszania, jeśli jego niesymetryczny (SPARK-36967)
• Obsługa rejestrowania netty w warstwie sieciowej (SPARK-36719)

Przesyłanie strumieniowe ze strukturą

Główne funkcje

• Wprowadzenie trigger.AvailableNow do uruchamiania zapytań przesyłania strumieniowego, takich jak Trigger.Once w wielu partiach (SPARK-36533)

Inne istotne zmiany

• Użyj statefulOpClusteredDistribution dla operatorów stanowych z uwzględnieniem zgodności z poprzednimi wersjami (SPARK-38204)
• Naprawiono limit czasu flatMapGroupsWithState w partii przy użyciu danych klucza (SPARK-38320)
• Rozwiązano problem z poprawnością w połączeniu zewnętrznym strumień-strumień za pomocą dostawcy magazynu stanów RocksDB (SPARK-38684)
• Support Trigger.AvailableNow w źródle danych platformy Kafka (SPARK-36649)
• Optymalizowanie ścieżki zapisu u dostawcy magazynu stanów bazy danych RocksDB (SPARK-37224)
• Wprowadź nowe źródło danych w celu zapewnienia spójnego zestawu wierszy na mikropartię (SPARK-37062)
• Użyj skrótu HashClusteredDistribution dla operatorów stanowych z uwzględnieniem zgodności z poprzednimi wersjami (SPARK-38204)

PySpark (biblioteka używana w Apache Spark do przetwarzania dużych zbiorów danych)

Interfejs API biblioteki Pandas na platformie Apache Spark

Główne ulepszenia

• Optymalizacja indeksu "sekwencji rozproszonej" jako domyślna (SPARK-36559, SPARK-36338)
  • Obsługa określania typu indeksu i nazwy w interfejsie API biblioteki pandas na platformie Spark (SPARK-36709)
  • Pokaż domyślny typ indeksu w planach SQL dla interfejsu API biblioteki Pandas na platformie Spark (SPARK-38654)

Główne funkcje

• Implementowanie ps.merge_asof natywnej sparkSQL (SPARK-36813)
• Obsługa timedeltaIndex w interfejsie API biblioteki pandas na platformie Spark (SPARK-37525)
• Obsługa funkcji timedelta w języku Python (SPARK-37275, SPARK-37510)
• Implementowanie funkcji w funkcji KategoricalAccessor/CategoricalIndex (SPARK-36185)
• Używa standardowego formatera ciągów w języku Python dla interfejsu API SQL w API pandas na platformie Spark (SPARK-37436)
• Obsługa podstawowych operacji serii/indeksu timedelta (SPARK-37510)
• Obsługa ps. MultiIndex.dtypes (SPARK-36930)
• Implementowanie pliku Index.map (SPARK-36469)
• Zaimplementuj serię.xor i seria.rxor (SPARK-36653)
• Implementowanie jednoargumentowego operatora invert całkowitego ps. Seria/indeks (SPARK-36003)
• Implementowanie elementu DataFrame.cov (SPARK-36396)
• Obsługa znacznika czasu dla (seria|DataFrame).describe() (SPARK-37657)
• Obsługa parametru lambda column (DataFrame.renameSPARK-38763)

Inne istotne zmiany

Zmiany powodujące niezgodność

• Usuwanie odwołań do obsługi języka Python 3.6 w dokumentach i python/docs (SPARK-36977)
• Usuń hack związany z namedtuple, zastępując wbudowaną funkcję pickle funkcją cloudpickle (SPARK-32079)
• Bump minimalna wersja biblioteki pandas do wersji 1.0.5 (SPARK-37465)
• Główne ulepszenia
  • Podaj profiler dla funkcji UDF języka Python/Pandas (SPARK-37443)
  • Używa standardowego formatera ciągów języka Python dla interfejsu API SQL w PySpark (SPARK-37516)
  • Uwidacznianie stanu i klasy błędów SQL w wyjątkach PySpark (SPARK-36953)
  • Spróbuj przechwycić błąd, gdy proces roboczy języka Python ulega awarii (SPARK-36062)

Główne funkcje

• Implementowanie elementu DataFrame.mapInArrow w języku Python (SPARK-37228)
• Używa standardowego formatera ciągów języka Python dla interfejsu API SQL w PySpark (SPARK-37516)
• Dodawanie interfejsu API df.withMetadata pyspark (SPARK-36642)
• Wsparcie dla timedelta w Pythonie (SPARK-37275)
• Udostępnij tableExists w pyspark.sql.catalog (SPARK-36176)
• Uwidaczniaj element databaseExists w katalogu pyspark.sql.catalog (SPARK-36207)
• Ujawnianie funkcji functionExists w katalogu SQL pyspark (SPARK-36258)
• Dodawanie elementu Dataframe.observation do programu PySpark (SPARK-36263)
• Dodawanie interfejsu API max_by/min_by do programu PySpark (SPARK-36972)
• Obsługa wnioskowania zagnieżdżonego dict jako struktury podczas tworzenia ramki danych (SPARK-35929)
• Dodawanie interfejsów API bit/octet_length do języków Scala, Python i R (SPARK-36751)
• Obsługa interfejsu API ILIKE w języku Python (SPARK-36882)
• Dodawanie metody isEmpty dla interfejsu API ramki danych języka Python (SPARK-37207)
• Dodawanie obsługi dla wielu kolumn (SPARK-35173)
• Dodawanie elementu SparkContext.addArchive w PySpark (SPARK-38278)
• Wykonaj polecenie repratorów typu sql w stanie (SPARK-18621)
• Wskazówki dotyczące typów wbudowanych dla fpm.py w języku Python/pyspark/mllib (SPARK-37396)
• Implementowanie dropna parametru (SeriesGroupBy.value_countsSPARK-38837)

MLLIB

Główne funkcje

• Dodawanie parametru distanceMeasure do trainKMeansModel (SPARK-37118)
• Uwidacznianie elementu LogisticsRegression.setInitialModel, na przykład KMeans et al do (SPARK-36481)
• Obsługiwanie modelu CrossValidatorModel pozwala na uzyskanie odchylenia standardowego metryk dla każdej paramMap (SPARK-36425)

Główne ulepszenia

• Optymalizacja niektórych treeAggregates w MLlib poprzez opóźnienie alokacji (SPARK-35848)
• Zapisz ponownie _shared_params_code_gen.py do wbudowanych wskazówek dotyczących typu ml/param/shared.py (SPARK-37419)

Inne istotne zmiany

• Aktualizacja do Breeze 1.2 (SPARK-35310)

SparkR

• Migrowanie dokumentów platformy SparkR do narzędzia pkgdown (SPARK-37474)
• Uwidacznianie wyrażenia make_date w języku R (SPARK-37108)
• Dodawanie interfejsu API max_by/min_by do usługi SparkR (SPARK-36976)
• Obsługa interfejsu API ILIKE w języku R (SPARK-36899)
• Dodawanie s i csc jako funkcji języka R (SPARK-36824)
• Dodawanie interfejsów API bit/octet_length do języków Scala, Python i R (SPARK-36751)
• Dodawanie kanapy jako funkcji języka R (SPARK-36688)

interfejs użytkownika

• Podsumowanie metryk spekulacji na poziomie etapu (SPARK-36038)
• Ujednolicony czas mieszania bloku odczytu w celu przetasowania czasu oczekiwania na pobieranie odczytu w programie StagePage (SPARK-37469)
• Dodawanie zmodyfikowanych konfiguracji na potrzeby wykonywania sql w interfejsie użytkownika (SPARK-34735)
• Rozpoznawanie maszyny thriftServer spark.sql.redaction.string.regex (SPARK-36400)
• Dołączanie i uruchamianie procedury obsługi po uruchomieniu aplikacji w interfejsie użytkownika (SPARK-36237)
• Dodaj czas trwania zatwierdzenia do węzła grafu zakładki SQL (SPARK-34399)
• Obsługa zaplecza bazy danych RocksDB na serwerze historii platformy Spark (SPARK-37680)
• Pokaż opcje interfejsu API biblioteki Pandas na platformie Spark w interfejsie użytkownika (SPARK-38656)
• Zmień nazwę "SQL" na "SQL/ DataFrame" na stronie interfejsu użytkownika SQL (SPARK-38657)

Kompilacja

• Migrowanie z log4j 1 do log4j 2 (SPARK-37814)
• Uaktualnij dziennik4j2 do wersji 2.17.2 (SPARK-38544)
• Uaktualnianie do wersji Py4J 0.10.9.5 (SPARK-38563)
• Aktualizacja ORC do wersji 1.7.4 (SPARK-38866)
• Aktualizowanie tabel danych do wersji 1.10.25 (SPARK-38924)

Aktualizacje konserwacyjne

Zobacz Databricks Runtime 11.0.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-05-06.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)