Databricks Runtime 10.3 (EoS)

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 10.3 i Databricks Runtime 10.3 Photon obsługiwanych przez platformę Apache Spark 3.2.1. Photon jest w publicznej wersji zapoznawczej. Usługa Databricks wydała tę wersję w lutym 2022 r.

Nowe funkcje i ulepszenia

• Autorzy Parquet i Avro używają teraz strefy czasowej sesji podczas ponownego tworzenia sygnatur czasowych w źródłach danych Parquet
• Nowe funkcje w usłudze Spark SQL
• Scalanie o niskim mieszania jest teraz ogólnie dostępne
• nowe funkcje COPY INTO: tryb weryfikacji i ewolucja schematu
• kolumny Identity są teraz obsługiwane w tabelach delty (publiczna wersja zapoznawcza)

Autorzy Parquet i Avro używają teraz strefy czasowej sesji podczas ponownego tworzenia sygnatur czasowych w źródłach danych Parquet

Autorzy Parquet i Avro używają teraz strefy czasowej sesji, podczas gdy znacznik czasu ponownego łączenia w legacy trybie zamiast używać domyślnej strefy czasowej JVM. Strefa czasowa sesji jest domyślnie ustawiona na strefę czasową JVM.

Nowe funkcje w usłudze Spark SQL

Następujące funkcje Spark SQL są teraz obsługiwane w tej wersji:

• aes_decrypt: odszyfrowuje dane wejściowe przy użyciu AES.
• aes_encrypt: szyfruje dane wejściowe przy użyciu AES.
• contains: określa, czy wyrażenie zawiera inne wyrażenie.
• endswith: określa, czy wyrażenie kończy się innym wyrażeniem.
• percentile_cont: zwraca wartość percentylu.
• startswith: określa, czy wyrażenie rozpoczyna się od innego wyrażenia.

Scalanie o niskim mieszania jest teraz ogólnie dostępne

Polecenie delta MERGE INTO używa techniki nazywanej małą mieszania scalania, co zmniejsza przetasowanie niezmodyfikowanych wierszy. Poprawia to wydajność polecenia i pomaga zachować istniejące klastrowanie w tabeli, takie jak porządkowanie Z. Ta funkcja została wprowadzona w środowisku Databricks Runtime 9.0 w publicznej wersji zapoznawczej i osiągnęła teraz ogólną dostępność. Aby włączyć niskie mieszanie scalające, ustaw spark.databricks.delta.merge.enableLowShuffle na true. Zobacz Low shuffle merge on Azure Databricks (Niska ilość operacji mieszania w usłudze Azure Databricks).

Nowe funkcje COPY INTO: tryb weryfikacji i ewolucja schematu

Tryb weryfikacji: COPY INTO obsługuje teraz tryb VALIDATE, w którym dane, które mają zostać załadowane do tabeli, są weryfikowane, ale nie zapisywane w tabeli. Te walidacje obejmują:

• Czy dane mogą być analizowane.
• Określa, czy schemat jest zgodny z tabelą, czy też schemat musi zostać rozwinięty.
• Czy są spełnione wszystkie ograniczenia dotyczące wartości null i sprawdzania.

Przykładowe użycie:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Wartością domyślną jest zweryfikowanie wszystkich danych, które mają zostać załadowane. Możesz podać liczbę wierszy do zweryfikowania za pomocą słowa kluczowego ROWS , takiego jak VALIDATE 15 ROWS. Instrukcja COPY INTO zwraca podgląd danych z 50 wierszy lub mniej, gdy jest używana liczba mniejsza niż 50 z ROWS słowem kluczowym.

Ewolucja schematu: COPY INTO obsługuje teraz ewolucję schematu z opcją mergeSchema w COPY_OPTIONS. Aby rozwinąć schemat tabeli, musisz mieć uprawnienia OWN w tabeli.

Przykładowe użycie:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Zobacz COPY INTO.

Kolumny tożsamości (Identity columns) są teraz obsługiwane w tabelach Delta (wersja Public Preview)

Usługa Delta Lake obsługuje teraz kolumny identyfikacyjne. Gdy zapisujesz do tabeli Delta, która definiuje kolumnę tożsamości i nie podajesz wartości dla tej kolumny, Delta automatycznie przypisuje unikatową oraz statystycznie rosnącą lub malejącą wartość. Zobacz CREATE TABLE [USING].

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • distlib z 0.3.3 do 0.3.4
  • filelock z wersji 3.4.0 do 3.4.2
  • numpy z wersji 1.19.2 do 1.20.1
  • wykres z wersji 5.3.1 do 5.5.0
• Uaktualnione biblioteki języka R:
  • Backports z wersji 1.4.0 do 1.4.1
  • brio od 1.1.2 do 1.1.3
  • miotła od 0.7.10 do 0.7.11
  • klasa z 7.3-19 do 7.3-20
  • cpp11 z 0.4.1 do 0.4.2
  • DbI z wersji 1.1.1 do 1.1.2
  • devtools z wersji 2.4.2 do 2.4.3
  • skrót z 0.6.28 do 0.6.29
  • dtplyr z wersji 1.1.0 do 1.2.0
  • fani od 0.5.0 do 1.0.2
  • obce od 0,8-81 do 0,8-82
  • fs z 1.5.0 do 1.5.2
  • gert z 1.4.3 do 1.5.0
  • klej z 1.5.0 do 1.6.0
  • httpuv z wersji 1.6.3 do 1.6.5
  • jsonlite z wersji 1.7.2 do 1.7.3
  • knitr z 1.36 do 1.37
  • MASA z 7.3-54 do 7.3-55
  • Macierz z 1.3-4 do 1.4-0
  • nlme z 3.1-152 do 3.1-155
  • nnet frm 7.3-16 do 7.3-17
  • openssl z 1.4.5 do 1.4.6
  • równolegle z wersji 1.29.0 do 1.30.0
  • pkgbuild od 1.2.0 do 1.3.1
  • pkgload z 1.2.3 do 1.2.4
  • progressr z 0.9.0 do 0.10.0
  • Program Rcpp z wersji 1.0.7 do 1.0.8
  • readr z wersji 2.1.0 do 2.1.1
  • zdalne z wersji 2.4.1 do 2.4.2
  • RSQLite z wersji 2.2.8 do 2.2.9
  • sessioninfo z 1.2.1 do 1.2.2
  • sparklyr z 1.7.2 do 1.7.4
  • testthat z 3.1.0 do 3.1.1
  • tinytex z 0.35 do 0.36
  • usethis z 2.1.3 do 2.1.5
  • vroom od 1.5.6 do 1.5.7
  • withr z 2.4.2 do 2.4.3
  • xfun od 0.28 do 0.29
  • xml2 z wersji 1.3.2 do 1.3.3
• Uaktualnione biblioteki Java:
  • dev.ludovic.netlib.arpack od 1.3.2 do 2.2.1
  • dev.ludovic.netlib.blas z 1.3.2 do 2.2.1
  • dev.ludovic.netlib.lapack od 1.3.2 do 2.2.1
  • io.delta.delta-sharing-spark_2.12 z 0.2.0 do 0.3.0

Apache Spark

Środowisko Databricks Runtime 10.3 obejmuje platformę Apache Spark 3.2.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 10.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-37896] [SQL] Implementowanie obiektu ConstantColumnVector i poprawianie wydajności ukrytych metadanych pliku
• [SPARK-37924] [SQL] Sortuj właściwości tabeli według klucza w SHOW CREATE TABLE w widoku (wersja 1)
• [SPARK-37636] [SQL] Migrowanie domyślnie polecenia CREATE NAMESPACE w celu używania polecenia V2
• [SPARK-37381] [SQL] Unify v1 i v2 SHOW CREATE TABLE testów
• [SPARK-37876] [CORE][sql] Move SpecificParquetRecordReaderBase.listDirectory to TestUtils
• [SPARK-37854] [CORE] Zastąp sprawdzanie typu dopasowaniem wzorca w kodzie platformy Spark
• [SPARK-36967] [CORE] Zgłoś dokładny rozmiar bloku mieszania, jeśli jego niesymetryczne
• [SPARK-37864] [SQL] Obsługa wektoryzowanego odczytu wartości logicznych z użyciem kodowania RLE w Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator powinien szybko pominąć sprawdzanie wyrównania do nieprzygotowanej platformy
• [SPARK-37855] [SQL] IllegalStateException podczas przekształcania tablicy wewnątrz zagnieżdżonej struktury
• [SPARK-37858] [SQL] Throw with error classes from AES functions (Zgłaszanie SparkRuntimeException z klas błędów z funkcji AES)
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker nie powinien spróbować pobrać stanu pominiętego pliku
• [SPARK-37860] [Interfejs użytkownika] Naprawianie indeksu zadań na osi czasu zdarzenia zadania etapu
• [SPARK-36879] [SQL] Obsługa kodowania strony danych Parquet v2 (DELTA_BINARY_PACKED) dla ścieżki wektoryzowanej
• [SPARK-37828] [SQL] Wypychanie filtrów do elementu RebalancePartitions
• [SPARK-37802] [SQL][3.2] Nazwa pola złożonego powinna działać z wypchnięciem agregacji
• [SPARK-37826] [SQL] Użyj nazwy kodera zstd w nazwach plików ORC dla hive orc impl
• [SPARK-37820] [SQL] Zamień element ApacheCommonBase64 na javaBase64 na funcs ciągów
• [SPARK-37832] [SQL] Konwerter struktury Orc powinien używać tablicy do wyszukiwania konwerterów pól, a nie połączonej listy
• [SPARK-37786] [ SQL] Obsługa elementu StreamingQueryListener przy użyciu polecenia SQLConf.get w celu uzyskania odpowiedniego obiektu SessionState SQLConf
• [SPARK-37527] [SQL] Tłumaczenie bardziej standardowych funkcji agregujących na potrzeby wypychania
• [SPARK-37777] [SQL] Aktualizowanie składni SQL SHOW FUNCTIONS
• [SPARK-8582] [CORE] Punkt kontrolny z niecierpliwością, gdy zostanie poproszony o to, aby to zrobić naprawdę
• [SPARK-37822] [SQL] Parametr StringSplit powinien zwracać tablicę na elementach innych niż null
• [SPARK-37812] [SQL] Podczas deserializacji struktury Orc użyj ponownie wiersza wyników, jeśli to możliwe
• [SPARK-37367] [SQL] Ponowne włączanie testu wyjątku w widoku DDLParserSuite.create — podstawowy
• [SPARK-37796] [SQL] Tablica ByteArrayMethods powinna szybko pominąć sprawdzanie wyrównania do nieprzygotowanej platformy
• [SPARK-37817] [ SQL][pomocnicza] Usuń nieosiągalny kod w pliku complexTypeExtractors.scala
• [SPARK-37807] [SQL] Naprawianie literówki w komunikacie HttpAuthenticationException
• [SPARK-37750] [SQL] Tryb ANSI: opcjonalnie zwraca wynik null, jeśli element nie istnieje w tablicy/mapie
• [SPARK-37789] [SQL] Dodawanie klasy do reprezentowania ogólnych funkcji agregujących w ds w wersji 2
• [SPARK-37785] [SQL][core] Add Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Obsługa QueryExecutionListener za pomocą SQLConf.get w celu uzyskania odpowiedniej konfiguracji SQLConf elementu SessionState.
• [SPARK-37783] [SS][sql][CORE] Włącz rekursję ogonową wszędzie tam, gdzie jest to możliwe
• [SPARK-37726] [SQL] Dodaj metryki rozmiaru przelewania dla złącza sortująco-scalającego
• [SPARK-37800] [SQL] TreeNode.argString niepoprawnie formatuje argumenty typu Set[_]
• [SPARK-37716] [SQL] Ulepszanie komunikatów o błędach, gdy element LateralJoin ma wyrażenia niedeterministyczne
• [SPARK-37779] [SQL] Ustaw plan ColumnarToRowExec jako kanoniczny po serializacji (de)
• [SPARK-37578] [SQL] Aktualizowanie metryk zadań z metryk niestandardowych ds w wersji 2
• [SPARK-37676] [SQL] Obsługa funkcji agregacji ANSI: percentile_cont
• [SPARK-37724] [SQL] Tryb ANSI: domyślnie wyłącz zastrzeżone słowa kluczowe ANSI
• [SPARK-37705] [SQL][3.2] Znaczniki czasu ponownej bazy danych w strefie czasowej sesji zapisane w metadanych Parquet/Avro
• [SPARK-34755] [SQL] Obsługa utils dla formatu liczb przekształcenia
• [SPARK-36703] [SQL] Usuń sortowanie, jeśli jest elementem podrzędnym RepartitionByExpression
• [SPARK-37369] [SQL] Unikaj nadmiarowego przejścia ColumnarToRow na inMemoryTableScan
• [SPARK-37450] [SQL] Przycinanie niepotrzebnych pól z Generate
• [SPARK-37728] [SQL] Odczytywanie zagnieżdżonych kolumn z czytnikiem wektoryzowanym ORC, może spowodować wyjątek ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Dodawanie modułu code-gen do sortowania agregacji bez grupowania kluczy
• [SPARK-37659] [UI][3.2] Poprawka warunku wyścigu FsHistoryProvider występującego podczas listowania i usuwania informacji dziennika
• [SPARK-37727] [SQL] Pokaż ignorowane ustawienia, & ukryj ostrzeżenia dotyczące ustawienia już ustawionego w SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider informuje, czy modyfikuje kontekst zabezpieczeń
• [SPARK-37273] [SQL] Obsługa kolumn metadanych ukrytych plików w usłudze Spark SQL
• [SPARK-36876] [SQL] Obsługa dynamicznego przycinania partycji dla programu HiveTableScanExec
• [SPARK-37546] [SQL] V2 ReplaceTableAsSelect polecenie powinno kwalifikować lokalizację
• [SPARK-37545] [SQL] V2 CreateTableAsSelect polecenie powinno kwalifikować lokalizację
• [SPARK-37707] [SQL] Zezwalaj na przypisywanie magazynu i niejawne rzutowanie między typami daty/godziny
• [SPARK-37644] [SQL] Obsługa wypychania agregacji źródła danych w wersji 2
• [SPARK-37695] [CORE][shuffle] Pomiń diagnostykę scalonych bloków z przetasowania z wykorzystaniem wypychania
• [SPARK-35295] [ML] Zastąp w pełni com.github.fommil.netlib przez dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Nie zezwalaj na usuwanie zasobów w interfejsie wiersza polecenia platformy Spark sql
• [SPARK-37330] [SQL] Migrowanie polecenia ReplaceTableStatement do wersji 2
• [SPARK-27974] [SQL] Obsługa funkcji agregującej ANSI: array_agg
• [SPARK-36902] [SQL] Migrowanie polecenia CreateTableAsSelectStatement do wersji 2
• [SPARK-37678] [PYTHON] Naprawianie podpisu _cleanup_and_return
• [SPARK-37613] [SQL] Obsługa funkcji agregującej ANSI: regr_count
• [SPARK-37689] [SQL] Rozszerzenie powinno być obsługiwane w propagacjiEmptyRelation
• [SPARK-37654] [SQL] Naprawiono element NPE w pliku Row.getSeq, gdy pole ma wartość Null
• [SPARK-37496] [SQL] Migrowanie polecenia ReplaceTableAsSelectStatement do wersji 2
• [SPARK-37483] [SQL] Obsługa wypychania od góry N do źródła danych JDBC w wersji 2
• [SPARK-37577] [SQL] Napraw błąd ClassCastException: ArrayType nie można rzucać na StructType przy generowaniu przycinania
• [SPARK-37310] [SQL] Migrowanie ALTER NAMESPACE ... SET WŁAŚCIWOŚCI użycia polecenia V2 domyślnie
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE powinny kwalifikować lokalizację polecenia w wersji 2
• [SPARK-37343] [SQL] Implementowanie metody createIndex, IndexExists i dropIndex w JDBC (dialekt Postgres)
• [SPARK-37060] [CORE][3.2] Obsługa odpowiedzi na stan sterownika z serwerów głównych kopii zapasowych
• [SPARK-37629] [SQL] Przyspieszanie wyrażenia.canonicalized
• [SPARK-37633] [SQL] Odpakowywanie rzutu powinno zostać pominięte, jeśli emisja nie powiodła się z...
• [SPARK-37631] [SQL] Czyszczenie kodu przy promowaniu ciągów w celu podwójnego wpisywania w funkcjach matematycznych
• [SPARK-37569] [SQL] Nie oznaczaj zagnieżdżonych pól widoku jako nullable
• [SPARK-37557] [SQL] Zamień skrót obiektu na agregację sortowania, jeśli element podrzędny jest już posortowany
• [SPARK-36850] [SQL] Migrowanie elementu CreateTableStatement do platformy poleceń w wersji 2
• [SPARK-37592] [SQL] Zwiększanie wydajności JoinSelection
• [SPARK-37217] [SQL] Liczba partycji dynamicznych powinna być sprawdzona wcześnie podczas zapisywania w tabelach zewnętrznych.
• [SPARK-37584] [SQL] Nowa funkcja SQL: map_contains_key
• [SPARK-37455] [SQL] Zamień skrót na agregację sortowania, jeśli element podrzędny jest już posortowany
• [SPARK-34735] [SQL][ui] Dodawanie zmodyfikowanych konfiguracji na potrzeby wykonywania SQL w interfejsie użytkownika
• [SPARK-37540] [SQL] Wykrywanie nieobsługiwanej podróży czasowej
• [SPARK-37376] [SQL] Wprowadzenie do nowego interfejsu źródła danych w wersji 2 hasPartitionKey
• [SPARK-37666] [SQL] Ustaw GCM jako tryb domyślny w aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] Element IsolatedClientLoader powinien być rezerwowy do powiązanej wersji, a nie zawsze hadoop-2.7.4
• [SPARK-37561] [ SQL] Unikaj ładowania wszystkich funkcji podczas uzyskiwania tokenu delegowania hive
• [SPARK-37370] [SQL] Dodaj konfiguracje SQL do kontrolowania nowo dodanego kodu generowania łączeń w wersji 3.3
• [SPARK-37311] [SQL] Migrowanie ALTER NAMESPACE ... SET LOCATION domyślnie używać polecenia V2
• [SPARK-37192] [SQL] Migrować SHOW TBLPROPERTIES do używania komendy V2 domyślnie
• [SPARK-37219] [SQL] Dodano obsługę składni AS OF
• [SPARK-37316] [SQL] Dodaj kod-gen do łączenia scalania sortowania istnienia
• [SPARK-37591] [SQL] Obsługa trybu GCM przez aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Dodaj element mode i padding args do aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Dodawanie funkcji wbudowanych aes_encrypt i aes_decrypt
• [SPARK-37392] [SQL] Naprawa błędu wydajności podczas wnioskowania ograniczeń dla Generate
• [SPARK-37481] [Core][webui] Naprawiono znikanie pominiętych etapów po ponownym próbowaniu
• [SPARK-37533] [SQL] Nowa funkcja SQL: try_element_at
• [SPARK-37451] [SQL] Napraw typ ciągu rzutowania na typ dziesiętny, jeśli włączono spark.sql.legacy.allowNegativeScaleOfDecimal
• [SPARK-37062] [SS] Wprowadzić nowe źródło danych w celu zapewnienia spójnego zestawu wierszy na mikropartię
• [SPARK-37552] [SQL] convert_timezone() Dodawanie funkcji
• [SPARK-37555] [SQL] spark-sql powinien przekazać ostatni nieujawiony komentarz do zaplecza
• [SPARK-37286] [SQL] Przenoszenie kompilatoraAggregates z JDBCRDD do JdbcDialect
• [SPARK-37485] [CORE][sql] Zastąp map wyrażeniami, które nie dają wyniku, za pomocą foreach
• [SPARK-37556] [SQL] Deser void, klasa kończy się niepowodzeniem z serializacji Języka Java
• [SPARK-37520] [SQL] startswith() Dodawanie funkcji i endswith() string
• [SPARK-37471] [SQL] Obsługa ; spark-sql w zagnieżdżonym komentarzu w nawiasie kwadratowym
• [SPARK-37360] [SQL] Obsługa funkcji TimestampNTZ w źródle danych JSON
• [SPARK-37508] [SQL] Dodawanie funkcji ciągu CONTAINS()
• [SPARK-37494] [SQL] Dane wyjściowe SHOW CREATE TABLE opcji ujednolicania wersji 1 i 2 polecenia
• [SPARK-37524] [SQL] Po przetestowaniu oczyszczania partycji dynamicznej należy usunąć wszystkie tabele.
• [SPARK-37389] [SQL] Sprawdzanie nieujawnianych komentarzy w nawiasach kwadratowych
• [SPARK-37220] [SQL] Nie należy dzielić pliku wejściowego dla czytnika Parquet przy użyciu zagregowanego wypychania
• [SPARK-37326] [SQL] Obsługa funkcji TimestampNTZ w źródle danych CSV
• [SPARK-35867] [SQL] Włączanie wektoryzowanego odczytu dla vectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][sql] Zamień get i getOrElse na getOrElse
• [SPARK-37492] [SQL] Optymalizowanie kodu testowego orku za pomocą funkcjiAllNativeOrcReaders
• [SPARK-37458] [SS] Usuń niepotrzebny element SerializeFromObject z planu foreachBatch

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 10.3.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-01-19.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)