Databricks Runtime 10.2 (EoS)

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 10.2 i Databricks Runtime 10.2 Photon obsługiwanych przez platformę Apache Spark 3.2.0. Usługa Databricks wydała tę wersję w grudniu 2021 r. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

• Używanie plików w repozytoriach z przesyłaniem strumieniowym platformy Spark
• Narzędzia usługi Databricks dodaje polecenie instalacji aktualizacji
• Usługa Delta Lake obsługuje zmienianie nazw kolumn (publiczna wersja zapoznawcza)
• Historia tabel usługi Delta Lake dodaje informacje o wersji środowiska Databricks Runtime
• Program Databricks Utilities dodaje najnowsze informacje o czasie modyfikacji, gdy katalogi są wyświetlane
• Usługa Spark SQL dodaje funkcję zwracającą approx_top_k najważniejsze elementy i ich liczby
• Trigger.AvailableNow jest teraz dostępna w języku Python, a także w języku Scala
• Automatyczne ładowanie obsługuje teraz ewolucję schematu dla avro (publiczna wersja zapoznawcza)

Używanie plików w repozytoriach z przesyłaniem strumieniowym platformy Spark

Teraz możesz uzyskać dostęp do plików w repozytoriach z poziomu przesyłania strumieniowego platformy Spark.

Narzędzia usługi Databricks dodaje polecenie instalacji aktualizacji

Nowe polecenie jest podobne do dbutils.fs.updateMountpolecenia , ale to nowe dbutils.fs.mount polecenie aktualizuje istniejący punkt instalacji zamiast tworzyć nowe. Zobacz polecenie updateMount (dbutils.fs.updateMount).

Usługa Delta Lake obsługuje zmienianie nazw kolumn (publiczna wersja zapoznawcza)

Usługa Delta Lake obsługuje teraz zmianę nazw kolumn. Aby zmienić nazwę kolumny tabeli delty, należy uaktualnić wersję tabeli delta, a następnie ustawić tryb mapowania kolumn na mapowanie nazw. Zobacz Zmienianie nazwy i usuwanie kolumn za pomocą mapowania kolumn usługi Delta Lake.

Historia tabel usługi Delta Lake dodaje informacje o wersji środowiska Databricks Runtime

Gdy zapis jest teraz zapisywany w tabeli delty, informacje o wersji środowiska Databricks Runtime, która dokonała zapisu, również są rejestrowane. Aby uzyskać informacje o wersji, uruchom DESCRIBE HISTORY polecenie w tabeli, a następnie wyświetl kolumnę engineInfo w danych wyjściowych. Zobacz DESCRIBE HISTORY i Pracuj z historią tabel usługi Delta Lake.

Program Databricks Utilities dodaje najnowsze informacje o czasie modyfikacji, gdy katalogi są wyświetlane

Polecenie dbutils.fs.ls służące do wyświetlania listy zawartości katalogu powoduje teraz wyświetlenie modificationTime pola. To pole zawiera najnowszy czas modyfikacji dla każdego wymienionego pliku lub katalogu. Zobacz polecenie ls (dbutils.fs.ls).

Usługa Spark SQL dodaje funkcję zwracającą approx_top_k najważniejsze elementy i ich liczby

Nowa approx_top_k funkcja zwraca najczęściej występujące wartości elementów wraz z ich przybliżonymi liczbami dla określonego wyrażenia. Przykłady obejmują:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Wynikiem uruchomienia jednego z przykładów jest:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Zobacz approx_top_k funkcja agregująca.

Trigger.AvailableNow jest teraz dostępna w języku Python, a także w języku Scala

Ta zmiana obsługuje zapytania Trigger.AvailableNow przesyłania strumieniowego źródła delta w języku Python, a także Język Scala. Środowisko Databricks Runtime 10.1 wprowadziło obsługę tego wyzwalacza w języku Scala. Środowisko Databricks Runtime 10.2 obsługuje teraz również ten wyzwalacz w języku Python. Zobacz pokrycie w temacie Trigger.AvailableNowCo to jest automatyczne ładowanie?.

Automatyczne ładowanie obsługuje teraz ewolucję schematu dla avro (publiczna wersja zapoznawcza)

Zobacz Konfigurowanie wnioskowania schematu i ewolucji w module automatycznego ładowania.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • filelock z wersji 3.3.1 do 3.4.0
  • wykres z wersji 5.3.0 do 5.3.1
• Uaktualnione biblioteki języka R:
  • od 4.1.1 do 4.1.2
  • Kompilator z wersji 4.1.1 do 4.1.2
  • zestawy danych z wersji 4.1.1 do 4.1.2
  • grafika z wersji 4.1.1 do 4.1.2
  • grDevices z wersji 4.1.1 do 4.1.2
  • siatka z 4.1.1 do 4.1.2
  • metody z wersji 4.1.1 do 4.1.2
  • równoległe z wersji 4.1.1 do 4.1.2
  • Rserve od 1.8-8 do 1.8-10
  • linie od 4.1.1 do 4.1.2
  • statystyki z 4.1.1 do 4.1.2
  • stats4 z 4.1.1 do 4.1.2
  • tcltk z wersji 4.1.1 do 4.1.2
  • narzędzia z wersji 4.1.1 do 4.1.2
  • Narzędzia z wersji 4.1.1 do 4.1.2
  • Backports z wersji 1.2.1 do 1.4.0
  • miotła od 0.7.9 do 0.7.10
  • interfejs wiersza polecenia z wersji 3.0.1 do 3.1.0
  • cpp11 z 0.4.0 do 0.4.1
  • kredka z 1.4.1 do 1.4.2
  • poświadczenia z wersji 1.3.1 do 1.3.2
  • przyszłość z wersji 1.22.1 do 1.23.0
  • gert z 1.4.1 do 1.4.3
  • glmnet z 4.1-2 do 4.1-3
  • klej z 1.4.2 do 1.5.0
  • Zapamiętywanie z wersji 2.0.0 do 2.0.1
  • równolegle z wersji 1.28.1 do 1.29.0
  • readr z wersji 2.0.2 do 2.1.0
  • sessioninfo z wersji 1.1.1 do 1.2.1
  • stringi z 1.7.5 do 1.7.6
  • tibble z 3.1.5 do 3.1.6
  • tinytex z 0.34 do 0.35
  • tzdb z 0.1.2 do 0.2.0
  • usethis z 2.1.2 do 2.1.3
  • uuid z 0.1-4 do 1.0-3
  • vroom od 1.5.5 do 1.5.6
  • xfun od 0.27 do 0.28
• Uaktualnione biblioteki Java:
  • com.fasterxml.jackson z wersji 2.12.2 do 2.12.3
  • io.aircompressor od 0.19 do 0.21
  • io.netty.netty-all from 4.1.63.Final do 4.1.68.Final
  • joda-time.joda-time od 2.10.5 do 2.10.10
  • org.apache.commons.commons-compress z wersji 1.20 do 1.21
  • org.apache.orc z wersji 1.6.10 do 1.6.12
  • org.eclipse.jetty z wersji 9.4.40.v20210413 do 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 z 1.0 do 1.2
  • org.scalanlp.breeze_2.12 z wersji 1.0 do 1.2
  • org.org.typelevel.algebra_2.12 z wersji 2.0.0 do 2.0.1
  • org.typelevel.cats-kernel_2.12 z 2.0.0 do 2.0.1

Apache Spark

Środowisko Databricks Runtime 10.2 obejmuje platformę Apache Spark 3.2.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 10.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() powoduje opóźnienie
• [SPARK-37468] [SQL] Obsługa interwałów ANSI i timestampNTZ dla unionEstimation
• [SPARK-37464] [SQL] SCHEMA i DATABASE powinny być po prostu aliasami namespace
• [SPARK-37452] [SQL] Char i Varchar przerywają zgodność z poprzednimi wersjami między wersjami 3.1 i v2
• [SPARK-36861] [SQL] Użyj yyyy-MM-dd jako wzorca daty w odnajdywania partycji
• [SPARK-37456] [SQL] UTWÓRZ PRZESTRZEŃ NAZW powinna kwalifikować się do polecenia w wersji 2
• [SPARK-37357] [SQL] Dodawanie małego współczynnika partycji dla partycji ponownego równoważenia
• [SPARK-37446] [SQL] Użyj odbicia dla polecenia getWithoutRegisterFns, aby umożliwić tworzenie różnych wersji programu Hive
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION powinna spójnie obsługiwać pustą lokalizację w komendach wersja 1 i wersja 2.
• [SPARK-36357] [SQL] Obsługa znacznika czasu wypychania bez strefy czasowej dla orc
• [SPARK-36346] [SQL] Obsługa typu TimestampNTZ w źródle pliku Orc
• [SPARK-36646] [SQL] Wypychanie grupy według kolumny partycji dla agregacji
• [SPARK-34960] [SQL] Wypychanie agregacji dla orc
• [SPARK-37386] [SQL] Uprość optymalizacjęSkewedJoin, aby nie uruchamiać ewaluatora kosztów
• [SPARK-36073] [SQL] Poprawki i ulepszenia odpowiednikówExpressions
• [SPARK-35352] [SQL] Dodawanie generacji kodu na potrzeby pełnego sprzężenia scalania sortowania zewnętrznego
• [SPARK-37292] [SQL] Usuwa sprzężenia zewnętrzne, jeśli ma tylko funkcję DISTINCT po stronie przesyłanej strumieniowo z aliasem
• [SPARK-37371] [SQL] Funkcja UnionExec powinna obsługiwać kolumny, jeśli wszystkie elementy podrzędne obsługują kolumnę
• [SPARK-36645] [SQL] Wypychanie agregacji (minimalna/maksymalna/liczba) dla parquet
• [SPARK-37379] [SQL] Dodawanie przycinania wzorca drzewa do reguły CTESubstitution
• [SPARK-37332] [SQL] Zezwalaj na interwały ANSI w ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Optymalizowanie ścieżki zapisu u dostawcy magazynu stanów bazy danych RocksDB
• [SPARK-37304] [SQL] Zezwalaj na interwały ANSI w wersji 2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] RZUTOWANIE między interwałami ANSI i IntegralType
• [SPARK-37289] [SQL] Remove partitionSchemaOption , funkcja
• [SPARK-37270] [SQL] Naprawa wypychania zwijanego do gałęzi CaseWhen, jeśli wartość elseValue jest pusta
• [SPARK-35345] [SQL] Dodawanie testów Parquet do obiektu BloomFilterBenchmark
• [SPARK-37341] [SQL] Unikaj niepotrzebnego buforu i kopiowania w pełnym sprzężeniach scalania sortowania zewnętrznego
• [SPARK-37266] [SQL] Wyświetlanie tekstu można SELECT zapytań
• [SPARK-37288] [PYTHON][3.2] Backport od aktualizacji adnotacji
• [SPARK-37262] [SQL] Nie loguj pustego agregowania i grupowania w JDBCScan
• [SPARK-37283] [SQL] Nie próbuj przechowywać tabeli w wersji 1 zawierającej interwały ANSI w formacie zgodnym z programem Hive
• [SPARK-37221] [SQL] Interfejs API przypominający zbieranie w narzędziu SparkPlan powinien obsługiwać dane wyjściowe kolumnowe
• [SPARK-37202] [SQL] Śledzenie określonych funkcji tymczasowych przy użyciu funkcji AnalysisContext
• [SPARK-37023] [CORE] Unikaj pobierania stanu scalania, gdy funkcja shuffleMergeEnabled jest fałszywa w przypadku mieszaniaDependency podczas ponawiania próby
• [SPARK-37307] [CORE] Nie uzyskuj połączenia JDBC na puste partycje
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions obsługują optymalizowanie węzła innego niż główny
• [SPARK-36799] [SQL] Przekazywanie nazwy queryExecution w interfejsie wiersza polecenia
• [SPARK-37261] [SQL] Zezwalaj na dodawanie partycji z interwałami ANSI w usłudze DSv2
• [SPARK-37203] [SQL] Napraw wyjątek NotSerializableException podczas obserwowania za pomocą klasy TypedImperativeAggregate
• [SPARK-37199] [SQL] Dodawanie pola deterministycznego do elementu QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback nie powinna zakończyć się niepowodzeniem, gdy tb_frame.f_lineno ma wartość Brak
• [SPARK-37214] [SQL] Analiza zapytań niepowodzeniem wcześniej z nieprawidłowymi identyfikatorami
• [SPARK-37240] [SQL] Obsługa interwałów ANSI według ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Filtrowanie partycji Hive po stronie klienta przy użyciu wyrażeń
• [SPARK-32940] [SQL] Zbieranie, najpierw i ostatnio powinny być funkcjami agregacji deterministycznej
• [SPARK-37231] [SQL] Dynamiczne zapisy/odczyty partycji interwału ANSI
• [SPARK-37038] [SQL] Przykładowe wypchnięcie DSV2
• [SPARK-36665] [SQL] Dodawanie większej liczby nieuwzroszeń operatorów
• [SPARK-37150] [SQL] Migrowanie PRZESTRZENI NAZW DESCRIBE do domyślnego używania polecenia V2
• [SPARK-37196] [SQL] Funkcja HiveDecimal enforcePrecisionScale nie zwróciła wartości null
• [SPARK-37212] [SQL] Popraw implementację zagregowanego wypychania.
• [SPARK-37190] [SQL] Ulepszanie komunikatów o błędach rzutowania w trybie ANSI
• [SPARK-37161] [SQL] Element RowToColumnConverter obsługuje typ AnsiIntervalType
• [SPARK-37160] [SQL] Dodaj konfigurację, aby opcjonalnie wyłączyć dopełnianie dla typu char
• [SPARK-36554] [ SQL][python] Uwidaczniaj wyrażenie make_date w pliku functions.scala
• [SPARK-37200] [SQL] Indeks upuszczania obsługi dla źródła danych w wersji 2
• [SPARK-37179] [SQL] Tryb ANSI: dodaj konfigurację, aby zezwolić na rzutowanie między wartościami Datetime i Numeryczne
• [SPARK-37168] [SQL] Ulepszanie komunikatów o błędach dla funkcji i operatorów SQL w trybie ANSI
• [SPARK-36935] [SQL] Rozszerzanie obiektu ParquetSchemaConverter w celu obliczenia powtórzeń i poziomu definicji Parquet
• [SPARK-37066] [SQL] Popraw komunikat o błędzie, aby pokazać ścieżkę pliku, gdy nie można odczytać następnego pliku
• [SPARK-32567] [SQL] Dodawanie generacji kodu w celu uzyskania pełnego sprzężenia skrótu połączonego z pełną zewnętrzną mieszania
• [SPARK-37176] [SQL] Zsynchronizuj logikę obsługi wyjątków w metodzie JsonInferSchema#infer z metodą JacksonParser#parse
• [SPARK-37149] [SQL] Ulepszanie komunikatów o błędach dla wyjątków przepełnienia arytmetycznego w trybie ANSI
• [SPARK-37136] [SQL] Usuwanie kodu dotyczącego funkcji hive buildin, ale nie implementowanie na platformie Spark
• [SPARK-16280][SPARK-37082] [SQL] Implementuje funkcję agregacji histogram_numeric, która obsługuje częściową agregację.
• [SPARK-36975] [SQL] Popraw metryki wywołań klienta Hive w HiveClientImpl

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 10.2.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2021-11-30.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)