Databricks Runtime 9.0 (EoS)

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 9.0 i Databricks Runtime 9.0 Photon obsługiwanych przez platformę Apache Spark 3.1.2. Usługa Databricks wydała tę wersję w sierpniu 2021 r. Photon jest w publicznej wersji zapoznawczej.

Korekta

Poprzednia wersja tych informacji o wersji niepoprawnie stwierdziła, że zależności Apache Parquet zostały uaktualnione z wersji 1.10 do 1.12. W rzeczywistości zależności Parquet pozostają w wersji 1.10. Usunięto nieprawidłową notatkę o wersji.

Nowe funkcje i ulepszenia

• Nowy interfejs API do podsumowania statystyk zestawów danych (publiczna wersja zapoznawcza)
• Łatwiejsza konfiguracja zewnętrznego źródła danych dla łącznika usługi Azure Synapse
• Opcjonalnie ogranicz sesję do określonego czasu trwania łącznika Amazon Redshift
• Moduł ładujący automatycznie
• SQL
• Obsługa języka R
• Unikaj ponownego tworzenia, określając stan początkowy przetwarzania stanowego przesyłania strumieniowego ze strukturą
• Implementacja z niskim przetasowaniem komendy Delta MERGE INTO jest teraz dostępna (publiczna wersja zapoznawcza)

Nowy interfejs API do podsumowania statystyk zestawów danych (publiczna wersja zapoznawcza)

Nowe dbutils.data.summarize polecenie w narzędziu Databricks Utilities umożliwia uruchomienie zadania platformy Spark, które automatycznie oblicza statystyki podsumowania kolumn ramki danych platformy Spark, a następnie wyświetla wyniki interaktywnie. Ta funkcja jest dostępna w języku Scala i Python. Zobacz Narzędzie danych (dbutils.data).

Łatwiejsza konfiguracja zewnętrznego źródła danych dla łącznika usługi Azure Synapse

Nowa opcja externalDataSource w łączniku "Wykonywanie zapytań w Azure Synapse Analytics" umożliwia użycie wstępnie aprowizowanego zewnętrznego źródła danych do odczytu z bazy danych Azure Synapse. Opcja externalDataSource usuwa potrzebę wcześniejszego wymaganego CONTROL uprawnienia.

W przypadku ustawienia externalDataSource, zewnętrzne źródło danych i opcja tempDir używana do konfigurowania magazynu tymczasowego muszą odwoływać się do tego samego kontenera w koncie magazynowym.

Opcjonalnie ogranicz sesję do określonego czasu trwania łącznika Amazon Redshift

Nowa fs.s3a.assumed.role.session.duration opcja w łączniku Tworzenie zapytań w Amazon Redshift przy użyciu Azure Databricks pozwala na opcjonalne ustawienie czasu trwania sesji, gdy Redshift uzyskuje dostęp do tymczasowego zasobnika S3 z przyjętą rolą.

Automatyczny ładowacz

• Zoptymalizowana lista plików
• Zoptymalizowany magazyn danych obrazów
• Miniatury obrazów dla plików binarnych (publiczna wersja zapoznawcza)
• DirectoryRename zdarzenia umożliwiają atomowe przetwarzanie wielu plików

Zoptymalizowana lista plików

Optymalizacje automatycznego modułu ładującego zapewniają ulepszenia wydajności i oszczędności kosztów podczas wyświetlania katalogów zagnieżdżonych w magazynie w chmurze, w tym AWS S3, Azure Data Lake Storage (ADLS) i Google Cloud Storage (GCS).

Jeśli na przykład pliki byłyby przekazywane jako /some/path/YYYY/MM/DD/HH/fileName, aby znaleźć wszystkie pliki w tych katalogach, Auto Loader przeprowadzał równoległe przeszukiwanie wszystkich podkatalogów, powodując 365 (dziennie) * 24 (na godzinę) = 8760 LIST wywołań interfejsu API do bazowego magazynu dla każdego katalogu rocznego. Po otrzymaniu spłaszczonej odpowiedzi z tych systemów przechowywania, Auto Loader zmniejsza liczbę wywołań interfejsu API do ilości plików w systemie podzielonych przez liczbę wyników zwracanych przez każde wywołanie interfejsu API (1000 dla S3, 5000 dla ADLS i 1024 dla GCS), znacznie zmniejszając koszty chmury.

Zoptymalizowany magazyn danych obrazów

Auto Loader może teraz automatycznie wykrywać dane obrazów, które są pozyskiwane, i optymalizować ich przechowywanie w tabelach Delta w celu zwiększenia wydajności odczytu i zapisu. Zobacz Wprowadzanie obrazów lub danych binarnych do Delta Lake na potrzeby uczenia maszynowego.

Miniatury obrazów dla plików binarnych (publiczna wersja zapoznawcza)

Obrazy w formacie binaryFile załadowanym lub zapisanym jako Tabele Delty przy użyciu Auto Loader mają dołączone adnotacje, dzięki czemu miniatury obrazu są wyświetlane podczas wyświetlania tabeli w notesie usługi Azure Databricks. Aby uzyskać więcej informacji, zobacz Obrazy.

DirectoryRename zdarzenia umożliwiają niepodzielne przetwarzanie wielu plików

Strumienie automatycznego ładowacza utworzone w ramach Databricks Runtime 9.0 lub nowszym w usłudze Azure Data Lake Storage konfigurują powiadomienia o zdarzeniach plików, aby uwzględniać zmiany nazw katalogów oraz nasłuchiwać RenameDirectory zdarzeń. Możesz użyć zmiany nazw katalogów, aby wiele plików było widocznych jednocześnie i atomowo w Auto Loader.

SQL

• Wykluczanie kolumn w programie SELECT * (publiczna wersja zapoznawcza)
• Funkcje skalarne SQL (publiczna wersja zapoznawcza)
• Odwołanie do powyższych aliasów i kolumn w FROM podzapytaniach (publiczna wersja zapoznawcza)

Wykluczanie kolumn w programie SELECT * (publiczna wersja zapoznawcza)

SELECT * obsługuje teraz słowo kluczowe EXCEPT, które pozwala wykluczyć określone kolumny najwyższego poziomu z rozwijania. Na przykład SELECT * EXCEPT (b) FROM tbl z tabeli ze schematem (a, b, c) rozwija się do (a, c).

Funkcje skalarne SQL (publiczna wersja zapoznawcza)

CREATE FUNCTION teraz obsługuje funkcje skalarne SQL. Można tworzyć funkcje skalarne, które przyjmują zestaw argumentów i zwracają pojedynczą wartość typu skalarnego. Treść funkcji SQL może być dowolnym wyrażeniem. Na przykład:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Aby uzyskać szczegółowe informacje, zobacz CREATE FUNCTION (SQL i Python).

Odwołanie do wcześniejszych aliasów i kolumn w FROM podzapytaniach (wersja zapoznawcza)

Podzapytania w FROM klauzuli zapytania mogą być teraz poprzedzone LATERAL słowem kluczowym, które umożliwia im odwoływanie się do aliasów i kolumn w poprzednich FROM elementach. Na przykład:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Słowo kluczowe LATERAL obsługuje INNER, CROSS i LEFT (OUTER) JOIN.

Zobacz Parametry i parametry.

Obsługa języka R

Biblioteki R o zasięgu notesu (wersja przeznaczona do testów)

Biblioteki przypisane do notesu umożliwiają instalowanie bibliotek i tworzenie środowiska na potrzeby sesji notesu. Te biblioteki nie mają wpływu na inne notesy uruchomione w tym samym klastrze. Biblioteki są dostępne zarówno w węzłach sterownika, jak i procesu roboczego, dzięki czemu można odwoływać się do nich w funkcjach zdefiniowanych przez użytkownika. Zobacz Biblioteki języka R o zakresie notesu.

Komunikaty ostrzegawcze w notesach języka R

Domyślna wartość opcji warn jest teraz ustawiona na 1 wewnątrz zeszytów R. W rezultacie wszystkie ostrzeżenia są teraz widoczne jako część wyniku polecenia. Aby dowiedzieć się więcej na temat warn opcji, zobacz Ustawienia opcji.

Unikaj wykonywania na nowo, określając stan początkowy przetwarzania stanowego przesyłania strumieniowego z użyciem struktur

Teraz można określić stan początkowy zdefiniowany przez użytkownika na potrzeby strukturalnego przesyłania strumieniowego przetwarzania stanowego przy użyciu operatora [flat]MapGroupsWithState.

Zobacz Określanie stanu początkowego dla elementu mapGroupsWithState.

Implementacja komendy Delta MERGE INTO z niskim przetasowaniem jest teraz dostępna (wersja przedpremierowa)

Polecenie delty MERGE INTO ma dostępną nową implementację, co zmniejsza przetasowanie niezmodyfikowanych wierszy. Poprawia to wydajność polecenia i pomaga zachować istniejące klastrowanie w tabeli, takie jak porządkowanie Z. Aby włączyć nisko shuffle scalanie, ustaw wartość spark.databricks.delta.merge.enableLowShuffle na true. Zobacz Scalanie z niskim przełączaniem na platformie Azure Databricks.

Poprawki błędów

• Nie można już zastąpić widoku, tworząc widok o tej samej nazwie.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • certifi od 2021.5.30 do 2020.12.5
  • chardet od 3.0.4 do 4.0.0
  • Cython z 0.29.21 do 0.29.23
  • aktualizacja dekoratora z wersji 4.4.2 do 5.0.6
  • ipython z 7.19.0 do 7.22.0
  • joblib z 0.17.0 do 1.0.1
  • klient jupyter-client z wersji 6.1.7 do 6.1.12
  • Jupyter-core z wersji 4.6.3 do 4.7.1
  • kiwisolver z 1.3.0 do 1.3.1
  • matplotlib z wersji 3.2.2 do 3.4.2
  • pandas z wersji 1.1.5 do 1.2.4
  • pip od 20.2.4 do 21.0.1
  • prompt-toolkit z wersji 3.0.8 do 3.0.17
  • protobuf z 3.17.3 do 3.17.2
  • ptyprocess z 0.6.0 do 0.7.0
  • pyarrow z 1.0.1 do 4.0.0
  • Pygments, wersja od 2.7.2 do 2.8.1
  • pyzmq z 19.0.2 do 20.0.0
  • żądania z wersji 2.24.0 do 2.25.1
  • s3transfer z 0.3.6 do 0.3.7
  • scikit-learn z wersji 0.23.2 do 0.24.1
  • scipy z 1.5.2 do 1.6.2
  • seaborn od 0.10.0 do 0.11.1
  • setuptools z 50.3.1 do 52.0.0
  • statsmodels z 0.12.0 do 0.12.2
  • tornado z 6.0.4 do 6.1
  • virtualenv z wersji 20.2.1 do 20.4.1
  • od 0.35.1 do 0.36.2
• Uaktualnione biblioteki języka R:
  • Macierz z zakresu od 1.3 do 1.3-4

Apache Spark

Środowisko Databricks Runtime 9.0 obejmuje platformę Apache Spark 3.1.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.4 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-35886] [SQL][3.1] PromotePrecision nie powinno nadpisywać genCode. PromotePrecision nie powinno nadpisywać genCode.
• [SPARK-35879] [ CORE][shuffle] Naprawiono regresję wydajności spowodowaną przez collectFetchRequests
• [SPARK-35817] [SQL][3.1] Przywróć wydajność zapytań dla szerokich tabel Avro
• [SPARK-35841] [ SQL] Rzutowanie ciągu na typ dziesiętny nie działa, jeśli...
• [SPARK-35783] [SQL] Ustaw listę kolumn odczytu w konfiguracji zadania, aby zmniejszyć odczyt danych ORC
• [SPARK-35576] [SQL][3.1] Ukryj poufne informacje w wyniku polecenia Set
• [SPARK-35449] [SQL][3.1] Wyodrębnij tylko typowe wyrażenia z wartości CaseWhen, jeśli parametr elseValue został ustawiony
• [SPARK-35288] [SQL] Funkcja StaticInvoke powinna znaleźć metodę bez dokładnego dopasowania klas argumentów
• [SPARK-34794] [SQL] Rozwiązywanie problemów z nazwą zmiennej lambda w funkcjach zagnieżdżonych ramek danych
• [SPARK-35278] [SQL] Wywołanie powinno znaleźć metodę z poprawną liczbą parametrów
• [SPARK-35226] [SQL] Obsługa opcji refreshKrb5Config w źródłach danych JDBC
• [SPARK-35244] [SQL] Wywołanie powinno zgłaszać oryginalny wyjątek
• [SPARK-35213] [SQL] Zachowaj poprawną kolejność zagnieżdżonych struktur w operacjach połączonych w łańcuchu z użyciem withField.
• [SPARK-35087] [Interfejs użytkownika] Niektóre kolumny w tabeli Zagregowane metryki według wykonawcy na stronie szczegółów etapu wyświetlają się niepoprawnie.
• [SPARK-35168] [SQL] mapred.reduce.tasks powinien być shuffle.partitions, a nie adaptive.coalescePartitions.initialPartitionNum
• [SPARK-35127] [Interfejs użytkownika] Gdy przełączamy się między różnymi stronami szczegółów etapu, element wpisu na nowo otwartej stronie może być pusty
• [SPARK-35142] [ PYTHON][ml] Poprawiono niepoprawny typ zwracany dla elementu rawPredictionUDF w OneVsRestModel
• [SPARK-35096] [SQL] SchematPruning powinien być zgodny z konfiguracją spark.sql.caseSensitive
• [SPARK-34639] [SQL][3.1] RelalGroupedDataset.alias nie powinien tworzyć unresolvedAlias
• [SPARK-35080] [SQL] Zezwalaj tylko na podzestaw skorelowanych predykatów równości, gdy podzapytywanie jest agregowane
• [SPARK-35117] [Interfejs użytkownika] Zmień pasek postępu z powrotem, aby wyróżnić współczynnik zadań w toku
• [SPARK-35136] Usuń początkową wartość null LiveStage.info
• [SPARK-34834] [NETWORK] Naprawa potencjalnego wycieku pamięci Netty w programie TransportResponseHandler
• [SPARK-35045] [SQL] Dodawanie opcji wewnętrznej w celu kontrolowania buforu wejściowego w jednowołości
• [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisać wyrażeń składanych
• [SPARK-35019] [ PYTHON][sql] Wskazówki dotyczące błędów typów poprawek w pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() powinna uwzględniać, że wartość partycji jest null
• [SPARK-34630] [PYTHON] Dodaj typehint dla pyspark.version
• [SPARK-34963] [SQL] Naprawiono zagnieżdżone oczyszczanie kolumn w celu wyodrębnienia pola struktury bez uwzględniania wielkości liter z tablicy struktury
• [SPARK-34988] [CORE][3.1] Uaktualnianie rozwiązania Jetty dla CVE-2021-28165
• [SPARK-34922] [SQL][3.1] Użyj funkcji porównywania kosztów względnych w CBO
• [SPARK-34970] [SQL][security][3.1] Utajnij opcje typu mapy w wynikach funkcji explain()
• [SPARK-34923] [SQL] Dane wyjściowe metadanych powinny być puste dla większej liczby planów
• [SPARK-34949] [CORE] Zapobiegaj ponownemu rejestrowaniu BlockManagera podczas zamykania się Executora
• [SPARK-34939] [CORE] Zgłaszanie wyjątku niepowodzenia pobierania, gdy nie można wykonać deserializacji rozgłaszanych stanów map
• [SPARK-34909] [SQL] Naprawa konwersji ujemnych liczb na bezznakowe w funkcji conv()
• [SPARK-34845] [ CORE] ProcfsMetricsGetter nie powinien zwracać niepełnych metryk procfs
• [SPARK-34814] [SQL] LikeSimplification powinna obsługiwać wartość NULL
• [SPARK-34876] [SQL] Wypełnij wartość defaultResult agregacji niezwiązanych z wartościami null
• [SPARK-34829] [SQL] Poprawianie wyników funkcji wyższej kolejności
• [SPARK-34840] [SHUFFLE] Naprawia przypadki uszkodzenia w scalonych operacjach mieszania ...
• [SPARK-34833] [SQL] Poprawnie zastosuj dopasowanie do prawej strony dla skorelowanych podzapytań
• [SPARK-34630] [ PYTHON][sql] Dodano parametr typehint dla pyspark.sql.Column.contains
• [SPARK-34763] [SQL] col(), $"name" i df("name") powinny prawidłowo obsługiwać cytowane nazwy kolumn
• [SPARK-33482][SPARK-34756] [SQL] Poprawka sprawdzania równości FileScan
• [SPARK-34790] [CORE] Wyłącz pobieranie bloków mieszania w partii po włączeniu szyfrowania we/wy
• [SPARK-34803] [PYSPARK] Przekaż zgłoszony błąd ImportError, jeśli nie można zaimportować biblioteki pandas lub pyarrow
• [SPARK-34225] [CORE] Nie koduj dalej, gdy ciąg URI w formacie 'URI form string' jest przekazywany do funkcji addFile lub addJar
• [SPARK-34811] [CORE] Redaguj fs.s3a.access.key podobnie jak tajny klucz i token
• [SPARK-34796] [SQL][3.1] Inicjowanie zmiennej licznika dla LIMIT code-gen w doProduce()
• [SPARK-34128] [SQL] Pomijanie niepożądanych ostrzeżeń TTransportException związanych z THRIFT-4805
• [SPARK-34776] [SQL] Zagnieżdżone oczyszczanie kolumn nie powinno przycinać atrybutów wygenerowanych przez okno
• [SPARK-34087] [3.1][sql] Naprawa przecieku pamięci w ExecutionListenerBus
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords powinna używać modułu ładującego Spark zamiast kontekstu
• [SPARK-34719] [SQL][3.1] Poprawnie rozpoznaj zapytanie widoku z zduplikowanymi nazwami kolumn
• [SPARK-34766] [SQL][3.1] Nie przechwytuj konfiguracji Maven dla widoków
• [SPARK-34731] [CORE] Unikaj elementu ConcurrentModificationException podczas redagowania właściwości w elemecie EventLoggingListener
• [SPARK-34737] [SQL][3.1] Rzutuj wartość typu float na typ double w TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] Uprość ResolveCreateNamedStruct
• [SPARK-34768] [SQL] Uwzględnianie domyślnego rozmiaru buforu wejściowego w univocity
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists nie powinno zawieść, jeśli baza danych nie istnieje
• [SPARK-34504] [SQL] Unikaj niepotrzebnego rozpoznawania widoków tymczasowych SQL w przypadku poleceń DDL
• [SPARK-34727] [SQL] Naprawa rozbieżności w konwersji liczby zmiennoprzecinkowej na znacznik czasu
• [SPARK-34723] [SQL] Poprawny typ parametru dla eliminacji podwyrażeń na całym etapie przetwarzania
• [SPARK-34724] [SQL] Naprawa interpretowanej oceny przy użyciu metody getMethod zamiast getDeclaredMethod
• [SPARK-34713] [SQL] Naprawianie grupowania według metody CreateStruct za pomocą funkcji ExtractValue
• [SPARK-34697] [SQL] Umożliwiają DESCRIBE FUNCTION i SHOW FUNCTIONS wyjaśnienie działania || (operatora łączenia ciągów)
• [SPARK-34682] [SQL] Użyj elementu PrivateMethodTester zamiast refleksji
• [SPARK-34682] [SQL] Naprawić regresję w sprawdzaniu błędu kanonizacyjnego w poleceniu CustomShuffleReaderExec
• [SPARK-34681] [SQL] Naprawiono usterkę dotyczącą pełnego zewnętrznego sprzężenia haszującego z przetasowaniem, gdy buduje się lewą stronę z warunkiem nierównościowym.
• [SPARK-34545] [SQL] Naprawa błędów związanych z funkcją valueCompare w pyrolite
• [SPARK-34607] [SQL][3.1] Dodaj Utils.isMemberClass , aby naprawić źle sformułowany błąd nazwy klasy w jdk8u
• [SPARK-34596] [SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w pliku NewInstance.doGenCode
• [SPARK-34613] [SQL] Poprawka widoku nie przechwytuje konfiguracji wskazówek wyłączania
• [SPARK-32924] [WEBUI] Ustaw, aby kolumna czasu trwania w interfejsie użytkownika master była posortowana w prawidłowej kolejności.
• [SPARK-34482] [SS] Popraw aktywną funkcję SparkSession dla StreamExecution.logicalPlan
• [SPARK-34567] [SQL] CreateTableAsSelect również powinna aktualizować metryki
• [SPARK-34599] [SQL] Naprawiono problem, że INTO OVERWRITE nie obsługuje kolumn partycji zawierających kropkę w DSv2.
• [SPARK-34577] [SQL] Naprawianie upuszczania/dodawania kolumn do zestawu danych DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] Partycja statyczna powinna również być zgodna z zasadami StoreAssignmentPolicy podczas wstawiania do tabel w wersji 2
• [SPARK-34555] [SQL] Rozwiązywanie problemów z danymi wyjściowymi metadanych z ramki danych
• [SPARK-34534] Naprawianie kolejności blockIds podczas pobierania bloków za pomocą polecenia FetchShuffleBlocks
• [SPARK-34547] [SQL] Użyj tylko kolumn metadanych do rozwiązania w ostateczności
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap zawodzi dla nazwy kolumny z kropką
• [SPARK-34561] [SQL] Naprawianie upuszczania/dodawania kolumn z/do zestawu danych w wersji 2 DESCRIBE TABLE
• [SPARK-34556] [SQL] Sprawdzanie zduplikowanych kolumn partycji statycznych powinno uwzględniać konfigurację rozróżniania wielkości liter
• [SPARK-34392] [SQL] Obsługa elementu ZoneOffset +h:mm w narzędziu DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] Pomiń wartość null InSet podczas filtrowania wypychania do magazynu metadanych Hive
• [SPARK-34543] [SQL] Uwzględnianie spark.sql.caseSensitive konfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1 SET LOCATION
• [SPARK-34436] [SQL] Obsługa funkcji DPP LIKE ANY/ALL
• [SPARK-34531] [CORE] Usuwanie tagu eksperymentalnego interfejsu API w usłudze PrometheusServlet
• [SPARK-34497] [SQL] Naprawianie wbudowanych dostawców połączeń JDBC w celu przywrócenia zmian kontekstu zabezpieczeń JVM
• [SPARK-34515] [SQL] Naprawianie elementu NPE, jeśli zestaw inset zawiera wartość null podczas polecenia getPartitionsByFilter
• [SPARK-34490] [SQL] Analiza powinna zakończyć się niepowodzeniem, jeśli widok odwołuje się do usuniętej tabeli
• [SPARK-34473] [SQL] Unikaj elementu NPE w elemecie DataFrameReader.schema(StructType)
• [SPARK-34384] [CORE] Dodanie brakujących dokumentów dla interfejsów API ResourceProfile
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext może zawieszać się z powodu problemu wyścigu
• [SPARK-20977] [CORE] Użyj pola innego niż końcowego dla stanu KolekcjiAccumulator
• [SPARK-34421] [SQL] Rozpoznawanie funkcji tymczasowych i widoków w widokach przy użyciu obiektów CTE
• [SPARK-34431] [CORE] Załaduj hive-site.xml tylko raz
• [SPARK-34405] [CORE] Poprawiono średnią wartość timersLabels w klasie PrometheusServlet
• [SPARK-33438] [SQL] Szybka inicjalizacja obiektów z zdefiniowanymi SQL Confs dla polecenia set -v
• [SPARK-34158] Niepoprawny adres URL jedynego dewelopera Matei w pom.xml
• [SPARK-34346] [CORE][sql][3.1] io.file.buffer.size ustawione przez spark.buffer.size zostanie przypadkowo nadpisane przy ładowaniu hive-site.xml, co może spowodować regresję wydajności.
• [SPARK-34359] [SQL][3.1] Dodawanie starszej konfiguracji w celu przywrócenia schematu wyjściowego SHOW DATABASES
• [SPARK-34331] [SQL] Przyspieszanie rozwiązywania kolumn metadanych DS w wersji 2
• [SPARK-34318] [SQL][3.1] Zbiór danych.colRegex powinien działać z nazwami kolumn i kwalifikatorami zawierającymi nowe linie
• [SPARK-34326] [ CORE][sql] Poprawiono liczbę UTS dodaną na platformie SPARK-31793 w zależności od długości ścieżki tymczasowej
• [SPARK-34319] [SQL] Rozpoznawanie zduplikowanych atrybutów flatMapCoGroupsInPandas/MapInPandas
• [SPARK-34310] [ CORE][sql] Zastępuje map i flatten funkcją flatMap
• [SPARK-34083] [SQL][3.1] Używanie oryginalnych definicji TPCDS dla kolumn char/varchar
• [SPARK-34233] [SQL][3.1] Naprawiono NPE dla dopełnienia znaków w porównaniach binarnych
• [SPARK-34270] [SS] Łączenie StateStoreMetrics nie powinno zastępować StateStoreCustomMetric
• [SPARK-34144] [SQL] Wyjątek zgłaszany podczas próby zapisania wartości LocalDate i Instant w relacji JDBC
• [SPARK-34273] [CORE] Nie rejestruj ponownie BlockManager, gdy SparkContext jest zatrzymany
• [SPARK-34262] [SQL][3.1] Odśwież buforowane dane tabeli w wersji 1 w ALTER TABLE .. SET LOCATION
• [SPARK-34275] [ CORE][sql][MLLIB] Zastępuje filtr i rozmiar liczbą
• [SPARK-34260] [SQL] Naprawianie błędu UnresolvedException podczas dwukrotnego tworzenia widoku tymczasowego
• [SPARK-33867] [ SQL] Wartości instant i LocalDate nie są obsługiwane podczas generowania zapytań SQL
• [SPARK-34193] [CORE] Naprawa wyścigu przy dezaktywacji menedżera bloków TorrentBroadcast
• [SPARK-34221] [WEBUI] Upewnij się, że jeśli etap nie powiedzie się na stronie interfejsu użytkownika, odpowiedni komunikat o błędzie może być wyświetlany poprawnie.
• pl-PL: [SPARK-34236] [SQL] Naprawiono problem z nadpisywaniem partycji statycznej null w wersji 2. Nie można przetłumaczyć wyrażenia na filtr źródłowy: null.
• [SPARK-34212] [SQL] Naprawa niepoprawnego odczytu wartości dziesiętnych z plików Parquet
• [SPARK-34244] [SQL] Usuń wersję funkcji Scala regexp_extract_all
• [SPARK-34235] [SS] Tworzenie spark.sql.hive jako pakietu prywatnego
• [SPARK-34232] [CORE] Zdarzenie Redact SparkListenerEnvironmentUpdate w dzienniku
• [SPARK-34229] [SQL] Avro powinna odczytywać wartości dziesiętne ze schematem pliku
• [SPARK-34223] [SQL] FIX NPE dla partycji statycznej z wartością null w insertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] Przenieś wypełnienie znaków na stronę zapisu i usuń sprawdzanie długości po stronie odczytu też
• [SPARK-34203] [SQL] Konwertowanie null wartości partycji na __HIVE_DEFAULT_PARTITION__ w katalogu w wersji 1 In-Memory
• [SPARK-33726] [SQL] Poprawka dotycząca zduplikowanych nazw pól podczas agregacji
• [SPARK-34133] [AVRO] Uwzględnianie wielkości liter podczas dopasowywania pól między Catalyst a Avro
• [SPARK-34187] [SS] Użyj dostępnego zakresu przesunięcia uzyskanego podczas sondowania podczas sprawdzania poprawności przesunięcia
• [SPARK-34052] [SQL][3.1] przechowuj tekst SQL dla widoku tymczasowego utworzonego przy użyciuCACHE TABLE .. AS SELECT ..."
• [SPARK-34213] [SQL] Odśwież buforowane dane tabeli v1 w LOAD DATA
• [SPARK-34191] [PYTHON][sql] Dodaj typowanie dla przeciążenia udf
• [SPARK-34200] [SQL] Niejednoznaczne odwołanie do kolumny powinno uwzględniać dostępność atrybutów
• [SPARK-33813] [ SQL][3.1] Rozwiązano problem polegający na tym, że źródło JDBC nie może traktować typów przestrzennych programu MS SQL Server
• [SPARK-34178] [SQL] Kopiowanie tagów dla nowego węzła utworzonego przez multiInstanceRelation.newInstance
• [SPARK-34005] [CORE][3.1] Aktualizowanie metryk pamięci szczytowej dla każdego wykonawcy na końcu zadania
• [SPARK-34115] [CORE] Sprawdź SPARK_TESTING jako leniwą val, aby uniknąć spowolnienia
• [SPARK-34153] [SQL][3.1][3.0] Usuń nieużywane getRawTable() z HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] Poprawa wydajności dla obsługi wypełniania i sprawdzania długości char i varchar przy użyciu StaticInvoke
• [SPARK-34027] [SQL][3.1] Odśwież pamięć podręczną w ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] Zamienia na java.io.File.toURLjava.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] Przenieś QueryCompilationErrors.scala do org/apache/spark/sql/errors
• [SPARK-34080] [ML][python] Add UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] Zmniejsz wywołanie RPC getFileStatus w SingleFileEventLogFileReader
• [SPARK-34118] [CORE][sql][3.1] Zastępuje filtr oraz sprawdzenie pustki z użyciem exists lub forall
• [SPARK-34114] [SQL] nie powinien przycinać z prawej strony przy sprawdzaniu długości znaków i wypełnianiu po stronie odczytu.
• [SPARK-34086] [SQL][3.1] Funkcja RaiseError generuje zbyt dużo kodu i może zakończyć się niepowodzeniem podczas sprawdzania długości dla typów char i varchar.
• [SPARK-34075] [ SQL][core] Ukryte katalogi są wyświetlane dla wnioskowania partycji
• [SPARK-34076] [SQL] SQLContext.dropTempTable zawodzi, jeśli pamięć podręczna nie jest pusta.
• [SPARK-34084] [SQL][3.1] Naprawianie automatycznego aktualizowania statystyk tabeli w ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled wynik używany w narzędziu KafkaTokenUtil.needTokenUpdate
• [SPARK-34069] [CORE] Zadania bariery zabijania powinny uwzględniać SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] Pobieranie partii shuffle powinno można było wyłączyć po włączeniu
• [SPARK-34059] [SQL][core][3.1] Użyj polecenia for/foreach zamiast map, aby zapewnić natychmiastowe wykonanie.
• [SPARK-34002] [SQL] Naprawiono użycie kodera w funkcji ScalaUDF
• [SPARK-34060] [SQL][3.1] Naprawa buforowania tabeli Programu Hive podczas aktualizowania statystyk według ALTER TABLE .. DROP PARTITION
• [SPARK-31952] [SQL] Naprawianie nieprawidłowej metryki rozlania pamięci podczas wykonywania agregacji
• [SPARK-33591] [SQL][3.1] Rozpoznawanie null wartości specyfikacji partycji
• [SPARK-34055] [SQL][3.1] Odśwież pamięć podręczną w ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] Funkcja ReplaceTable powinna unieważnić pamięć podręczną
• [SPARK-34003] [SQL] Rozwiązywanie konfliktów reguł między paddingAndLengthCheckForCharVarchar i ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] Optymalizowanie Like Any/All przez LikeSimplification
• [SPARK-34021] [R] Naprawa hiperlinków w dokumentacji SparkR na potrzeby zgłoszenia do CRAN
• [SPARK-34011] [SQL][3.1][3.0] Odśwież pamięć podręczną w ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] Naprawiono błąd CodeGen metody MapObjects.doGenCode w języku Scala 2.13
• [SPARK-33635] [SS] Dostosowywanie kolejności ewidencjonowania w narzędziu KafkaTokenUtil.needTokenUpdate w celu rozwiązania problemu regresji wydajności
• [SPARK-33029] [ CORE][webui] Napraw stronę funkcji wykonawczej interfejsu użytkownika niepoprawnie oznaczającą sterownik jako wykluczony
• [SPARK-34015] [R] Poprawa pomiaru czasu danych wejściowych w funkcji gapply
• [SPARK-34012] [SQL] Zachowaj spójność zachowania, gdy conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere jest prawdziwy, korzystając z przewodnika po migracji
• [SPARK-33844] [SQL][3.1] Polecenie InsertIntoHiveDir powinno również sprawdzić nazwę kolumny
• [SPARK-33935] [SQL] Naprawa funkcji kosztu CBO
• [SPARK-33100] [SQL] Ignoruj średnik wewnątrz komentarza w nawiasie w języku spark-sql
• [SPARK-34000] [CORE] Poprawiono problem z wyjątkiem java.util.NoSuchElementException związanym ze stageAttemptToNumSpeculativeTasks
• [SPARK-33992] [SQL] nadpisanie funkcji transformUpWithNewOutput w celu dodania możliwości wywoływania transformacji w analizatorze
• [SPARK-33894] [SQL] Zmienianie widoczności klas przypadków prywatnych w mllib, aby uniknąć błędów kompilacji środowiska uruchomieniowego w języku Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] Odśwież pamięć podręczną w wersji 1 ALTER TABLE .. DROP PARTITION
• [SPARK-33980] [SS] Unieważnij char/varchar w spark.readStream.schema
• [SPARK-33945] [SQL][3.1] Obsługuje losowe ziarno składające się z drzewa wyrażeń
• [SPARK-33398] Naprawa ładowania modeli drzew przed Spark 3.0
• [SPARK-33963] [SQL] Canonicalize bez statystyk tabeli HiveTableRelation
• [SPARK-33906] [WEBUI] Naprawa błędu, który powodował zablokowanie strony wykonawczej UI z powodu niezdefiniowanego PeakMemoryMetrics.
• [SPARK-33944] [SQL] Nieprawidłowe rejestrowanie kluczy magazynu w opcjach SharedState
• [SPARK-33936] [SQL][3.1] Dodaj wersję, kiedy dodano interfejsy łącznika
• [SPARK-33916] [CORE] Napraw przesunięcie rezerwowe pamięci i poprawa pokrycia testowego kodeka kompresji
• [SPARK-33899] [SQL][3.1] Naprawa błędu asercji w wersji v1 SHOW TABLES/VIEWS w spark_catalog
• [SPARK-33901] [SQL] Napraw błąd wyświetlania Char i varchar po DDL
• [SPARK-33897] [ SQL] Nie można ustawić opcji "cross" w metodzie łączenia
• [SPARK-33907] [SQL][3.1] Czyścić tylko kolumny JsonToStructs, jeśli opcje analizowania są puste
• [SPARK-33621][SPARK-33784] [SQL][3.1] Dodawanie sposobu wstrzykiwania reguł ponownego zapisywania źródła danych
• [SPARK-33900] [WEBUI] Pokaż poprawnie rozmiar odczytu shuffle i liczbę rekordów, gdy dostępny jest wyłącznie parametr remotebytesread
• [SPARK-33892] [SQL] Wyświetl char/varchar w DESC i SHOW CREATE TABLE
• [SPARK-33895] [SQL] Char i Varchar kończą się niepowodzeniem w metaoperacji ThriftServer
• [SPARK-33659] [SS] Dokumentowanie bieżącego zachowania interfejsu API DataStreamWriter.toTable
• [SPARK-33893] [CORE] Wyklucz zapasowego menedżera bloków z listy wykonawców
• [SPARK-33277] [PYSPARK][sql] Użyj ContextAwareIterator, aby przestać konsumować po zakończeniu zadania
• [SPARK-33889] [SQL][3.1] Naprawa NPE w tabelach V2
• [SPARK-33879] [SQL] Wartości Char Varchar kończą się niepowodzeniem w/ błędem dopasowania jako kolumny partycji
• [SPARK-33877] [SQL] dokumentacja referencyjna SQL dotycząca INSERT listy kolumn
• [SPARK-33876] [SQL] Dodaj sprawdzanie długości dla odczytywania char/varchar z tabel z lokalizacją zewnętrzną
• [SPARK-33846] [SQL] Dołączanie komentarzy do zagnieżdżonego schematu w StructType.toDDL
• [SPARK-33860] [SQL] Make CatalystTypeConverters.convertToCatalyst dopasowuje specjalną wartość tablicy
• [SPARK-33834] [SQL] Zweryfikuj ALTER TABLE ZMIANA COLUMN z Char i Varchar
• [SPARK-33853] [ SQL] EXPLAIN CODEGEN i BenchmarkQueryTest nie pokazują kodu podzapytania
• [SPARK-33836] [SS][python] Udostępnienie funkcji DataStreamReader.table oraz DataStreamWriter.toTable
• [SPARK-33829] [SQL][3.1] Zmiana nazwy tabel w wersji 2 powinna ponownie utworzyć pamięć podręczną
• [SPARK-33756] [SQL] Uczyń MapIterator BytesToBytesMap idempotentnym
• [SPARK-33850] [ SQL] EXPLAIN FORMATTED nie pokazuje planu podzapytania, jeśli włączono AQE
• [SPARK-33841] [CORE][3.1] Rozwiązano problem z zadaniami, które znikają sporadycznie z usługi SHS pod dużym obciążeniem
• [SPARK-33593] [SQL] Czytnik wektorów otrzymał nieprawidłowe dane z wartością partycji binarnej
• [SPARK-26341] [WEBUI] Uwidacznianie metryk pamięci wykonawcy na poziomie etapu w zakładce Etapy
• [SPARK-33831] [Interfejs użytkownika] Aktualizacja do jetty 9.4.34
• [SPARK-33822] [SQL] Używanie metody w metodzie CastSupport.cast HashJoin
• [SPARK-33774] [interfejs użytkownika][core] "Powrót do Master" zwraca błąd 500 w klastrze autonomicznym
• [SPARK-26199][SPARK-31517] [R] Poprawka strategii obsługi ... nazwy w mutacji
• [SPARK-33819] [CORE][3.1] Element SingleFileEventLogFileReader/RollingEventLogFilesFileReader powinien mieć wartość package private
• [SPARK-33697] [SQL] Funkcja RemoveRedundantProjects powinna wymagać domyślnie porządkowania kolumn
• [SPARK-33752] [SQL][3.1] Unikaj wielokrotnie dodawania średnika getSimpleMessage of AnalysisException
• [SPARK-33788] [SQL][3.1][3.0][2.4] Zgłoś wyjątek NoSuchPartitionsException z funkcji HiveExternalCatalog.dropPartitions()
• [SPARK-33803] [SQL] Sortuj właściwości tabeli według klucza w poleceniu DESCRIBE TABLE
• [SPARK-33786] [SQL] Poziom magazynowania pamięci podręcznej powinien być przestrzegany, gdy nazwa tabeli zostanie zmieniona
• [SPARK-33273] [SQL] Naprawianie stanu wyścigu w wykonaniu podzapytania
• [SPARK-33653] [SQL][3.1] DSv2: REFRESHREFRESH TABLE powinna odświeżyć pamięć podręczną dla samej tabeli
• [SPARK-33777] [SQL] Sortuj dane wyjściowe wersji 2 SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic powinna sprawdzać i zbierać pole deterministyczne
• [SPARK-33764] [SS] Ustawienie interwału konserwacji stanu przechowywania jako konfiguracji SQL
• [SPARK-33729] [SQL] Podczas odświeżania pamięci podręcznej platforma Spark nie powinna używać buforowanego planu podczas odzyskiwania danych
• [SPARK-33742] [ SQL][3.1] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
• [SPARK-33706] [SQL] Wymagaj w pełni określonego identyfikatora partycji w partycjiExists()
• [SPARK-33740] [SQL] konfiguracje Hadoop w pliku hive-site.xml mogą zastąpić wcześniej istniejące konfiguracje Hadoop
• [SPARK-33692] [SQL] Widok SQL powinien używać przechwyconego katalogu i przestrzeni nazw SQL do odszukiwania funkcji.
• [SPARK-33669] Nieprawidłowy komunikat o błędzie z monitora stanu aplikacji YARN, gdy użyto "sc.stop" w trybie klienta YARN.
• [SPARK-32110] [SQL] normalizacja specjalnych liczb zmiennoprzecinkowych w funkcji HyperLogLog++
• [SPARK-33677] [SQL] Pomiń regułę LikeSimplification, jeśli wzorzec zawiera jakikolwiek element escapeChar
• [SPARK-33693] [SQL] wycofanie spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] Unieważnianie nowych typów char/varchar w publicznych interfejsach API, które generują nieprawidłowe wyniki
• [SPARK-32680] [SQL] Nie przetwarzaj wstępnie V2 CTAS z nierozwiązanym zapytaniem
• [SPARK-33676] [SQL] Wymagaj dokładnego dopasowania specyfikacji partycji do schematu w wersji 2 ALTER TABLE .. ADD/DROP PARTITION
• [SPARK-33670] [SQL] Sprawdź, czy dostawca partycji jest Hive w wersji 1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] Usuwanie z pamięci podręcznej nie powinno być wykonane w przypadku nieistniejących widoków tymczasowych
• [SPARK-33667] [SQL] Uwzględnianie spark.sql.caseSensitive konfiguracji podczas rozpoznawania specyfikacji partycji w wersji 1 SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2: DeleteFrom powinien odświeżyć pamięć podręczną

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 9.0.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN z dnia 2021-07-28.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)