Databricks Runtime 7.0 (EoS)

Usługa Databricks wydała tę wersję w czerwcu 2020 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.0 obsługiwanym przez platformę Apache Spark 3.0.

Nowe funkcje

Środowisko Databricks Runtime 7.0 zawiera następujące nowe funkcje:

• Scala 2.12

  Środowisko Databricks Runtime 7.0 uaktualnia język Scala z wersji 2.11.12 do 2.12.10. Lista zmian między Scala 2.12 i 2.11 jest w notatkach o wydaniu Scala 2.12.0.

• Automatyczne ładowanie (publiczna wersja zapoznawcza) wydane w środowisku Databricks Runtime 6.4 zostało ulepszone w środowisku Databricks Runtime 7.0

  Automatyczne ładowanie zapewnia wydajniejszy sposób przetwarzania nowych plików danych przyrostowo podczas procesu ETL w magazynie obiektów blob w chmurze. Jest to poprawa przesyłania strumieniowego ze strukturą opartą na plikach, która identyfikuje nowe pliki, wielokrotnie wyświetlając katalog w chmurze i śledząc pliki, które zostały zaobserwowane, i może być bardzo nieefektywna w miarę wzrostu katalogu. Auto Loader jest również wygodniejszy i skuteczniejszy niż strumieniowanie oparte na powiadomieniach plikowych, które wymaga ręcznego skonfigurowania usług powiadomień plikowych w chmurze i nie pozwala na uzupełnianie istniejących plików. Aby uzyskać szczegółowe informacje, zobacz Co to jest automatyczne ładowanie?.

  W środowisku Databricks Runtime 7.0 nie trzeba już żądać niestandardowego obrazu środowiska Databricks Runtime w celu korzystania z modułu automatycznego ładującego.

• COPY INTO (Publiczna wersja zapoznawcza), która umożliwia ładowanie danych do usługi Delta Lake przy użyciu ponownych prób idempotentnych, została ulepszona w środowisku Databricks Runtime 7.0

  Wydane jako publiczna wersja zapoznawcza w środowisku Databricks Runtime 6.4 polecenie COPY INTO SQL umożliwia ładowanie danych do usługi Delta Lake przy użyciu ponownych prób idempotentnych. Aby załadować dane do usługi Delta Lake dzisiaj, musisz użyć interfejsów API ramki danych platformy Apache Spark. Jeśli podczas ładowania występują błędy, należy je skutecznie obsługiwać. Nowe COPY INTO polecenie udostępnia znany interfejs deklaratywny do ładowania danych w języku SQL. Polecenie śledzi wcześniej załadowane pliki i bezpiecznie uruchamia je ponownie w przypadku awarii. Aby uzyskać szczegółowe informacje, zobacz COPY INTO.

Ulepszenia

• Łącznik usługi Azure Synapse (dawniej SQL Data Warehouse) obsługuje instrukcję COPY .

  Główną zaletą COPY jest to, że użytkownicy z niższymi uprawnieniami mogą zapisywać dane w usłudze Azure Synapse bez konieczności posiadania rygorystycznych CONTROL uprawnień w usłudze Azure Synapse.

• Polecenie %matplotlib inline magic nie jest już wymagane do wyświetlania obiektów Matplolib wbudowanych w komórkach notesu. Są one zawsze wyświetlane w tekście domyślnie.

• Liczby biblioteki Matplolib są teraz renderowane za pomocą transparent=Falseelementu , dzięki czemu tła określone przez użytkownika nie zostaną utracone. To zachowanie można zastąpić, ustawiając konfigurację spark.databricks.workspace.matplotlib.transparent trueplatformy Spark.

• W przypadku uruchamiania zadań produkcyjnych struktur przesyłania strumieniowego w klastrach trybie wysokiej współbieżności, ponowne uruchomienie zadania czasami się nie udaje, ponieważ wcześniej uruchomione zadanie nie zostało prawidłowo zakończone. Środowisko Databricks Runtime 6.3 wprowadziło możliwość ustawienia konfiguracji SQL spark.sql.streaming.stopActiveRunOnRestart true w klastrze, aby upewnić się, że poprzednie uruchomienie zostanie zatrzymane. Ta konfiguracja jest domyślnie ustawiana w środowisku Databricks Runtime 7.0.

Główne zmiany w bibliotece

Pakiety języka Python

Uaktualniono główne pakiety języka Python:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 —> 3.1.3
• numpy 1.16.2 —> 1.18.1
• pandas 0.24.2 —> 1.0.1
• 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 —> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Usunięte pakiety języka Python:

• boto (użyj boto3)
• pycurl

Pakiety języka R

Dodano pakiety języka R:

• miotła
• wysoki
• isoband
• knitr (narzędzie do generowania dynamicznych raportów w R)
• Markdown
• modeler
• przykład powtarzalny
• rmarkdown (narzędzie do tworzenia dokumentów w R)
• rvest
• selektor
• tidyverse
• tinytex
• xfun

Usunięte pakiety języka R:

• abind
• bitops
• samochód
• dane samochodu
• DoMC
• Gbm
• H2O
• mniejszy
• lme4
• mapproj
• Mapy
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsxx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• Rio
• Sp
• Rozrzednia
• statmod
• zamek

Biblioteki Java i Scala

• Wersja programu Apache Hive używana do obsługi funkcji zdefiniowanych przez użytkownika programu Hive i uaktualnianych do wersji 2.3 programu Hive SerDes.
• Wcześniej pliki jar usługi Azure Storage i Key Vault zostały spakowane w ramach środowiska Databricks Runtime, co uniemożliwia korzystanie z różnych wersji tych bibliotek dołączonych do klastrów. Klasy w obszarze com.microsoft.azure.storage i com.microsoft.azure.keyvault nie znajdują się już na ścieżce klasy w środowisku Databricks Runtime. Jeśli zależysz od jednej z tych ścieżek klas, musisz teraz dołączyć zestaw SDK usługi Azure Storage lub zestaw SDK usługi Azure Key Vault do klastrów.

Zmiany zachowania

W tej sekcji wymieniono zmiany zachowania środowiska Databricks Runtime 6.6 do środowiska Databricks Runtime 7.0. Należy pamiętać o tych obciążeniach podczas migrowania obciążeń z niższych wersji środowiska Databricks Runtime do środowiska Databricks Runtime 7.0 lub nowszego.

Zmiany zachowania platformy Spark

Ponieważ środowisko Databricks Runtime 7.0 jest pierwszym środowiskiem Databricks Runtime opartym na platformie Spark 3.0, istnieje wiele zmian, o których należy pamiętać podczas migrowania obciążeń z środowiska Databricks Runtime 5.5 LTS lub 6.x, które są tworzone na platformie Spark 2.4. Te zmiany są wymienione w sekcji "Zmiany zachowania" każdego obszaru funkcjonalnego w sekcji Apache Spark tego artykułu z informacjami o wersji:

• Zmiany zachowania w przypadku platformy Spark Core, Spark SQL i przesyłania strumieniowego ze strukturą
• Zmiany zachowania dla biblioteki MLlib
• Zmiany zachowania w usłudze SparkR

Inne zmiany zachowania

• Uaktualnienie do wersji Scala 2.12 obejmuje następujące zmiany:

  • Serializacja komórek pakietu jest obsługiwana inaczej. Poniższy przykład ilustruje zmianę zachowania i sposób jego obsługi.

    Uruchomienie zgodnie foo.bar.MyObjectInPackageCell.run() z definicją w poniższej komórce pakietu spowoduje wyzwolenie błędu java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Aby obejść ten błąd, można opakowować MyObjectInPackageCell wewnątrz klasy możliwej do serializacji.

  • Niektóre przypadki użycia DataStreamWriter.foreachBatch będą wymagać aktualizacji kodu źródłowego. Ta zmiana wynika z faktu, że język Scala 2.12 ma automatyczną konwersję z wyrażeń lambda na typy SAM i może powodować niejednoznaczność.

    Na przykład następujący kod Scala nie może skompilować:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Aby naprawić błąd kompilacji, przejdź foreachBatch { (df, id) => myFunc(df, id) } do foreachBatch(myFunc _) interfejsu API Języka Java lub użyj go jawnie: foreachBatch(new VoidFunction2 ...).

• Ponieważ wersja apache Hive używana do obsługi funkcji zdefiniowanych przez użytkownika programu Hive i SerDes hive została uaktualniona do wersji 2.3, wymagane są dwie zmiany:
  • Interfejs programu Hive SerDe jest zastępowany przez klasę AbstractSerDeabstrakcyjną . W przypadku dowolnej niestandardowej implementacji programu Hive SerDe migracja do AbstractSerDe programu jest wymagana.
  • Ustawienie spark.sql.hive.metastore.jars na builtin oznacza, że klient magazynu metadanych Hive 2.3 będzie używany do uzyskiwania dostępu do magazynów metadanych dla środowiska Databricks Runtime 7.0. Jeśli chcesz uzyskać dostęp do zewnętrznych magazynów metadanych opartych na technologii Hive 1.2, ustaw spark.sql.hive.metastore.jars na folder zawierający pliki jar programu Hive 1.2.

Wycofywanie i usuwanie

• Indeks pomijania danych został przestarzały w środowisku Databricks Runtime 4.3 i został usunięty w środowisku Databricks Runtime 7.0. Zalecamy zamiast tego używanie tabel delty, które oferują ulepszone możliwości pomijania danych.
• W środowisku Databricks Runtime 7.0 podstawowa wersja platformy Apache Spark używa języka Scala 2.12. Ponieważ biblioteki skompilowane w środowisku Scala 2.11 mogą wyłączyć klastry Środowiska Databricks Runtime 7.0 w nieoczekiwany sposób, klastry z uruchomionym środowiskiem Databricks Runtime 7.0 lub nowszym nie instalują bibliotek skonfigurowanych do zainstalowania we wszystkich klastrach. Karta Biblioteki klastra Jeśli jednak masz klaster, który został utworzony we wcześniejszej wersji środowiska Databricks Runtime przed wydaniem platformy usługi Azure Databricks w wersji 3.20 do obszaru roboczego, a teraz edytujesz ten klaster, aby używać środowiska Databricks Runtime 7.0, wszystkie biblioteki skonfigurowane do zainstalowania we wszystkich klastrach zostaną zainstalowane w tym klastrze. W takim przypadku wszystkie niezgodne elementy JAR w zainstalowanych bibliotekach mogą spowodować wyłączenie klastra. Obejściem jest sklonowanie klastra lub utworzenie nowego klastra.

Apache Spark

Środowisko Databricks Runtime 7.0 obejmuje platformę Apache Spark 3.0.

W tej sekcji:

• Core, Spark SQL, Przesyłanie strumieniowe ze strukturą
• MLlib
• SparkR
• Wycofywanie
• Znane problemy

Core, Spark SQL, Przesyłanie strumieniowe ze strukturą

Najważniejsze informacje

• (Projekt wodoru) Harmonogram obsługujący akcelerator (SPARK-24615)
• Wykonywanie zapytań adaptacyjnych (SPARK-31412)
• Oczyszczanie partycji dynamicznej (SPARK-11150)
• Przeprojektowany interfejs API UDF biblioteki pandas z wskazówkami typu (SPARK-28264)
• Interfejs użytkownika przesyłania strumieniowego ze strukturą (SPARK-29543)
• Interfejs API wtyczki katalogu (SPARK-31121)
• Lepsza zgodność ze standardem ANSI SQL

Ulepszenia wydajności

• Wykonywanie zapytań adaptacyjnych (SPARK-31412)
  • Podstawowa struktura (SPARK-23128)
  • Korekta liczby partycji po przetasowaniu (SPARK-28177)
  • Dynamiczne ponowne użycie podzapytania (SPARK-28753)
  • Czytnik mieszania lokalnego (SPARK-28560)
  • Optymalizacja sprzężenia niesymetrycznego (SPARK-29544)
  • Optymalizacja odczytu ciągłych bloków tasowania (SPARK-9853)
• Oczyszczanie partycji dynamicznej (SPARK-11150)
• Inne reguły optymalizatora
  • Ponowne użycie regułyPodsubquery (SPARK-27279)
  • Reguła PushDownLeftSemiAntiJoin (SPARK-19712)
  • Reguła PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Reguła ReplaceNullWithFalse (SPARK-25860)
  • Reguła Eliminuj sortowanie bez ograniczeń w podzapytaniu łączenia/agregacji (SPARK-29343)
  • Reguła PruneHiveTablePartitions (SPARK-15616)
  • Oczyszczanie niepotrzebnych zagnieżdżonych pól z Generate (SPARK-27707)
  • RewriteNonCorrelatedExists (SPARK-29800)
• Minimalizuj koszty synchronizacji pamięci podręcznej tabel (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Podziel kod agregacji na małe funkcje (SPARK-21870)
• Dodaj wsadowość w poleceniach INSERT i ALTER TABLE ADD PARTITION (SPARK-29938)

Ulepszenia rozszerzalności

• Interfejs API wtyczki katalogu (SPARK-31121)
• Refaktoryzacja interfejsu API źródła danych w wersji 2 (SPARK-25390)
• Obsługa magazynu metadanych Hive 3.0 i 3.1 (SPARK-27970),(SPARK-24360)
• Rozszerzanie interfejsu wtyczki Spark na sterownik (SPARK-29396)
• Rozszerzanie systemu metryk platformy Spark przy użyciu metryk zdefiniowanych przez użytkownika przy użyciu wtyczek funkcji wykonawczej (SPARK-28091)
• Interfejsy API dla deweloperów na potrzeby rozszerzonej obsługi przetwarzania kolumnowego (SPARK-27396)
• Wbudowana migracja źródła przy użyciu wersji DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Zezwól na FunctionInjection w SparkExtensions (SPARK-25560)
• Umożliwia zarejestrowanie agregatora jako UDAF (SPARK-27296)

Ulepszenia łącznika

• Oczyszczanie kolumn za pomocą wyrażeń nieokreślonych (SPARK-29768)
• Obsługa spark.sql.statistics.fallBackToHdfs w tabelach źródeł danych (SPARK-25474)
• Zezwalaj na oczyszczanie partycji za pomocą filtrów podzapytania w źródle plików (SPARK-26893)
• Unikaj wypychania podzapytań w filtrach źródła danych (SPARK-25482)
• Cykliczne ładowanie danych ze źródeł plików (SPARK-27990)
• Parquet/ORC
  • Wypychanie predykatów rozłącznych (SPARK-27699)
  • Uogólnij zagnieżdżone oczyszczanie kolumn (SPARK-25603) i domyślnie włączone (SPARK-29805)
  • Tylko Parquet
    • Wypychanie predykatu Parquet dla zagnieżdżonych pól (SPARK-17636)
  • Tylko ORC
    • Obsługa schematu scalania dla ORC (SPARK-11412)
    • Zagnieżdżone oczyszczanie schematu dla ORC (SPARK-27034)
    • Zmniejszenie złożoności konwersji predykatu dla ORC (SPARK-27105, SPARK-28108)
    • Uaktualnianie usługi Apache ORC do wersji 1.5.9 (SPARK-30695)
• CSV
  • Obsługa wypychania filtrów w źródle danych CSV (SPARK-30323)
• Hive SerDe
  • Brak wnioskowania schematu podczas odczytywania tabeli serde programu Hive z natywnym źródłem danych (SPARK-27119)
  • Polecenia CTAS programu Hive powinny używać źródła danych, jeśli jest konwertowany (SPARK-25271)
  • Użyj natywnego źródła danych, aby zoptymalizować wstawianie partycjonowanej tabeli Hive (SPARK-28573)
• Apache Kafka
  • Dodano obsługę nagłówków platformy Kafka (SPARK-23539)
  • Dodawanie obsługi tokenu delegowania platformy Kafka (SPARK-25501)
  • Wprowadzenie nowej opcji do źródła platformy Kafka: przesunięcie według znacznika czasu (rozpoczęcie/zakończenie) (SPARK-26848)
  • Obsługa minPartitions opcji źródła wsadowego platformy Kafka i źródła przesyłania strumieniowego w wersji 1 (SPARK-30656)
  • Uaktualnianie platformy Kafka do wersji 2.4.1 (SPARK-31126)
• Nowe wbudowane źródła danych
  • Nowe wbudowane źródła danych plików binarnych (SPARK-25348)
  • Nowe źródła danych bez operacji wsadowych (SPARK-26550) i ujście przesyłania strumieniowego bez operacji (SPARK-26649)

Ulepszenia funkcji

• [Wodór] Harmonogram obsługujący akcelerator (SPARK-24615)
• Wprowadź pełny zestaw wskazówek sprzężenia (SPARK-27225)
• Dodawanie PARTITION BY wskazówki dotyczącej zapytań SQL (SPARK-28746)
• Obsługa metadanych na serwerze Thrift (SPARK-28426)
• Dodawanie funkcji wyższego zamówienia do interfejsu API scala (SPARK-27297)
• Obsługa prostego zbierania wszystkich w kontekście zadania bariery (SPARK-30667)
• Funkcje zdefiniowane przez użytkownika programu Hive obsługują typ UDT (SPARK-28158)
• Obsługa operatorów DELETE/UPDATE/MERGE w Katalizatorze (SPARK-28351, SPARK-28892, SPARK-28893)
• Implementowanie elementu DataFrame.tail (SPARK-30185)
• Nowe wbudowane funkcje
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • jakikolwiek, każdy, niektóre (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extract (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • wersja (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Ulepszenia istniejących wbudowanych funkcji
  • Wbudowane funkcje/ulepszenia operacji daty/godziny (SPARK-31415)
  • Tryb obsługi FAILFAST dla from_json (SPARK-25243)
  • array_sort dodaje nowy parametr komparatora (SPARK-29020)
  • Filtr może teraz przyjmować indeks jako dane wejściowe, a także element (SPARK-28962)

Ulepszenia zgodności sql

• Przełącz się do kalendarza proleptycznego gregoriańskiego (SPARK-26651)
• Zbuduj własną definicję wzorca daty/godziny platformy Spark (SPARK-31408)
• Wprowadzenie polityki przypisywania magazynu ANSI dla wstawiania tabeli (SPARK-28495)
• Domyślnie, postępuj zgodnie z regułą przypisania magazynu ANSI podczas wstawiania tabeli (SPARK-28885)
• Dodawanie kodu SQLConf spark.sql.ansi.enabled (SPARK-28989)
• Obsługa klauzuli filtru ANSI SQL dla wyrażenia agregowanego (SPARK-27986)
• Obsługa funkcji ANSI SQL OVERLAY (SPARK-28077)
• Obsługa zagnieżdżonych komentarzy w nawiasach ANSI (SPARK-28880)
• Zgłaszanie wyjątku w przepełnieniu dla liczb całkowitych (SPARK-26218)
• Sprawdzanie przepełnienia pod kątem operacji arytmetycznych interwału (SPARK-30341)
• Zgłaszanie wyjątku w przypadku rzutowania nieprawidłowego ciągu na typ liczbowy (SPARK-30292)
• Pomnożyj interwał i podziel zachowanie przepełnienia zgodnie z innymi operacjami (SPARK-30919)
• Dodawanie aliasów typu ANSI dla znaków i dziesiętnych (SPARK-29941)
• Analizator SQL definiuje zastrzeżone słowa kluczowe zgodne ze standardem ANSI (SPARK-26215)
• Zabraniaj zastrzeżonych słów kluczowych jako identyfikatorów, gdy tryb ANSI jest włączony (SPARK-26976)
• Obsługa składni ANSI SQL LIKE ... ESCAPE (SPARK-28083)
• Obsługa składni ansi SQL Boolean-Predykate (SPARK-27924)
• Lepsza obsługa skorelowanego przetwarzania podzapytania (SPARK-18455)

Ulepszenia monitorowania i debugowania

• Nowy interfejs użytkownika przesyłania strumieniowego ze strukturą (SPARK-29543)
• SHS: zezwalaj na przerzucanie dzienników zdarzeń na potrzeby uruchamiania aplikacji przesyłania strumieniowego (SPARK-28594)
• Dodawanie interfejsu API, który umożliwia użytkownikowi definiowanie i obserwowanie dowolnych metryk w zapytaniach wsadowych i przesyłanych strumieniowo (SPARK-29345)
• Instrumentacja do śledzenia czasu planowania poszczególnych zapytań (SPARK-26129)
• Umieść podstawowe metryki mieszania w operatorze programu SQL Exchange (SPARK-26139)
• Instrukcja SQL jest wyświetlana na karcie SQL zamiast wywołania (SPARK-27045)
• Dodawanie etykietki narzędzia do interfejsu SparkUI (SPARK-29449)
• Zwiększanie współbieżnej wydajności serwera historii (SPARK-29043)
• EXPLAIN FORMATTED polecenie (SPARK-27395)
• Obsługa dumpingu planów obcięte i wygenerowanego kodu do pliku (SPARK-26023)
• Ulepszanie struktury opisywania w celu opisania danych wyjściowych zapytania (SPARK-26982)
• Dodaj SHOW VIEWS polecenie (SPARK-31113)
• Ulepszanie komunikatów o błędach analizatora SQL (SPARK-27901)
• Natywna obsługa monitorowania rozwiązania Prometheus (SPARK-29429)

Ulepszenia programu PySpark

• Przeprojektowano funkcje zdefiniowane przez użytkownika biblioteki pandas z wskazówkami typu (SPARK-28264)
• Potok UDF biblioteki Pandas (SPARK-26412)
• Obsługa klasy StructType jako argumentów i zwracanych typów dla funkcji UDF biblioteki Scalar Pandas (SPARK-27240 )
• Obsługa współgrupy ramek danych za pośrednictwem zdefiniowanych przez użytkownika biblioteki Pandas (SPARK-27463)
• Dodaj mapInPandas , aby zezwolić na iterator ramek danych (SPARK-28198)
• Niektóre funkcje SQL powinny również przyjmować nazwy kolumn (SPARK-26979)
• Zwiększenie liczby wyjątków SQL PySpark (SPARK-31849)

Ulepszenia dokumentacji i pokrycia testów

• Tworzenie odwołania SQL (SPARK-28588)
• Tworzenie podręcznika użytkownika dla interfejsu WebUI (SPARK-28372)
• Tworzenie strony dokumentacji konfiguracji SQL (SPARK-30510)
• Dodawanie informacji o wersji dla konfiguracji platformy Spark (SPARK-30839)
• Testy regresji portów z bazy danych PostgreSQL (SPARK-27763)
• Pokrycie testowe thrift-server (SPARK-28608)
• Testowanie pokrycia zdefiniowanych przez użytkownika (UDF języka Python, funkcji UDF biblioteki pandas, scala UDF) (SPARK-27921)

Inne istotne zmiany

• Wbudowane uaktualnienie wykonywania programu Hive z wersji 1.2.1 do 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Domyślnie używaj zależności apache Hive 2.3 (SPARK-30034)
• GA Scala 2.12 i usuń 2.11 (SPARK-26132)
• Ulepszanie logiki dla funkcji wykonawczych limitu czasu w alokacji dynamicznej (SPARK-20286)
• Utrwalone na dysku bloki RDD obsługiwane przez usługę mieszania i ignorowane dla alokacji dynamicznej (SPARK-27677)
• Uzyskiwanie nowych funkcji wykonawczych w celu uniknięcia zawieszenia z powodu blokowania listy (SPARK-22148)
• Zezwolenie na udostępnianie alokatorów puli pamięci Netty (SPARK-24920)
• Naprawa zakleszczenia między elementami TaskMemoryManager i UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Wprowadzenie AdmissionControl do interfejsów API dla funkcji StructuredStreaming (SPARK-30669)
• Zwiększenie wydajności strony głównej historii platformy Spark (SPARK-25973)
• Przyspieszanie i obniżanie agregacji metryk w odbiorniku SQL (SPARK-29562)
• Unikaj sieci, gdy bloki mieszania są pobierane z tego samego hosta (SPARK-27651)
• Ulepszanie listy plików (DistributedFileSystemSPARK-27801)

Zmiany zachowania w przypadku platformy Spark Core, Spark SQL i przesyłania strumieniowego ze strukturą

Poniższe przewodniki migracji zawierają listę zmian zachowania między platformą Apache Spark 2.4 i 3.0. Te zmiany mogą wymagać aktualizacji zadań, które były uruchomione w niższych wersjach środowiska Databricks Runtime:

• Przewodnik migracji: Spark Core
• Przewodnik migracji: SQL, zestawy danych i ramka danych
• Przewodnik migracji: przesyłanie strumieniowe ze strukturą
• Przewodnik migracji: PySpark (Python na platformie Spark)

Następujące zmiany zachowania nie zostały omówione w tych przewodnikach migracji:

• W usłudze Spark 3.0 przestarzała klasa org.apache.spark.sql.streaming.ProcessingTime została usunięta. Użycie w zamian parametru org.apache.spark.sql.streaming.Trigger.ProcessingTime. Podobnie, org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger został usunięty na rzecz Trigger.Continuous, i org.apache.spark.sql.execution.streaming.OneTimeTrigger został ukryty na rzecz Trigger.Once. (SPARK-28199)
• W środowisku Databricks Runtime 7.0 podczas odczytywania tabeli Hive SerDe domyślnie platforma Spark nie zezwala na odczytywanie plików w podkatalogu, który nie jest partycją tabeli. Aby ją włączyć, ustaw konfigurację spark.databricks.io.hive.scanNonpartitionedDirectory.enabled jako true. Nie ma to wpływu na natywne czytniki tabel i czytniki plików platformy Spark.

MLlib

Najważniejsze informacje

• Dodano obsługę wielu kolumn do narzędzia Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) i PySpark QuantileDiscretizer (SPARK-22796)
• Obsługa transformacji funkcji opartej na drzewie (SPARK-13677)
• Dodano dwóch nowych ewaluatorów MultilabelClassificationEvaluator (SPARK-16692) i RankingEvaluator (SPARK-28045)
• Dodano obsługę wag próbek w module DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612) 24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) i GaussianMixture (SPARK-30102)
• Dodano interfejs API języka R dla klasy PowerIterationClustering (SPARK-19827)
• Dodano odbiornik Spark ML do śledzenia stanu potoku uczenia maszynowego (SPARK-23674)
• Dopasowanie do zestawu walidacyjnego zostało dodane do Gradientowych Drzew Wzmacnianych w Pythonie (SPARK-24333)
• Dodano transformator RobustScaler (SPARK-28399)
• Dodano klasyfikator i regresję maszyn factorization (SPARK-29224)
• Gaussian Naive Bayes (SPARK-16872) i Add Naive Bayes (SPARK-29942) zostały dodane
• Parzystość funkcji uczenia maszynowego między językami Scala i Python (SPARK-28958)
• predictRaw jest upubliczniony we wszystkich modelach klasyfikacji. funkcja predictProbability jest publicznie udostępniana we wszystkich modelach klasyfikacji z wyjątkiem LinearSVCModel (SPARK-30358)

Zmiany zachowania dla biblioteki MLlib

W poniższym przewodniku migracji wymieniono zmiany zachowania między platformą Apache Spark 2.4 i 3.0. Te zmiany mogą wymagać aktualizacji zadań, które były uruchomione w niższych wersjach środowiska Databricks Runtime:

• Przewodnik migracji: MLlib (Uczenie maszynowe)

Następujące zmiany zachowania nie zostały omówione w przewodniku migracji:

• Na platformie Spark 3.0 regresja logistyczna w Pyspark zwróci teraz (poprawnie) wartość LogisticRegressionSummary, a nie podklasę BinaryLogisticRegressionSummary. Dodatkowe metody uwidocznione przez BinaryLogisticRegressionSummary program nie będą działać w tym przypadku. (SPARK-31681)
• W przypadku platformy Spark 3.0 pyspark.ml.param.shared.Has* kombinacje nie zapewniają już żadnych set*(self, value) metod ustawiania, należy użyć odpowiednich self.set(self.*, value) metod. Aby uzyskać szczegółowe informacje, zobacz SPARK-29093. (SPARK-29093)

SparkR

• Optymalizacja strzałek w współdziałaniu platformy SparkR (SPARK-26759)
• Ulepszenia wydajności za pomocą wektoryzowanego języka R gapply(), dapply(), createDataFrame, collect()
• "Chętne wykonywanie" dla powłoki języka R, IDE (SPARK-24572)
• R API dla Klasteryzacji Iteracji Potęgowej (SPARK-19827)

Zmiany zachowania w usłudze SparkR

W poniższym przewodniku migracji wymieniono zmiany zachowania między platformą Apache Spark 2.4 i 3.0. Te zmiany mogą wymagać aktualizacji zadań, które były uruchomione w niższych wersjach środowiska Databricks Runtime:

• Przewodnik migracji: SparkR (R na platformie Spark)

Przestarzałe elementy

• Przestarzała obsługa języka Python 2 (SPARK-27884)
• Wycofaj obsługę języka R < 3.4 (SPARK-26014)

Znane problemy

• Analizowanie dnia roku przy użyciu litery wzorca "D" zwraca nieprawidłowy wynik, jeśli brakuje pola roku. Może się to zdarzyć w funkcjach SQL, takich jak to_timestamp, które analizuje ciąg daty/godziny na wartości daty/godziny przy użyciu ciągu wzorca. (SPARK-31939)
• Łączenie/okno/agregacja wewnątrz podzapytań może prowadzić do błędnych wyników, jeśli klucze mają wartości -0.0 i 0.0. (SPARK-31958)
• Zapytanie okna może nieoczekiwanie zakończyć się niejednoznacznym błędem samosprzężenia. (SPARK-31956)
• Zapytania przesyłane strumieniowo za pomocą dropDuplicates operatora mogą nie być możliwe do ponownego uruchomienia przy użyciu punktu kontrolnego napisanego przez platformę Spark 2.x. (SPARK-31990)

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.0.

Środowisko systemu

• System operacyjny: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R w wersji 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2020-04-22.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)