Databricks Runtime 6.5 (EoS)

Usługa Databricks wydała tę wersję w kwietniu 2020 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 6.5 obsługiwanym przez platformę Apache Spark.

Nowe funkcje

Metryki operacji dla wszystkich operacji zapisu, aktualizacji i usuwania w tabeli delty są teraz wyświetlane w historii tabel

Teraz można wyświetlać metryki operacji (na przykład liczbę zmienionych plików i wierszy) dla wszystkich operacji zapisu, aktualizacji i usuwania w historii tabeli Delta. Generowanie tych metryk jest domyślnie włączone. Historię można wyświetlić, uruchamiając następujące polecenie:

DESCRIBE HISTORY deltaTableName

Ograniczanie szybkości przetwarzanych danych w mikrosadach przesyłanych strumieniowo w usłudze Delta Lake

Podczas przetwarzania danych z usługi Delta Lake przy użyciu Strukturalnego Przesyłania Strumieniowego, można teraz ustawić opcję maxBytesPerTrigger ograniczenia ilości danych przetwarzanych w każdej mikropartii. Spowoduje to ustawienie "miękkiej wartości maksymalnej", co oznacza, że partia przetwarza w przybliżeniu tę ilość danych i może przetwarzać więcej niż limit.

Jeśli używasz Trigger.Once funkcji przesyłania strumieniowego, ta opcja jest ignorowana. Ponadto jeśli używasz tej opcji w połączeniu z usługą maxFilesPerTrigger, mikrosadowa przetwarza dane do momentu osiągnięcia limitu maxFilesPerTrigger lub maxBytesPerTrigger .

Ulepszenia

Łącznik snowflake został zaktualizowany do wersji 2.5.9

Zaktualizowany łącznik promuje sterownik Snowflake JDBC do wersji 3.12.0.

Uaktualniono środowisko Java do wersji 1.8.0_242

Ta wersja wprowadza nowe kontrole certyfikatów kotwicy zaufania, aby upewnić się, że kotwice zaufania są certyfikatami urzędu certyfikacji i zawierają odpowiednie rozszerzenia. Certyfikaty kotwicy zaufania muszą zawierać rozszerzenie Podstawowe ograniczenia z polem ustawionym ca na wartość true. Ponadto, jeśli zawierają rozszerzenie o nazwie Użycie klucza, bit keyCertSign musi być ustawiony.

Jeśli używasz certyfikatów kotwicy zaufania z podpisem własnym, możesz napotkać następujące wyjątki wprowadzone przez nowe kontrole:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Aby nadal używać certyfikatów kotwicy zaufania z podpisem własnym, dostępne są dwie opcje rozwiązywania powyższych wyjątków:

• Ustaw właściwość systemową Java jdk.security.allowNonCaAnchor, wprowadzoną w Java 1.9.0_242, na wartość true, aby przywrócić poprzednie działanie. Możesz użyć poleceń spark.driver.extraJavaOptions i spark.executor.extraJavaOptions , aby ustawić tę właściwość systemowa odpowiednio na sterowniki i funkcje wykonawcze platformy Spark.

• Uwzględnij w swoich certyfikatach kotwic zaufania rozszerzenie Podstawowe ograniczenia z polem ca ustawionym na true. Jeśli certyfikaty kotwicy zaufania zawierają rozszerzenie Użycie klucza, ustaw wartość keyCertSign bit.

  Jeśli używasz narzędzia Java Keytool do generowania par kluczy publicznych/prywatnych, ustaw -ext BasicConstraints=ca:true podczas generowania certyfikatów kotwicy zaufania. Jeśli certyfikaty kotwicy zaufania zawierają rozszerzenie Użycie klucza, ustaw wartość keyCertSign bit -ext KeyUsage=...,keyCertSign podczas generowania certyfikatów kotwicy zaufania.

Uaktualnione biblioteki języka R

Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.

Elementy wycofywane z użycia

• Pakiet boto jest przestarzały i zostanie usunięty w nadchodzącej głównej wersji środowiska Databricks Runtime. Usługa Azure Databricks zaleca zamiast tego użycie boto3 .
• Następujące pakiety języka R zostaną usunięte w nadchodzącej głównej wersji środowiska Databricks Runtime:
  • abind
  • bitops
  • samochód
  • dane samochodu
  • DoMC
  • Gbm
  • H2O
  • mniejszy
  • lme4
  • mapproj
  • Mapy
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsxx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • Sp
  • Rozrzednia
  • statmod
  • archiwum

Usługa Azure Databricks zaleca używanie następującego kodu do instalowania i ładowania pakietów języka R, które nie są zainstalowane przez środowisko Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Środowisko Databricks Runtime 6.5 obejmuje platformę Apache Spark 2.4.5. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 6.4 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-27099] [SQL] Dodaj element "xxhash64" do tworzenia skrótów dowolnych kolumn do typu long
• [SPARK-26151] [SQL] Zwracanie wyników częściowych dla nieprawidłowych rekordów CSV
• [SPARK-30927] [SS] StreamingQueryManager powinien unikać utrzymywania odwołania do zakończonego StreamingQuery
• [SPARK-22590] Kopiowanie właściwości sparkContext.localproperties do wątku podrzędnego w elemencie BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame powinna używać elementu LocalRelation
• [SPARK-30556] [SQL] Resetowanie stanu zmienionego w SQLExecution za pomocą elementu ThreadLocalCaptured
• [SPARK-30763] [SQL] Naprawiono błąd java.lang.IndexOutOfBoundsException No group 1 for regexp_extract
• [SPARK-30806] [SQL] Ocena wykonywana raz na grupę w funkcji ramki UnboundedWindowFunctionFrame
• [SPARK-30731] Zaktualizuj przestarzałą opcję Mkdocs
• [SPARK-30857] [SQL] Napraw skracanie znaczników czasu przed epoką do godzin i dni
• [SPARK-30798] Scope Session.active in QueryExecution
• [SPARK-30793] [SQL] Napraw obcinanie znaczników czasu przed epoką do minut i sekund
• [SPARK-30826] [SQL] Zachowaj przypadek odniesienia w StringStartsWith pchnięciu do parquet
• [SPARK-30797] [SQL] Ustawianie tradycyjnego uprawnienia użytkownika/grupy/innego do wpisów listy ACL podczas konfigurowania list ACL w tabeli obciętej
• [SPARK-30065] [SQL] Element DataFrameNaFunctions.drop powinien obsługiwać zduplikowane kolumny
• [SPARK-29890] [SQL] Element DataFrameNaFunctions.fill powinien obsługiwać zduplikowane kolumny
• [SPARK-30310] [CORE] Rozwiązanie brakującego przypadku dopasowania w SparkUncaughtExceptionHandler i dodanie testów
• [SPARK-30512] Dodano dedykowaną główną grupę pętli zdarzeń

Aktualizacje konserwacyjne

Zobacz Aktualizacje utrzymaniowe środowiska Databricks Runtime 6.5.

Środowisko systemu

• System operacyjny: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R w wersji 3.6.3 (2020-02-29)
• Delta Lake: 0.5.0

W tej sekcji:

• Zainstalowane biblioteki języka Python
• Zainstalowane biblioteki języka R
• Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R zostały zainstalowane z migawki usługi Microsoft CRAN z dnia 2020-02-26.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)