Databricks Runtime 4.1 (EoS)

Usługa Databricks wydała tę wersję w maju 2018 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 4.1 obsługiwanym przez platformę Apache Spark.

Delta Lake

Środowisko Databricks Runtime w wersji 4.1 dodaje główne ulepszenia jakości i funkcjonalność usługi Delta Lake. Usługa Databricks zdecydowanie zaleca, aby wszyscy klienci usługi Delta Lake uaktualnili środowisko uruchomieniowe do nowego środowiska uruchomieniowego. Ta wersja pozostaje w prywatnej wersji zapoznawczej, ale reprezentuje wydanie kandydata w oczekiwaniu na nadchodzące wydanie ogólnie dostępne.

Usługa Delta Lake jest teraz również dostępna w prywatnej wersji zapoznawczej dla użytkowników usługi Azure Databricks. Skontaktuj się z menedżerem konta lub zarejestruj się pod adresem https://databricks.com/product/databricks-delta.

Zmiany powodujące niezgodność

• Środowisko Databricks Runtime 4.1 zawiera zmiany w protokole transakcji w celu włączenia nowych funkcji, takich jak walidacja. Tabele utworzone za pomocą środowiska Databricks Runtime 4.1 automatycznie używają nowej wersji i nie mogą być zapisywane w starszych wersjach środowiska Databricks Runtime. Aby skorzystać z tych ulepszeń, należy uaktualnić istniejące tabele. Aby uaktualnić istniejącą tabelę, najpierw uaktualnij wszystkie zadania, które zapisują się w tabeli. Następnie uruchom polecenie:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Aby uzyskać więcej informacji, zapoznaj się z kompatybilnością funkcji i protokołami Delta Lake.

• Operacje zapisu są teraz weryfikowane względem bieżącego schematu tabeli zamiast automatycznego dodawania kolumn, których brakuje w tabeli docelowej. Aby włączyć poprzednie zachowanie, ustaw mergeSchema opcję na true.

• Jeśli używasz wcześniejszych wersji funkcji delta usługi Databricks, przed użyciem środowiska Databricks Runtime 4.1 należy uaktualnić wszystkie zadania. Jeśli wystąpi jeden z tych błędów, uaktualnij środowisko Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Tabele nie mogą już mieć kolumn, które różnią się tylko wielkością liter.

• Konfiguracje tabeli specyficzne dla różnicy muszą być teraz poprzedzone prefiksem delta.

Nowe funkcje

• Zarządzanie schematem — funkcja delta usługi Databricks weryfikuje teraz dołączanie i zastępowanie istniejącej tabeli w celu zapewnienia, że zapisywany schemat jest zgodny ze schematem.

  • Funkcja delta usługi Databricks nadal obsługuje automatyczną ewolucję schematu.
  • Funkcja delta usługi Databricks obsługuje teraz następujący kod DDL w celu jawnego zmodyfikowania schematu:
    • ALTER TABLE ADD COLUMN aby dodać nowe kolumny do tabeli
    • ALTER TABLE CHANGE COLUMNS aby zmienić kolejność kolumn
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Aby uzyskać szczegółowe informacje, zobacz Wymuszanie schematu.

• Ulepszona obsługa języka DDL i tabel

  • Pełna obsługa tabel DDL i saveAsTable(). save() i saveAsTable() teraz mają identyczne semantyki.
  • Wszystkie polecenia DDL i DML obsługują zarówno nazwę tabeli, jak i delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Szczegółowe informacje o tabeli — bieżące wersje czytników i składników zapisywania tabeli można wyświetlić, uruchamiając polecenie DESCRIBE DETAIL. Zobacz kompatybilność funkcji i protokoły Delta Lake.
  • Szczegóły tabeli — informacje o pochodzenia są teraz dostępne dla każdego zapisu w tabeli. Pasek boczny Dane zawiera również szczegółowe informacje o tabeli i historię tabel delty usługi Databricks. Zobacz Przeglądanie szczegółów tabeli usługi Delta Lake z opisem.
  • Tabele przesyłania strumieniowego — ramki danych przesyłania strumieniowego można utworzyć przy użyciu polecenia spark.readStream.format("delta").table("<table-name>").
  • Tabele tylko do dołączania — funkcja delta usługi Databricks obsługuje teraz podstawowe zarządzanie danymi. Usunięcie i modyfikacje tabeli można zablokować, ustawiając właściwośćdelta.appendOnly=truetabeli .
  • MERGE INTOsource — dodaje bardziej kompleksową obsługę specyfikacji zapytania źródłowego .MERGE Można na przykład określić LIMITelement i ORDER BYINLINE TABLE w źródle.
  • Pełna obsługa list ACL tabel.

usprawnienia dotyczące wydajności

• Zmniejszenie obciążenia związanego z zbieraniem statystyk — wydajność zbierania statystyk została ulepszona, a statystyki są teraz zbierane tylko dla konfigurowalnej liczby kolumn ustawionych domyślnie na 32. Wydajność zapisu różnicowego w usłudze Databricks została zwiększona o maksymalnie 2 razy ze względu na zmniejszenie obciążenia związanego z zbieraniem statystyk. Aby skonfigurować liczbę kolumn, ustaw właściwośćdelta.dataSkippingNumIndexedCols=<number-of-columns>tabeli .
• Obsługa wypychania limitu — statystyki służą do ograniczania liczby plików skanowanych pod kątem zapytań zawierających LIMIT kolumny partycji i predykatów. Dotyczy to zapytań w notesach ze względu na niejawny limit=1000 efekt dla wszystkich poleceń notesu.
• Przefiltruj wypychanie w źródle przesyłania strumieniowego — zapytania przesyłane strumieniowo używają teraz partycjonowania podczas uruchamiania nowego strumienia, aby pominąć nieistotne dane.
• Ulepszony równoległość dla OPTIMIZE - OPTIMIZE teraz działa jako pojedyncze zadanie platformy Spark i będzie używać wszystkich równoległości dostępnych w klastrze (wcześniej było ograniczonych do 100 skompaktowanych plików naraz).
• Pomijanie danych w języku DML — UPDATE, DELETEi MERGE teraz używają statystyk podczas lokalizowania plików, które muszą zostać przepisane.
• Zmniejszone przechowywanie punktów kontrolnych — punkty kontrolne są teraz przechowywane przez dwa dni (historia jest nadal przechowywana przez 30), aby zmniejszyć koszty magazynowania dziennika transakcji.

Zachowanie interfejsu API

• Zachowanie funkcji insertInto(<table-name>) delta usługi Databricks jest takie samo jak inne źródła danych.
  • Jeśli żaden tryb nie jest określony lub mode ma ErrorIfExistswartość , Ignorelub Append, dołącza dane w ramce danych do tabeli delty usługi Databricks.
  • Jeśli mode wartość to Overwrite, usuwa wszystkie dane w istniejącej tabeli i wstawia dane z ramki danych do tabeli delty usługi Databricks.
• W przypadku buforowania tabela docelowa MERGE obiektu musi być ręcznie niebuforowana.

Ulepszenia użyteczności

• Walidacje migracji obciążeń — typowe błędy występujące podczas migrowania obciążeń do funkcji delta usługi Databricks zgłaszają teraz wyjątek, a nie kończą się niepowodzeniem:
  • Używanie format("parquet") do odczytywania lub zapisywania tabeli.
  • Odczytywanie lub zapisywanie bezpośrednio w partycji (czyli /path/to/delta/part=1).
  • Opróżnianie podkatalogów tabeli.
  • INSERT OVERWRITE DIRECTORY przy użyciu parquet w tabeli.
• Konfiguracja bez uwzględniania wielkości liter — opcje dla właściwości czytnika/zapisywania i tabeli ramki danych są teraz bez uwzględniania wielkości liter (w tym ścieżki odczytu i ścieżki zapisu).
• Nazwy kolumn — nazwy kolumn tabeli mogą teraz zawierać kropki.

Znane problemy

• Wstawki instrukcji z wieloma wstawianiami znajdują się w różnych jednostkach pracy, a nie w tej samej transakcji.

Poprawki błędów

• Naprawiono pętlę nieskończoną podczas uruchamiania nowego strumienia w tabeli szybkiego aktualizowania.

Przestarzałe elementy

Przesyłanie strumieniowe ze strukturą nie obsługuje danych wejściowych, które nie są dołączane i zgłasza wyjątek, jeśli jakiekolwiek modyfikacje występują w tabeli używanej jako źródło. Wcześniej można było zastąpić to zachowanie za pomocą flagi ignoreFileDeletion , ale jest ona teraz przestarzała. Zamiast tego użyj polecenia ignoreDeletes lub ignoreChanges. Zobacz opcja 2: przesyłanie strumieniowe z tabeli Delta.

Inne zmiany i ulepszenia

• Usługa Watchdog zapytań jest włączona dla wszystkich klastrów ogólnego przeznaczenia utworzonych przy użyciu interfejsu użytkownika.
• Zwiększona wydajność po stronie sterownika dla pamięci podręcznej DBIO
• Zwiększona wydajność dekodowania Parquet za pośrednictwem nowego natywnego dekodera Parquet
• Zwiększona wydajność w przypadku wspólnej eliminacji podwyrażenia
• Ulepszona wydajność pomijania danych dla dużych tabel łączących małe tabele (sprzężenia tabeli faktów)
• display() teraz renderuje kolumny zawierające typy danych obrazów jako bogaty kod HTML.
• Ulepszenia dzienników, ładowania i rejestrowania modeli MLflow
  • Uaktualniono plik dbml-local do najnowszej wersji 0.4.1
  • Usunięto usterkę z wyeksportowanymi modelami z określonym parametrem threshold
  • Dodano obsługę eksportowania OneVsRestModelelementu , GBTClassificationModel
• Uaktualniono niektóre zainstalowane biblioteki języka Python:
  • : od 9.0.1 do 10.0.0b2
  • setuptools: od 38.5.1 do 39.0.1
  • tornado: od 4.5.3 do 5.0.1
  • koło: od 0.30.0 do 0.31.0
• Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
• Uaktualniono zestaw SDK usługi Azure Data Lake Store z wersji 2.0.11 do 2.2.8.
• Uaktualniono cuda do wersji 9.0 z wersji 8.0 i CUDNN do wersji 7.0 z 6.0 dla klastrów gpu.

Apache Spark

Środowisko Databricks Runtime 4.1 obejmuje platformę Apache Spark 2.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia zawarte w środowisku Databricks Runtime 4.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-24007][SQL] Wartość EqualNullSafe dla parametrów FloatType i DoubleType może wygenerować nieprawidłowy wynik przez kodgen.
• [SPARK-23942][PYTHON][SQL] Tworzy zbieranie w narzędziu PySpark jako akcji dla odbiornika funkcji wykonawczej zapytań
• [SPARK-23815][CORE] Tryb zastępowania partycji dynamicznej modułu zapisywania platformy Spark może zakończyć się niepowodzeniem podczas zapisywania danych wyjściowych na partycji wieloeziomowej
• [SPARK-23748][SS] Naprawa problemu z ciągłym procesem SS, który nie obsługuje SubqueryAlias
• [SPARK-23963][SQL] Prawidłowa obsługa dużej liczby kolumn w zapytaniu w tabeli Hive opartej na tekście
• [SPARK-23867][SCHEDULER] użyj wartości droppedCount w logWarning
• [SPARK-23816][CORE] Zabite zadania powinny ignorować FetchFailures.
• [SPARK-23809][SQL] Aktywne sparkSession należy ustawić za pomocą polecenia getOrCreate
• [SPARK-23966][SS] Refaktoryzacja całej logiki zapisywania pliku punktu kontrolnego w typowym interfejsie CheckpointFileManager
• [SPARK-21351][SQL] Aktualizowanie wartości null na podstawie danych wyjściowych elementów podrzędnych
• [SPARK-23847][PYTHON][SQL] Dodawanie asc_nulls_first, asc_nulls_last do programu PySpark
• [SPARK-23822][SQL] Ulepszanie komunikatu o błędzie dotyczącego niezgodności schematu Parquet
• [SPARK-23823][SQL] Zachowaj pochodzenie w transformExpression
• [SPARK-23838][WEBUI] Uruchamianie zapytania SQL jest wyświetlane jako "ukończone" na karcie SQL
• [SPARK-23802][SQL] PropagateEmptyRelation może pozostawić plan zapytania w stanie nierozwiązanym
• [SPARK-23727][SQL] Obsługa wypychania filtrów typu DateType w parquet
• [SPARK-23574][SQL] Zgłoś SinglePartition w DataSourceV2ScanExec, gdy istnieje dokładnie 1 fabryka czytników danych.
• [SPARK-23533][SS] Dodano obsługę zmiany startOffset w ContinuousDataReader
• [SPARK-23491][SS] Usuwanie jawnego anulowania zadania z funkcji ContinuousExecution — ponowne konfigurowanie
• [SPARK-23040][CORE] Zwraca iterator przerwalny dla czytnika mieszania
• [SPARK-23827][SS] StreamingJoinExec powinien upewnić się, że dane wejściowe są podzielone na określoną liczbę partycji
• [SPARK-23639][SQL] Uzyskiwanie tokenu przed uruchomieniem klienta magazynu metadanych w interfejsie wiersza polecenia platformy SparkSQL
• [SPARK-23806]Funkcja Broadcast.unpersist może spowodować wyjątek krytyczny w przypadku użycia...
• [SPARK-23599][SQL] Używanie metody RandomUUIDGenerator w wyrażeniu Uuid
• [SPARK-23599][SQL] Dodawanie generatora UUID z pseudolosowych liczb
• [SPARK-23759][Interfejs użytkownika] Nie można powiązać interfejsu użytkownika platformy Spark z określoną nazwą hosta/adresem IP
• [SPARK-23769][CORE] Usuń komentarze, które niepotrzebnie wyłączają sprawdzanie stylu scala
• [SPARK-23614][SQL] Naprawianie nieprawidłowego ponownego używania wymiany podczas buforowania
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs powinien poprawnie zapisać/przywrócić stan CSE
• [SPARK-23729][CORE] Uwzględnianie fragmentu identyfikatora URI podczas rozpoznawania globów
• [SPARK-23550][CORE] Narzędzia oczyszczania
• [SPARK-23288][SS] Naprawianie metryk wyjściowych za pomocą ujścia parquet
• [SPARK-23264][SQL] Napraw scala. MatchError w literals.sql.out
• [SPARK-23649][SQL] Pomijanie znaków niedozwolonych w utF-8
• [SPARK-23691][PYTHON] Używanie narzędzia sql_conf w testach PySpark tam, gdzie to możliwe
• [SPARK-23644][CORE][Interfejs użytkownika] Używanie ścieżki bezwzględnej do wywołania REST w usłudze SHS
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) powinien wygenerować wartość None w PySpark
• [SPARK-23623][SS] Unikaj współbieżnego używania buforowanych użytkowników w pamięci podręcznej CachedKafkaConsumer
• [SPARK-23670][SQL] Naprawianie przecieku pamięci na platformie SparkPlanGraphWrapper
• [SPARK-23608][CORE][WEBUI] Dodawanie synchronizacji w usłudze SHS między funkcjami attachSparkUI i detachSparkUI w celu uniknięcia współbieżnego problemu z modyfikacjami w programie Jetty Handlers
• [SPARK-23671][CORE] Warunek naprawy, aby włączyć pulę wątków SHS.
• [SPARK-23658][LAUNCHER] InProcessAppHandle używa nieprawidłowej klasy w getLogger
• [SPARK-23642][DOCS] Podklasa akumulatorowaV2 isZero scaladoc fix
• [SPARK-22915][MLLIB] Testy przesyłania strumieniowego dla funkcji spark.ml., od N do Z
• [SPARK-23598][SQL] Udostępnij metody w publicznej lokalizacji BufferedRowIterator, aby uniknąć błędu środowiska uruchomieniowego dla dużego zapytania
• [SPARK-23546][SQL] Refaktoryzacja metod/wartości bezstanowych w kodzieGenContext
• [SPARK-23523][SQL] Naprawianie nieprawidłowego wyniku spowodowanego przez regułę OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] poprawić brakujący komunikat o błędzie pola w StructType
• [SPARK-23624][SQL] Poprawianie dokumentu metody pushFilters w źródle danych w wersji 2
• [SPARK-23173][SQL] Unikaj tworzenia uszkodzonych plików parquet podczas ładowania danych z formatu JSON
• [SPARK-23436][SQL] Wywnioskuj partycję jako datę tylko wtedy, gdy można ją rzutować na datę
• [SPARK-23406][SS] Włączanie samoobsługowych sprzężeń strumienia
• [SPARK-23490][SQL] Sprawdź identyfikator storage.locationUri z istniejącą tabelą w tabeli CreateTable
• [SPARK-23524]Duże lokalne bloki mieszania nie powinny być sprawdzane pod kątem uszkodzenia.
• [SPARK-23525][SQL] Obsługa ALTER TABLE CHANGE COLUMN COMMENT dla zewnętrznej tabeli Hive
• [SPARK-23434][SQL] Platforma Spark nie powinna ostrzegać katalogu metadanych dla ścieżki pliku HDFS
• [SPARK-23457][SQL] Rejestrowanie odbiorników uzupełniania zadań najpierw w pliku ParquetFileFormat
• [SPARK-23329][SQL] Poprawka dokumentacji funkcji trygonometrycznych
• [SPARK-23569][PYTHON] Zezwalaj pandas_udf na pracę z funkcjami z adnotacjami typu python3
• [SPARK-23570][SQL] Dodawanie platformy Spark 2.3.0 w programie HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Utwórz pyspark.util._exception_message utworzyć ślad ze strony języka Java przez Py4JavaError
• [SPARK-23508][CORE] Poprawka blockmanagerId w przypadku blockManagerIdCache przyczyna oom
• [SPARK-23448][SQL] Wyjaśnienie zachowania analizatora plików JSON i CSV w dokumencie
• [SPARK-23365][CORE] Nie dopasowuj funkcji wykonawczej liczby podczas zabijania bezczynnych funkcji wykonawczych.
• [SPARK-23438][DSTREAMS] Naprawianie utraty danych DStreams za pomocą pliku WAL w przypadku awarii sterownika
• [SPARK-23475][Interfejs użytkownika] Pokaż również pominięte etapy
• [SPARK-23518][SQL] Unikaj dostępu do magazynu metadanych, gdy użytkownicy chcą tylko odczytywać i zapisywać ramki danych
• [SPARK-23406][SS] Włączanie samoobsługowych sprzężeń strumienia
• [SPARK-23541][SS] Zezwalaj źródle platformy Kafka na odczytywanie danych z większą równoległością niż liczba partycji artykułu
• [SPARK-23097][SQL][SS] Migrowanie źródła gniazda tekstowego do wersji 2
• [SPARK-23362][SS] Migrowanie źródła mikrobatch platformy Kafka do wersji 2
• [SPARK-23445]Refaktoryzacja kolumny ColumnStat
• [SPARK-23092][SQL] Migrowanie strumienia pamięci do interfejsów API dataSourceV2
• [SPARK-23447][SQL] Oczyszczanie szablonu generowania kodu dla literału
• [SPARK-23366]Ulepszanie ścieżki odczytu na gorąco w funkcji ReadAheadInputStream
• [SPARK-22624][PYSPARK] Uwidacznianie mieszania partycjonowania zakresu

Aktualizacje konserwacji

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 4.1.

Środowisko systemu

• System operacyjny: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
• R: R w wersji 3.4.4 (2018-03-15)
• Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
  • Kierowca Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)