Databricks Runtime 13.2 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.2 obsługiwanym przez platformę Apache Spark 3.4.0.

Usługa Databricks wydała tę wersję w lipcu 2023 r.

Nowe funkcje i ulepszenia

• Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB
• Zwiększona niezawodność dla VACUUM z płytkim klonem w katalogu Unity.
• Obsługa funkcji UDF języka Python w języku SQL
• Aplikacja Delta Lake UniForm dla platformy Apache Iceberg jest dostępna w publicznej wersji zapoznawczej
• Dynamiczne klastrowanie Delta Lake jest w publicznej wersji wstępnej
• Obsługa archiwizacji w usłudze Azure Databricks
• Wsparcie klauzuli IDENTIFIER
• Obsługa Unity Catalog dla funkcji definiowanych przez użytkownika (UDF-y) w Pythonie i Pandas.
• Udostępnij schematy za pomocą Delta Sharing
• Poprawki błędów

Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB

Możesz włączyć punktowanie kontrolne zmian, aby zmniejszyć czas trwania punktu kontrolnego i opóźnienie od końca do końca dla stanowych obciążeń przesyłania strumieniowego ze strukturą. Usługa Databricks zaleca włączenie punktów kontrolnych dziennika zmian dla wszystkich zapytań stanowych przesyłania strumieniowego ze strukturą. Zobacz Włączanie punktu kontrolnego dziennika zmian.

Zwiększona niezawodność VACUUM dzięki płytkiemu klonowi w Katalogu Unity.

Gdy używasz tabel zarządzanych przez Unity Catalog jako źródła i celu dla płytkiej operacji klonowania, Unity Catalog zarządza podstawowymi plikami danych, aby zwiększyć niezawodność zarówno dla źródła, jak i celu operacji klonowania. Uruchomienie VACUUM na źródle płytkiego klonu nie powoduje uszkodzenia sklonowanej tabeli. Zobacz Vacuum and Unity Catalog płytkie klony.

Obsługa funkcji UDF języka Python w języku SQL

Teraz można deklarować funkcje zdefiniowane przez użytkownika w Pythonie w instrukcjach SQL CREATE FUNCTION w katalogu Unity. Zobacz funkcje zdefiniowane przez użytkownika (UDF) w Unity Catalog.

Aplikacja Delta Lake UniForm dla platformy Apache Iceberg jest dostępna w publicznej wersji zapoznawczej

Format Delta Lake Universal (UniForm) umożliwia odczytywanie tabel Delta z klientami Apache Iceberg. Zobacz Odczytywanie tabel delty przy użyciu klientów Iceberg.

Klasteryzacja płynna w Delta Lake jest teraz dostępna w publicznej wersji zapoznawczej.

Klastrowanie liquid Delta Lake zastępuje partycjonowanie tabel i ZORDER, aby uprościć decyzje dotyczące układu danych i zoptymalizować wydajność zapytań. Zobacz Używaj płynnego grupowania dla tabel.

Obsługa archiwizacji w usłudze Azure Databricks

Obsługa archiwizacji w usłudze Azure Databricks wprowadza zestaw funkcji umożliwiających stosowanie zasad cyklu życia w chmurze w magazynie obiektów w chmurze zawierających Tabele Delta w celu przenoszenia plików do archiwalnych poziomów magazynowania. Zobacz Obsługa archiwizacji w usłudze Azure Databricks.

Obsługa klauzuli IDENTIFIER

Użyj IDENTIFIER(:mytable), aby bezpiecznie sparametryzować nazwy tabel, kolumn, funkcji i schematów w wielu instrukcjach SQL.

Obsługa katalogu Unity dla Python i Pandas User-Defined Functions (UDFs)

Na środowisku Databricks Runtime 13.2 lub nowszym funkcje zdefiniowane przez użytkownika (UDF) napisane w języku Python są dostępne na klastrach używających standardowego trybu dostępu (dawniej trybu dostępu współdzielonego) w obszarze roboczym z włączonym Unity Catalog. Obejmuje to funkcje UDF języka Python i biblioteki Pandas. Aby uzyskać szczegółowe informacje na temat funkcji zdefiniowanych przez użytkownika, zobacz Funkcje skalarne zdefiniowane przez użytkownika — Python.

Udostępnianie schematów za pomocą Delta Sharing

Środowisko Databricks Runtime 13.2 dodaje możliwość używania ALTER SHARE <share-name> ADD SCHEMA <schema-name> do udostępnienia całego schematu za pomocą Delta Sharing, zapewniając odbiorcy dostęp do wszystkich tabel i widoków w schemacie w momencie udostępnienia oraz do wszelkich tabel i widoków, które zostaną dodane do schematu w przyszłości. Zobacz Dodawanie schematów do udziału i ALTER SHARE.

Poprawki błędów

• Usunięto usterkę z czytnikiem JSON, w którym rekordy były analizowane w trybie PERMISSIVE, jeśli failOnUnknownFieldsmode została włączona. Rekordy są teraz odrzucane w trybie DROPMALFORMEDparser lub zapisywane do badRecordsPath, jeśli którąkolwiek z tych opcji ustawiono. FAILFAST zgłasza błąd, jeśli typ kolumny nie jest zgodny.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • nodeenv z wersji 1.7.0 do 1.8.0
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • io.delta.delta-sharing-spark_2.12 z 0.6.7 do 0.7.0

Apache Spark

Środowisko Databricks Runtime 13.2 obejmuje platformę Apache Spark 3.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-42750] [SC-133452][dbrrm-273] Obsługa instrukcji Insert By Name
• [SPARK-43133] [SC-133728] Obsługa programu Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][connect][PS] Włącz SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Poprawka (NullOps|NumOps).(eq|ne) dla programu Spark Connect.
• [SPARK-44021] [SC-134109][sql] Dodaj spark.sql.files.maxPartitionNum
• [SPARK-43910] [ SC-132936][sql] Usuwanie __auto_generated_subquery_name z identyfikatorów w błędach
• [SPARK-43976] [ SC-133375][core] Obsługa przypadku, w którym "modifiedConfigs" nie istnieją w dziennikach zdarzeń
• [SPARK-32559] [SC-133992][sql] Poprawka logiki przycinania nie obsłużyła poprawnie znaków sterujących ASCII
• [SPARK-43421] [ SC-132930][ss] Wdrażanie punktów kontrolnych opartych na dzienniku zmian dla dostawcy systemu magazynowania stanów RocksDB
• [SPARK-43594] [SC-133851][sql] Add LocalDateTime to anyToMicros
• [SPARK-43884] [SC-133867] Znaczniki parametrów w DDL
• [SPARK-43398] [ SC-133894][core] Limit czasu wykonawcy powinien być maksymalnym z limitu czasu bezczynności tasowania oraz limitu czasu rdd
• [SPARK-43610] [SC-133892][connect][PS] Włącz InternalFrame.attach_distributed_column w programie Spark Connect.
• [SPARK-43971] [ SC-133826][connect][PYTHON] Obsługa funkcji createDataFrame języka Python w sposób przesyłania strumieniowego
• [SPARK-44006] [SC-133652][connect][PYTHON] Obsługa artefaktów pamięci podręcznej
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Dodawanie copyFromLocalToFs interfejsu API
• [SPARK-43921] [SC-133461][protobuf] Generowanie plików deskryptora Protobuf w czasie kompilacji
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementowanie obsługi plików w usłudze SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][python][SS][minor] Poprawka typu dla Python StreamingQueryProgress rowsPerSecond
• [SPARK-43768] [SC-132398][python][CONNECT] Obsługa zarządzania zależnościami języka Python w programie Python Spark Connect
• [SPARK-43979] [13.X] Przywróć wartość "[SC-133456][sql] CollectedMetrics powinna być traktowana jako ta sama dla siebie"
• [SPARK-42290] [SC-133696][sql] Napraw błąd niemożności zgłaszania błędu OOM, gdy AQE jest włączone
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Dodawanie funkcji matematycznych SQL do języków Scala i Python
• [SPARK-43747] [ SC-132047][python][CONNECT] Dodanie obsługi pliku pyfile w SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Umożliwienie TimedeltaOps.(sub|rsub) za pomocą Spark Connect
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Włącz test parzystości: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Ulepszanie sugerowanych kandydatów do nierozwiązanego atrybutu
• [SPARK-43901] [SC-133454][sql] Avro będzie obsługiwał niestandardowy typ dziesiętny oparty o Long
• [SPARK-43267] [ SC-133024][jdbc] Traktowanie nieznanych kolumn zdefiniowanych przez użytkownika w PostgreSQL jako ciągi znaków w tablicach
• [SPARK-43935] [ SC-133637][sql][PYTHON][connect] Dodawanie funkcji xpath_* do języków Scala i Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Dodaj percentyl do interfejsu API języka Scala i Python
• [SPARK-43717] [ SC-133455][connect] Program Scala client reduce agg nie może obsłużyć partycji null dla danych wejściowych pierwotnych scala
• [SPARK-43984] [SC-133469][sql][PROTOBUF] Zmiana w celu użycia foreach , gdy map nie generuje wyników
• [SPARK-43612] [SC-132011][connect][PYTHON] Implement SparkSession.addArtifact(s) w kliencie języka Python
• [SPARK-44002] [ SC-133606][connect] Napraw obsługę statusów artefaktów
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Dodawanie funkcji agregacji liniowej do języka Scala i Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Tworzenie modułu sql/api
• [SPARK-43979] [SC-133456][sql] CollectedMetrics powinny być traktowane jako takie same dla samołączenia
• [SPARK-43977] [SC-133373][connect] Napraw nieoczekiwany wynik sprawdzania dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: poprawa błędu z enumami jako liczbami całkowitymi
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Dodawanie funkcji unix_* do języków Scala i Python
• [SPARK-43807] [SC-132545][sql] Przeniesienie _LEGACY_ERROR_TEMP_1269 do PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [ SC-133123][sql] Poprawka błędu nie wyświetla sql kolumny dla percentylu[Cont|Dysk]
• [SPARK-42626] [ SC-133248][connect] Dodaj niszczący iterator dla SparkResult
• [SPARK-43333] [SC-132898][sql] Pozwól Avro na konwersję typu związkowego na SQL z nazwą pola stabilną względem typu.
• [SPARK-43953] [SC-133134][connect] Usuń pass
• [SPARK-43970] [ SC-133403][python][CONNECT] Ukryj nieobsługiwane metody ramki danych przed automatycznym uzupełnianiem
• [SPARK-43973] [SC-133272][ss][UI] Interfejs użytkownika Strukturalnego przesyłania strumieniowego powinien prawidłowo wyświetlać nieudane zapytania.
• [SPARK-42577] [ SC-125445][core] Dodaj ograniczenie maksymalnej liczby prób dla etapów, aby uniknąć potencjalnego nieskończonego ponawiania próby
• [SPARK-43841] [SC-132699][sql] Obsługa atrybutów kandydata bez prefiksu w StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Dalsze działania] Zmodyfikować obsługę konfiguracji do wersji 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] Migrowanie klas błędów
• [SPARK-43898] [ SC-132926][core] Automatycznie zarejestruj immutable.ArraySeq$ofRef dla KryoSerializer Scala 2.13
• [SPARK-43775] [ SC-132891][sql] DataSource V2: Zezwalaj na reprezentowanie aktualizacji jako operacji usuwania i wstawiania
• [SPARK-43817] [ SC-132662][spark-43702][PYTHON] Obsługa UserDefinedType w createDataFrame z pandas DataFrame i toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] Dodanie funkcji SparkSession.Builder.getOrCreate, umożliwiającej utworzenie lub pobranie istniejącej sesji Spark.
• [SPARK-43549] [SC-132383][sql] Konwertuj _LEGACY_ERROR_TEMP_0036 na INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [ SC-124644][core] Naprawa niedoliczania akumulatora w przypadku ponownego uruchamiania zadania z cache RDD
• [SPARK-43892] [ SC-133006][python] Dodaj obsługę autouzupełniania dla df[|] w pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Dodaj opcjonalny wzorzec dla Catalog.listDatabases
• [SPARK-43205] [SC-132623] klauzula IDENTIFIER
• [SPARK-43545] [SC-132378][sql][PYTHON] Obsługa typu zagnieżdżonego znacznika czasu
• [SPARK-43949] [SC-133048][python] Uaktualnianie pakietu cloudpickle do wersji 2.2.1
• [SPARK-43760] [ SC-132809][sql] Nullowalność wyników podzapytań skalarowych
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Fix TimedeltaOps for Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Przygotować ścieżkę pakietu Go
• [SPARK-43894] [SC-132892][python] Poprawka usterki w df.cache()
• [SPARK-43509] [SC-131625][connect] Obsługa tworzenia wielu sesji programu Spark Connect
• [SPARK-43882] [SC-132888][sql] Przypisz nazwę do _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Naprawa NumOps dla Spark Connect
• [SPARK-43604] [ SC-132165][sql] Refaktoryzacja INVALID_SQL_SYNTAX w celu uniknięcia osadzania tekstu błędu w kodzie źródłowym
• [SPARK-43859] [SC-132883][sql] Przesłoń toString w LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Dodaj opcjonalny wzorzec dla Catalog.listCatalogs
• [SPARK-43353] Cofnij “[SC-132734][python] Migracja pozostałych błędów sesji do klasy błędów”
• [SPARK-43375] [SC-130309][connect] Ulepszyć komunikaty o błędach dla INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Usuń zbędny toSeq z SparkConnectPlanner dla Scala 2.13
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Naprawa DatetimeOps dla Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Napraw BinaryOps dla Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Naprawa NullOps dla Spark Connect
• [SPARK-43782] [SC-132885][core] Obsługa konfiguracji poziomu logów ze statyczną konfiguracją Spark
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][sql] Dodaje obsługę AES IV i AAD do narzędzi ExpressionImplUtils
• [SPARK-43795] [ SC-132532][connect] Usuń parametry nieużytowane dla sparkConnectPlanner
• [SPARK-42317] [ SC-129194][sql] Nadaj nazwę do _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [ SC-131960][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] Użyj klas błędów w błędach kompilacji ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [ SC-132533][core] Usuń nieużywane deklaracje z modułu Core
• [SPARK-43314] [ SC-129970][connect][PYTHON] Migrowanie błędów klienta programu Spark Connect do klasy błędów
• [SPARK-43799] [SC-132715][python] Dodanie opcji binarnej deskryptora do API PySpark Protobuf
• [SPARK-43837] [SC-132678][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_103[1–2]
• [SPARK-43862] [ SC-132750][sql] Przypisz nazwę do klasy błędów LEGACY_ERROR_TEMP(1254 i 1315)
• [SPARK-43886] [SC-132808][python] Akceptuj krotki generyczne jako wskazówki typowania w funkcji UDF w bibliotece Pandas
• [SPARK-43530] [SC-132653][protobuf] Odczyt pliku deskryptora tylko raz
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Przypisz nazwy do klasy błędów _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Napraw CategoricalOps dla Spark Connect
• [SPARK-39979] [SC-132685][sql] Dodaj opcję używania dużych wektorów szerokości zmiennych dla operacji UDF strzałki
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Fix StringOps for Spark Connect
• [SPARK-43353] [SC-132734][python] Migrowanie pozostałych błędów sesji do klasy błędów
• [SPARK-43815] [SC-132781][sql] Dodaj to_varchar alias dla to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Poprawka zachowania typu zagnieżdżonego MapType w funkcji Pandas UDF
• [SPARK-43361] [SC-131789][protobuf] aktualizacja dokumentacji dotyczącej błędów związanych z serializacją enumów
• [SPARK-43740] [SC-132035][python][CONNECT] Ukryj nieobsługiwane session metody przed automatycznym uzupełnianiem
• [SPARK-43022] [SC-131681][connect] Wsparcie dla funkcji protobuf dla klienta Scala
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrate NotImplementedError into PySparkNotImplementedError
• [SPARK-43860] [ SC-132713][sql] Włącz rekursję ogonową wszędzie tam, gdzie to możliwe
• [SPARK-42421] [ SC-132695][core] Użyj narzędzi, aby uzyskać przełącznik dynamicznej alokacji używanej w lokalnym punkcie kontrolnym
• [SPARK-43590] [SC-132012][connect] Zrobić, aby wspierać kontrolę mima z modułem connect-jvm-client-mima-check
• [SPARK-43315] [13.x][connect][PYTHON][ss] Przenieś pozostałe błędy z DataFrame(Reader|Writer) do klasy błędów
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: umożliwia serde z enumami jako inty
• [SPARK-43789] [ SC-132397][r] Domyślnie używa parametru "spark.sql.execution.arrow.maxRecordsPerBatch" w ramce danych tworzonych w R za pomocą biblioteki Arrow
• [SPARK-43596] [SC-126994][sql] Obsługa predykatu IsNull w rewriteDomainJoins
• [SPARK-42249] [SC-122565][sql] Poprawianie linku HTML do dokumentacji w komunikatach o błędach.
• [SPARK-43128] [SC-131628][connect][SS] Spraw, aby recentProgress i lastProgress zwracały StreamingQueryProgress zgodnie z natywnym interfejsem API Scala
• [SPARK-43387] [ SC-130448][sql] Podaj czytelny dla człowieka kod błędu dla _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [Interfejs użytkownika] Napraw błąd podczas serializacji ExecutorPeakMetricsDistributions w odpowiedzi interfejsu API
• [SPARK-42958] [SC-131475][connect] Refaktoryzacja connect-jvm-client-mima-check w celu obsługi sprawdzania zgodności mima w module avro
• [SPARK-43591] [ SC-131977][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [ SC-132211][core] Użyj klas błędów w org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Uwidacznia typ TimestampNTZType w pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Przypisz nazwy do klasy błędów _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] Obsługa pola missing row.excludedInStages
• [SPARK-42956] [SC-127257][connect] Wspieranie funkcji avro dla klienta Scala
• [SPARK-43487] [ SC-131975][sql] Poprawka zagnieżdżonego komunikatu o błędzie CTE
• [SPARK-43265] [SC-129653] Przenoszenie struktury błędów do wspólnego modułu narzędzi
• [SPARK-40912] [SC-131547][core]Obciążenie wyjątków w kryoDeserializationStream
• [SPARK-43583] [SC-131976][core] pobierz MergedBlockedMetaReqHandler od delegata zamiast wystąpienia programu SaslRpcHandler
• [SPARK-42996] [SC-131997][connect][PS][ml] Tworzenie i przypisywanie odpowiednich biletów JIRA dla wszystkich testów zakończonych niepowodzeniem.
• [SPARK-38469] [SC-131425][core] Użyj klasy błędów w org.apache.spark.network
• [SPARK-43718] [ SC-132014][sql] Poprawne ustawienie wartości null dla kluczy w łączeniach USING
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop powinna zaakceptować pustą kolumnę
• [SPARK-43743] [SC-132038][sql] Port HIVE-12188(DoAs nie działa prawidłowo w zabezpieczonym środowisku HS2 bez protokołu Kerberos)
• [SPARK-43598] [SC-131929][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Fix ClassNotFoundException podczas migracji
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [ SC-131025][core] Użyj klas błędów w org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Zmień nazwę klas błędów LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Wsparcie eliminacji podwyrażenia dla wyrażeń skróconych
• [SPARK-38462] [SC-130449][core] Dodaj klasę błędów INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] Poprawka cannotBroadcastTableOverMaxTableBytesError do użycia bytesToString
• [SPARK-43539] [SC-131830][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [ SC-131688][sql] Skopiuj pamięci podręcznej planu InMemoryRelation, aby zapobiec odwoływaniu się sklonowanego planu do tych samych obiektów
• [SPARK-43309] [SC-129746][spark-38461][CORE] Rozszerzyć INTERNAL_ERROR o kategorie i dodać klasę błędów INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Poprawka współbieżnego składnika zapisywania nie aktualizuje metryk plików
• [SPARK-43383] [SC-130660][sql] Dodawanie rowCount statystyk do relacji lokalnej
• [SPARK-43574] [SC-131739][python][SQL] Obsługa ustawienia pliku wykonywalnego Pythona dla API funkcji UDF i funkcji pandas w procesie wykonywania w środowisku roboczym
• [SPARK-43569] [SC-131694][sql] Usuń obejście dla HADOOP-14067
• [SPARK-43183] [ SC-128938][ss][13.x] Wprowadzenie nowego wywołania zwrotnego "onQueryIdle" do modułu StreamingQueryListener
• [SPARK-43528] [SC-131531][sql][PYTHON] Obsługa zduplikowanych nazw pól w createDataFrame z ramkami danych biblioteki pandas
• [SPARK-43548] [SC-131686][ss] Usuń obejście dla HADOOP-16255
• [SPARK-43494] [ SC-131272][core] Bezpośrednie wywołanie replicate() dla HdfsDataOutputStreamBuilder zamiast używania refleksji w SparkHadoopUtil#createFile
• [SPARK-43471] [ SC-131063][core] Obsługa brakujących właściwości hadoopProperties i metricsProperties
• [SPARK-42899] [ SC-126456][sql] Poprawka DataFrame.to(schemat) w celu obsługi przypadku, gdy w polu dopuszczanym do wartości null istnieje pole niezagnieżdżone
• [SPARK-43302] [SC-129747][sql] Przekształć Python UDAF w funkcję agregującą
• [SPARK-43223] [ SC-131270][connect] Typizowana agregacja, funkcje redukcyjne, RelationalGroupedDataset#as
• [SPARK-43482] [ SC-131375][ss] Rozszerz QueryTerminatedEvent, aby zawierał klasę błędu, jeśli istnieje w wyjątku
• [SPARK-43359] [SC-131463][sql] Usunięcie z tabeli Hive powinno zgłaszać "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Przełącz się z powrotem do ciągów zakodowanych w adresie URL
• [SPARK-43492] [ SC-131227][sql] Dodaj trzyargumentowe aliasy funkcji DATE_ADD i DATE_DIFF
• [SPARK-43473] [SC-131372][python] Obsługa typu struct w createDataFrame z pandas DataFrame
• [SPARK-43386] [SC-131110][sql] Ulepszanie listy sugerowanych kolumn/atrybutów w UNRESOLVED_COLUMN.WITH_SUGGESTION klasie błędów
• [SPARK-43443] [ SC-131332][sql] Dodawanie testu porównawczego dla wnioskowania typu sygnatury czasowej w przypadku użycia nieprawidłowej wartości
• [SPARK-43518] [SC-131420][sql] Przekształć _LEGACY_ERROR_TEMP_2029 na WEWNĘTRZNY_BŁĄD
• [SPARK-42604] [SC-130648][connect] Implementacja funkcji typedlit
• [SPARK-42323] [ES-669513] Przywróć "[SC-123479][sql] Przypisz nazwę do _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][sql] Typ daty filtru cudzysłowu
• [SPARK-43410] [SC-130526][sql] Poprawa pętli wektoryzowanej dla spakowanych skipValues
• [SPARK-43441] [ SC-130995][core] makeDotNode nie powinien zawieść, gdy DeterministicLevel jest nieobecny
• [SPARK-43324] [SC-130455][sql] Obsługa poleceń UPDATE dla źródeł opartych na delta
• [SPARK-43272] [ SC-131168][core] Bezpośrednie wywołanie createFile zamiast refleksji
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migrowanie błędów sesji programu Spark Connect do klasy błędów
• [SPARK-43405] [SC-130987][sql] Usuń bezużyteczne getRowFormatSQL, , inputRowFormatSQLoutputRowFormatSQL metoda
• [SPARK-43447] [SC-131017][r] Obsługa języka R 4.3.0
• [SPARK-43425] [SC-130981][sql] Dodaj TimestampNTZType do ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Dodaj sprawdzenie dla operacji obejmujących wiele ramek danych
• [SPARK-43262] [SC-129270][connect][SS][python] Migrowanie błędów strumieniowego przesyłania danych w Spark Connect do klasy błędów
• [SPARK-42992] [13.x][sc-129465][PYTHON] Wprowadzenie błędu PySparkRuntimeError
• [SPARK-43422] [ SC-130982][sql] Zachowaj tagi w LogicalRelation z wyjściem metadanych
• [SPARK-43390] [SC-130646][sql] DSv2 umożliwia CTAS/RTAS rezerwowanie wartości null schematu
• [SPARK-43430] [ SC-130989][connect][PROTO] ExecutePlanRequest obsługuje dowolne opcje żądania.
• [SPARK-43313] [SC-130254][sql] Dodawanie brakujących wartości domyślnych kolumn dla akcji MERGE INSERT
• [SPARK-42842] [SC-130438][sql] Połącz klasę błędów _LEGACY_ERROR_TEMP_2006 z REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Włącz spark.sql.thriftServer.interruptOnCancel domyślnie
• [SPARK-43292] [SC-130525][core][CONNECT] Przenoszenie ExecutorClassLoader do modułu core i uproszczenie Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Poprawa obsługi typu TimestampNTZ w źródle danych JDBC
• [SPARK-43343] [ SC-130629][ss] FileStreamSource powinien wyłączyć dodatkowe sprawdzanie globu pliku podczas tworzenia źródła danych
• [SPARK-43312] [ SC-130294][protobuf] Opcja konwertowania dowolnych pól na format JSON
• [SPARK-43404] [SC-130586][ss] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów
• [SPARK-43397] [SC-130614][core] Zaloguj czas wycofywania wykonawcy w metodzie executorLost
• [SPARK-42388] [SC-128568][sql] Unikaj dwukrotnego odczytywania stopki parquet w wektoryzowanym czytniku
• [SPARK-43306] [13.x][sc-130320][PYTHON] Przenieść ValueError z typów Spark SQL do klasy typów błędów
• [SPARK-43337] [SC-130353][ui][3.4] Ikony strzałek Asc/desc dla kolumny sortowania nie są wyświetlane w kolumnie tabeli
• [SPARK-43279] [ SC-130351][core] Oczyszczenie nieużywanych członków z SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Zastąp klasę błędów błędem wewnętrznym
• [SPARK-43363] [ SC-130299][sql][PYTHON] Wykonaj wywołanie astype typu kategorii tylko wtedy, gdy nie podano typu strzałki
• [SPARK-43261] [ SC-130154][python] Migrowanie TypeError z typów Spark SQL do klasy błędów
• [SPARK-41971] [SC-130230][sql][PYTHON] Dodać konfigurację konwersji pandas, jak obsługiwać typy strukturalne
• [SPARK-43381] [SC-130464][connect] Utwórz "transformStatCov" leniwy
• [SPARK-43362] [SC-130481][sql] Specjalna obsługa typu JSON dla łącznika MySQL
• [SPARK-42843] [SC-130196][sql] Zaktualizuj klasę błędów _LEGACY_ERROR_TEMP_2007 na REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] Przesyłanie strumieniowe relacji lokalnych
• [SPARK-43181] [SC-130476][sql] Pokaż adres URL interfejsu użytkownika w powłoce spark-sql
• [SPARK-43051] [ SC-130194][connect] Dodaj opcję emitowania wartości domyślnych
• [SPARK-43204] [ SC-129296][sql] Wyrównaj przypisania MERGE z atrybutami tabeli
• [SPARK-43348] [SC-130082][python] Wsparcie Python 3.8 w PyPy3
• [SPARK-42845] [ SC-130078][sql] Zaktualizuj klasę błędów _LEGACY_ERROR_TEMP_2010 na InternalError
• [SPARK-43211] [SC-128978][hive] Usuwanie obsługi usługi Hadoop2 w module IsolatedClientLoader

Środowisko systemu

• System operacyjny: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)