Databricks Runtime 11.3 LTS (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime dans la version 11.3 LTS, alimentées par Apache Spark 3.3.0. Databricks a publié cette version en octobre 2022.

Changements comportementaux

[Changement majeur] La mise à jour des clients Python Databricks Connect V1 est nécessitée par la nouvelle version de Python.

Pour appliquer les correctifs de sécurité requis, la version Python dans Databricks Runtime 11.3 LTS est mise à jour de 3.9.5 à 3.9.19. Étant donné que ces modifications peuvent entraîner des erreurs dans les clients qui utilisent des fonctions PySpark spécifiques, tous les clients qui utilisent Databricks Connect V1 pour Python avec Databricks Runtime 11.3 LTS doivent être mis à jour vers Python 3.9.7 ou version ultérieure.

Nouvelles fonctionnalités et améliorations

• Python mis à niveau de 3.9.19 à 3.9.21
• Déclenchement unique de diffusion en continu structurée est déconseillé
• Modifier le chemin source du chargeur automatique
• Le connecteur Databricks prend désormais en charge la lecture à partir de flux de données Kinesis en mode EFO
• Nouvelles fonctions géospatiales H3 et ajout de la prise en charge de Photon pour toutes les fonctions H3
• Nouvelles fonctionnalités pour les E/S prédictives
• Augmentation des partitions initiales à analyser pour les requêtes sélectives
• Visualisation des nouvelles versions du plan AQE
• Nouveaux modes de suivi de la progression asynchrone et de purge des journaux
• Structured Streaming sur le catalogue Unity prend désormais en charge display()
• Les événements de pipeline sont désormais enregistrés au format JSON
• Traitement avec état arbitraire dans le streaming structuré avec Python
• Inférence de date dans les fichiers CSV
• Support des clones pour les tables Apache Parquet et Apache Iceberg (aperçu public)
• Utiliser SQL pour spécifier des emplacements de stockage au niveau du schéma et du catalogue pour les tables managées Unity Catalog

Python mis à niveau de 3.9.19 à 3.9.21

La version Python dans Databricks Runtime 11.3 LTS est mise à jour de 3.9.19 à 3.9.21.

Le déclencheur de Structured Streaming "une fois" est déconseillé.

Le Trigger.Once paramètre a été déconseillé. Databricks vous recommande d’utiliser Trigger.AvailableNow. Consultez Configurer des intervalles de déclencheur Structured Streaming.

Modifier le chemin source du chargeur automatique

Vous pouvez maintenant modifier le chemin d’accès d’entrée du répertoire pour le chargeur automatique configuré avec le mode liste de répertoires sans avoir à choisir un nouveau répertoire de point de contrôle. Consultez Modifier le chemin source du chargeur automatique.

Le connecteur Databricks Kinesis prend désormais en charge la lecture depuis les flux de données Kinesis en mode EFO

Vous pouvez désormais utiliser la source de diffusion en continu structurée Databricks Kinesis dans Databricks Runtime 11.3 LTS pour exécuter des requêtes qui lisent à partir de flux de données Kinesis en mode fan-out amélioré. Cela permet un débit dédié par partition, par consommateur et livraison de données en mode push.

Nouvelles fonctions géospatiales H3 et prise en charge de Photon ajoutée pour toutes les fonctions H3

Présentation de 4 nouvelles fonctions H3, h3_maxchild, h3_minchild, h3_pointash3et h3_pointash3string. Ces fonctions sont disponibles dans SQL, Scala et Python. Toutes les expressions H3 sont désormais prises en charge dans Photon. Consultez Fonctions géospatiales H3.

Nouvelles fonctionnalités pour les E/S prédictives

Photon prend en charge le mode de plage pour l’exécution de cadres, à l’aide de RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon prend également en charge le mode de portée pour l'élargissement des cadres, en utilisant RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Augmentation des partitions initiales à analyser pour les requêtes sélectives

La valeur des partitions initiales à analyser a été augmentée à 10 pour une requête sélective avec take/tail/limit dans les clusters activés par Photon et LIMIT dans Databricks SQL. Avec 10 partitions, vous pouvez éviter la surcharge liée au lancement de plusieurs petits travaux et à une montée en puissance lente. Vous pouvez également le configurer via spark.sql.limit.selectiveInitialNumPartitions.

Visualisation des nouvelles versions du plan AQE

Présentation des versions de plan AQE qui vous permettent de visualiser les mises à jour de votre plan d’exécution à partir de l’exécution de requêtes adaptatives (AQE).

Nouveaux modes de suivi de l'avancement asynchrone et de purge des journaux

Présentation des modes Structured Streaming appelés suivi de progression asynchrone et purge de journal asynchrone. Le mode de purge de journal asynchrone réduit la latence des requêtes de streaming en supprimant les journaux utilisés pour le suivi de la progression en arrière-plan.

Structured Streaming sur le catalogue Unity prend désormais en charge display()

Vous pouvez désormais utiliser display() quand vous utilisez Structured Streaming pour travailler avec des tables inscrites dans le catalogue Unity.

Les événements de pipeline sont désormais enregistrés au format JSON

Azure Databricks écrit désormais des événements de pipeline dans le journal du pilote au format JSON. Bien que chaque événement soit analysé au format JSON, les événements volumineux peuvent ne pas contenir tous les champs, ou les champs peuvent être tronqués. Chaque événement est consigné dans une seule ligne avec le préfixe Event received: . Voici un exemple d’événement.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Traitement avec état arbitraire dans le streaming structuré avec Python

Présentation de la applyInPandasWithState fonction qui peut être utilisée pour effectuer un traitement avec état arbitraire dans PySpark. Cela équivaut à la flatMapGroupsWithState fonction dans l’API Java.

Inférence de date dans les fichiers CSV

Présentation de l’inférence améliorée des colonnes de type date dans les fichiers CSV. Lorsque le format de date est cohérent entre les enregistrements d’une colonne, ces colonnes peuvent être déduites en tant que DateType. Vous pouvez également avoir une combinaison de formats de date entre différentes colonnes. Azure Databricks peut déduire automatiquement le format de date de chaque colonne. Les colonnes de date dans les fichiers CSV avant Databricks Runtime 11.3 LTS sont laissées telles que StringType.

Prise en charge des clones pour les tables Apache Parquet et Apache Iceberg (aperçu public)

Le clone peut maintenant être utilisé pour créer et mettre à jour de manière incrémentielle des tables Delta qui reflètent les tables Apache Parquet et Apache Iceberg. Vous pouvez mettre à jour votre table Parquet source et appliquer les modifications de manière incrémentielle à votre table Delta clonée avec la commande clone. Voir Cloner de manière incrémentielle les tables Parquet et Apache Iceberg sur Delta Lake.

Utiliser SQL pour spécifier des emplacements de stockage au niveau du schéma et du catalogue pour les tables gérées par le catalogue Unity

Vous pouvez maintenant utiliser la MANAGED LOCATION commande SQL pour spécifier un emplacement de stockage cloud pour les tables gérées au niveau du catalogue et du schéma. Voir CREATE CATALOG et CREATE SCHEMA.

Changements de comportement

Databricks Connect 11.3.2

La mise à jour du client Databricks Connect 11.3.2 est désormais prise en charge. Consultez les notes de publication databricks Connect et Databricks Connect.

Mise à jour du connecteur Azure Databricks Snowflake

Le connecteur Azure Databricks Snowflake a été mis à jour vers la dernière version du code à partir du référentiel open source, Snowflake Data Source pour Apache Spark. Il est désormais entièrement compatible avec Databricks Runtime 11.3 LTS, notamment le pushdown de prédicat et le pushdown du plan de requête interne tout en conservant toutes les fonctionnalités de la version open source.

Le cache Hadoop pour S3A est désormais désactivé

Le cache Hadoop (API FileSystem Apache Hadoop Main 3.3.4) pour S3A est désormais désactivé. Il s’agit de s’aligner sur d’autres connecteurs de stockage cloud. Pour les charges de travail qui s’appuient sur la mise en cache du système de fichiers, assurez-vous que les systèmes de fichiers nouvellement créés sont fournis avec les configurations Hadoop appropriées, y compris les fournisseurs d’informations d’identification.

Le schéma de collection de statistiques Delta Lake correspond désormais à l’ordre des colonnes dans la définition de schéma de table

Cette modification résout un bogue dans le protocole Delta Lake où les statistiques n’ont pas été collectées pour les colonnes en raison d’une incompatibilité dans l’ordre des colonnes dataFrame et table. Dans certains cas, vous pouvez rencontrer une dégradation des performances d’écriture en raison d’une collecte de statistiques sur des champs précédemment non suivis. Consultez Ignorer les données pour Delta Lake.

applyInPandasWithState lève une erreur si la requête a un shuffle après l’opérateur

L’opérateur applyInPandasWithState génère une erreur si la requête a shuffle après l’opérateur. Cela se produit lorsque l’utilisateur ajoute shuffle après l’opération, ou que l’optimiseur ou le récepteur ajoute shuffle implicitement.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • distlib de 0.3.5 à 0.3.6
• Bibliothèques R mises à niveau :
  • broom de 1.0.0 à 1.0.1
  • callr de 3.7.1 à 3.7.2
  • dplyr de 1.0.9 à 1.0.10
  • dtplyr de 1.2.1 à 1.2.2
  • forcats de 0.5.1 à 0.5.2
  • future de 1.27.0 à 1.28.0
  • future.apply de 1.9.0 à 1.9.1
  • gert de 1.7.0 à 1.8.0
  • globals de 0.16.0 à 0.16.1
  • gtable de 0.3.0 à 0.3.1
  • haven de 2.5.0 à 2.5.1
  • hms de 1.1.1 à 1.1.2
  • httr de 1.4.3 à 1.4.4
  • knitr de 1,39 à 1,40
  • modelr de la version 0.1.8 à 0.1.9
  • pilier de 1.8.0 à 1.8.1
  • Mise à jour de progressr de la version 0.10.1 à la version 0.11.0
  • readxl de 1.4.0 à 1.4.1
  • Mise à jour de la version reprex de 2.0.1 à 2.0.2
  • rlang de 1.0.4 à 1.0.5
  • rmarkdown de 2.14 à 2.16
  • RSQLite de 2.2.15 à 2.2.16
  • rstudioapi de 0.13 à 0.14
  • versions de 2.1.1 à 2.1.2
  • rvest mise à jour de la version 1.0.2 à la version 1.0.3
  • la version passe de 1.2.0 à 1.2.1
  • sparklyr de 1.7.7 à 1.7.8
  • stringr de 1.4.0 à 1.4.1
  • survie de 3.2-13 à 3.4-0
  • tinytex de 0,40 à 0,41
  • viridisLite de 0.4.0 à 0.4.1
• Bibliothèques Java mises à niveau :
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.core.jackson-core de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.core.jackson-databind de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 à 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 à 2.13.4
  • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks à 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.2 à 3.3.4
  • org.apache.orc.orc-core de 1.7.5 à 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 à 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 à 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 à 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.34 à 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,34 à 2,36
  • org.glassfish.jersey.core.jersey-client de 2,34 à 2,36
  • org.glassfish.jersey.core.jersey-common de 2,34 à 2,36
  • org.glassfish.jersey.core.jersey-server de 2,34 à 2,36
  • org.glassfish.jersey.inject.jersey-hk2 de 2,34 à 2,36

Apache Spark

Databricks Runtime 11.3 LTS inclut Apache Spark 3.3.0. Cette version inclut tous les correctifs spark et améliorations inclus dans Databricks Runtime 11.2 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Retarder onDisconnected pour permettre au Driver de recevoir le code de sortie de l'Executor
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Améliorer le processus LaunchTask pour éviter les échecs d’étape provoqués par l’échec de l’envoi de messages LaunchTask
• [SPARK-40474] [SC-106248][cherry-pick] Corriger le comportement d'inférence de schéma CSV pour les colonnes de date et heure et introduit la détection automatique pour les champs Date.
• [SPARK-40535] [SC-111243][sql] Correction du bogue où la mémoire tampon d’AggregatingAccumulator ne sera pas créée si les lignes d’entrée sont vides
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implémenter applyInPandasWithState dans PySpark
• [SPARK-40460] [SC-110832][ss] Correction des métriques de streaming lors de la sélection _metadata
• [SPARK-40324] [SC-109943][sql] Fournir un contexte de requête de ParseException
• [SPARK-40466] [SC-110899][ss] Améliorer le message d’erreur lorsque DSv2 est désactivé alors que DSv1 n’est pas disponible
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext doit être bon marché pour appeler à plusieurs reprises
• [SPARK-40169] [SC-110772][sql] Ne pas pousser les filtres Parquet sans référence au schéma de données
• [SPARK-40467] [SC-110759][ss] Split FlatMapGroupsWithState en plusieurs suites de tests
• [SPARK-40468] [SC-110813][sql] Correction de la taille des colonnes au format CSV lorsque _corrupt_record est sélectionné
• [SPARK-40291] [SC-110085][sql] Améliorer le message d'erreur de colonne qui n'est pas dans la clause GROUP BY
• [SPARK-40398] [SC-110762][core][SQL] Utiliser la boucle au lieu de l'API Arrays.stream
• [SPARK-40433] [SC-110684][ss][PYTHON] Ajouter toJVMRow dans PythonSQLUtils pour convertir une Row PySpark sérialisée en Row JVM
• [SPARK-40414] [SC-110568][sql][PYTHON] Type générique supplémentaire sur PythonArrowInput et PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Ajouter des alias de fonction : len, datepart, dateadd, date_diff et curdate
• [SPARK-40470] [SC-110761][sql] Handle GetArrayStructFields et GetMapValue dans la fonction « arrays_zip »
• [SPARK-40387] [SC-110685][sql] Améliorer l’implémentation de Spark Decimal
• [SPARK-40429] [SC-110675][sql] Définir uniquement KeyGroupedPartitioning lorsque la colonne référencée se trouve dans la sortie
• [SPARK-40432] [SC-110716][ss][PYTHON] Introduire GroupStateImpl et GroupStateTimeout dans PySpark
• [SPARK-39915] [SC-110496][sql] Vérifier que le partitionnement de sortie est spécifié par l’utilisateur dans AQE
• [SPARK-29260] [ SQL] Prise en charge ALTER DATABASE SET LOCATION si HMS le permet
• [SPARK-40185] [SC-110056][sql] Supprimer la suggestion de colonne lorsque la liste candidate est vide
• [SPARK-40362] [SC-110401][sql] Correction de la canonicalisation de BinaryComparison
• [SPARK-40411] [SC-110381][ss] Refactoriser FlatMapGroupsWithStateExec pour avoir une caractéristique parente
• [SPARK-40293] [SC-110084][sql] Rendre le message d’erreur de table V2 plus significatif
• [SPARK-38734] [SC-110383][sql] Supprimer la classe d’erreur INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Correction des noms de colonnes dans la fonction « arrays_zip » lorsque les structures imbriquées référencent des tableaux
• [SPARK-40276] [SC-109674][core] Réduire la taille des résultats de RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Remplacer le plan de requête par le contexte pour MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrer vers la DATATYPE_MISMATCH classe d’erreur
• [SPARK-40149] [SC-110055][sql] Propager les colonnes de métadonnées via Project
• [SPARK-40280] [SC-110146][sql] Ajouter la prise en charge de parquet push down pour les int et long annotés
• [SPARK-40220] [SC-110143][sc-109175][SQL] Ne pas générer la carte vide des paramètres de message d’erreur
• [SPARK-40295] [SC-110070][sql] Autoriser les fonctions v2 avec des arguments littéraux dans la distribution/l’ordre d’écriture
• [SPARK-40156] [SC-109264][sql] url_decode() doit retourner une classe d’erreur
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
• [SPARK-40260] [SC-109424][sql] Utiliser des classes d’erreur dans les erreurs de compilation d’une GROUP BY position
• [SPARK-40205] [SC-110144][sc-109082][SQL] Fournir un contexte de requête de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Améliorer la fonction TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Ne modifiez pas la valeur d’intervalle de Decimal en cas d'erreurs
• [SPARK-40319] [SC-109873][sql] Supprimer la méthode d’erreur d’exécution de requête dupliquée pour PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Les fonctions numériques try_add/try_divide/try_subtract/try_multiply doivent générer une erreur à partir de leurs sous-éléments.
• [SPARK-40183] [SC-108907][sql] Utiliser la classe d’erreur NUMERIC_VALUE_OUT_OF_RANGE pour le dépassement de capacité dans la conversion décimale
• [SPARK-40180] [SC-109069][sql] Format des messages d’erreur par spark-sql
• [SPARK-40153] [SC-109165][sql] Unifier résoudre les fonctions et les fonctions à valeur de table
• [SPARK-40308] [SC-109880][sql] Autoriser les arguments délimiteurs non réductibles dans la fonction str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] Plan logique de vue résolu doit contenir le schéma pour éviter la recherche redondante
• [SPARK-40098] [SC-109939][sc-108693][SQL] Format des messages d’erreur dans le serveur Thrift
• [SPARK-39917] [SC-109038][sql] Utiliser différentes classes d’erreur pour le dépassement arithmétique numérique/intervalle
• [SPARK-40033] [SC-109875][sql] Prise en charge de l'élagage des schémas imbriqués via element_at
• [SPARK-40194] [SC-109660][sql] SPLIT function on empty regex doit tronquer la chaîne vide.
• [SPARK-40228] [SC-109835][sql] Ne simplifiez pas multiLike si l’enfant n’est pas une expression bon marché
• [SPARK-40039] [SC-109896][sc-109260][SS] Présentation d’un gestionnaire de fichiers de point de contrôle de streaming basé sur l’interface abortable de Hadoop
• [SPARK-40285] [SC-109679][sql] Simplifiez la configuration roundTo[Numeric] pour Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison doit fonctionner lorsque le littéral de la prédiffusion In/InSet a échoué
• [SPARK-40040] [SC-109662][sql] Appliquer la limite locale des deux côtés si la condition de jointure est vide
• [SPARK-40055] [SC-109075][sql] listCatalogs doit également retourner spark_catalog même quand spark_catalog implémentation est defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) peut ne pas créer N partitions dans la partie non-AQE
• [SPARK-40207] [SC-109401][sql] Spécifiez le nom de colonne lorsque le type de données n’est pas pris en charge par la source de données
• [SPARK-40245] [SC-109295][sql] Correction de la vérification d'égalité de FileScan lorsque les colonnes de partition ou de filtre de données ne sont pas lues
• [SPARK-40113] [SC-109405][sql] Implémentations de l’interface Reactor ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Autoriser la personnalisation du numéro de partition initiale dans take()
• [SPARK-40252] [SC-109379][sql] Remplacer Stream.collect(Collectors.joining) par StringJoiner Api
• [SPARK-40247] [SC-109272][sql] Correction de la détection de l'égalité du BitSet
• [SPARK-40067] [SQL] Utiliser Table#name() au lieu de Scan#name() pour remplir le nom de la table dans le nœud BatchScan dans SparkUI
• [SPARK-39966] [SQL] Utiliser un filtre V2 dans SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Distribution et commande de la fonction V2 en écriture
• [SPARK-40224] [SC-109271][sql] Faire en sorte que ObjectHashAggregateExec libère la mémoire rapidement lorsqu'il passe à une base de tri.
• [SPARK-40013] [ SQL] Les expressions DS V2 doivent avoir la valeur par défaut toString
• [SPARK-40214] [SC-109079][python][SQL] ajouter 'get' aux fonctions
• [SPARK-40192] [SC-109089][sql][ML] Supprimer le groupe redondant par
• [SPARK-40146] [SC-108694][sql] Simplifiez le codegen pour obtenir la valeur de la mappe
• [SPARK-40109] [SQL] Nouvelle fonction SQL : get()
• [SPARK-39929] [SQL] DS V2 prend en charge les fonctions de chaîne push down (non ANSI)
• [SPARK-39819] [SQL] Le push d’agrégation DS V2 peut fonctionner avec le top N ou la pagination (trier avec des expressions)
• [SPARK-40213] [SC-109077][sql] Prise en charge de la conversion de valeurs ASCII pour les caractères Latin-1
• [SPARK-39887] [ SQL] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
• [SPARK-39764] [SQL] Rendre PhysicalOperation identique à ScanOperation
• [SPARK-39964] [ SQL] Le pushdown de DS V2 doit unifier le chemin de traduction
• [SPARK-39528] [SQL] Utiliser un filtre V2 dans SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Mode ANSI : toujours retourner null sur l’accès non valide à la colonne de mappage
• [SPARK-39912] [SPARK-39828][sql] Optimiser CatalogImpl
• [SPARK-39833] [SC-108736][sql] Désactiver l’index de colonne Parquet dans DSv1 pour résoudre un problème d’exactitude en cas de chevauchement des colonnes de partition et de données
• [SPARK-39880] [ SQL] La commande V2 SHOW FUNCTIONS doit imprimer le nom de la fonction qualifiée comme v1
• [SPARK-39767] [SQL] Enlever UnresolvedDBObjectName et ajouter UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] feat : SparkSession.config(Map)
• [SPARK-40136] [SQL] Correction du fragment de contextes de requête SQL
• [SPARK-40107] [SC-108689][sql] Extraction de la conversion vide2null de FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Initialiser la projection utilisée pour les UDF en Python
• [SPARK-40128] [SQL] Rendre VectorizedColumnReader reconnaître DELTA_LENGTH_BYTE_ARRAY en tant qu’encodage de colonne autonome
• [SPARK-40132] [ML] Restaurer rawPredictionCol sur MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Améliorer EliminateSorts pour prendre en charge la suppression des tris par LocalLimit
• [SPARK-39629] [SQL] Support v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Ajouter array_sort(colonne, comparateur) aux opérations DataFrame
• [SPARK-40117] [PYTHON][sql] Convertir la condition en java dans DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Améliorer la repartition dans ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Ajouter le nom du catalogue de sessions pour la table et la fonction de base de données v1
• [SPARK-39889] [SQL] Utiliser différentes classes d’erreur pour numérique/intervalle divisé par 0
• [SPARK-39741] [SQL] Prise en charge de l'encodage/décodage de l'URL en tant que fonction intégrée et réorganisation des fonctions liées à l'URL.
• [SPARK-40102] [SQL] Utiliser SparkException au lieu d’IllegalStateException dans SparkPlan
• [SPARK-40014] [SQL] Prise en charge de la conversion des décimales en intervalles ANSI
• [SPARK-39776] [SQL][follow] Mettre à jour les tests unitaires de PlanStabilitySuite en mode ANSI
• [SPARK-39963] [SQL] Simplifiez SimplifyCasts.isWiderCast

Mises à jour de maintenance

Consultez les mises à jour de maintenance de Databricks Runtime 11.3.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.5 LTS
  • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.9.21
• R : 4.1.3
• Delta Lake : 2.1.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 8 septembre 2022. L’instantané n’est plus disponible.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)