Databricks Runtime 11.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.2 optimisé par Apache Spark 3.3.0. Databricks a publié cette version en septembre 2022.

Améliorations et nouvelles fonctionnalités

• Modification des ALTER TABLE autorisations dans les contrôles d’accès aux tables (ACL de table)
• Nettoyage dynamique pour MERGE INTO
• Détection améliorée des conflits dans Delta avec le nettoyage de fichiers dynamique
• Nouvelle carte Intégrations open source dans les pages d’accueil DSE/SQL
• CONVERT TO DELTA Améliorations apportées à la détection des partitions
• Les schémas de table prennent désormais en charge les valeurs par défaut pour les colonnes
• Nouvelles fonctions géospatiales H3
• Nouvelle dépendance Databricks Runtime
• Apportez votre propre clé : chiffrement des informations d'identification Git
• SQL : Nouvelle fonction d’agrégation any_value
• Commandes de système de fichiers Databricks Utilities autorisées sur d’autres types de cluster
• Des privilèges CREATE peuvent désormais être accordés sur des metastores pour Unity Catalog
• Écritures optimisées pour des tables non partitionnées dans des clusters avec Photon activé
• Support Photon pour davantage de sources de données
• SQL : ALTER SHARE prend désormais en charge START VERSION

Passer aux autorisations ALTER TABLE dans les contrôles d’accès aux tables (ACL de table)

À présent, les utilisateurs ont uniquement besoin MODIFY d’autorisations pour modifier le schéma ou les propriétés d’une table avec ALTER TABLE. La propriété est toujours nécessaire pour accorder des autorisations sur une table, modifier son propriétaire et son emplacement ou le renommer. Cette modification rend le modèle d’autorisation pour les listes de contrôle d’accès de table cohérentes avec Unity Catalog. Voir ALTER TABLE.

Nettoyage dynamique pour MERGE INTO

Lors de l’utilisation du calcul avec Photon, MERGE INTO utilise désormais le nettoyage dynamique des fichiers et des partitions le cas échéant pour améliorer les performances, par exemple quand une petite table source est fusionnée dans une table cible plus grande.

Détection améliorée des conflits dans Delta avec le nettoyage de fichiers dynamique

Lors de la vérification des conflits potentiels pendant les validations, la détection des conflits prend désormais en compte les fichiers qui font l’objet d’un nettoyage dynamique, mais qui n’auraient pas été nettoyés par des filtres statiques. Cela se traduit par une diminution du nombre de transactions non réussies.

Nouvelle carte Intégrations open source dans les pages d’accueil DSE/SQL

Présentation de la nouvelle carte « Intégrations open source » dans les pages d’accueil DSE/SQL qui affichent des options d’intégration open source telles que DLT et dbt core.

CONVERT TO DELTA Améliorations apportées à la détection des partitions

CONVERT TO DELTA déduit automatiquement le schéma de partition pour des tables Parquet inscrites dans le metastore Hive ou Unity Catalog, éliminant ainsi la nécessité de fournir la clause PARTITIONED BY.

CONVERT TO DELTA tire parti des informations de partition du metastore pour découvrir les fichiers d’une table Parquet au lieu d’afficher l’intégralité du chemin d’accès de base, garantissant ainsi que les partitions supprimées ne sont pas ajoutées à la table Delta.

Consultez Convertir en Delta Lake.

Les schémas de table prennent désormais en charge les valeurs par défaut des colonnes

Les schémas de table prennent désormais en charge la définition des valeurs par défaut des colonnes. Les commandes INSERT, UPDATE et DELETE de ces colonnes peuvent faire référence à ces valeurs avec le mot clé DEFAULT. Par exemple, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET suivie de INSERT INTO t VALUES (1, DEFAULT) ajoute la ligne (1, 42). Ce comportement est pris en charge pour les sources de données CSV, JSON, Orc et Parquet.

Nouvelles fonctions géospatiales H3

Vous pouvez maintenant utiliser 28 nouvelles expressions H3 intégrées à des fins de traitement géospatial dans les clusters Photon, disponibles dans SQL, Scala et Python. Consultez Fonctions géospatiales H3.

Nouvelle dépendance Databricks Runtime

Databricks Runtime dépend désormais de la bibliothèque Java H3 version 3.7.0.

BYOK (Bring Your Own Key) : chiffrement des informations d’identification Git

Vous pouvez utiliser Azure Key Vault pour chiffrer un jeton d’accès personnel (PAT) Git ou d’autres informations d’identification Git.

Consultez Configurer les dossiers Git Databricks.

SQL : Nouvelle fonction d’agrégation any_value

La nouvelle fonction d’agrégation any_value retourne toute valeur aléatoire expr pour un groupe de lignes. Consultez la fonction d’agrégationany_value.

Commandes de système de fichiers Databricks Utilities autorisées sur d’autres types de cluster

Les commandes dbutils.fs (à l’exception des commandes liées au montage) sont désormais autorisées sur les clusters d’isolation des utilisateurs avec Unity Catalog, ainsi que sur les clusters de liste de contrôle d’accès de table hérités lorsque l’utilisateur dispose d’autorisations ANY FILE.

Des privilèges CREATE peuvent désormais être accordés sur des metastores pour Unity Catalog

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT et les privilèges CREATE PROVIDER peuvent désormais être accordés sur les metastores Unity Catalog.

Écritures optimisées pour des tables non partitionnées sur des clusters compatibles avec Photon

Les tables managées Unity Catalog conservent désormais automatiquement des fichiers de taille bien ajustée de tables non partitionnées afin d’améliorer la vitesse de requête et d’optimiser les performances.

Prise en charge de Photon pour d’avantage de sources de données

Photon prend désormais en charge davantage de sources de données, notamment CSV et Avro, et est également compatible avec les trames de données mises en cache. Auparavant, l’analyse de ces sources de données signifiait que l’intégralité de la requête ne pouvait pas être photonisée, quels que soient les opérateurs ou expressions de la requête. Désormais, les requêtes analysant ces sources de données peuvent être optimisées grâce à l'utilisation du photon, permettant des améliorations significatives de la latence et du coût total de possession.

Cette fonctionnalité est activée par défaut par la configuration spark.databricks.photon.photonRowToColumnar.enabled.

Limites :

• Les schémas avec des types imbriqués ne sont pas pris en charge (c’est-à-dire des tableaux, des mappages et des structs) dans cette version.
• Les sources ORC, RDD, Kafka et EventHub ne sont pas prises en charge dans cette version.

SQL : ALTER SHARE prend désormais en charge START VERSION

La commande ALTER SHARE prend désormais en charge START VERSION, ce qui permet aux fournisseurs de partager des données à partir d’une version de table spécifique. Voir ALTER SHARE.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • distlib de la version 0.3.4 vers la version 0.3.5
  • filelock de la version 3.7.1 vers la version 3.8.0
  • plotly de la version 5.8.2 vers la version 5.9.0
  • protobuf de la version 4.21.2 vers la version 4.21.5
• Bibliothèques R mises à niveau :
  • broom de la version 0.8.0 vers la version 1.0.0
  • bslib de la version 0.3.1 vers la version 0.4.0
  • callr de la version 3.7.0 vers la version 3.7.1
  • caret de la version 6.0-92 vers la version 6.0-93
  • dbplyr de la version 2.2.0 vers la version 2.2.1
  • devtools de la version 2.4.3 vers la version 2.4.4
  • evaluate de la version 0.15 vers la version 0.16
  • farver de la version 2.1.0 vers la version 2.1.1
  • fontawesome de la version 0.2.2 vers la version 0.3.0
  • future de la version 1.26.1 vers la version 1.27.0
  • generics de la version 0.1.2 vers la version 0.1.3
  • gert de la version 1.6.0 vers la version 1.7.0
  • globals de la version 0.15.1 vers la version 0.16.0
  • googlesheets4 de la version 1.0.0 vers la version 1.0.1
  • hardhat de la version 1.1.0 vers la version 1.2.0
  • htmltools de la version 0.5.2 vers la version 0.5.3
  • parrallelly de la version 1.32.0 vers la version 1.32.1
  • pillar de la version 1.7.0 vers la version 1.8.0
  • pkgload de la version 1.2.4 vers la version 1.3.0
  • processx de la version 3.6.1 vers la version 3.7.0
  • Rcpp de la version 1.0.8.3 vers la version 1.0.9
  • recipes de la version 0.2.0 vers la version 1.0.1
  • rlang de la version 1.0.2 vers la version 1.0.4
  • roxygen2 de la version 7.2.0 vers la version 7.2.1
  • RSQLite de la version 2.2.14 vers la version 2.2.15
  • sass de la version 0.4.1 vers la version 0.4.2
  • shiny de la version 1.7.1 vers la version 1.7.2
  • stringi de la version 1.7.6 vers la version 1.7.8
  • tibble de la version 3.1.7 vers la version 3.1.8
  • tidyverse de la version 1.3.1 vers la version 1.3.2
  • timeDate de la version 3043.102 vers la version 4021.104
  • xfun de la version 0.31 vers la version 0.32
• Bibliothèques Java mises à niveau :
  • org.apache.orc.orc-core de la version 1.7.4 vers la version 1.7.5
  • org.apache.orc.orc-mapreduce de la version 1.7.4 vers la version 1.7.5
  • org.apache.orc.orc-shims de la version 1.7.4 vers la version 1.7.5

Apache Spark

Databricks Runtime 11.2 comprend Apache Spark 3.3.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 11.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Retourne des types d’intervalle ANSI plus larges à partir des fonctions centiles
• [SPARK-40054] [SQL] Restaurer la syntaxe de gestion des erreurs de try_cast()
• [SPARK-39489] [CORE] Améliorer les performances du protocole JsonProtocol pour la journalisation des événements en utilisant Jackson au lieu de Json4s.
• [SPARK-39319] [CORE][sql] Créer des contextes de requête dans le cadre de SparkThrowable
• [SPARK-40085] [SQL] Utilisation de la classe d’erreur INTERNAL_ERROR au lieu d’IllegalStateException pour indiquer les bogues
• [SPARK-40001] [SQL] Les valeurs NULL dans les colonnes JSON DEFAULT sont stockées sous forme de « null » dans le stockage
• [SPARK-39635] [SQL] Prise en charge des métriques de pilote dans l’API de métrique personnalisée DS v2
• [SPARK-39184] [SQL] Gestion des tableaux de résultats sous-dimensionnés dans les séquences de date et d’horodatage
• [SPARK-40019] [ SQL] Refactoriser le commentaire concernant le champ 'containsNull' d'ArrayType et revoir les logiques erronées dans l'expression de collectionOperator concernant containsNull
• [SPARK-39989] [SQL] Prise en charge des statistiques de colonne d’estimation s’il s’agit d’une expression pliable
• [SPARK-39926] [SQL] Correction d’un bogue de prise en charge DEFAULT de colonne pour les analyses Parquet non vectorisées
• [SPARK-40052] [SQL] Gestion des tampons d’octets directs dans VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Correction du type d’intervalle cible dans les erreurs de dépassement de cast
• [SPARK-39835] [SQL] Correction de l'erreur où EliminateSorts supprimait le tri global sous le tri local.
• [SPARK-40002] [ SQL] Ne pas pousser la limite à travers la fenêtre à l’aide de ntile
• [SPARK-39976] [SQL] ArrayIntersect doit correctement gérer la valeur null dans l’expression gauche
• [SPARK-39985] [SQL] Activation des valeurs de colonne DEFAULT implicites dans les insertions à partir de DataFrames
• [SPARK-39776] [SQL] La chaîne détaillée JOIN doit ajouter un type de jointure
• [SPARK-38901] [SQL] DS V2 prend en charge les fonctions diverses de pushdown
• [SPARK-40028] [SQL][followup] Améliorer les exemples de fonctions de chaîne
• [SPARK-39983] [CORE][sql] Non mises en cache des relations de diffusion non sérialisées sur le pilote
• [SPARK-39812] [SQL] Simplification du code pour construire AggregateExpression avec toAggregateExpression
• [SPARK-40028] [SQL] Ajout d’exemples binaires pour les expressions de chaîne
• [SPARK-39981] [SQL] Levée de l’exception QueryExecutionErrors.castingCauseOverflowErrorInTableInsert dans Cast
• [SPARK-40007] [PYTHON][sql] Ajouter « mode » aux fonctions
• [SPARK-40008] [SQL] Prise en charge de la conversion d’intégrales en intervalles ANSI
• [SPARK-40003] [PYTHON][sql] Ajouter « médiane » aux fonctions
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand doit recacher la relation de résultat
• [SPARK-39951] [SQL] Mise à jour de la vérification des colonnes Parquet V2 pour les champs imbriqués
• [SPARK-33236] [shuffle] Rétroportage vers DBR 11.x : activer le service de lecture aléatoire basé sur push pour stocker l’état dans la base de données de niveau NM pour le redémarrage de la conservation du travail
• [SPARK-39836] [SQL] Simplification de V2ExpressionBuilder par extraction de la méthode courante.
• [SPARK-39873] [SQL] Suppression de OptimizeLimitZero et fusion dans EliminateLimits
• [SPARK-39961] [SQL] Cast de translation du pushdown DS V2 si le cast est sécurisé
• [SPARK-39872] [SQL] Changer pour utiliser BytePackerForLong#unpack8Values avec l'API d'entrée de tableau dans VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Suppression inutile de AliasHelper ou PredicateHelper pour certaines règles
• [SPARK-39900] [SQL] Traiter les conditions partielles ou négatives dans le pushdown des prédicats du format binaire
• [SPARK-39904] [SQL] Renommage de inferDate par prefersDate et clarification de la sémantique de l’option dans la source de données CSV
• [SPARK-39958] [SQL] Ajout d’un journal d’avertissement en cas d’impossibilité de charger un objet de métrique personnalisé
• [SPARK-39932] [SQL] WindowExec doit effacer la mémoire tampon de la partition finale
• [SPARK-37194] [SQL] Éviter le tri inutile en écriture v1 s’il ne s’agit pas d’une partition dynamique
• [SPARK-39902] [SQL] Ajout de détails d’analyse au nœud d’analyse de plan Spark dans SparkUI
• [SPARK-39865] [SQL] Affichage des messages d’erreur appropriés pour les erreurs de dépassement de capacité d’insertion de table
• [SPARK-39940] [SS] Actualisation de la table de catalogue sur la requête de streaming avec le récepteur DSv1
• [SPARK-39827] [SQL] Utilisation de la classe d’erreur ARITHMETIC_OVERFLOW en cas de dépassement int dans add_months()
• [SPARK-39914] [SQL] Ajout d’un filtre DS V2 à la conversion de filtre V1
• [SPARK-39857] [SQL] Rétroportage DBR 11.x manuel ; V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In #43454
• [SPARK-39840] [SQL][python] Factorisation de PythonArrowInput comme symétrie de PythonArrowOutput
• [SPARK-39651] [SQL] Élaguer la condition de filtre si la comparaison avec rand est déterministe
• [SPARK-39877] [PYTHON] Ajouter unpivot à l’API DataFrame PySpark
• [SPARK-39909] [SQL] Organisation de la vérification des informations push pour JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclure les statistiques d’origine et les contraintes pour LogicalRDD s’il provient de DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) remplit les nouvelles colonnes manquantes avec la valeur Null
• [SPARK-39860] [SQL] D’autres expressions doivent étendre Predicate
• [SPARK-39823] [SQL][python] Renommer Dataset.as en tant que Dataset.to et ajouter DataFrame.to dans PySpark
• [SPARK-39918] [SQL][mineur] Remplacer le libellé « non comparable » par « incomparable » dans le message d’erreur
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In
• [SPARK-39862] [SQL] Rétroportage manuel pour PR 43654 ciblant DBR 11.x : mise à jour de SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS pour autoriser/refuser ALTER TABLE… Ajoutez les commandes COLUMN séparément.
• [SPARK-39844] [SQL] Rétroportage manuel pour PR 43652 ciblant DBR 11.x
• [SPARK-39899] [SQL] Correction du passage des paramètres de message à InvalidUDFClassException
• [SPARK-39890] [SQL] Faire en sorte que Make TakeOrderedAndProjectExec hérite de AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Prise en charge de CharType dans PySpark
• [SPARK-38864] [SQL] Ajout de unpivot / melt au jeu de données
• [SPARK-39864] [SQL] Inscription en différé de ExecutionListenerBus
• [SPARK-39808] [SQL] Prise en charge de la fonction d’agrégation MODE
• [SPARK-39875] [SQL] Modification de la méthode protected dans la classe finale par private ou package-visible
• [SPARK-39731] [SQL] Correction du problème dans les sources de données CSV et JSON lors de l’analyse des dates au format « aaaaMMjj » avec une stratégie d’analyseur de temps CORRIGÉE
• [SPARK-39805] [SS] Dépréciation de Trigger.Once et promotion de Trigger.AvailableNow
• [SPARK-39784] [SQL] Placer des valeurs littérales sur le côté droit du filtre de source de données après avoir traduit l’expression Catalyst en filtre de source de données
• [SPARK-39672] [SQL][3.1] Correction de la suppression de projet avant le filtre avec sous-requête corrélée
• [SPARK-39552] [SQL] Unify v1 et v2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists doit gérer l’espace de noms imbriqué
• [SPARK-37287] [SQL] Extraction de la partition dynamique et tri du compartiment à partir de FileFormatWriter
• [SPARK-39469] [SQL] Déduction du type de date pour l’inférence de schéma CSV
• [SPARK-39148] [SQL] Le pushdown d’agrégation DS V2 peut utiliser OFFSET ou LIMIT
• [SPARK-39818] [SQL] Correction d’un bogue dans les types ARRAY, STRUCT, MAP avec les valeurs DEFAULT avec champ(s) NULL
• [SPARK-39792] [SQL] Ajout de DecimalDivideWithOverflowCheck pour la moyenne décimale
• [SPARK-39798] [SQL] Remplacement de toSeq.toArray par .toArray[Any] dans le constructeur de GenericArrayData
• [SPARK-39759] [SQL] Implémentation de listIndexes dans JDBC (dialecte H2)
• [SPARK-39385] [SQL] Prise en charge du pushdown REGR_AVGX et REGR_AVGY
• [SPARK-39787] [SQL] Utilisation de la classe d’erreur dans l’erreur d’analyse de la fonction to_timestamp
• [SPARK-39760] [PYTHON] Prise en charge de Varchar dans PySpark
• [SPARK-39557] [SQL] Rétroportage manuel vers DBR 11.x : prise en charge des types ARRAY, STRUCT, MAP en tant que valeurs DEFAULT
• [SPARK-39758] [SQL][3.3] Correction de NPE à partir de fonctions regexp sur les modèles non valides
• [SPARK-39749] [SQL] Mode SQL ANSI : utilisation d’une représentation sous forme de chaîne brute lors du cast de Decimal sur String
• [SPARK-39704] [SQL] Implémentation de createIndex, dropIndex et indexExists dans JDBC (dialecte H2)
• [SPARK-39803] [SQL] Utilisation de LevenshteinDistance à la place de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Prise en charge de type TimestampNTZ dans la source de données JDBC
• [SPARK-39781] [SS] Ajout d’une prise en charge de fourniture de max_open_files au fournisseur de magasin d’état rocksdb
• [SPARK-39719] [R] Implémentation de databaseExists/getDatabase dans la prise en charge SparkR de l’espace de noms 3L
• [SPARK-39751] [SQL] Renommage de la métrique des sondes de clé d’agrégation de hachage
• [SPARK-39772] [SQL] L’espace de noms doit être null lorsque la base de données est null dans les anciens constructeurs
• [SPARK-39625] [SPARK-38904][sql] Ajout de Dataset.as(StructType)
• [SPARK-39384] [SQL] Compilation des fonctions d’agrégation de régression linéaire intégrées pour le dialecte JDBC
• [SPARK-39720] [R] Implémentation de tableExists/getTable dans SparkR pour l’espace de noms 3L
• [SPARK-39744] [SQL] Ajout de la fonction REGEXP_INSTR
• [SPARK-39716] [R] Faire en sorte que currentDatabase/setCurrentDatabase/listCatalogs dans SparkR prennent en charge l’espace de noms 3L.
• [SPARK-39788] [SQL] Renommage de catalogName par dialectName pour JdbcUtils
• [SPARK-39647] [CORE] Inscrire l’exécuteur auprès d’ESS avant d’inscrire le BlockManager
• [SPARK-39754] [CORE][sql] Supprimer les éléments inutilisés import ou inutiles {}
• [SPARK-39706] [SQL] Définition de la colonne manquante avec defaultValue comme constante dans ParquetColumnVector
• [SPARK-39699] [SQL] Rendre CollapseProject plus intelligent sur les expressions de création de collection
• [SPARK-39737] [SQL] PERCENTILE_CONT et PERCENTILE_DISC doivent prendre en charge le filtre d’agrégation
• [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunctions/functionExists compatible avec l’espace de noms de couche 3
• [SPARK-39627] [SQL] Le pushdown JDBC V2 doit unifier l’API de compilation
• [SPARK-39748] [SQL][ss] Inclure le plan logique d’origine pour LogicalRDD s’il provient de DataFrame
• [SPARK-39385] [SQL] Translation des fonctions d’agrégation de régression linéaire pour pushdown
• [SPARK-39695] [SQL] Ajout de la fonction REGEXP_SUBSTR
• [SPARK-39667] [SQL] Ajout d’une autre solution de contournement lorsqu’il n’y a pas suffisamment de mémoire pour générer et diffuser la table
• [SPARK-39666] [ES-337834][sql] Utiliser UnsafeProjection.create pour respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
• [SPARK-39643] [SQL] Interdire les expressions de sous-requête dans les valeurs DEFAULT
• [SPARK-38647] [SQL] Ajout de Add SupportsReportOrdering à l’interface pour l’analyse (DataSourceV2)
• [SPARK-39497] [SQL] Améliorer l’exception d’analyse de la colonne clé de carte manquante
• [SPARK-39661] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
• [SPARK-39713] [SQL] Mode ANSI : ajout d’une suggestion d’utilisation de try_element_at pour l’erreur INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 prend en charge les fonctions DateHeure du pushdown
• [SPARK-39638] [SQL] Modification de l’utilisation de ConstantColumnVector pour stocker les colonnes de partition dans OrcColumnarBatchReader
• [SPARK-39653] [SQL] Nettoyage de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) à partir de ColumnVectorUtils
• [SPARK-39231] [SQL] Utilisation de ConstantColumnVector à la place de On/OffHeapColumnVector pour stocker les colonnes de partition dans VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog ne doit pas lever d’exception NoSuchDatabaseException dans loadNamspaceMetadata
• [SPARK-39447] [SQL] Éviter AssertionError dans AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Retravail de MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec doit respecter l’ordre de sortie enfant
• [SPARK-39606] [SQL] Utilisation des statistiques enfants pour estimer l’opérateur order
• [SPARK-39611] [PYTHON][ps] Corriger les alias incorrects dans array_ufunc
• [SPARK-39656] [SQL][3.3] Correction de l'utilisation d'un espace de noms incorrect dans DescribeNamespaceExec
• [SPARK-39675] [SQL] Basculer la configuration « spark.sql.codegen.factoryMode » de l’objectif de test à l’objectif interne
• [SPARK-39139] [SQL] DS V2 prend en charge le pushdown DS V2 UDF
• [SPARK-39434] [SQL] Fournir le contexte de requête d’erreur du runtime lorsque l’index de tableau est hors limite
• [SPARK-39479] [SQL] DS V2 prend en charge les fonctions mathématiques de pushdown (non ANSI)
• [SPARK-39618] [SQL] Ajout de la fonction REGEXP_COUNT
• [SPARK-39553] [CORE] La désinscription multithread ne doit pas lever une exception NPE lors de l'utilisation de Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Ajout d’un fichier pour traiter le problème des fonctions générales manquantes de pandas
• [SPARK-39444] [SQL] Ajout de OptimizeSubqueries à la liste nonExcludableRules
• [SPARK-39316] [SQL] Fusion de PromotePrecision et CheckOverflow en arithmétique binaire décimale
• [SPARK-39505] [UI] Contenu du journal d’échappement affiché dans l’interface utilisateur
• [SPARK-39448] [SQL] Ajout de ReplaceCTERefWithRepartition à la liste nonExcludableRules
• [SPARK-37961] [SQL] Substitution de maxRows/maxRowsPerPartition pour certains opérateurs logiques
• [SPARK-35223] Rétablir l’ajout de IssueNavigationLink
• [SPARK-39633] [SQL] Prise en charge de l’horodatage en secondes pour TimeTravel à l’aide des options de DataFrame
• [SPARK-38796] [SQL] Mise à jour de la documentation pour les chaînes de format numérique avec les fonctions {try_}to_number
• [SPARK-39650] [SS] Correction d’un schéma de valeur incorrect dans la déduplication de streaming avec compatibilité descendante
• [SPARK-39636] [CORE][ui] Correction de plusieurs bogues dans JsonProtocol, impactant les tas StorageLevels et Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Renvoi de ELEMENT_AT_BY_INDEX_ZERO pour element_at(*, 0)
• [SPARK-39349] Ajout d’une méthode CheckError centralisée pour l’AQ du chemin d’erreur
• [SPARK-39453] [SQL] DS V2 prend en charge les fonctions non agrégées diverses de pushdown (non ANSI)
• [SPARK-38978] [SQL] DS V2 prend en charge l’opérateur OFFSET de pushdown
• [SPARK-39567] [SQL] Prise en charge des intervalles ANSI dans les fonctions de centile
• [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ALTER COLUMNS dans les sources de données V2
• [SPARK-39396] [SQL] Correction de l’exception de connexion LDAP « code d’erreur 49 - Informations d’identification non valides »
• [SPARK-39548] [SQL] La commande CreateView avec une requête de clause de fenêtre a rencontré un problème de définition de fenêtre introuvable.
• [SPARK-39575] [AVRO] ajouter ByteBuffer#rewind après ByteBuffer#get dans Avr…
• [SPARK-39543] L’option de DataFrameWriterV2 doit être transmise aux propriétés de stockage en cas de recours à v1.
• [SPARK-39564] [SS] Exposition des informations de la table de catalogue dans le plan logique de la requête de streaming
• [SPARK-39582] [SQL] Correction du marqueur « Depuis » pour array_agg
• [SPARK-39388] [SQL] Réutilisation de orcSchema lors du pushdown de prédicats Orc
• [SPARK-39511] [SQL] Amélioration de la limite locale 1 du pushdown pour le côté droit de la jointure semi/anti si la condition de jonction est vide
• [SPARK-38614] [ SQL] Ne pas pousser la limite à travers la fenêtre qui utilise percent_rank
• [SPARK-39551] [SQL] Ajout d’une vérification de plan non valide AQE
• [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ADD COLUMNS dans les sources de données V2
• [SPARK-39538] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
• [SPARK-39383] [SQL] Rétroportage manuel vers DBR 11.x : refactorisation de la prise de la colonne DEFAULT pour ignorer le contournement de l’analyseur principal
• [SPARK-39397] [SQL] Assouplissement de AliasAwareOutputExpression pour prendre en charge l’alias avec l’expression
• [SPARK-39496] [SQL] Gestion de structure Null dans Inline.eval
• [SPARK-39545] [SQL] Substitution de la méthode concat pour ExpressionSet dans Scala 2.13 afin d’améliorer les performances
• [SPARK-39340] [SQL] Le pushdown d’agrégation DS v2 doit autoriser les points dans le nom des colonnes de niveau supérieur
• [SPARK-39488] [SQL] Simplification de la gestion de l’erreur TempResolvedColumn
• [SPARK-38846] [SQL] Ajout d’un mappage de données explicite entre le type numérique Teradata et le type décimal Spark
• [SPARK-39520] [SQL] Substitution de la méthode -- pour ExpressionSet dans Scala 2.13
• [SPARK-39470] [SQL] Prise en charge de la conversion des intervalles ANSI en décimales
• [SPARK-39477] [SQL] Suppression de l’information « Nombre de requêtes » des fichiers d’or de SQLQueryTestSuite
• [SPARK-39419] [SQL] Correction de ArraySort pour lever une exception lorsque le comparateur retourne null
• [SPARK-39061] [SQL] Définir correctement la nullabilité pour les attributs de sortie Inline
• [SPARK-39320] [SQL] Prise en charge de la fonction d’agrégation MEDIAN
• [SPARK-39261] [CORE] Amélioration de la mise en forme de nouvelle ligne pour les messages d’erreur
• [SPARK-39355] [SQL] Une colonne unique utilise des guillemets pour construire UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE doit masquer les propriétés
• [SPARK-37623] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_intercept
• [SPARK-39374] [SQL] Amélioration du message d’erreur pour la liste de colonnes spécifiée par l’utilisateur
• [SPARK-39255] [SQL][3.3] Amélioration des messages d’erreur
• [SPARK-39321] [SQL] Refactorisation de TryCast pour utiliser RuntimeReplaceable
• [SPARK-39406] [PYTHON] Acceptation du tableau NumPy dans createDataFrame
• [SPARK-39267] [SQL] Nettoyage du symbole dsl inutile
• [SPARK-39171] [SQL] Unification de l’expression Cast
• [SPARK-28330] [SQL] Prise en charge de la clause de décalage de résultat ANSI SQL dans l’expression de requête
• [SPARK-39203] [SQL] Réécriture de l’emplacement de la table en URI absolu basé sur l’URI de la base de données
• [SPARK-39313] [SQL] toCatalystOrdering doit échouer si la translation de V2Expression est impossible
• [SPARK-39301] [SQL][python] Utilisation de LocalRelation et respect de la taille des lots de flèches dans createDataFrame avec optimisation des flèches
• [SPARK-39400] [SQL] spark-sql doit supprimer ce paramètre hive resource dir dans tous les cas

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 11.2.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.4 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.9.5
• R : 4.1.3
• Delta Lake : 2.1.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 15/08/2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)