Databricks Runtime 9.0 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 9.0 et Databricks Runtime 9.0 Photon, avec Apache Spark 3.1.2. Databricks a publié cette version en août 2021. Photon est en préversion publique.

Correction

Une version précédente de ces notes de mise à jour indiquait à tort que les dépendances d’Apache Parquet avaient été mises à niveau de la version 1.10 à la version 1.12. En fait, les dépendances de Parquet restent à la version 1.10. La note de publication incorrecte a été supprimée.

Améliorations et nouvelles fonctionnalités

• Nouvelle interface de programmation d'applications pour les statistiques récapitulatives des jeux de données (Aperçu public)
• Configuration de source de données externe plus facile pour le connecteur Azure Synapse
• Limitez éventuellement la session à une durée spécifiée pour le connecteur Amazon Redshift
• Chargeur automatique
• SQL
• Support R
• Éviter la phase de restauration par progression en spécifiant l’état initial pour le traitement avec état de streaming structuré
• Une implémentation de faible lecture aléatoire de la commande MERGE INTO de Delta est désormais disponible (préversion publique)

Nouvelle API pour les statistiques récapitulatives des jeux de données (préversion publique)

La nouvelle commande dbutils.data.summarize de Databricks Utilities vous permet de lancer une tâche Spark qui calcule automatiquement des statistiques de résumé sur les colonnes d’un DataFrame Spark, puis affiche les résultats de manière interactive. Cette fonction est disponible dans Scala et Python. Consultez Utilitaire de données (dbutils.data).

Configuration de source de données externe plus facile pour le connecteur Azure Synapse

La nouvelle option externalDataSource du connecteur Interroger des données dans Azure Synapse Analytics vous permet d’utiliser une source de données externe préconfigurée pour effectuer des lectures depuis une base de données Azure Synapse. L’option externalDataSource supprime la nécessité de l’autorisation CONTROL qui était requise précédemment.

Lorsque vous définissez externalDataSource, la source de données externe et l’option tempDir utilisées pour configurer le stockage temporaire doivent référencer le même conteneur dans le compte de stockage.

Limiter éventuellement la session à une durée spécifiée pour le connecteur Amazon Redshift

La nouvelle option fs.s3a.assumed.role.session.duration dans la Query Amazon Redshift à l’aide du connecteur Azure Databricks vous permet de paramétrer éventuellement une durée pour la session lorsque Redshift accède au compartiment S3 temporaire avec un rôle supposé.

Chargeur automatique

• Liste des fichiers optimisés
• Stockage des données d’image optimisée
• Images miniatures pour les fichiers binaires (préversion publique)
• Les événements DirectoryRename activent le traitement atomique de plusieurs fichiers

Liste des fichiers optimisés

Les optimisations du chargeur automatique offrent des améliorations des performances et des économies de coûts lors de la liste des répertoires imbriqués dans le stockage cloud, notamment AWS S3, Azure Data Lake Storage (ADLS) et Google Cloud Storage (GCS).

Par exemple, si vous aviez des fichiers chargés en tant que /some/path/YYYY/MM/DD/HH/fileName, pour trouver tous les fichiers dans ces répertoires, le chargeur automatique effectuait une énumération parallèle de tous les sous-répertoires, ce qui provoquait 365 (par jour) * 24 (par heure) = 8760 appels d'API de répertoire LIST au stockage sous-jacent pour chaque répertoire annuel. En recevant une réponse aplatie de ces systèmes de stockage, Auto Loader réduit le nombre d'appels API au nombre de fichiers du système de stockage divisé par le nombre de résultats retournés par chaque appel API (1000 pour S3, 5000 pour ADLS et 1024 pour GCS), réduisant considérablement vos coûts de cloud.

Stockage des données image optimisé

Le chargeur automatique peut désormais détecter automatiquement les données d’image qui sont ingérées et optimiser son stockage dans les tables Delta pour améliorer les performances de lecture et d’écriture. Voir Ingérer des données image ou binaires dans Delta Lake pour l'apprentissage automatique.

Images miniatures pour les fichiers binaires (Aperçu public)

Les images au format binaryFile chargées ou enregistrées en tant que tables Delta à l’aide d’Auto Loader sont associées à des annotations afin que les miniatures d’image s’affichent lorsque vous affichez la table dans un notebook Azure Databricks. Pour plus d’informations, consultez Images.

Les événements DirectoryRename activent le traitement atomique de plusieurs fichiers

Les flux de chargement automatique créés dans Databricks Runtime 9.0 et versions ultérieures sur Azure Data Lake Storage configurent les notifications d’événements de fichier pour inclure le renommage de répertoire et écouter les événements RenameDirectory. Vous pouvez utiliser des renommages de répertoires pour que plusieurs fichiers apparaissent de manière atomique dans Auto Loader.

SQL

• Exclure des colonnes dans SELECT * (préversion publique)
• Fonctions scalaires SQL (préversion publique)
• Référencer les alias et les colonnes précédents dans les sous-requêtes FROM (préversion publique)

Exclure des colonnes dans SELECT * (Aperçu Public)

SELECT * prend désormais en charge un mot clé EXCEPT , qui vous permet d’exclure des colonnes de niveau supérieur spécifiées de l’expansion. Par exemple, à partir d’une table avec un schéma SELECT * EXCEPT (b) FROM tbl, (a, b, c) s’étend à (a, c).

Fonctions scalaires SQL (Aperçu public)

CREATE FUNCTION prend désormais en charge les fonctions scalaires SQL. Vous pouvez créer des fonctions scalaires qui acceptent un ensemble d’arguments et retournent une valeur de type scalaire unique. Le corps de la fonction SQL peut être n’importe quelle expression. Par exemple :

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Pour plus d’informations, consultez CREATE FUNCTION (SQL et Python).

Référencer les alias et les colonnes précédents dans les sous-requêtes FROM (préversion publique)

Les sous-requêtes dans la clause FROM d’une requête peuvent désormais être précédées du mot clé LATERAL, ce qui leur permet de référencer des alias et des colonnes dans les éléments FROM précédents. Par exemple :

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Le mot clé LATERAL prend en charge INNER, CROSS et LEFT (OUTER) JOIN.

Consultez Paramètres et Paramètres.

Support R

Bibliothèques R délimitées aux notebooks (Préversion publique)

Les bibliothèques Python délimitées au notebook vous permettent d’installer des bibliothèques Python et de créer un environnement délimité à une session de notebook. Ces bibliothèques n’affectent pas les autres notebooks s’exécutant sur le même cluster. Les bibliothèques sont disponibles sur le pilote et sur les nœuds Worker, ce qui vous permet de les référencer dans les fonctions définies par l’utilisateur. Voir Bibliothèques R délimitées aux notebooks.

Messages d’avertissement dans les notebooks R

La valeur par défaut de l’option warn est désormais définie sur 1 dans les notebooks R. Par conséquent, tous les avertissements sont désormais exposés dans le cadre du résultat de la commande. Pour en savoir plus sur l’option warn, consultez Paramètres des options.

Éviter la phase de restauration par progression en spécifiant l’état initial pour le traitement avec état de streaming structuré

Vous pouvez maintenant indiquer un état initial défini par l’utilisateur pour le traitement avec état de la diffusion en continu structurée à l’aide de l’opérateur [flat]MapGroupsWithState.

Consultez Spécifier l’état initial pour mapGroupsWithState.

Une implémentation de faible lecture aléatoire de la commande MERGE INTO de Delta est désormais disponible (préversion publique)

La commande Delta MERGE INTO bénéficie d'une nouvelle implémentation qui réduit le déplacement des lignes non modifiées. Cela améliore les performances de la commande et permet de préserver les regroupements existants sur la table, comme l'ordre Z. Pour activer la fusion faible aléatoire, définissez spark.databricks.delta.merge.enableLowShuffle sur true. Consultez Fusion faible et aléatoire sur Azure Databricks.

Résolution des bogues

• Vous ne pouvez plus remplacer un affichage en créant un affichage portant le même nom.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • certifi de 2021.5.30 à 2020.12.5
  • chardet de 3.0.4 à 4.0.0
  • Cython de 0.29.21 à 0.29.23
  • élément décoratif de 4.4.2 à 5.0.6
  • ipython de 7.19.0 à 7.22.0
  • joblib de 0.17.0 à 1.0.1
  • jupyter-client de 6.1.7 à 6.1.12
  • jupyter-core de 4.6.3 à 4.7.1
  • kiwisolver de 1.3.0 à 1.3.1
  • matplotlib de 3.2.2 à 3.4.2
  • pandas de 1.1.5 à 1.2.4
  • pip de 20.2.4 à 21.0.1
  • prompt-toolkit de 3.0.8 à 3.0.17
  • protobuf de 3.17.3 à 3.17.2
  • ptyprocess de 0.6.0 à 0.7.0
  • pyarrow de 1.0.1 à 4.0.0
  • Pygments de 2.7.2 à 2.8.1
  • pyzmq de 19.0.2 à 20.0.0
  • requêtes de 2.24.0 à 2.25.1
  • s3transfer de 0.3.6 à 0.3.7
  • scikit-learn de 0.23.2 à 0.24.1
  • scipy de 1.5.2 à 1.6.2
  • seaborn 0.10.0 à 0.11.1
  • setuptools de 50.3.1 à 52.0.0
  • statsmodels de 0.12.0 à 0.12.2
  • tornade de 6.0.4 à 6,1
  • virtualenv de 20.2.1 à 20.4.1
  • wheel de 0.35.1 à 0.36.2
• Bibliothèques R mises à niveau :
  • Matrix de 1.3-3 à 1.3-4

Apache Spark

Databricks Runtime 9.0 comprend Apache Spark 3.1.2. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 8.4 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-35886] [SQL][3.1] PromotePrecision ne doit pas remplacer genCodePromotePrecision ne doit pas remplacer genCode
• [SPARK-35879] [CORE][shuffle] Correction du ralentissement des performances provoqué par collectFetchRequests
• [SPARK-35817] [SQL][3.1] Restaurer les performances des requêtes sur les tables Avro larges
• [SPARK-35841] [ SQL] La conversion d'une chaîne en type décimal ne fonctionne pas si le...
• [SPARK-35783] [SQL] Définir la liste des colonnes de lecture dans la configuration de la tâche afin de réduire la lecture des données ORC
• [SPARK-35576] [SQL][3.1] Biffer les informations sensibles dans le résultat de la commande Set
• [SPARK-35449] [SQL][3.1] Extraire uniquement les expressions communes à partir de valeurs CaseWhen si elseValue est défini
• [SPARK-35288] [SQL] StaticInvoke doit trouver la méthode sans correspondance exacte des classes d’arguments
• [SPARK-34794] [SQL] Résoudre les problèmes de nom de variable lambda dans les fonctions tableau imbriquées
• [SPARK-35278] [SQL] Invoke doit trouver la méthode avec le nombre correct de paramètres
• [SPARK-35226] [SQL] Prise en charge de l’option refreshKrb5Config dans les sources de données JDBC
• [SPARK-35244] [SQL] Invoke doit lever l’exception d’origine
• [SPARK-35213] [SQL] Conserver l’ordre correct des structs imbriqués dans les opérations withField chaînées
• [Spark-35087] [UI] Certaines colonnes de la table des métriques agrégées par l’exécuteur de la page phase-detail ne sont pas correctes.
• [SPARK-35168] [SQL] mapred.reduce.tasks doit être shuffle.partitions et non pas adaptive.coalescePartitions.initialPartitionNum
• [Spark-35127] [UI] Lorsque nous passons d'une page de détail d'étape à une autre, l'élément d'entrée de la page nouvellement ouverte peut être vide.
• [SPARK-35142] [PYTHON][ml] Corriger le type de retour incorrect pour rawPredictionUDF dans OneVsRestModel
• [SPARK-35096] [SQL] SchemaPruning doit respecter la configuration spark.sql.caseSensitive
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias ne doit pas créer UnresolvedAlias
• [SPARK-35080] [SQL] Autoriser uniquement un sous-ensemble de prédicats d’égalité corrélés lorsqu’une sous-requête est agrégée
• [SPARK-35117] [UI] Modifiez la barre de progression pour mettre en surbrillance le ratio des tâches en cours
• [SPARK-35136] Supprimer la valeur null initiale de LiveStage.info
• [SPARK-34834] [NETWORK] Résoudre une fuite de mémoire Netty potentielle dans TransportResponseHandler
• [SPARK-35045] [SQL] Ajouter une option interne pour contrôler la mémoire tampon d’entrée dans univocity
• [SPARK-35014] Corriger le modèle PhysicalAggregation pour ne pas réécrire les expressions pliables
• [SPARK-35019] [PYTHON][sql] Corriger les incompatibilités des indicateurs de type dans pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() doit tenir compte du fait que la valeur de la partition est nulle.
• [SPARK-34630] [PYTHON] Ajout de typehint pour pyspark.version
• [SPARK-34963] [SQL] Corriger le nettoyage de colonne imbriqué pour l’extraction d’un champ struct ne respectant pas la casse d’un tableau de struct
• [SPARK-34988] [CORE][3.1] Mise à niveau de Jetty pour CVE-2021-28165
• [SPARK-34922] [SQL][3.1] Utilisation d’une fonction de comparaison des coûts relative dans la CBO
• [SPARK-34970] [SQL][security][3.1] Réactez les options de type de carte dans la sortie d’explain()
• [SPARK-34923] [SQL] La sortie des métadonnées doit être vide pour un plus grand nombre de plans
• [SPARK-34949] [CORE] Empêcher le réenregistrement BlockManager lors de l’arrêt d’Exécuteur
• [SPARK-34939] [CORE] Exception de l’échec de l’extraction levée lorsqu’il est impossible de désérialiser les états du mappage diffusé
• [SPARK-34909] [SQL] Correction de la conversion de negative en unsigned dans conv()
• [SPARK-34845] [CORE] ProcfsMetricsGetter ne doit pas retourner les métriques procfs partielles
• [SPARK-34814] [SQL] LikeSimplification doit gérer la valeur NULL
• [SPARK-34876] [SQL] Remplissage de defaultResult des agrégats n’acceptant pas les valeurs null
• [SPARK-34829] [SQL] Correction des résultats des fonctions d’ordre supérieur
• [SPARK-34840] [SHUFFLE] Corrige les cas d’altération dans la lecture aléatoire fusionnée...
• [SPARK-34833] [SQL] Appliquer correctement le remplissage à droite pour les sous-requêtes corrélées
• [SPARK-34630] [PYTHON][sql] Ajout de typehint pour pyspark.sql.Column.contains
• [SPARK-34763] [SQL] col(), $"name" et df("name") doivent gérer les noms de colonnes entre guillemets correctement
• [SPARK-33482][SPARK-34756] [SQL] Correction de la vérification de l’égalité FileScan
• [SPARK-34790] [CORE] Désactiver la récupération des blocs aléatoires dans le lot quand le chiffrement des E/S est activé
• [SPARK-34803] [PYSPARK] Transmettre le ImportError déclenché en cas d’échec de l’importation de pandas ou de pyarrow
• [SPARK-34225] [CORE] Ne pas encoder plus loin lorsqu’une chaîne de formulaire URI est passée à addFile ou addJar
• [SPARK-34811] [CORE] Biffer fs.s3a.access.key comme le secret et le jeton
• [SPARK-34796] [SQL][3.1] Initialiser la variable de compteur pour LIMIT code-gen dans doProduce()
• [SPARK-34128] [SQL] Supprimer les avertissements TTransportException indésirables impliqués dans THRIFT-4805
• [SPARK-34776] [SQL] Le nettoyage de colonne imbriqué ne doit pas nettoyer les attributs générés par la fenêtre
• [SPARK-34087] [3.1][sql] Corriger la fuite de mémoire d’ExecutionListenerBus
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords doit utiliser le chargeur de classe Apache Spark au lieu du contexte
• [SPARK-34719] [SQL][3.1] Résolution correcte de la requête d’affichage avec des noms de colonnes dupliqués
• [SPARK-34766] [SQL][3.1] Ne pas capturer la configuration maven pour les affichages
• [SPARK-34731] [CORE] Éviter l’exception ConcurrentModificationException lors de la rédaction de propriétés dans EventLoggingListener
• [SPARK-34737] [SQL][3.1] Caster l’entrée float en double dans TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] Simplification de ResolveCreateNamedStruct
• [SPARK-34768] [SQL] Respecte la taille par défaut de la mémoire tampon d’entrée dans Univocity
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists ne doit pas échouer si la base de données n’existe pas
• [SPARK-34504] [SQL] Éviter la résolution inutile de vues temporaires SQL pour les commandes DDL
• [SPARK-34727] [SQL] Correction de l’écart dans la conversion de type float en timestamp
• [SPARK-34723] [SQL] Type de paramètre correct pour l’élimination de sous-expression sous whole-stage
• [SPARK-34724] [SQL] Correction de l’évaluation interprétée à l’aide de getMethod à la place de getDeclaredMethod
• [SPARK-34713] [SQL] Correction du groupe par CreateStruct avec ExtractValue
• [SPARK-34697] [SQL] Autoriser DESCRIBE FUNCTION et SHOW FUNCTIONS de expliquer || (opérateur de concaténation de chaîne)
• [SPARK-34682] [SQL] Utiliser PrivateMethodTester au lieu de la réflexion
• [SPARK-34682] [SQL] Correction de la régression dans la vérification des erreurs de canonicalisation dans CustomShuffleReaderExec
• [SPARK-34681] [SQL] Corrige le bogue lié à une jointure hachée aléatoire externe complète lors de la création du côté gauche avec une condition non égale
• [SPARK-34545] [SQL] Résolution des problèmes liés à la fonctionnalité valueCompare de pyrolite
• [SPARK-34607] [SQL][3.1] Ajouter Utils.isMemberClass pour corriger une erreur de nom de classe malformé sur jdk8u
• [SPARK-34596] [SQL] Utiliser Utils.getSimpleName pour éviter de tomber sur un nom de classe malformé dans NewInstance.doGenCode
• [SPARK-34613] [SQL] Correction de l’affichage ne capturant pas la configuration du conseil de désactivation
• [SPARK-32924] [WEBUI] Faire en sorte que la colonne de durée dans l’interface maître soit triée dans le bon ordre
• [SPARK-34482] [SS] Correction du SparkSession actif pour StreamExecution.logicalPlan
• [SPARK-34567] [SQL] CreateTableAsSelect doit également mettre à jour les métriques
• [SPARK-34599] [ SQL] Correction du problème selon lequel INSERT INTO OVERWRITE ne prend pas en charge les colonnes de partition contenant des points pour DSv2
• [SPARK-34577] [SQL] Correction de la suppression/de l’ajout de colonnes vers un jeu de données de DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] La partition statique doit également suivre StoreAssignmentPolicy lors de l’insertion dans les tables v2
• [SPARK-34555] [SQL] Résoudre la sortie des métadonnées de DataFrame
• [SPARK-34534] Correction de l’ordre des blockIds lors de l’utilisation de FetchShuffleBlocks pour extraire des blocs
• [SPARK-34547] [SQL] Utilisez uniquement des colonnes de métadonnées pour la résolution en dernier recours
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap échoue pour le nom de colonne comportant un point
• [SPARK-34561] [SQL] Correction de la suppression/de l’ajout de colonnes à partir de/vers un jeu de données de v2 DESCRIBE TABLE
• [SPARK-34556] [SQL] La vérification des colonnes de partition statiques dupliquées doit respecter la configuration sensible à la casse
• [SPARK-34392][SQL] Support de +h:mm pour ZoneOffset dans DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] Omission de la valeur null dans le filtre push pour le metastore Hive
• [SPARK-34543][SQL] Respect de la configuration spark.sql.caseSensitive lors de la résolution des spécifications de partition dans version 1SET LOCATION
• [SPARK-34436][SQL] DPP prend en charge l’expression LIKE ANY/ALL
• [SPARK-34531] [CORE] Suppression de la balise d’API expérimentale dans PrometheusServlet
• [SPARK-34497] [SQL] Correction des fournisseurs de connexion JDBC intégrés afin de restaurer les modifications du contexte de sécurité JVM
• [SPARK-34515] [SQL] Corriger le NPE si InSet contient une valeur nulle lors de l'appel de getPartitionsByFilter
• [SPARK-34490] [SQL] L’analyse doit échouer si l’affichage fait référence à une table supprimée
• [SPARK-34473] [SQL] Éviter un NPE dans DataFrameReader.schema(StructType)
• [SPARK-34384] [CORE] Ajouter des documents manquants pour les API ResourceProfile
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext peut se bloquer avec un problème de course
• [SPARK-20977] [CORE] Utiliser un champ non final pour l’état de CollectionAccumulator
• [SPARK-34421] [SQL] Résoudre les fonctions et les affichages temporaires dans les affichages avec des expressions de table commune
• [SPARK-34431] [CORE] Ne charger hive-site.xml qu’une fois
• [SPARK-34405] [CORE] Correction de la valeur moyenne de timersLabels dans la classe PrometheusServlet
• [SPARK-33438] [SQL] Initialiser rapidement les objets avec des configurations SQL définies pour la commande set -v
• [Spark-34158] URL incorrecte du seul développeur Matei dans pom.xml
• [SPARK-34346] [CORE][sql][3.1] o.file.buffer.size défini par spark.buffer.size est remplacé par le chargement accidentel de hive-site.xml, ce qui peut entraîner une régression de la performance
• [SPARK-34359] [SQL][3.1] Ajouter une configuration héritée pour restaurer le schéma de sortie de SHOW DATABASES
• [SPARK-34331] [SQL] Accélérer la résolution des colonnes de métadonnées DS v2
• [SPARK-34318] [SQL][3.1] Dataset.colRegex doit fonctionner avec les noms de colonne et les qualificateurs qui contiennent des nouvelles lignes
• [SPARK-34326] [CORE][sql] Correction des UT ajoutées dans SPARK-31793 en fonction de la longueur du chemin d’accès temporaire
• [SPARK-34319] [SQL] Résoudre les attributs en double pour FlatMapCoGroupsInPandas/MapInPandas
• [SPARK-34310] [CORE][sql] Remplace le mappage et l’aplatissement avec flatMap
• [SPARK-34083] [SQL][3.1] Utilisation des définitions d’origine TPCDS pour les colonnes char/varchar
• [SPARK-34233] [SQL] [3,1] Correction du fichier NPE pour le remplissage des caractères dans la comparaison binaire
• [SPARK-34270] [SS] Combine StateStoreMetrics ne doit pas se substituer à StateStoreCustomMetric
• [SPARK-34144] [SQL] Exception levée lors de la tentative d’écriture de valeurs LocalDate et instantanées dans une relation JDBC
• [SPARK-34273] [CORE] Ne pas réinscrire BlockManager lorsque SparkContext est arrêté
• [SPARK-34262] [SQL][3.1] Actualiser les données mises en cache de la table v1 dans ALTER TABLE .. SET LOCATION
• [SPARK-34275] [CORE][sql][MLLIB] Remplace le filtre et la taille par le nombre
• [SPARK-34260] [SQL] Correction de UnresolvedException lors de la création d’une vue temporaire à deux reprises
• [SPARK-33867] [ SQL] Les valeurs Instant et LocalDate ne sont pas gérées lors de la génération de requêtes SQL
• [Spark-34193] [CORE] Gestionnaire de blocs TorrentBroadcast désaffectant le correctif de concurrence
• [SPARK-34221] [WEBUI] S’assurer que si une étape échoue dans la page de l’interface utilisateur, le message d’erreur correspondant peut être affiché correctement
• [SPARK-34236] [SQL] Correction d’Overwrite v2 avec une partition statique null – Impossible de traduire l’expression en filtre source : null
• [SPARK-34212] [SQL] Correction d'une lecture incorrecte des nombres décimaux depuis les fichiers Parquet
• [SPARK-34244] [SQL] Suppression de la version Scala de la fonction regexp_extract_all
• [SPARK-34235] [SS] Créer spark.sql.hive en tant que package privé
• [SPARK-34232] [CORE] Expurger l’événement SparkListenerEnvironmentUpdate dans le journal
• [SPARK-34229] [SQL] Avro doit lire les valeurs décimales avec le schéma de fichier
• [SPARK-34223] [SQL] Correction du NPE pour la partition statique avec valeur null dans InsertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] Déplacer le remplissage des caractères vers le côté écriture et supprimer le contrôle de longueur côté lecture
• [SPARK-34203] [SQL] Convertir les valeurs de partition null en __HIVE_DEFAULT_PARTITION__ dans le catalogue In-Memory v1
• [SPARK-33726] [SQL] Correction des noms de champ en double lors de l’agrégation
• [SPARK-34133] [AVRO] Respect de la casse lors de l’exécution de la correspondance des champs de Catalyst à Avro
• [SPARK-34187] [SS] Utiliser la plage de décalage disponible obtenue durant l’interrogation lors de la vérification de la validation de décalage
• [SPARK-34052] [SQL][3.1] stockez du texte SQL pour une vue temporaire créée à l’aide de «CACHE TABLE .. AS SELECT … »
• [SPARK-34213] [SQL] Actualiser les données mises en cache de la table v1 dans LOAD DATA
• [SPARK-34191] [PYTHON] [sql] Ajouter le typage de la surcharge de fonction définie par l’utilisateur
• [SPARK-34200] [SQL] Une référence de colonne ambiguë doit prendre en compte la disponibilité des attributs
• [SPARK-33813] [SQL][3.1] Correction du problème que la source JDBC ne peut pas traiter les types spatiaux de MS SQL Server
• [SPARK-34178] [SQL] Copier les balises pour le nouveau nœud créé par MultiInstanceRelation. newInstance
• [SPARK-34005] [CORE][3.1] Mettre à jour les métriques de mémoire maximale pour chaque exécuteur à la fin de la tâche
• [SPARK-34115] [CORE] Vérifier SPARK_TESTING comme valeur différée pour éviter le ralentissement
• [SPARK-34153] [SQL][3.1][3.0] Supprimer getRawTable()inutilisé dans HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] Amélioration des performances pour le remplissage et la vérification de la longueur de char varchar avec StaticInvoke
• [SPARK-34027] [SQL][3.1] Actualiser le cache dans ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] Remplace java.io.File.toURL par java.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] Déplacer QueryCompilationErrors.scala vers org/apache/spark/sql/errors
• [SPARK-34080] [ML][python] Ajouter UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] Réduire l’appel RPC de getFileStatus dans SingleFileEventLogFileReader
• [SPARK-34118] [CORE][sql][3.1] Remplace le filtre et vérifie la présence de vide dans exists ou forall
• [SPARK-34114] [SQL] ne doit pas découper vers la droite pour la vérification et le remplissage de caractères côté lecture
• [SPARK-34086] [SQL][3.1] RaiseError génère trop de code et peut échouer dans le contrôle de longueur de données char varchar
• [SPARK-34075] [SQL][core] Les répertoires masqués sont répertoriés pour l’inférence de partition
• [SPARK-34076] [SQL] SQLContext.dropTempTable échoue si le cache n’est pas vide
• [SPARK-34084] [SQL][3.1] Correction de la mise à jour automatique des statistiques de table dans ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] Mettre en cache le résultat de HadoopDelegationTokenManager.isServiceEnabled utilisé dans KafkaTokenUtil.needTokenUpdate
• [SPARK-34069] [CORE] Tuer des tâches de cloisonnement doit respecter SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] Le processus de shuffle d'ensembles devrait pouvoir être désactivé après avoir été activé.
• [SPARK-34059] [SQL][core][3.1] Utiliser for/foreach plutôt que map pour s’assurer de l’exécuter de façon dynamique
• [SPARK-34002] [SQL] Correction de l’utilisation de l’encodeur dans ScalaUDF
• [SPARK-34060] [SQL][3.1] Correction de la mise en cache de la table Hive lors de la mise à jour des statistiques par ALTER TABLE .. DROP PARTITION
• [SPARK-31952] [SQL] Correction de la métrique de débordement de mémoire incorrecte lors de l’agrégation
• [SPARK-33591] [SQL][3.1] Reconnaître null dans les valeurs de spécifications de partition
• [SPARK-34055] [SQL][3.1] Actualiser le cache dans ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] ReplaceTable doit invalider le cache
• [SPARK-34003] [SQL] Correction de conflits de règles entre PaddingAndLengthCheckForCharVarchar et ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] Optimiser Like Any/All par LikeSimplification
• [SPARK-34021] [R] Correction des liens hypertexte dans la documentation SparkR pour la soumission CRAN
• [SPARK-34011] [SQL][3.1][3.0] Actualiser le cache dans ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] Correction de l’erreur CodeGen de la méthode MapObjects.doGenCode dans Scala 2.13
• [SPARK-33635] [SS] Ajustement de l’ordre de vérification dans KafkaTokenUtil.needTokenUpdate pour remédier à une régression des performances
• [SPARK-33029] [CORE][webui] Correction de la page de l’exécuteur d’interface utilisateur marquant incorrectement le driver comme exclu
• [SPARK-34015] [R] Correction du minutage des entrées dans gapply
• [SPARK-34012] [SQL] Maintien de la cohérence de comportement quand conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere est vrai avec le guide de migration
• [SPARK-33844] [SQL][3.1] La commande InsertIntoHiveDir doit également vérifier le nom de la colonne
• [SPARK-33935] [SQL] Correction de la fonction de coût CBO
• [SPARK-33100] [SQL] Ignorer un point-virgule à l’intérieur d’un commentaire entre crochets dans spark-sql
• [SPARK-34000] [CORE] Corriger stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [SPARK-33992] [SQL] Remplacer transformUpWithNewOutput pour ajouter allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] Modification de la visibilité des classes privées de cas dans mllib pour éviter les erreurs de compilation au moment de l’exécution avec Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] Actualiser le cache dans ALTER TABLE .. DROP PARTITION v1
• [SPARK-33980] [SS] Invalider CHAR/VARCHAR dans spark.readStream.schema
• [SPARK-33945] [SQL][3.1] Gère une valeur seed aléatoire composée d’une arborescence expr
• [SPARK-33398] Correction du chargement des modèles d’arborescence avant Spark 3.0
• [SPARK-33963] [SQL] Canonicaliser HiveTableRelation sans les statistiques de table
• [SPARK-33906] [WEBUI] Corriger le bogue de la page UI Executor bloquée en raison d’un peakMemoryMetrics non défini
• [SPARK-33944] [SQL] Journalisation incorrecte pour les clés de l’entrepôt dans les options SharedState
• [SPARK-33936] [SQL][3.1] Ajouter la version lorsque les interfaces du connecteur ont été ajoutées
• [SPARK-33916] [CORE] Correction du décalage de stockage de secours et amélioration de la couverture de test du codec de compression
• [SPARK-33899] [SQL][3.1] Correction de l’échec d’assertion dans SHOW TABLES/VIEWS v1 sur spark_catalog
• [SPARK-33901] [SQL] Correction des erreurs d’affichage Char et Varchar après les langages de définition de données (DDL)
• [SPARK-33897] [SQL] Impossible de définir l’option 'cross' dans la méthode de jointure
• [SPARK-33907] [SQL][3.1] Nettoie uniquement les colonnes de JsonToStructs si les options d’analyse syntaxique sont vides
• [SPARK-33621][SPARK-33784] [SQL][3.1] Ajouter un moyen d’injecter des règles de réécriture de la source de données
• [SPARK-33900] [WEBUI] Affichage correct de la taille de lecture aléatoire ou des enregistrements lorsque seul remotebytesread est disponible
• [SPARK-33892] [SQL] Afficher char/varchar dans DESC et SHOW CREATE TABLE
• [SPARK-33895] [SQL] Char et Varchar échouent dans MetaOperation de ThriftServer
• [SPARK-33659] [SS] Documenter le comportement actuel de l’API DataStreamWriter.toTable
• [SPARK-33893] [CORE] Exclure le gestionnaire de bloc de secours de executorList
• [SPARK-33277] [PYSPARK][sql] Utiliser ContextAwareIterator pour arrêter la consommation après la fin de la tâche
• [SPARK-33889] [SQL][3.1] Corriger NPE à partir de SHOW PARTITIONS sur les tables V2
• [SPARK-33879] [SQL] Les valeurs Varchar Char échouent avec une erreur de correspondance en tant que colonnes de partition
• [SPARK-33877] [SQL] documents de référence SQL pour INSERT avec une liste de colonnes
• [SPARK-33876] [SQL] Ajout d’un contrôle de longueur pour la lecture de char/varchar à partir de tables avec un emplacement externe
• [SPARK-33846] [SQL] Inclure des commentaires pour un schéma imbriqué dans StructType.toDDL
• [SPARK-33860] [SQL] Faire en sorte que CatalystTypeConverters.convertToCatalyst corresponde à la valeur spéciale de Array
• [SPARK-33834] [SQL] Vérifier ALTER TABLE CHANGE COLUMN avec Char et Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN et BenchmarkQueryTest n’affichent pas de code de sous-requête
• [SPARK-33836] [SS][python] Exposer DataStreamReader.table et DataStreamWriter.toTable
• [SPARK-33829] [SQL][3.1] Le changement de nom des tables v2 doit recréer le cache
• [SPARK-33756] [SQL] Rendre l'itérateur de la carte BytesToBytesMap idempotent
• [SPARK-33850] [ SQL] EXPLAIN FORMATTED n’affiche pas le plan pour les sous-requêtes si AQE est activé
• [SPARK-33841] [CORE][3.1] Correction d’un problème de tâches disparaissant par intermittence du SHS en cas de forte charge
• [SPARK-33593][SQL] Le lecteur de vecteurs a reçu des données incorrectes avec une valeur de partition binaire
• [SPARK-26341] [WEBUI] Exposition des métriques de mémoire de l’exécuteur au niveau de l’étape, sous l’onglet Étapes
• [SPARK-33831] [UI] Mise à jour vers jetty 9.4.34
• [SPARK-33822] [SQL] Utilisation de la méthode CastSupport.cast dans HashJoin
• [SPARK-33774] [UI][core] « Retour au maître » retourne 500 erreur dans le cluster autonome
• [SPARK-26199][SPARK-31517] [R] Correction de la stratégie de gestion... noms dans la mutation
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader doit être package private
• [SPARK-33697] [SQL] RemoveRedundantProjects doit exiger un classement des colonnes par défaut
• [SPARK-33752] [SQL][3.1] Éviter que le getSimpleMessage de AnalysisException ajoute un point-virgule à plusieurs reprises
• [SPARK-33788] [SQL][3.1][3.0][2.4] Lever l’exception NoSuchPartitionsException depuis HiveExternalCatalog.dropPartitions()
• [SPARK-33803] [SQL] Trier les propriétés de table par clé dans DESCRIBE TABLE commande
• [SPARK-33786] [SQL] Le niveau de stockage d’un cache doit être respecté lorsqu’un nom de table est modifié
• [SPARK-33273] [SQL] Résoudre une condition de concurrence lors de l’exécution d’une sous-requête
• [SPARK-33653] [SQL][3.1] DSv2 : REFRESHREFRESH TABLE doit mettre à jour la table elle-même
• [SPARK-33777] [SQL] Tri de la sortie de SHOW PARTITIONS V2
• [SPARK-33733] [SQL] PullOutNondeterministic doit vérifier et collecter un champ déterministe
• [SPARK-33764] [SS] Définir l’intervalle de maintenance du magasin d’état comme configuration SQL
• [SPARK-33729] [SQL] Lors de l’actualisation du cache, Apache Spark ne doit pas utiliser le plan mis en cache lors de la remise en cache des données.
• [SPARK-33742] [SQL][3.1] Lancer l’exception PartitionsAlreadyExistException depuis HiveExternalCatalog.createPartitions()
• [SPARK-33706] [SQL] Requiert un identificateur de partition complètement spécifié dans partitionExists()
• [SPARK-33740] [SQL] Des configurations Hadoop dans hive-site.xml peuvent remplacer des configurations Hadoop préexistantes
• [SPARK-33692] [SQL] L’affichage doit utiliser le catalogue et l’espace de noms capturés pour la fonction de recherche
• [SPARK-33669] Message d’erreur incorrect du moniteur d’état de l’application YARN lorsque sc.stop est utilisé en mode client YARN.
• [SPARK-32110] [SQL] Normalisation des nombres flottants spéciaux dans HyperLogLog++
• [SPARK-33677] [SQL] Ignore la règle LikeSimplification si le modèle contient un escapeChar
• [SPARK-33693] [SQL] Déconseille l’utilisation de spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] Invalidation des nouveaux types char/varchar dans des API publiques qui produisent des résultats incorrects
• [SPARK-32680] [SQL] Ne pas prétraiter V2 CTAS avec une requête non résolue
• [SPARK-33676] [SQL] Exiger une correspondance exacte entre la spécification de la partition et le schéma dans ALTER TABLE .. ADD/DROP PARTITION V2
• [SPARK-33670] [SQL] Vérifier que le fournisseur de partitions est Hive dans la version 1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] Le dé-cachage ne doit pas être exécuté sur des vues temporaires non existantes
• [SPARK-33667][SQL] Respect de la configuration spark.sql.caseSensitive lors de la résolution des spécifications de partition dans version 1 SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2 : DeleteFrom doit actualiser le cache

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 9.0.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.2 LTS
• Java : Zulu 8.54.0.21-CA-linux64
• Scala : 2.12.10
• Python : 3.8.10
• R : 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 28/07/2021.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)