Databricks Runtime 13.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 13.2 optimisé par Apache Spark 3.4.0.

Databricks a publié cette version en juillet 2023.

Améliorations et nouvelles fonctionnalités

• Points de contrôle du journal des modifications pour le magasin d’état RocksDB
• Fiabilité améliorée pour VACUUM avec clone superficiel dans Unity Catalog.
• Prise en charge des fonctions UDF de Python dans SQL
• Delta Lake UniForm pour Apache Iceberg est disponible en préversion publique
• Delta Lake Liquid Clustering est en préversion publique
• Prise en charge de l’archivage dans Azure Databricks
• Clause IDENTIFIER prise en charge
• Prise en charge d’Unity Catalog pour les fonctions définies par l’utilisateur (UDF) Python et Pandas
• Partager des schémas à l’aide du partage Delta
• Correctifs de bogues

Points de contrôle du journal des modifications pour le magasin d’état RocksDB

Vous pouvez activer le point de contrôle du journal des modifications pour réduire la durée des points de contrôle et la latence de bout en bout pour les charges de travail de flux structuré. Databricks recommande d’activer le point de contrôle du journal des modifications pour toutes les requêtes avec état Flux structuré. Voir Activer le point de contrôle du journal des modifications.

Fiabilité renforcée pour VACUUM grâce à l'utilisation d'un clone superficiel dans Unity Catalog.

Lorsque vous utilisez des tables gérées Unity Catalog pour la source et la cible d’une opération de clonage superficiel, Unity Catalog gère les fichiers de données sous-jacents pour améliorer la fiabilité de la source et de la cible de l’opération de clonage. L’exécution de VACUUM sur la source d’un clone superficiel n’interrompt pas la table clonée. Consultez Clones superficiels vides et Unity Catalog.

Prise en charge des fonctions UDF de Python dans SQL

Vous pouvez maintenant déclarer des fonctions définies par l’utilisateur à l’aide de Python dans des instructions SQL CREATE FUNCTION dans Unity Catalog. Consultez les Fonctions définies par l’utilisateur (UDF) dans Unity Catalog.

Delta Lake UniForm pour Apache Iceberg est disponible en préversion publique

Delta Lake Universal Format (UniForm) vous permet de lire des tables Delta avec des clients Apache Iceberg. Consultez Lire les tables Delta avec les clients Iceberg.

Le clustering liquide Delta Lake est en préversion publique

Le clustering liquide Delta Lake remplace le partitionnement des tables et ZORDER pour simplifier les décisions de disposition des données et optimiser les performances des requêtes. Voir Utilisation du clustering liquide pour les tables.

Prise en charge de l’archivage dans Azure Databricks

La prise en charge de l’archivage dans Azure Databricks introduit une collection de fonctionnalités qui vous permettent d’utiliser des stratégies de cycle de vie basées sur le cloud sur le stockage d’objets cloud contenant des tables Delta pour transférer des fichiers vers les niveaux de stockage d’archivage. Si vous souhaitez en savoir plus, veuillez consulter la rubrique Prise en charge de l’archivage dans Azure Databricks.

Clause IDENTIFIER prise en charge

Utilisez IDENTIFIER(:mytable) pour paramétrer en toute sécurité les noms de tableaux, de colonnes, de fonctions et de schémas dans de nombreuses instructions SQL.

Prise en charge d’Unity Catalog pour les fonctions définies par l’utilisateur (UDF) Python et Pandas

Sur Databricks Runtime 13.2 et versions ultérieures, les fonctions définies par l’utilisateur (UDF) écrites en Python sont prises en charge sur les clusters qui utilisent le mode d’accès standard (anciennement mode d’accès partagé) dans un espace de travail avec catalogue Unity. Cela inclut les fonctions définies par l’utilisateur Python et Pandas. Si vous souhaitez en savoir plus sur les fonctions définies par l’utilisateur en langage Python, veuillez consulter la rubrique Fonctions scalaires définies par l’utilisateur - Python.

Partager des schémas à l’aide du partage Delta

Databricks Runtime 13.2 ajoute la capacité d’utiliser ALTER SHARE <share-name> ADD SCHEMA <schema-name> pour partager un schéma entier à l’aid du partage de données, en donnant au destinataire l'accès à toutes les tables et vues du schéma au moment où vous le partagez, ainsi qu'à toutes les tables et vues ajoutées au schéma à l’avenir. Consultez Ajouter des schémas à un partage et ALTER SHARE.

Résolution des bogues

• Nous avons corrigé un bogue avec le lecteur JSON, où les enregistrements étaient analysés en PERMISSIVE mode si failOnUnknownFieldsmode était activé. Les enregistrements sont maintenant déposés en mode DROPMALFORMEDparser ou sont écrits vers badRecordsPathsi l’une de ces options est définie. FAILFAST lève une erreur si un type de colonne ne correspond pas.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • nodeenv de la version 1.7.0 à la version 1.8.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • io.delta.delta-sharing-spark_2.12 de la version 0.6.7 vers la version 0.7.0

Apache Spark

Databricks Runtime 13.2 comprend Apache Spark 3.4.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 13.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-42750] [SC-133452][dbrrm-273] Prise en charge de l’instruction Insert By Name
• [SPARK-43133] [SC-133728] Prise en charge de Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][connect][PS] Enable SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correction (NullOps|NumOps).(eq|ne) pour Spark Connect.
• [SPARK-44021] [SC-134109][sql] Ajouter spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][sql] Retirer __auto_generated_subquery_name des identifiants dans les erreurs
• [SPARK-43976] [SC-133375][core] Gérer le cas où modifiedConfigs n’existe pas dans les journaux des événements
• [SPARK-32559] [SC-133992][sql] Correction de la logique de découpage n’a pas géré correctement les caractères de contrôle ASCII
• [SPARK-43421] [SC-132930][ss] Implémenter le 'checkpointing' basé sur le journal des modifications pour le RocksDB State Store Provider
• [SPARK-43594] [SC-133851][sql] Ajout de LocalDateTime à anyToMicros
• [SPARK-43884] [SC-133867] Marqueurs de paramètres dans DDL
• [SPARK-43398] [SC-133894][core] Le délai d'expiration de l’exécuteur doit être le maximum entre le délai d’inactivité de shuffle et le délai d’attente RDD.
• [SPARK-43610] [SC-133892][connect][PS] Activer InternalFrame.attach_distributed_column dans Spark Connect.
• [SPARK-43971] [SC-133826][connect][PYTHON] Prise en charge du createDataFrame de Python pour le traitement en flux.
• [SPARK-44006] [SC-133652][connect][PYTHON] Prise en charge des artéfacts du cache
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Add copyFromLocalToFs API
• [SPARK-43921] [SC-133461][protobuf] Générer des fichiers de descripteur Protobuf au moment de la génération
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implémenter la prise en charge des fichiers dans SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][python][SS][mineur] correction du type de rowsPerSecond dans StreamingQueryProgress en Python
• [SPARK-43768] [SC-132398][python][CONNECT] Prise en charge de la gestion des dépendances Python dans Python Spark Connect
• [SPARK-43979] [13.X] Rétablir « [SC-133456][sql] CollectedMetrics doit être traité comme étant identique pour l'auto-jointure »
• [SPARK-42290] [SC-133696][sql] Correction de l'erreur OOM qui ne peut pas être signalée lorsque AQE est activé.
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Ajouter des fonctions mathématiques SQL à Scala et Python
• [SPARK-43747] [SC-132047][python][CONNECT] Implémenter la prise en charge pyfile dans SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Activer TimedeltaOps.(sub|rsub) avec Spark Connect
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Activer le test de parité : test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Améliorer les candidats suggérés pour l’attribut non résolu
• [SPARK-43901] [SC-133454][sql] Avro permet de prendre en charge le type décimal personnalisé basé sur Long
• [SPARK-43267] [SC-133024][jdbc] Traiter la colonne définie par l'utilisateur inconnue de postgres comme une chaîne dans un tableau
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Ajouter des fonctions xpath_* à Scala et Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Ajouter la fonctionnalité de centile à l’API Scala et Python
• [SPARK-43717] [SC-133455][connect] Le client Scala reduce agg ne peut pas gérer les partitions nulles pour les entrées primitives Scala
• [SPARK-43984] [SC-133469][sql][PROTOBUF] Changer pour utiliser foreach lorsque map ne produit pas de résultats
• [SPARK-43612] [SC-132011][connect][PYTHON] Implémenter SparkSession.addArtifact(s) dans le client Python
• [SPARK-44002] [SC-133606][connect] Correction du gestionnaire d’état des artefacts
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Ajouter des fonctions d’agrégation de régression linéaire à Scala et Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Créer un module sql/api
• [SPARK-43979] [SC-133456][sql] CollectedMetrics doit être traité comme le même pour la jointure automatique
• [SPARK-43977] [SC-133373][connect] Correction du résultat inattendu de la vérification dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf : corriger l'erreur des énumérations en tant qu'entiers
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Ajouter des fonctions unix_* à Scala et Python
• [SPARK-43807] [SC-132545][sql] Migrer _LEGACY_ERROR_TEMP_1269 vers PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][sql] Correction du bogue qui n'affiche pas le SQL de la colonne pour Percentile[Cont|Disc]
• [SPARK-42626] [SC-133248][connect] Ajouter un itérateur destructeur pour SparkResult
• [SPARK-43333] [SC-132898][sql] Autoriser Avro à convertir le type union en SQL avec le nom de champ constant selon le type
• [SPARK-43953] [SC-133134][connect] Supprimer pass
• [SPARK-43970] [SC-133403][python][CONNECT] Cacher les méthodes de trame de données non prises en charge dans la saisie semi-automatique
• [SPARK-43973] [SC-133272][ss][UI] Structured Streaming UI doit afficher correctement les requêtes ayant échoué
• [SPARK-42577] [SC-125445][core] Ajouter une limitation maximale des tentatives pour les phases afin d’éviter les nouvelles tentatives infinies potentielles
• [SPARK-43841] [SC-132699][sql] Gérer les attributs candidats sans préfixe dans StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Suivi] Modifier la version de support de la configuration à 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] Migrer des classes d’erreur
• [SPARK-43898] [SC-132926][core] Enregistrement automatique de immutable.ArraySeq$ofRef vers KryoSerializer pour Scala 2.13
• [SPARK-43775] [SC-132891][sql] DataSource V2 : Autoriser la représentation des mises à jour sous forme de suppressions et d’insertions
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] Prise en charge de UserDefinedType dans createDataFrame à partir de pandas DataFrame et toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] Ajouter SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][sql] Convertir _LEGACY_ERROR_TEMP_0036 en INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][core] Correction du sous-dénombrement des accumulateurs dans le cas d'une tâche de nouvelle tentative avec le cache RDD
• [SPARK-43892] [SC-133006][python] Ajouter la fonctionnalité d'auto-complétion dans df[|]pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listDatabases
• [SPARK-43205] [SC-132623] clause IDENTIFIER
• [SPARK-43545] [SC-132378][sql][PYTHON] Prise en charge du type d’horodatage imbriqué
• [SPARK-43949] [SC-133048][python] Mettre à niveau cloudpickle vers la version 2.2.1
• [SPARK-43760] [SC-132809][sql] Nullabilité des résultats de sous-requêtes scalaires
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Correctif TimedeltaOps pour Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Préparer le chemin du package Go
• [SPARK-43894] [SC-132892][python] Correction du bogue dans df.cache()
• [SPARK-43509] [SC-131625][connect] Prise en charge de la création de plusieurs sessions Spark Connect
• [SPARK-43882] [SC-132888][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Correction NumOps pour Spark Connect
• [SPARK-43604] [SC-132165][sql] Refactorisation INVALID_SQL_SYNTAX pour éviter d’incorporer le texte de l’erreur dans le code source
• [SPARK-43859] [SC-132883][sql] Remplacer toString dans LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Ajouter un modèle facultatif pour Catalog.listCatalogs
• [SPARK-43353] Annuler « [SC-132734][python] Migrer les erreurs de session restantes dans la classe d’erreur »
• [SPARK-43375] [SC-130309][connect] Améliorer les messages d’erreur pour INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Supprimer l'élément redondant toSeq de SparkConnectPlanner pour Scala 2.13
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Correction DatetimeOps pour Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Correction BinaryOps pour Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Correctif NullOps pour Spark Connect
• [SPARK-43782] [SC-132885][core] Prise en charge de la configuration au niveau du journal avec la conf Spark statique
• [SPARK-43132] [SC-131623] [SS] [CONNECT] API Python Client DataStreamWriter foreach()
• [SPARK-43290] [SC-131961][sql] Ajoute la prise en charge AES IV et AAD à ExpressionImplUtils
• [SPARK-43795] [SC-132532][connect] Supprimer les paramètres non utilisés pour SparkConnectPlanner
• [SPARK-42317] [SC-129194][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_2247 : CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] Utiliser des classes d’erreur dans les erreurs de compilation de ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][core] Supprimer les déclarations inutilisées du module Core
• [SPARK-43314] [SC-129970][connect][PYTHON] Migrer les erreurs du client Spark Connect dans la classe d’erreur
• [SPARK-43799] [SC-132715][python] Ajouter une option binaire de descripteur à l’API Protobuf Pyspark
• [SPARK-43837] [SC-132678][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] Affecter un nom à la classe d’erreur LEGACY_ERROR_TEMP(1254 &1315)
• [SPARK-43886] [SC-132808][python] Accepter des tuples génériques comme annotations de type dans les Pandas UDF
• [SPARK-43530] [SC-132653][protobuf] Lire le fichier descripteur une seule fois
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Correctif CategoricalOps pour Spark Connect
• [SPARK-39979] [SC-132685][sql] Ajouter une option permettant d’utiliser de grands vecteurs de largeur variable pour les opérations UDF de flèche
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Correction StringOps pour Spark Connect
• [SPARK-43353] [SC-132734][python] Migrer les erreurs de session restantes dans la classe d’erreur
• [SPARK-43815] [SC-132781][sql] Ajouter un to_varchar alias pour to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Correction du comportement de MapType imbriqué dans les Pandas UDF
• [SPARK-43361] [SC-131789][protobuf] mettre à jour la documentation concernant les erreurs liées à la sérialisation des énumérations
• [SPARK-43740] [SC-132035][python][CONNECT] Masquer les méthodes non prises en charge session de la saisie semi-automatique
• [SPARK-43022] [SC-131681][connect] Soutien des fonctions protobuf pour le client Scala
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrer NotImplementedError vers PySparkNotImplementedError
• [SPARK-43860] [SC-132713][sql] Enable tail-recursion autant que possible
• [SPARK-42421] [SC-132695][core] Utiliser les utilitaires pour obtenir le commutateur d’allocations dynamiques utilisé dans le checkpoint local
• [SPARK-43590] [SC-132012][connect] Permettre à connect-jvm-client-mima-check de prendre en charge la vérification mima avec le module protobuf
• [SPARK-43315] [13.x][connect][PYTHON][ss] Migrer les erreurs restantes à partir de DataFrame(Reader|Writer) dans la classe d’erreur
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf : autoriser la sérialisation-désérialisation avec énumération en tant qu'entiers.
• [SPARK-43789] [SC-132397][r] Utilise 'spark.sql.execution.arrow.maxRecordsPerBatch' dans R createDataFrame avec Arrow par défaut
• [SPARK-43596] [SC-126994][sql] Gérer le prédicat IsNull dans la réécriture des jointures de domaine
• [SPARK-42249] [SC-122565][sql] Affinement du lien HTML pour la documentation dans les messages d’erreur.
• [SPARK-43128] [SC-131628][connect][SS] Rendre recentProgress et lastProgress retourner StreamingQueryProgress cohérents avec l’API Scala native
• [SPARK-43387] [SC-130448][sql] Fournissez un code d’erreur lisible pour _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [UI] Corriger l’erreur lors de la sérialisation d’ExecutorPeakMetricsDistributions dans une réponse d’API
• [SPARK-42958] [SC-131475][connect] Refactorisation connect-jvm-client-mima-check pour prendre en charge la vérification mima avec le module avro
• [SPARK-43591] [SC-131977][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][core] Utiliser des classes d’erreur dans org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Exposer TimestampNTZType dans pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Affecter des noms à la classe d’erreur _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] Gérer le champ missing row.excludedInStages
• [SPARK-42956] [SC-127257][connect] Prise en charge des fonctions avro pour le client Scala
• [SPARK-43487] [SC-131975][sql] Correction du message d’erreur CTE imbriqué
• [SPARK-43265] [SC-129653] Déplacer l’infrastructure d’erreur vers un module utils commun
• [SPARK-40912] [SC-131547][core]Surcharge des exceptions dans KryoDeserializationStream
• [SPARK-43583] [SC-131976][core] obtenir MergedBlockedMetaReqHandler à partir du délégué plutôt que de l’instance SaslRpcHandler
• [SPARK-42996] [SC-131997][connect][PS][ml] Créer et affecter des tickets JIRA appropriés pour tous les tests défaillants.
• [SPARK-38469] [SC-131425][core] Utiliser la classe d’erreur dans org.apache.spark.network
• [SPARK-43718] [SC-132014][sql] Définir correctement la propriété nullable pour les clés dans les jointures USING
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop doit accepter une colonne vide
• [SPARK-43743] [SC-132038][sql] Port HIVE-12188(DoAs ne fonctionne pas correctement dans HS2 sécurisé non Kerberos)
• [SPARK-43598] [SC-131929][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Fix ClassNotFoundException lors de la migration
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [SC-131025][core] Utiliser des classes d’erreur dans org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Renommer les classes d’erreur LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Prise en charge de l'élimination des sous-expressions pour l'expression de raccourci
• [SPARK-38462] [SC-130449][core] Ajouter une classe d’erreur INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] Corriger cannotBroadcastTableOverMaxTableBytesError pour utiliser bytesToString
• [SPARK-43539] [SC-131830][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] Cloner le plan mis en cache InMemoryRelation pour empêcher le plan cloné de référencer les mêmes objets
• [SPARK-43309] [SC-129746][spark-38461][CORE] Étendre INTERNAL_ERROR avec des catégories et ajouter une classe d’erreur INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Correction d'un processus concurrent qui ne met pas à jour les métriques de fichier
• [SPARK-43383] [SC-130660][sql] Ajouter des rowCount statistiques à LocalRelation
• [SPARK-43574] [SC-131739][python][SQL] Prise en charge de la définition de l’exécutable Python pour les API de fonction UDF et pandas dans les processus en cours d’exécution.
• [SPARK-43569] [SC-131694][sql] Supprimer la solution de contournement pour HADOOP-14067
• [SPARK-43183] [SC-128938][ss][13.x] Introduction d’un nouveau rappel « onQueryIdle » à StreamingQueryListener
• [SPARK-43528] [SC-131531][sql][PYTHON] Prise en charge de champs aux noms en double dans createDataFrame avec pandas DataFrame
• [SPARK-43548] [SC-131686][ss] Supprimer la solution de contournement pour HADOOP-16255
• [SPARK-43494] [SC-131272][core] Appeler directement replicate() pour HdfsDataOutputStreamBuilder au lieu de la réflexion dans SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][core] Gérer les hadoopProperties et metricsProperties manquantes
• [SPARK-42899] [SC-126456][sql] Correction de DataFrame.to(schéma) pour gérer le cas où il existe un champ imbriqué non Nullable dans un champ nullable
• [SPARK-43302] [SC-129747][sql] Faire du UDAF Python une AggregateFunction
• [SPARK-43223] [SC-131270][connect] Agrégation typée, fonctions de réduction, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] Élargir QueryTerminatedEvent pour contenir une classe d’erreur si elle existe dans l'exception.
• [SPARK-43359] [SC-131463][sql] La suppression de la table Hive doit générer « UNSUPPORTED_FEATURE.TABLE_OPERATION »
• [SPARK-43284] [SC-130313] Revenir aux chaînes encodées par URL
• [SPARK-43492] [SC-131227][sql] Ajouter des alias de fonction à trois arguments DATE_ADD et DATE_DIFF
• [SPARK-43473] [SC-131372][python] Prise en charge du type struct dans createDataFrame à partir de pandas DataFrame
• [SPARK-43386] [SC-1311110][sql] Améliorer la liste des colonnes/attributs suggérés dans la UNRESOLVED_COLUMN.WITH_SUGGESTION classe d’erreur
• [SPARK-43443] [SC-131332][sql] Ajouter un benchmark pour l’inférence de type Timestamp lors de l’utilisation d’une valeur non valide
• [SPARK-43518] [SC-131420][sql] Convertir _LEGACY_ERROR_TEMP_2029 en INTERNAL_ERROR
• [SPARK-42604] [SC-130648][connect] Implémenter functions.typedlit
• [SPARK-42323] [ES-669513] Revert « [SC-123479][sql] Assign name to _LEGACY_ERROR_TEMP_2332»
• [SPARK-43357] [SC-130649][sql] Filtrer les dates entre guillemets
• [SPARK-43410] [SC-130526][sql] Améliorer la boucle vectorisée pour packed skipValues
• [SPARK-43441] [SC-130995][core] makeDotNode ne doit pas échouer lorsque DeterministicLevel est absent
• [SPARK-43324] [SC-130455][sql] Gérer les UPDATE commandes pour les sources delta
• [SPARK-43272] [SC-131168][core] Appeler createFile directement au lieu de la réflexion
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migrer les erreurs de session Spark Connect dans la classe d’erreur
• [SPARK-43405] [SC-130987][sql] Supprimer inutile getRowFormatSQL, , inputRowFormatSQLoutputRowFormatSQL méthode
• [SPARK-43447] [SC-131017][r] Support R 4.3.0
• [SPARK-43425] [SC-130981][sql] Ajouter TimestampNTZType à ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Ajouter une vérification des opérations impliquant plusieurs trames de données
• [SPARK-43262] [SC-129270][connect][SS][python] Migrer les erreurs de Spark Connect Structured Streaming dans la classe d’erreurs
• [SPARK-42992] [13.x][sc-129465][PYTHON] Introduction de PySparkRuntimeError
• [SPARK-43422] [SC-130982][sql] Conserver les balises sur LogicalRelation avec sortie de métadonnées
• [SPARK-43390] [SC-130646][sql] DSv2 permet à CTAS/RTAS de réserver la nullabilité du schéma
• [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest prend en charge les options de requête arbitraires.
• [SPARK-43313] [SC-130254][sql] Ajout de valeurs DEFAULT de colonne manquantes pour les actions MERGE INSERT
• [SPARK-42842] [SC-130438][sql] Fusionner la classe d’erreur _LEGACY_ERROR_TEMP_2006 dans REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Activer spark.sql.thriftServer.interruptOnCancel par défaut
• [SPARK-43292] [SC-130525][core][CONNECT] Déplacer ExecutorClassLoader vers core le module et simplifier Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Améliorer la prise en charge des types TimestampNTZ dans la source de données JDBC
• [SPARK-43343] [SC-130629][ss] FileStreamSource doit désactiver une vérification glob de fichier supplémentaire lors de la création de DataSource
• [SPARK-43312] [SC-130294][protobuf] Option pour convertir tous les champs en JSON
• [SPARK-43404] [SC-130586][ss] Ignorer la réutilisation du fichier sst pour la même version du magasin d’états RocksDB afin d’éviter une erreur d’incompatibilité d’ID
• [SPARK-43397] [SC-130614][core] Consigner la durée de décommissionnement de l’exécuteur dans la executorLost méthode
• [SPARK-42388] [SC-128568][sql] Éviter de lire deux fois le footer parquet dans le lecteur vectorisé
• [SPARK-43306] [13.x][sc-130320][PYTHON] Migrer ValueError des types Spark SQL vers une classe d'erreur
• [SPARK-43337] [SC-130353][ui][3.4] Les icônes de flèche asc/desc pour le tri des colonnes ne s’affichent pas dans les colonnes de table
• [SPARK-43279] [SC-130351][core] Nettoyage des membres inutilisés depuis SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Remplacer la classe _LEGACY_ERROR_TEMP_2014 d’erreur par une erreur interne
• [SPARK-43363] [SC-130299][sql][PYTHON] Effectuer un appel astype au type de catégorie uniquement lorsque le type de flèche n’est pas fourni
• [SPARK-43261] [SC-130154][python] Migrer TypeError à partir de types Spark SQL dans la classe d’erreur
• [SPARK-41971] [SC-130230][sql][PYTHON] Ajouter une configuration pour la conversion de pandas afin de gérer les types de structures
• [SPARK-43381] [SC-130464][connect] Rendre 'transformStatCov' paresseux
• [SPARK-43362] [SC-130481][sql] Gestion spéciale du type JSON pour le connecteur MySQL
• [SPARK-42843] [SC-130196][sql] Mettez à jour la classe d’erreur _LEGACY_ERROR_TEMP_2007 pour REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] Streaming des relations locales
• [SPARK-43181] [SC-130476][sql] Afficher l'URL Web de l'interface utilisateur dans spark-sql l’interpréteur de commandes
• [SPARK-43051] [SC-130194][connect] Ajouter une option pour émettre des valeurs par défaut
• [SPARK-43204] [SC-129296][sql] Aligner les affectations MERGE avec les attributs de table
• [SPARK-43348] [SC-130082][python] Prise en charge Python 3.8 dans PyPy3
• [SPARK-42845] [SC-130078][sql] Mettez à jour la classe d’erreur _LEGACY_ERROR_TEMP_2010 vers InternalError
• [SPARK-43211] [SC-128978][hive] Supprimer la prise en charge de Hadoop2 dans IsolatedClientLoader

Environnement du système

• Système d’exploitation : Ubuntu 22.04.2 LTS
• Java : Zulu 8.70.0.23-CA-linux64
• Scala : 2.12.15
• Python : 3.10.12
• R : 4.2.2
• Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/10/2023.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)