Databricks Runtime 15.2 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.2, alimentées par Apache Spark 3.5.0.

Databricks a publié cette version en mai 2024.

Changements comportementaux

Nettoyer les fichiers de métadonnées COPY INTO

L’exécution de VACUUM sur une table écrite avec COPY INTO nettoie désormais les métadonnées non référencées associées au suivi des fichiers ingérés. Il n’y a aucun impact sur la sémantique opérationnelle de COPY INTO.

La Lakehouse Federation est généralement disponible (GA)

Dans Databricks Runtime 15.2 et ultérieur, les connecteurs Lakehouse Federation pour les types de base de données suivants sont en disponibilité générale :

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

Cette version présente également les améliorations suivantes :

• Prise en charge de l'authentification unique (SSO) dans les connecteurs Snowflake et Microsoft SQL Server .

• Prise en charge d’Azure Private Link dans le connecteur SQL Server depuis des environnements de calcul serverless. Consultez Étape 3 : Créer des règles de point de terminaison privé.

• Prise en charge de pushdowns supplémentaires (chaîne, mathématiques et fonctions diverses).
• Amélioration du taux de réussite des pushdowns sur différentes formes de requête.
• Fonctionnalités de débogage des pushdowns supplémentaires :
  • La sortie EXPLAIN FORMATTED affiche le texte de la requête poussée vers le bas (pushed-down).
  • L'interface utilisateur du profil de requête affiche le texte de requête poussé vers le bas, les identificateurs de nœud fédérés et les temps d'exécution des requêtes JDBC (en mode verbeux). Consultez Afficher les requêtes fédérées générées par le système.

BY POSITION pour le mappage de colonnes à l’aide de COPY INTO avec des fichiers CSV sans en-tête

Dans Databricks Runtime 15.2 et versions ultérieures, vous pouvez utiliser les mots clés BY POSITION (ou une syntaxe alternative ( col_name [ , <col_name> ... ] )) avec COPY INTO pour les fichiers CSV sans en-têtes afin de simplifier le mappage des colonnes de la source vers celles de la table cible. Voir Paramètres.

Réduire la consommation de mémoire lorsque les tâches Spark échouent avec une erreur de Resubmitted

Dans Databricks Runtime 15.2 et versions ultérieures, la valeur de retour de la méthode spark TaskInfo.accumulables() est vide lorsque les tâches échouent avec une erreur Resubmitted. Auparavant, la méthode renvoyait les valeurs d'une tentative de tâche réussie précédente. Ce changement de comportement affecte les consommateurs suivants :

• Tâches Spark qui utilisent la classe EventLoggingListener.
• Écouteurs Spark personnalisés.

Pour restaurer le comportement précédent, définissez spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled sur false.

L’affichage des versions du plan d’exécution de requête adaptative est désactivé

Pour réduire la consommation de mémoire, les versions de plan DQE (Adaptive Query Execution) sont désormais désactivées par défaut dans l’interface utilisateur Spark. Pour activer l’affichage des versions du plan AQE dans l’interface utilisateur Spark, définissez la spark.databricks.sql.aqe.showPlanChangesInUI.enabled sur true.

La limite des requêtes conservées est réduite pour réduire l’utilisation de la mémoire de l’interface utilisateur Spark

Dans Databricks Runtime 15.2 et versions ultérieures, pour réduire la mémoire consommée par l’interface utilisateur Spark dans le calcul Azure Databricks, la limite du nombre de requêtes visibles dans l’interface utilisateur est réduite de 1000 à 1000. Pour modifier la limite, définissez une nouvelle valeur à l’aide de la configuration spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY affiche désormais des colonnes de clustering pour les tables qui utilisent le clustering liquide

Lorsque vous exécutez une requête DESCRIBE HISTORY, la colonne operationParameters affiche un champ clusterBy par défaut pour les opérations de CREATE OR REPLACE et de OPTIMIZE. Pour une table Delta qui utilise le clustering liquide, le clusterBy champ est rempli avec les colonnes de clustering de la table. Si la table n’utilise pas le clustering liquide, le champ est vide.

La syntaxe du widget notebook est obsolète

À compter de Databricks Runtime 15.2, la ${param} syntaxe d’accès aux valeurs du widget notebook dans les cellules SQL est déconseillée. Utilisez la syntaxe de marqueur de paramètre (:param) à la place. La syntaxe des marqueurs de paramètres offre une meilleure protection contre l’injection SQL et améliore les performances des requêtes.

Pour obtenir des conseils et des exemples de migration, consultez les anciens widgets de notebook. Pour plus d’informations sur l’approche recommandée actuelle, consultez les widgets Databricks.

Nouvelles fonctionnalités et améliorations

La prise en charge des clés primaires et étrangères est en GA

La prise en charge des clés primaires et étrangères dans Databricks Runtime est disponible de manière générale. La version en disponibilité générale inclut les modifications suivantes apportées aux privilèges requis pour utiliser des clés primaires et étrangères :

• Pour définir une clé étrangère, vous devez disposer du privilège SELECT sur la table avec la clé primaire à laquelle la clé étrangère fait référence. Vous n’avez pas besoin d’être propriétaire de la table avec la clé primaire, ce qui était obligatoire auparavant.
• La suppression d’une clé primaire à l’aide de la clause CASCADE ne nécessite pas de privilèges sur les tables qui définissent des clés étrangères qui référencent la clé primaire. Auparavant, vous deviez posséder les tables de référencement.
• La suppression d’une table qui inclut des contraintes nécessite désormais les mêmes privilèges que la suppression de tables qui n’incluent pas de contraintes.

Pour savoir comment utiliser des clés primaires et étrangères avec des tables ou des vues, consultez CONSTRAINT clause, ADD CONSTRAINT clauseet DROP CONSTRAINT clause.

Le clustering liquide est disponible pour tout le monde

Le support du clustering liquide est désormais disponible de manière générale avec Databricks Runtime 15,2 et versions ultérieures. Voir Utilisation du clustering liquide pour les tables.

L’élargissement du type est disponible en préversion publique

Vous pouvez désormais activer l’élargissement du type sur les tables soutenues par Delta Lake. Les tables avec extension de type activée permettent de modifier le type de colonnes en un type de données plus large sans réécrire les fichiers de données sous-jacents. Consultez Élargissement du type.

Clause d’évolution du schéma ajoutée à la syntaxe de fusion SQL

Vous pouvez maintenant ajouter la clause WITH SCHEMA EVOLUTION à une instruction de fusion SQL pour activer l’évolution du schéma pour l’opération. Consultez la syntaxe d'évolution du schéma pour la fusion.

Les sources de données personnalisées PySpark sont disponibles en préversion publique

Une source de données PySpark peut être créée à l’aide de l’API DataSource Python (PySpark), qui permet de lire à partir de sources de données personnalisées et d’écrire dans des récepteurs de données personnalisés dans Apache Spark à l’aide de Python. Consultez Sources de données personnalisées de PySpark

applyInPandas et mapInPandas désormais disponibles sur le calcul de Unity Catalog avec le mode d’accès partagé

Dans le cadre d’une version de maintenance Databricks Runtime 14.3 LTS, les types UDF applyInPandas et mapInPandas sont désormais pris en charge sur le calcul en mode d'accès partagé exécutant Databricks Runtime 14.3 et versions ultérieures.

Utiliser dbutils.widgets.getAll() pour obtenir tous les widgets d’un notebook

Utilisez dbutils.widgets.getAll() pour obtenir toutes les valeurs de widget dans un notebook. Cela est particulièrement utile lors de la transmission de plusieurs valeurs de widgets à une requête Spark SQL.

Prise en charge de l’inventaire du nettoyage

Vous pouvez maintenant spécifier un inventaire des fichiers à prendre en compte lors de l’exécution de la commande VACUUM sur une table Delta. Consultez la documentation OSS Delta.

Prise en charge des fonctions de compression Zstandard

Vous pouvez désormais utiliser les fonctions zst_compress, zstd_decompresset try_zstd_decompress pour compresser et décompresser les données BINARY.

Corrections de bugs

Les plans de requête dans l’interface utilisateur SQL affichent maintenant correctement PhotonWriteStage

Lorsqu'elles sont affichées dans l'interface utilisateur SQL, les commandes write dans les plans de requête affichent incorrectement PhotonWriteStage comme opérateur. Avec cette version, l’interface utilisateur est mise à jour pour afficher PhotonWriteStage en tant qu’étape. Il s’agit d’une modification de l’interface utilisateur uniquement et n’affecte pas la façon dont les requêtes sont exécutées.

Ray est mis à jour pour résoudre les problèmes liés au démarrage des clusters Ray

Cette version inclut une version corrigée de Ray qui résout une modification majeure empêchant les clusters Ray de démarrer lorsqu'ils utilisent Databricks Runtime pour Machine Learning. Cette modification garantit que la fonctionnalité Ray est identique aux versions de Databricks Runtime antérieures à la version 15.2.

Correction de la classe d’erreur pour les fonctions DataFrame.sort() et DataFrame.sortWithinPartitions()

Cette version inclut une mise à jour des fonctions DataFrame.sort() PySpark et DataFrame.sortWithinPartitions() pour vous assurer que la classe d’erreur ZERO_INDEX est levée lorsque 0 est passé en tant qu’argument d’index. Avant, la classe d’erreur INDEX_NOT_POSITIVE était levée.

ipywidgets est rétrogradé de 8.0.4 à 7.7.2

Pour corriger les erreurs introduites par une mise à niveau d’ipywidgets vers la version 8.0.4 dans Databricks Runtime 15.0, ipywidgets est rétrogradée à 7.7.2 dans Databricks Runtime 15.2. Il s’agit de la même version incluse dans les versions précédentes de Databricks Runtime.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • GitPython de 3.1.42 à 3.1.43
  • google-api-core de 2.17.1 à 2.18.0
  • Mise à jour de google-auth de la version 2.28.1 à 2.29.0
  • google-cloud-storage de 2.15.0 à 2.16.0
  • googleapis-common-protos de 1.62.0 à 1.63.0
  • ipywidgets de 8.0.4 à 7.7.2
  • mlflow-skinny de 2.11.1 à 2.11.3
  • s3transfer de 0.10.0 à 0.10.1
  • sqlparse de 0.4.4 à 0.5.0
  • typing_extensions de 4.7.1 à 4.10.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-config de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-core de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-directory de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-ecs de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-efs de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-emr de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-glacier de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-glue de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-iam de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-importexport de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-kms de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-lambda de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-logs de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-rds de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-redshift de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-route53 de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-s3 de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-ses de la version 1.12.390 à la version 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-sns de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-sqs de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-ssm de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-sts de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-support de 1.12.390 à 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 à 1.12.610
  • com.amazonaws.jmespath-java de 1.12.390 à 1.12.610

Apache Spark

Databricks Runtime 15.2 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs Spark et améliorations inclus dans Databricks Runtime 15.1 (EoS), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-47941] [SC-163568] [SS] [Connect] Propagation des erreurs d’initialisation du Worker ForeachBatch aux utilisateurs pour PySpark
• [SPARK-47412] [SC-163455][sql] Ajouter la prise en charge de la collation pour LPad/RPad.
• [SPARK-47907] [SC-163408][sql] Mettre le bang sous un paramètre de configuration
• [SPARK-46820] [SC-157093][python] Correction de la régression des messages d’erreur en restaurant new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource Managers : migration de journalisation structurée
• [SPARK-47890] [SC-163324][connect][PYTHON] Ajouter des fonctions variant à Scala et Python.
• [SPARK-47894] [SC-163086][core][WEBUI] Ajouter Environment une page à l’interface utilisateur maître
• [SPARK-47805] [SC-163459][ss] Implémentation de la durée de vie pour MapState
• [SPARK-47900] [SC-163326] Correction de la vérification du classement implicite (UTF8_BINARY)
• [SPARK-47902] [SC-163316][sql]Rendre les expressions Compute Current Time* simplifiables
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] Prise en charge du type de colonne dans la fonction split pour Scala et Python
• [SPARK-47754] [SC-162144][sql] Postgres : prise en charge de la lecture de tableaux multidimensionnels
• [SPARK-47416] [SC-163001][sql] Ajouter de nouvelles fonctions à CollationBenchmark #90339
• [SPARK-47839] [SC-163075][sql] Correction du bogue d’agrégation dans RewriteWithExpression
• [SPARK-47821] [SC-162967][sql] Implémenter is_variant_null expression
• [SPARK-47883] [SC-163184][sql] Rendre CollectTailExec.doExecute paresseux avec RowQueue
• [SPARK-47390] [SC-163306][sql] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
• [SPARK-47924] [SC-163282][core] Ajouter un journal DEBUG à DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Correction de la régression des performances expressionSet dans scala 2.12
• [SPARK-47565] [SC-161786][python] Résilience en cas de panne du pool de travailleurs PySpark
• [SPARK-47885] [SC-162989][python][CONNECT] Rendre pyspark.resource compatible avec pyspark-connect
• [SPARK-47887] [SC-163122][connect] Supprimer l’importation spark/connect/common.proto inutilisée de spark/connect/relations.proto
• [SPARK-47751] [SC-161991][python][CONNECT] Rendre pyspark.worker_utils compatible avec pyspark-connect
• [SPARK-47691] [SC-161760][sql] Postgres : prise en charge d’un tableau multidimensionnel côté écriture
• [SPARK-47617] [SC-162513][sql] Ajouter l'infrastructure de test TPC-DS pour les collations
• [SPARK-47356] [SC-162858][sql] Ajouter la prise en charge de ConcatWs & Elt (toutes les collations)
• [SPARK-47543] [SC-161234][connect][PYTHON] Inférence de dict comme MapType à partir d'un Pandas DataFrame pour autoriser la création d'un DataFrame
• [SPARK-47863] [SC-162974][sql] Corriger l'implémentation de startsWith & endsWith en tenant compte du tri pour ICU
• [SPARK-47867] [SC-162966][sql] Soutien de la variante dans l'analyse JSON.
• [SPARK-47366] [SC-162475][sql][PYTHON] Ajouter VariantVal pour PySpark
• [SPARK-47803] [SC-162726][sql] Prise en charge de la conversion vers un type variant.
• [SPARK-47769] [SC-162841][sql] Ajouter l'expression schema_of_variant_agg.
• [SPARK-47420] [SC-162842][sql] Correction de la sortie du test
• [SPARK-47430] [SC-161178][sql] Prise en charge GROUP BY de MapType
• [SPARK-47357] [SC-162751][sql] Ajouter la prise en charge des fonctions majuscule, minuscule, InitCap (toutes les collations)
• [SPARK-47788] [SC-162729][ss] Vérifier le même partitionnement de hachage pour les opérations avec état de diffusion en continu
• [SPARK-47776] [SC-162291][ss] Interdire l'utilisation de la collation d'inégalité binaire dans le schéma de clé de l'opérateur avec état
• [SPARK-47673] [SC-162824][ss] Implémentation de la durée de vie (TTL) pour ListState
• [SPARK-47818] [SC-162845][connect] Introduire le cache de plan dans SparkConnectPlanner pour améliorer les performances des requêtes d’analyse
• [SPARK-47694] [SC-162783][connect] Rendre la taille maximale des messages configurable côté client
• [SPARK-47274] Rétablir « [SC-162479][python][SQL] Fournir plus d'utilisation...
• [SPARK-47616] [SC-161193][sql] Ajouter un document utilisateur pour le mappage des types de données Spark SQL à partir de MySQL
• [SPARK-47862] [SC-162837][python][CONNECT] Corriger la génération de fichiers proto
• [SPARK-47849] [SC-162724][python][CONNECT] Modifier le script de publication pour publier pyspark-connect
• [SPARK-47410] [SC-162518][sql] Refactorisation de UTF8String et de CollationFactory
• [SPARK-47807] [SC-162505][python][ML] Rendre pyspark.ml compatible avec pyspark-connect
• [SPARK-47707] [SC-161768][sql] Gestion spéciale du type JSON pour Le connecteur MySQL/J 5.x
• [SPARK-47765] Rétablir « [SC-162636][sql] Ajouter SET UN CLASSEMENT à l’analyse...
• [SPARK-47081] [SC-162151][connect][FOLLOW] Amélioration de l’utilisation du gestionnaire de progression
• [SPARK-47289] [SC-161877][sql] Autoriser les extensions à consigner les informations étendues dans le plan d’explication
• [SPARK-47274] [SC-162479][python][SQL] Fournir un contexte plus utile pour les erreurs d’API DataFrame PySpark
• [SPARK-47765] [SC-162636][sql] Ajouter SET COLLATION aux règles d’analyseur
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite échoue avec un plan non valide
• [SPARK-47812] [SC-162696][connect] Prise en charge de la sérialisation de SparkSession pour forEachBatch Worker
• [SPARK-47253] [SC-162698][core] Autoriser LiveEventBus à s’arrêter sans vider complètement la file d’attente d’événements
• [SPARK-47827] [SC-162625][python] Avertissements manquants pour les fonctionnalités déconseillées
• [SPARK-47733] [SC-162628][ss] Ajouter des métriques personnalisées pour l’opérateur transformWithState faisant partie de la progression de la requête
• [SPARK-47784] [SC-162623][ss] Fusionner TTLMode et TimeoutMode en un seul TimeMode.
• [SPARK-47775] [SC-162319][sql] Prise en charge des types scalaires restants dans la spécification de variante.
• [SPARK-47736] [SC-162503][sql] Ajouter la prise en charge de AbstractArrayType
• [SPARK-47081] [SC-161758][connect] Prise en charge de la progression de l’exécution des requêtes
• [SPARK-47682] [SC-162138][sql] Soutenir la conversion à partir de variant.
• [SPARK-47802] [SC-162478][sql] Revenir () de la signification struct() à la signification *
• [SPARK-47680] [SC-162318][sql] Ajouter variant_explode expression.
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression doit vérifier l’erreur pour chaque mode codegen
• [SPARK-41811] [SC-162470][python][CONNECT] Implémenter SQLStringFormatter avec WithRelations
• [SPARK-47693] [SC-162326][sql] Ajouter une optimisation pour la comparaison en minuscule d'UTF8String utilisée dans le tri UTF8_BINARY_LCASE
• [SPARK-47541] [SC-162006][sql] Chaînes collées dans des types complexes prenant en charge les opérations inverses, array_join, concat, map
• [SPARK-46812] [SC-161535][connect][PYTHON] Permettre à mapInPandas / mapInArrow de prendre en charge ResourceProfile
• [SPARK-47727] [SC-161982][python] Élever SparkConf au niveau racine pour SparkSession et SparkContext
• [SPARK-47406] [SC-159376][sql] Gérer TIMESTAMP et DATETIME dans MySQLDialect
• [SPARK-47081] Rétablir « [SC-161758][connect] Prise en charge de l'exécution de requêtes »
• [SPARK-47681] [SC-162043][sql] Ajouter schema_of_variant expression.
• [SPARK-47783] [SC-162222] Ajouter quelques SQLSTATEs manquants et réorganiser YY000 pour qu'il soit utilisé...
• [SPARK-47634] [SC-161558][sql] Ajouter un support hérité pour la désactivation de la normalisation des clés de carte
• [SPARK-47746] [SC-162022] Implémenter l’encodage de plage ordinale dans RocksDBStateEncoder
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec doit toujours utiliser le context.session
• [SPARK-47643] [SC-161534][ss][PYTHON] Ajouter un test pyspark pour la source de streaming Python
• [SPARK-47582] [SC-161943][sql] Migrer logInfo Catalyst avec des variables vers un cadre de journalisation structuré
• [SPARK-47558] [SC-162007][ss] Prise en charge de la TTL du statut pour ValueState
• [SPARK-47358] [SC-160912][sql][COLLATION] Améliorer la prise en charge des expressions répétées pour retourner un type de données correct
• [SPARK-47504] [SC-162044][sql] Résolution des chaînes simples d'AbstractDataType pour StringTypeCollated
• [SPARK-47719] Rétablir « [SC-161909][sql] Modifier spark.sql.legacy.t...
• [SPARK-47657] [SC-162010][sql] Implémenter la prise en charge push du filtre de classement par source de fichier
• [SPARK-47081] [SC-161758][connect] Prise en charge de la progression de l’exécution des requêtes
• [SPARK-47744] [SC-161999] Ajouter la prise en charge des octets à valeur négative dans l’encodeur de plage
• [SPARK-47713] [SC-162009][sql][CONNECT] Corriger un échec de jointure automatique
• [SPARK-47310] [SC-161930][ss] Ajouter un micro-benchmark pour les opérations de fusion pour plusieurs valeurs dans la partie contenant les valeurs du magasin d’état
• [SPARK-47700] [SC-161774][sql] Correction de la mise en forme des messages d’erreur avec treeNode
• [SPARK-47752] [SC-161993][ps][CONNECT] Rendre pyspark.pandas compatible avec pyspark-connect
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implémenter logWarning/logInfo API dans l’infrastructure de journalisation structurée
• [SPARK-47107] [SC-161201][ss][PYTHON] Implémenter le lecteur de partition pour la source de données de streaming Python
• [SPARK-47553] [SC-1617772][ss] Ajouter la prise en charge de Java pour les API d’opérateur transformWithState
• [SPARK-47719] [SC-161909][sql] Modifier la valeur par défaut de spark.sql.legacy.timeParserPolicy en CORRECTED
• [SPARK-47655] [SC-161761][ss] Intégrer le minuteur à la gestion de l’état initial pour state-v2
• [SPARK-47665] [SC-161550][sql] Utiliser SMALLINT pour écrire ShortType dans MYSQL
• [SPARK-47210] [SC-161777][sql] Ajout d'un casting implicite sans support pour indéterminé
• [SPARK-47653] [SC-161767][ss] Ajouter la prise en charge des types numériques négatifs et de l’encodeur de clé d’analyse de plage
• [SPARK-46743] [SC-160777][sql] Nombre de bogues après le pliage constant
• [SPARK-47525] [SC-154568][sql] Prise en charge de la jointure de corrélation de sous-requête sur les attributs de carte
• [SPARK-46366] [SC-151277][sql] Utiliser l’expression WITH dans BETWEEN pour éviter les expressions dupliquées
• [SPARK-47563] [SC-161183][sql] Ajouter la normalisation de la carte lors de la création
• [SPARK-42040] [SC-161171][sql] SPJ : Introduction d’une nouvelle API pour la partition d’entrée V2 pour signaler les statistiques de partition
• [SPARK-47679] [SC-161549][sql] Utiliser HiveConf.getConfVars ou les noms de configuration Hive directement
• [SPARK-47685] [SC-161566][sql] Restaurer la prise en charge du type Stream dans Dataset#groupBy
• [SPARK-47646] [SC-161352][sql] Faire en sorte que try_to_number renvoie NULL pour des valeurs incorrectes.
• [SPARK-47366] [SC-161324][python] Ajouter des alias pyspark et dataframe parse_json
• [SPARK-47491] [SC-161176][core] Ajouter slf4j-api un fichier jar au chemin de classe avant les autres répertoires jars
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty projette CommandResults localement
• [SPARK-47364] [SC-158927][core] Avertir lorsque les plug-ins répondent PluginEndpoint pour un message unidirectionnel
• [SPARK-47280] [SC-158350][sql] Supprimer la limitation du fuseau horaire pour ORACLE TIMESTAMP WITH TIMEZONE
• [SPARK-47551] [SC-161542][sql] Ajouter variant_get expression.
• [SPARK-47559] [SC-161255][sql] Support de la génération de code pour variant parse_json
• [SPARK-47572] [SC-161351][sql] Assurer que la spécification de partition de fenêtre est ordonnable.
• [SPARK-47546] [SC-161241][sql] Améliorer la validation lors de la lecture d'un Variant à partir de Parquet
• [SPARK-47543] [SC-161234][connect][PYTHON] Inférence de dict comme MapType à partir d'un Pandas DataFrame pour autoriser la création d'un DataFrame
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] Créer une colonne avec des classements dans l’API dataframe
• [SPARK-47641] [SC-161376][sql] Améliorer les performances pour UnaryMinus et Abs
• [SPARK-47631] [SC-161325][sql] Supprimer la méthode inutilisée SQLConf.parquetOutputCommitterClass
• [SPARK-47674] [SC-161504][core] Activer spark.metrics.appStatusSource.enabled par défaut
• [SPARK-47273] [SC-161162][ss][PYTHON] implémentez l’interface d’enregistreur de flux de données Python.
• [SPARK-47637] [SC-161408][sql] Utiliser errorCapturingIdentifier dans d’autres emplacements
• [SPARK-47497] Rétablir « Rétablir « [SC-160724][sql] Permettre à to_csv de prendre en charge la sortie du tableau/struct/map/binary en tant que chaînes lisibles »
• [SPARK-47492] [SC-161316][sql] Élargir les règles d'espacement dans le lexer
• [SPARK-47664] [SC-161475][python][CONNECT] Valider le nom de colonne avec le schéma mis en cache
• [SPARK-47638] [SC-161339][ps][CONNECT] Ignorer la validation du nom de colonne dans PS
• [SPARK-47363] [SC-161247][ss] État initial sans implémentation de lecteur d’état pour l’API State v2.
• [SPARK-47447] [SC-160448][sql] Autoriser la lecture de Parquet TimestampLTZ en tant que TimestampNTZ
• [SPARK-47497] Rétablir “[SC-160724][sql] Assurer la prise en charge de to_csv pour une sortie de array/struct/map/binary sous forme de chaînes élégantes”
• [SPARK-47434] [SC-160122][webui] Corriger le lien statistics dans StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] Chaînes entre guillemets dans un chemin JSON doit prendre en charge ? characters
• [SPARK-46915] [SC-155729][sql] Simplifiez UnaryMinusAbs et alignez la classe d’erreur
• [SPARK-47431] [SC-160919][sql] Ajouter un classement par défaut au niveau de session
• [SPARK-47620] [SC-161242][python][CONNECT] Ajouter une fonction d’assistance pour trier les colonnes
• [SPARK-47570] [SC-161165][ss] Intégrer les modifications de l’encodeur d’analyse de plage avec l’implémentation du minuteur
• [SPARK-47497] [SC-160724][sql] Permettre à to_csv de supporter la sortie de array/struct/map/binary en jolis formats de chaînes
• [SPARK-47562] [SC-161166][connect] Extraire le traitement des littéraux de plan.py
• [SPARK-47509] [SC-160902][sql] Bloquer les expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
• [SPARK-47539] [SC-160750][sql] Rendre la valeur de retour de la méthode castToStringAny => UTF8String
• [SPARK-47372] [SC-160905][ss] Ajouter la prise en charge de l’encodeur d’état de clé utilisant un balayage de plage à utiliser avec le fournisseur de stockage d’état
• [SPARK-47517] [SC-160642][core][SQL] Privilégier Utils.bytesToString pour l'affichage de la taille
• [SPARK-47243] [SC-158059][ss] Corriger le nom du package de StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Prise en charge des sources de données Python avec Spark Connect
• [SPARK-47521] [SC-160666][core] Utiliser Utils.tryWithResource lors de la lecture de données de répartition à partir d’un stockage externe
• [SPARK-47474] [SC-160522][core] Rétablir SPARK-47461 et ajouter des commentaires
• [SPARK-47560] [SC-160914][python][CONNECT] Éviter RPC de valider le nom de colonne avec le schéma mis en cache
• [SPARK-47451] [SC-160749][sql] Implémentation de to_json(variant).
• [SPARK-47528] [SC-160727][sql] Ajouter la prise en charge de UserDefinedType à DataTypeUtils.canWrite
• [SPARK-44708] Rétablir « [SC-160734][python] Migrer test_reset_index assert_eq pour utiliser assertDataFrameEqual »
• [SPARK-47506] [SC-160740][sql] Ajouter la prise en charge à tous les formats de source de fichier pour les types de données compilés
• [SPARK-47256] [SC-160784][sql] Attribuer des noms aux classes d'erreurs _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] Correction du fichier jar de ressource primaire ajouté à spark.jars deux fois en mode cluster k8s
• [SPARK-47398] [SC-160572][sql] Extraire une caractéristique pour InMemoryTableScanExec afin d’autoriser l’extension des fonctionnalités
• [SPARK-47479] [SC-160623][sql] Optimiser ne peut pas écrire de données dans les relations avec plusieurs chemins de journal d'erreurs
• [SPARK-47483] [SC-160629][sql] Ajouter la prise en charge des opérations d’agrégation et de jointure sur des tableaux de chaînes compilées
• [SPARK-47458] [SC-160237][core] Correction du problème lié au calcul des tâches simultanées maximales pour l’étape de barrière
• [SPARK-47534] [SC-160737][sql] Déplacer o.a.s.variant vers o.a.s.types.variant
• [SPARK-47396] [SC-159312][sql] Ajouter un mappage général pour TIME WITHOUT TIME ZONE vers TimestampNTZType
• [SPARK-44708] [SC-160734][python] Migrer test_reset_index assert_eq pour utiliser assertDataFrameEqual
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML : Ajouter des tests d’inférence de schéma pour les balises de valeur
• [SPARK-47007] [SC-160630][sql] Ajouter l’expression MapSort
• [SPARK-47523] [SC-160645][sql] Remplacer l'élément obsolète JsonParser#getCurrentName par JsonParser#currentName
• [SPARK-47440] [SC-160635][sql] Correction de la transmission de la syntaxe non prise en charge à MsSqlServer
• [SPARK-47512] [SC-160617][ss] Type d'opération de balisage utilisé avec l’acquisition/libération du verrou d’instance de magasin d’état RocksDB
• [SPARK-47346] [SC-159425][python] Rendre le mode démon configurable lors de la création de workers du planificateur Python
• [SPARK-47446] [SC-160163][core] Avertir BlockManager avant removeBlockInternal
• [SPARK-46526] [SC-156099][sql] Prise en charge LIMIT des sous-requêtes corrélées où les prédicats référencent uniquement la table externe
• [SPARK-47461] [SC-160297][core] Supprimer la fonction totalRunningTasksPerResourceProfile privée de ExecutorAllocationManager
• [SPARK-47422] [SC-160219][sql] Prise en charge des chaînes ordonnées dans les opérations de tableau
• [SPARK-47500] [SC-160627][python][CONNECT] Gestion des noms des colonnes de facteur hors de plan.py
• [SPARK-47383] [SC-160144][core] Configuration de support spark.shutdown.timeout
• [SPARK-47342] [SC-159049]Annuler “[SQL] Prise en charge de TimestampNTZ pour DB2 TIMESTAMP WITH TIME ZONE”
• [SPARK-47486] [SC-160491][connect] Supprimer la méthode privée ArrowDeserializers.getString inutilisée
• [SPARK-47233] [SC-154486][connect][SS][2/2] Logique client & serveur pour l'écouteur de requêtes de streaming côté client
• [SPARK-47487] [SC-160534][sql] Simplifier le code dans AnsiTypeCoercion
• [SPARK-47443] [SC-160459][sql] Prise en charge de l’agrégation de fenêtres pour les classements
• [SPARK-47296] [SC-160457][sql][COLLATION] Faites échouer les fonctions non prises en charge pour les collations non binaires
• [SPARK-47380] [SC-160164][connect] S'assurer que du côté du serveur, la SparkSession reste identique
• [SPARK-47327] [SC-160069][sql] Déplacer le test de concurrence des clés de tri vers CollationFactorySuite
• [SPARK-47494] [SC-160495][doc] Ajouter un document de migration pour le changement de comportement de l’inférence d’horodatage Parquet depuis Spark 3.3
• [SPARK-47449] [SC-160372][ss] Refactoriser et séparer les tests unitaires de liste/chronomètre
• [SPARK-46473] [SC-155663][sql] Réutiliser la méthode getPartitionedFile
• [SPARK-47423] [SC-160068][sql] Classements - Définir la prise en charge des opérations pour les chaînes avec des classements
• [SPARK-47439] [SC-160115][python] Documenter l'API de source de données en Python sur la page de référence de l’API
• [SPARK-47457] [SC-160234][sql] Correctif IsolatedClientLoader.supportsHadoopShadedClient pour gérer Hadoop 3.4+
• [SPARK-47366] [SC-159348][sql] Implémenter parse_json.
• [SPARK-46331] [SC-152982][sql] Suppression de CodegenFallback du sous-ensemble d’expressions DateTime et de version()
• [SPARK-47395] [SC-159404] Ajouter la collation et le tri à d'autres API
• [SPARK-47437] [SC-160117][python][CONNECT] Corriger la classe d’erreur pour DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] Côté serveur, écouteur du bus SparkConnectListener pour le côté client de l'écouteur de requête de streaming.
• [SPARK-47324] [SC-158720][sql] Ajouter une conversion d’horodatage manquante pour les types imbriqués JDBC
• [SPARK-46962] [SC-158834][ss][PYTHON] Ajouter une interface pour l’API de source de données de streaming Python et implémenter python Worker pour exécuter la source de données de streaming Python
• [SPARK-45827] [SC-158498][sql] Déplacer les vérifications de type de données vers CreatableRelationProvider
• [SPARK-47342] [SC-158874][sql] Prise en charge de TimestampNTZ pour le TIMESTAMP WITH TIME ZONE de DB2
• [SPARK-47399] [SC-159378][sql] Désactiver les colonnes générées pour les expressions avec des collations
• [SPARK-47146] [SC-158247][core] Fuite de thread possible lors du tri de jointure de fusion
• [SPARK-46913] [SC-159149][ss] Ajoutez la prise en charge des minuteurs basés sur le temps de traitement/de l'événement avec l'opérateur transformWithState
• [SPARK-47375] [SC-159063][sql] Ajouter des instructions pour le mappage d’horodatage dans JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] Prise en charge de TIMESTAMP AVEC FUSEAU HORAIRE pour H2Dialect
• [SPARK-45827] Revenir à « [SC-158498][sql] Déplacer les vérifications de type de données vers ... »
• [SPARK-47208] [SC-159279][core] Autoriser le remplacement de la mémoire tampon de base
• [SPARK-42627] [SC-158021][spark-26494][SQL] Prise en charge d’Oracle TIMESTAMP WITH LOCAL TIME ZONE
• [SPARK-47055] [SC-156916][python] Mettre à niveau MyPy 1.8.0
• [SPARK-46906] [SC-157205][ss] Ajouter une vérification de modification d’opérateur avec état pour la diffusion en continu
• [SPARK-47391] [SC-159283][sql] Supprimer la solution de contournement de cas de test pour JDK 8
• [SPARK-47272] [SC-158960][ss] Ajouter une implémentation MapState pour l’API d’état v2.
• [SPARK-47375] [SC-159278][doc][FollowUp] Correction d’une erreur dans la documentation de l’option preferTimestampNTZ de JDBC
• [SPARK-42328] [SC-157363][sql] Supprimer _LEGACY_ERROR_TEMP_1175 des classes d’erreur
• [SPARK-47375] [SC-159261][doc][FollowUp] Corriger la description de l’option preferTimestampNTZ dans la documentation JDBC
• [SPARK-47344] [SC-159146] Étendre INVALID_IDENTIFIER erreur au-delà de l’interception de '-' dans un identificateur non cité et corriger "IS ! NULL » et autres.
• [SPARK-47340] [SC-159039][sql] Changer « collate » dans le typename StringType en minuscules
• [SPARK-47087] [SC-157077][sql] Déclencher l’exception de Spark avec une classe d’erreur dans la vérification des valeurs de configuration
• [SPARK-47327] [SC-158824][sql] Correction du problème de sécurité des threads dans le collateur d’ICU
• [SPARK-47082] [SC-157058][sql] Corriger la condition d’erreur hors limites
• [SPARK-47331] [SC-158719][ss] Sérialisation à l’aide de classes de cas/primitives/POJO basées sur l’encodeur SQL pour l’API d’état arbitraire v2.
• [SPARK-47250] [SC-158840][ss] Ajouter des validations supplémentaires et des modifications NERF pour le fournisseur d’état RocksDB et l’utilisation de familles de colonnes
• [SPARK-47328] [SC-158745][sql] Renommer UCS_BASIC collation en UTF8_BINARY
• [SPARK-47207] [SC-157845][core] Support spark.driver.timeout et DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] Ajouter une documentation de migration : Inférence de type TimestampNTZ sur les fichiers Parquet
• [SPARK-47309] [SC-158827][sql][XML] Ajouter des tests unitaires d’inférence de schéma
• [SPARK-47295] [SC-158850][sql] Ajout d’ICU StringSearch pour les fonctions startsWith et endsWith
• [SPARK-47343] [SC-158851][sql] Correction du NPE lorsque la valeur de la variable est une chaîne nulle dans l'exécution immédiate
• [SPARK-46293] [SC-150117][connect][PYTHON] Utiliser une protobuf dépendance transitive
• [SPARK-46795] [SC-154143][sql] Remplacer UnsupportedOperationException par SparkUnsupportedOperationException in sql/core
• [SPARK-46087] [SC-149023][python] Synchroniser les dépendances PySpark dans les documents et les exigences de développement
• [SPARK-47169] [SC-158848][sql] Désactiver le compartimentage sur les colonnes compilées
• [SPARK-42332] [SC-153996][sql] Modification de la demande en sparkException dans ComplexTypeMergingExpression
• [SPARK-45827] [SC-158498][sql] Déplacer les vérifications de type de données vers CreatableRelationProvider
• [SPARK-47341] [SC-158825][connect] Remplacer les commandes par des relations dans quelques tests dans SparkConnectClientSuite
• [SPARK-43255] [SC-158026][sql] Remplacer la classe d’erreur _LEGACY_ERROR_TEMP_2020 par une erreur interne
• [SPARK-47248] [SC-158494][sql][COLLATION] Prise en charge améliorée de la fonction de chaîne : contient
• [SPARK-47334] [SC-158716][sql] Faire en sorte que withColumnRenamed réutilise l’implémentation de withColumnsRenamed
• [SPARK-46442] [SC-153168][sql] DS V2 supporte la descente de PERCENTILE_CONT et de PERCENTILE_DISC.
• [SPARK-47313] [SC-158747][sql] Ajout de la gestion de l'erreur scala.MatchError à l'intérieur de QueryExecution.toInternalError
• [SPARK-45827] [SC-158732][sql] Ajouter un type singleton variant pour Java
• [SPARK-47337] [SC-158743][sql][DOCKER] Mettre à niveau la version de l’image Docker DB2 vers la version 11.5.8.0
• [SPARK-47302] [SC-158609][sql] Mot-clé Collate utilisé comme identificateur
• [SPARK-46817] [SC-154196][core] Correction spark-daemon.sh de l’utilisation en ajoutant une decommission commande
• [SPARK-46739] [SC-153553][sql] Ajouter la classe d’erreur UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] Ajouter l’indicateur COLLATION_ENABLED de configuration
• [SPARK-46774] [SC-153925][sql][AVRO] Utiliser mapreduce.output.fileoutputformat.compress au lieu de mapred.output.compress déprécié dans les tâches d'écriture Avro
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory : Délai d'expiration lorsque le travailleur ne se connecte pas.
• [SPARK-46835] [SC-158355][sql][Classements] Prise en charge des jointures pour les classements non binaires
• [SPARK-47131] [SC-158154][sql][COLLATION] Prise en charge de la fonction string : contient, commence par, se termine par
• [SPARK-46077] [SC-157839][sql] Considérez le type généré par TimestampNTZConverter dans JdbcDialect.compileValue.
• [SPARK-47311] [SC-158465][sql][PYTHON] Supprimer les exceptions Python où PySpark n’est pas dans le chemin Python
• [SPARK-47319] [SC-158599][sql] Améliorer le calcul des entrées manquantes
• [SPARK-47316] [SC-158606][sql] Fix TimestampNTZ in Postgres Array
• [SPARK-47268] [SC-158158][sql][Collations] Prise en charge du partitionnement avec des collations
• [SPARK-47191] [SC-157831][sql] Éviter une recherche de relation inutile lors de la suppression du cache de la table/vue
• [SPARK-47168] [SC-158257][sql] Désactiver le pushdown du filtre Parquet lors de l’utilisation de chaînes non compilées par défaut
• [SPARK-47236] [SC-158015][core] Correctif deleteRecursivelyUsingJavaIO pour ignorer l’entrée de fichier non existante
• [SPARK-47238] [SC-158466][sql] Réduire l’utilisation de la mémoire de l’exécuteur en rendant le code généré dans WSCG une variable de diffusion
• [SPARK-47249] [SC-158133][connect] Correction du bogue dans lequel toutes les exécutions de connexion sont considérées comme abandonnées, quel que soit leur état réel
• [SPARK-47202] [SC-157828][python] Correction d'une faute de frappe affectant les dates et heures avec tzinfo
• [SPARK-46834] [SC-158139][sql][Collations] Prise en charge des agrégations
• [SPARK-47277] [SC-158351][3.5] La fonction util PySpark assertDataFrameEqual ne doit pas prendre en charge la diffusion en continu DF
• [SPARK-47155] [SC-158473][python] Correction du problème de classe d’erreur
• [SPARK-47245] [SC-158163][sql] Améliorer le code d’erreur pour INVALID_PARTITION_COLUMN_DATA_TYPE
• [SPARK-39771] [SC-158425][core] Ajoutez un message d’avertissement dans Dependency lorsqu’un trop grand nombre de blocs de shuffle doit être créé.
• [SPARK-47277] [SC-158329] La fonction util PySpark assertDataFrameEqual ne doit pas prendre en charge la diffusion en continu DF
• [SPARK-47293] [SC-158356][core] Générer batchSchema avec sparkSchema au lieu d’ajouter un par un
• [SPARK-46732] [SC-153517][connect] Faire fonctionner le fil de sous-requête/diffusion avec la gestion des artefacts de Connect.
• [SPARK-44746] [SC-158332][python] Ajouter d’autres documentations Python UDTF pour les fonctions qui acceptent les tables d’entrée
• [SPARK-47120] [SC-157517][sql] La poussée vers le bas du filtre de données de comparaison de valeurs nulles à partir d'une sous-requête produit une NPE dans le filtre Parquet.
• [SPARK-47251] [SC-158291][python] Bloquer les types non valides de l’argument args pour la commande sql
• [SPARK-47251] Annuler “[SC-158121][python] Empêcher les types non valides dans l’argument args pour la commande sql”
• [SPARK-47015] [SC-157900][sql] Désactiver le partitionnement sur les colonnes compilées
• [SPARK-46846] [SC-154308][core] Faire en sorte que WorkerResourceInfo étende explicitement Serializable
• [SPARK-46641] [SC-156314][ss] Ajouter un seuil maxBytesPerTrigger
• [SPARK-47244] [SC-158122][connect] SparkConnectPlanner rendre les fonctions internes privées
• [SPARK-47266] [SC-158146][connect] Rendre ProtoUtils.abbreviate le même type que l’entrée
• [SPARK-46961] [SC-158183][ss] Utilisation de ProcessorContext pour stocker et récupérer le handle
• [SPARK-46862] [SC-154548][sql] Désactiver l'élagage des colonnes CSV en mode multiligne
• [c0][SPARK-46950][/c0] [SC-155803][core][SQL] Aligner la classe d'erreur
• [SPARK-46368] [SC-153236][core] Assistance readyz dans l’API de soumission REST
• [SPARK-46806] [SC-154108][python] Améliorer le message d’erreur pour spark.table lorsque le type d’argument est incorrect
• [SPARK-47211] [SC-158008][connect][PYTHON] Correction de la collation de chaîne PySpark Connect ignorée
• [SPARK-46552] [SC-151366][sql] Remplacer UnsupportedOperationException par SparkUnsupportedOperationException in catalyst
• [SPARK-47147] [SC-157842][python][SQL] Correction de l’erreur de conversion de chaîne ordonnée PySpark
• [SPARK-47144] [SC-157826][connect][SQL][python] Corriger l’erreur de classement Spark Connect en ajoutant le champ protobuf collateId
• [SPARK-46575] [SC-153200][sql][HIVE] Rendre l'API de développement HiveThriftServer2.startWithContext réessayable et corriger l'inconstance de ThriftServerWithSparkContextInHttpSuite
• [SPARK-46696] [SC-153832][core] Dans ResourceProfileManager, les appels de fonction doivent se produire après les déclarations de variables
• [SPARK-47214] [SC-157862][python] Créer une API UDTF pour la méthode « analyser » pour différencier les arguments NULL constants et d’autres types d’arguments
• [SPARK-46766] [SC-153909][sql][AVRO] Prise en charge du pool de mémoires tampons ZSTD pour la source de données AVRO
• [SPARK-47192] [SC-157819] Conversion de certaines erreurs _LEGACY_ERROR_TEMP_0035
• [SPARK-46928] [SC-157341][ss] Ajouter la prise en charge de ListState dans l’API d’état arbitraire v2.
• [SPARK-46881] [SC-154612][core] Support spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] Soutien spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] Correction du bogue qui utilise un codec de compression parquet incorrect lz4raw
• [SPARK-46791] [SC-154018][sql] Prendre en charge l'ensemble Java dans JavaTypeInference
• [SPARK-46332] [SC-150224][sql] Migrer CatalogNotFoundException vers la classe d’erreur CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] Faire en sorte que la valeur par défaut provenant d'un type plus large se comporte de la même manière pour les littéraux étroits en v2 qu'en v1
• [SPARK-46664] [SC-153181][core] Améliorer Master pour assurer une récupération rapide en cas d'absence de workers et d'applications
• [SPARK-46759] [SC-153839][sql][AVRO] Codec xz et zstandard prennent en charge le niveau de compression pour les fichiers avro

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Consultez Mises à jour de maintenance de Databricks Runtime 15.2.

Environnement du système

• système d’exploitation: Ubuntu 22.04.4 LTS
• Java : Zulu 8.74.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.11.0
• R : 4.3.2
• Delta Lake : 3.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du gestionnaire de package Posit.

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)