Databricks Runtime 12.1 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.1 optimisé par Apache Spark 3.3.1.

Databricks a publié cette version en janvier 2023.

Améliorations et nouvelles fonctionnalités

• Fonctionnalités de table Delta Lake prises en charge pour la gestion des protocoles
• Les E/S prédictives pour les mises à jour sont en préversion publique
• Catalog Explorer est désormais disponible pour tous les personnages
• Prise en charge de plusieurs opérateurs avec état dans une seule requête de diffusion en continu
• La prise en charge des mémoires tampons de protocole est en préversion publique
• Prise en charge de l’authentification de Confluent Schema Registry
• Prise en charge du partage de l’historique des tables avec des partages Delta Sharing
• Support du streaming avec les partages Delta Sharing
• Une version de table utilisant timestamp est désormais prise en charge pour les tables Delta Sharing dans les catalogues
• Prise en charge de WHEN NOT MATCHED BY SOURCE pour MERGE INTO
• collecte de statistiques optimisées pour CONVERT TO DELTA
• Prise en charge d’Unity Catalog pour les tables non supprimées

Fonctionnalités de table Delta Lake prises en charge pour la gestion des protocoles

Azure Databricks a introduit la prise en charge des fonctionnalités de table Delta Lake, qui introduisent des indicateurs granulaires spécifiant les fonctionnalités prises en charge par une table donnée. Consultez les protocoles et la compatibilité des fonctionnalités Delta Lake.

Les E/S prédictives pour les mises à jour sont en préversion publique

Les E/S prédictives accélèrent désormais les opérations DELETE, MERGE et UPDATE pour les tables Delta avec des vecteurs de suppression activés sur le calcul compatible avec Photon. Consultez Qu’est-ce que les E/S prédictives ?.

Catalog Explorer est désormais disponible pour tous les personnages

Catalog Explorer est désormais disponible pour tous les personnages Azure Databricks lors de l’utilisation de Databricks Runtime 7.3 LTS et versions ultérieures.

Prise en charge de plusieurs opérateurs avec état dans une seule requête de diffusion en continu

Les utilisateurs peuvent désormais chaîner des opérateurs avec état avec le mode d’ajout dans la requête de diffusion en continu. Tous les opérateurs ne sont pas entièrement pris en charge. Jointure d’intervalle de temps entre flux et flatMapGroupsWithState n’autorise pas le chaînage d’autres opérateurs avec état.

La prise en charge des mémoires tampons de protocole est en préversion publique

Vous pouvez utiliser les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Buffers de protocole de lecture et écriture.

Prise en charge de l’authentification de registre de schémas Confluent

L'intégration d'Azure Databricks au Registre de schémas Confluent prend désormais en charge les adresses de registre de schémas externes avec authentification. Cette fonctionnalité est disponible pour les fonctions from_avro,to_avro, from_protobufet to_protobuf . Consultez Protobuf ou Avro.

Prise en charge du partage de l’historique des tables avec les partages Delta Sharing

Vous pouvez désormais partager une table avec un historique complet à l’aide de Delta Sharing, ce qui permet aux destinataires d’effectuer des requêtes de voyage dans le temps et d’interroger la table à l’aide de Spark Structured Streaming. WITH HISTORY est recommandé au lieu de CHANGE DATA FEED, bien que ce dernier continue d’être pris en charge. Consultez ALTER SHARE et Ajout d’une table à un partage.

Prise en charge de la diffusion en continu avec les partages Delta Sharing

Spark Structured Streaming fonctionne désormais avec le format deltasharing d’une table de Delta Sharing source qui a été partagée à l’aide de WITH HISTORY.

Version de table avec horodatage désormais prise en charge pour les tables Delta Sharing dans les catalogues

Vous pouvez maintenant utiliser la syntaxe SQL TIMESTAMP AS OF dans les instructions SELECT pour spécifier la version d'une table Delta Sharing chargée dans un catalogue. Les tables doivent être partagées à l’aide de WITH HISTORY.

Prise en charge de WHEN NOT MATCHED BY SOURCE pour MERGE INTO

Vous pouvez maintenant ajouter des clauses WHEN NOT MATCHED BY SOURCE à MERGE INTO pour mettre à jour ou supprimer des lignes dans la table choisie qui n'ont pas de correspondances dans la table source en fonction de la condition de fusion. La nouvelle clause est disponible dans SQL, Python, Scala et Java. Voir MERGE INTO.

Collecte de statistiques optimisées pour CONVERT TO DELTA

La collecte de statistiques pour l’opération CONVERT TO DELTA est désormais beaucoup plus rapide. Cela réduit le nombre de charges de travail qui peuvent utiliser NO STATISTICS pour plus d’efficacité.

Prise en charge d’Unity Catalog pour les tables non supprimées

Cette fonctionnalité a été initialement publiée en préversion publique. Il est en disponibilité générale à compter du 25 octobre 2023.

Vous pouvez maintenant annuler la suppression d’une table managée ou externe dans un schéma existant dans les sept jours suivant la suppression. Voir UNDROP et SHOW TABLES DROPPED.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de la version 3.8.0 à la version 3.8.2
  • platformdirs de 2.5.4 vers 2.6.0
  • setuptools de la version 58.0.4 à la version 61.2.0
• Bibliothèques R mises à niveau :
• Bibliothèques Java mises à niveau :
  • io.delta.delta-sharing-spark_2.12 de la version 0.5.2 vers la version 0.6.2
  • org.apache.hive.hive-storage-api de 2.7.2 à 2.8.1
  • org.apache.parquet.parquet-column de la version 1.12.3-databricks-0001 à la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson de la version 1.12.3-databricks-0001 à la version 1.12.3-databricks-0002
  • org.tukaani.xz de 1.8 à 1.9

Apache Spark

Databricks Runtime 12.1 comprend Apache Spark 3.3.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 12.0 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-41405] [SC-119769][12.1.0] Rétablir « [SC-119411][sql] Centraliser la logique de résolution des colonnes » et « [SC-11717170][spark-41338][SQL] Résoudre les références externes et les colonnes normales dans le même lot d’analyseurs »
• [SPARK-41405] [SC-119411][sql] Centraliser la logique de résolution de colonne
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand doit définir correctement l’indicateur de remplacement
• [SPARK-41659] [SC-119526][connect][12.X] Activer les doctests dans pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Corriger la régression des performances du lecteur ORC due à la fonctionnalité de valeur par défaut
• [SPARK-41807] [SC-119399][core] Supprimer la classe d’erreur inexistante : UNSUPPORTED_FEATURE. DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Attribuer le nom à _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Déduire des noms à partir d’une liste de dictionnaires dans SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Déplacer la documentation spark Connect et le script vers la documentation dev/ et Python
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Configurer le module client initial pour Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] La page d’interface utilisateur de phases ne peut pas être chargée pour le proxy dans un environnement YARN spécifique
• [SPARK-41481] [SC-118150][core][SQL] Réutiliser INVALID_TYPED_LITERAL au lieu de _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Revisiter la gestion des expressions avec état
• [SPARK-41726] [SC-119248][sql] Supprimer OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Prise en charge des requêtes SQL paramétrables par sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implémenter DataFrame.sampleBy et DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][SC-119012][SQL][all tests] Extraction de l’écriture v1 dans WriteFiles
• [SPARK-41565] [SC-118868][sql] Ajouter la classe d’erreur UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] DECODE retourne des résultats incorrects lorsqu'elle reçoit une valeur NULL
• [SPARK-41554] [SC-119274] correction de la modification de l’échelle décimale lorsque l’échelle a diminué de m...
• [SPARK-41065] [SC-119324][connect][PYTHON] Implémenter DataFrame.freqItems et DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Réactiver les tests de documentation et ajouter l’alias de colonne manquant à count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implémenter DataFrame.approxQuantile et DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Faire en sorte que la fonction from_json prenne en charge le schéma de types de données
• [SPARK-41804] [SC-119382][sql] Choisir une taille d’élément correcte dans InterpretedUnsafeProjection pour le tableau des UDT
• [SPARK-41786] [SC-119308][connect][PYTHON] Suppression des doublons des fonctions d’assistance
• [SPARK-41745] [SC-119378][spark-41789][12.X] Liste createDataFrame de lignes de prise en charge
• [SPARK-41344] [SC-119217][sql] Rendre l’erreur plus claire lorsque la table introuvable dans le catalogue SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Ajouter une fonction manquante log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Faire en sorte que les fonctions JSON prennent en charge les options
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Rendre __getitem__ compatible avec le filtrage et la sélection
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Passer le support de la colonne op sur Aucun
• [SPARK-41440] [SC-119279][connect][PYTHON] Évitez l’opérateur de cache pour l’exemple général.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implémenter GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Prise en charge des extensions de protocole dans la relation et l’expression
• [SPARK-41417] [SC-118000][core][SQL] Renommer _LEGACY_ERROR_TEMP_0019 en INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Gestion des erreurs appropriée pour le serveur /le client Spark Connect
• [SPARK-41292] [SC-119357][connect][12.X] Fenêtre de prise en charge dans l’espace de noms pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Rendre les options de prise en charge des fonctions csv
• [SPARK-39591] [SC-118675][ss] Suivi Asynchrone de Progression
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implémenter Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implémenter DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Activer les doctests dans pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Mélanger ClientId dans le cache SparkSession
• [SPARK-41354] [SC-119194][connect] Ajouter RepartitionByExpression au proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Ajout de __rmod__ manquant dans colonne
• [SPARK-41778] [SC-119262][sql] Ajouter un alias « reduce » à ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implémenter DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Rendre le nom de l’opération de chaîne interne cohérent avec FunctionRegistry
• [SPARK-41734] [SC-119160][connectT] Ajouter un message parent pour Catalog
• [SPARK-41742] [SC-119263] Prendre en charge df.groupBy().agg({“*”:”count”})
• [SPARK-41761] [SC-119213][connect][PYTHON] Correction des opérations arithmétiques : __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Renommer UNSUPPORTED_CORRELATED_REFERENCE en CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Correctif Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implémenter la fonction unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Implémenter GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Correctif Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Prise en charge de la résolution d’alias de colonne latérale implicite sur l’agrégation
• [SPARK-41529] [SC-119207][connect][12.X] Implémenter SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Renommer _LEGACY_ERROR_TEMP_0011 en UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Dédupliquer l’impression et repr_html sur LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implémenter Column.name
• [SPARK-41733] [SC-119163][sql][SS] Appliquer l’élagage basé sur un modèle d’arborescence pour la règle ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Appliquer la taille basée sur un modèle d’arborescence pour la règle SessionWindowing
• [SPARK-41498] [SC-119018] Propager des métadonnées via Union
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implémenter l’accesseur de colonne
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types doit prendre en charge ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implémenter la fonction format_number
• [SPARK-41707] [SC-119141][connect][12.X] Implémenter l’API catalogue dans Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implémenter Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON] Fonction d'ordre supérieur : implémentation de array_compact
• [SPARK-41518] [SC-118453][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implémenter la fonction sequence
• [SPARK-41703] [SC-119060][connect][PYTHON] Combiner NullType et typed_null dans Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Implémenter 3 fonctions de fenêtre de temps manquantes
• [SPARK-41503] [SC-119043][connect][PYTHON] Implémenter des fonctions de transformation de partition
• [SPARK-41413] [SC-118968][sql] Éviter la lecture aléatoire dans Storage-Partitioned Join lorsque les clés de partition ne correspondent pas, mais que les expressions de jointure sont compatibles
• [SPARK-41700] [SC-119046][connect][PYTHON] Supprimer FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types doit prendre en charge MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Ajouter des opérations de colonne non valides
• [SPARK-41660] [SC-118866][sql] Propager uniquement les colonnes de métadonnées si elles sont utilisées
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implémenter un accumulateur pour collecter les métriques de nombre de lignes par mappeur
• [SPARK-41647] [SC-119064][connect][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Prise en charge des opérations de colonne decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implémenter rollup, cube et pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Déplacer des expressions vers expressions.py
• [SPARK-41687] [SC-118949][connect] Dédupliquer les docstrings dans pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Dédupliquer les docstrings dans pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Éliminer GroupedData de group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implémenter des fonctions Window
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][PYTHON][12.X] Effectuer la prise en charge des opérations de colonne datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Activer les fonctions déconseillées
• [SPARK-41673] [SC-118932][connect][PYTHON] Implémenter Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implémenter fonction broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implémenter le reste des fonctions Lambda
• [SPARK-41441] [SC-118557][sql] Prise en charge de la génération sans sortie enfant requise vers les références externes de l’hôte
• [SPARK-41669] [SC-118923][sql] Taille précoce dans canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Supprimer ScalaReflectionLock de SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implémenter DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Implémentation initiale LambdaFunction
• [SPARK-41539] [SC-118802][sql] Nouveau mappage des statistiques et des contraintes par rapport à la sortie dans le plan logique pour LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Prise en charge des champs OneOf et vérifications de récursivité
• [SPARK-41528] [SC-118769][connect][12.X] Fusionner les espaces de noms de l’API Spark Connect et PySpark.
• [SPARK-41568] [SC-118715][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implémenter DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Ajouter Spark Connect et protobuf dans setup.py avec la spécification de dépendances
• [SPARK-27561] [SC-101081][12.x][SQL] Prise en charge de la résolution d’alias de colonne latérale implicite sur Project
• [SPARK-41535] [SC-118645][sql] Définir la valeur Null correctement pour les champs d’intervalle de calendrier dans InterpretedUnsafeProjection et InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Prise en charge de la fonction intégrée de masquage de données nommée 'mask'
• [SPARK-41520] [SC-118440][sql] Fractionner AND_OR TreePattern pour séparer ET et OR TreePatterns
• [SPARK-41349] [SC-118668][connect][PYTHON] Implémenter DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types doivent prendre en charge StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Déplacer le proto SortOrder des relations vers les expressions
• [SPARK-41387] [SC-118450][ss] Affirmer le décalage de fin actuel de la source de données Kafka pour Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Renommer _LEGACY_ERROR_TEMP_1180 en UNEXPECTED_INPUT_TYPE et supprimer _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implémenter la colonne. {when, otherwise} et fonction when avec UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Correction de l’appel à une méthode enfant incorrecte dans SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implémenter DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Ajouter «spark.sql.json.enablePartialResults » pour activer/désactiver les résultats partiels JSON
• [SPARK-41437] Rétablir « [SC-117601][sql] Ne pas optimiser la requête d’entrée deux fois pour le secours en écriture v1 »
• [SPARK-41472] [SC-118352][connect][PYTHON] Implémenter le reste des fonctions de chaîne/de binaire
• [SPARK-41526] [SC-118355][connect][PYTHON] Implémenter Column.isin
• [SPARK-32170] [SC-118384] [CORE] Améliorer la spéculation via les métriques de tâche d’étape.
• [SPARK-41524] [SC-118399][ss] Différencier SQLConf et extraOptions dans StateStoreConf pour son utilisation dans RocksDBConf
• [SPARK-41465] [SC-118381][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] Le support LongToUnsafeRowMap ignore les clés dupliquées
• [SPARK-41409] [SC-118302][core][SQL] Renommer _LEGACY_ERROR_TEMP_1043 en WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implémenter DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] N’optimisez pas la requête d’entrée deux fois pour le secours en écriture v1
• [SPARK-41314] [SC-117172][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refactoriser LiteralExpression pour prendre en charge DataType
• [SPARK-41448] [SC-118046] Créer des ID de travail MR cohérents dans FileBatchWriter et FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Améliorer les performances de try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implémenter des fonctions collection : P~Z
• [SPARK-41478] [SC-118167][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Message d’erreur de refactorisation pour NUM_COLUMNS_MISMATCH pour le rendre plus générique
• [SPARK-41404] [SC-118016][sql] Refactoriser ColumnVectorUtils#toBatch pour rendre le test de ColumnarBatchSuite#testRandomRows un type de données plus primitif
• [SPARK-41468] [SC-118044][sql] Correction de la gestion PlanExpression dans EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Corriger les entrées de description dupliquées pour les analyses de fichiers V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implémenter des fonctions MISC
• [SPARK-41459] [SC-118005][sql] Correction de la sortie du journal des opérations du serveur Thrift vide
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection devez utiliser setDecimal pour définir des valeurs Null pour les décimales dans une ligne non sécurisée
• [SPARK-41376] [SC-117840][core][3.3] Corriger la logique de vérification de Netty preferDirectBufs au démarrage de l'exécuteur
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implémenter des fonctions collection : E~M
• [SPARK-41389] [SC-117426][core][SQL] Réutiliser WRONG_NUM_ARGS au lieu de _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Les types de date et d’horodateur peuvent être convertis en TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Modifier pour appeler invalidFunctionArgumentsError pour curdate() lorsque expressions n'est pas vide
• [SPARK-41187] [SC-118030][core] Fuite de mémoire de LiveExecutor dans AppStatusListener lorsque ExecutorLost se produit
• [SPARK-41360] [SC-118083][core] Éviter la réinscription de BlockManager en cas de perte de l'exécuteur
• [SPARK-41378] [SC-117686][sql] Statistiques de colonne de prise en charge dans DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Remplacer prettyName de StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implémenter les fonctions date/timestamp
• [SPARK-41329] [SC-117975][connect] Résoudre les importations circulaires dans Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Déduire correctement le type de données des entiers littéraux
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Rendre createDataFrame compatible avec les schémas et plusieurs types de jeux de données d’entrée
• [SPARK-41475] [SC-117997][connect] Correction de l’erreur de commande lint-scala et de la faute de frappe
• [SPARK-38277] [SC-117799][ss] Effacer le lot d’écriture après la validation du magasin d’état RocksDB
• [SPARK-41375] [SC-117801][ss] Éviter les derniers KafkaSourceOffset vides
• [SPARK-41412] [SC-118015][connect] Implémenter Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implémenter DataFrame.melt et DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Refactoriser les tests liés à la colonne pour test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] La colonne doit prendre en charge l’opérateur !=
• [SPARK-40697] [SC-117806][SC-112787][SQL] Ajout d’un remplissage de caractères en lecture pour couvrir les fichiers de données externes
• [SPARK-41349] [SC-117594][connect][12.X] implémenter DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Résoudre les références externes et les colonnes normales dans le même lot d’analyseurs
• [SPARK-41436] [SC-117805][connect][PYTHON] Implémenter des fonctions collection : A~C
• [SPARK-41445] [SC-117802][connect] Implémenter DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char doit retourner null lorsque le format est Null
• [SPARK-41444] [SC-117796][connect] Prise en charge de read.json()
• [SPARK-41398] [SC-117508][sql] Assouplir les contraintes sur Storage-Partitioned Join lorsque les clés de partition après le filtrage de l’exécution ne correspondent pas
• [SPARK-41228] [SC-117169][sql] Renommer & Améliorer le message d’erreur pour COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implémenter des fonctions count_distinct et sum_distinct
• [SPARK-41433] [SC-117596][connect] Rendre BatchSize e flèche maximale configurable
• [SPARK-41397] [SC-117590][connect][PYTHON] Implémenter une partie des fonctions string/binary
• [SPARK-41382] [SC-117588][connect][PYTHON] Implémenter la fonction product
• [SPARK-41403] [SC-117595][connect][PYTHON] Implémenter DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() doit être compatible
• [SPARK-41369] [SC-117584][connect] Ajouter une connexion commune au fichier jar ombré des serveurs
• [SPARK-41411] [SC-117562][ss] Correctif de bogue de prise en charge de l’opérateur multi-état
• [SPARK-41176] [SC-116630][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implémenter des fonctions d’agrégation
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implémenter des fonctions normales
• [SPARK-41305] [SC-117411][connect] Amélioration de la documentation pour le proto de commande
• [SPARK-41372] [SC-117427][connect][PYTHON] Implémenter DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Fournir une session Spark clonée dans DataFrame dans la fonction utilisateur pour le récepteur foreachBatch dans PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Renommer CAST_WITH_FUN_SUGGESTION en CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refactoriser ColumnVectorUtils#populate méthode pour utiliser PhysicalDataType au lieu de DataType
• [SPARK-41355] [SC-117423][sql] Contrôle du problème de validation de nom de table hive
• [SPARK-41390] [SC-117429][sql] Mettez à jour le script utilisé pour générer register fonction dans UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_1233 en COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implémenter des fonctions mathématiques
• [SPARK-40970] [SC-117308][connect][PYTHON] Liste de support[Colonne] pour l’argument join
• [SPARK-41345] [SC-117178][connect] Ajouter un indicateur pour connecter Proto
• [SPARK-41226] [SC-117194][sql][12.x] Refactoriser les types Spark en introduisant des types physiques
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Ajouter une prise en charge de base pour DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Ajout du cast au proto d’expression
• [SPARK-41323] [SC-117128][sql] Prise en charge de current_schema
• [SPARK-41339] [SC-117171][sql] Fermer et recréer le lot d’écriture RocksDB au lieu de simplement effacer
• [SPARK-41227] [SC-117165][connect][PYTHON] Implémenter la jointure croisée DataFrame
• [SPARK-41346] [SC-117176][connect][PYTHON] Implémenter des fonctions asc et desc
• [SPARK-41343] [SC-117166][connect] Déplacer l’analyse FunctionName côté serveur
• [SPARK-41321] [SC-117163][connect] Prise en charge du champ cible pour UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Réutiliser la classe d’erreur UNSUPPORTED_DATATYPE pour _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Réutiliser INVALID_SCHEMA.NON_STRING_LITERAL au lieu de _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Optimiser l’utilisation du constructeur de StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Prise en charge de IsNull et IsNotNull dans la colonne
• [SPARK-41332] [SC-117131][connect][PYTHON] Correction de nullOrdering dans SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Correction d’avg() manquant pour GroupBy sur DF
• [SPARK-41327] [SC-117137][core] Correction de SparkStatusTracker.getExecutorInfos en changeant les informations On/OffHeapStorageMemory
• [SPARK-41315] [SC-117129][connect][PYTHON] Implémenter DataFrame.replace et DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Ajouter une API logique et de chaîne à la colonne
• [SPARK-41331] [SC-117127][connect][PYTHON] Ajouter orderBy et drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal doit s’assurer que le verrou est déverrouillé correctement
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Refactoriser « Column » pour la compatibilité des API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implémenter DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Ajouter la classe d’erreur INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Réutiliser INVALID_SCHEMA au lieu de _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Convertir des instances NumPy en types primitifs Python dans la mise à jour de GroupState
• [SPARK-41174] [SC-116609][core][SQL] Propager une classe d’erreur aux utilisateurs pour format sur to_binary() non valide(s)
• [SPARK-41264] [SC-116971][connect][PYTHON] Prise en charge d’autres types de données par le littéral
• [SPARK-41326] [SC-116972] [CONNECT] Correction de l’entrée manquante de déduplication
• [SPARK-41316] [SC-116900][sql] Activer la récursivité de la fin dans la mesure du possible
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Prise en charge des expressions de chaîne dans le filtre.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implémenter DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrer les erreurs d’options de mappage vers les classes d’erreur
• [SPARK-40940] [SC-115993][12.x] Supprimer les vérificateurs d’opérateurs multi-états pour les requêtes de streaming.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implémenter DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti ne met pas à jour numOutputRows lorsque codegen est désactivé
• [SPARK-41148] [SC-116878][connect][PYTHON] Implémenter DataFrame.dropna et DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Ajouter la classe d’erreur FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Améliorer DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Homogénéiser le comportement pour SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Amélioration de la documentation proto d’expression connect
• [SPARK-41280] [SC-116733][connect] Implémenter DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Le schéma non défini est interprété comme un schéma
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Renommer RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas ne doit pas retourner le DataFrame Pandas facultatif
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain doit imprimer et renvoyer Aucun
• [SPARK-41278] [SC-116732][connect] Supprimer l'attribut QualifiedAttribute inutilisé dans Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Supprimer la conversion redondante des collections basée sur le code Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Correction du problème pour applyInPandasWithState lorsque les colonnes de clés de regroupement ne sont pas placées dans l’ordre depuis le tout premier
• [SPARK-40872] [SC-116717][3.3] Revenir au bloc de shuffle d'origine lorsque un segment de shuffle fusionné par push est de taille nulle
• [SPARK-41114] [SC-116628][connect] Prise en charge des données locales pour LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implémenter DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Prise en charge d’autres types de données intégrés
• [SPARK-41230] [SC-116674][connect][PYTHON] Supprimer str du type d’expression Aggregate
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Implémentation optimisée de collecte basée sur Arrow pour le streaming du serveur vers le client
• [SPARK-41222] [SC-116625][connect][PYTHON] Unifier les définitions de saisie
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Désactiver les fonctions non prises en charge.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implémenter DataFrame.SelectExpr dans le client Python
• [SPARK-41203] [SC-116258] [CONNECT] Prise en charge de Dataframe.tansform dans le client Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implémenter DataFrame.__repr__ et DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implémenter DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migrer l’erreur ref ambiguë vers une classe d’erreur
• [SPARK-41122] [SC-116141][connect] L'API Explain peut prendre en charge différents modes
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Améliorer l’inférence de type PySpark dans _merge_type méthode
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogénéiser la version protobuf sur le serveur Spark Connect pour utiliser la même version principale.
• [SPARK-35531] [SC-116409][sql] Mettre à jour les statistiques de table hive sans convertir inutilement
• [SPARK-41154] [SC-116289][sql] Mise en cache incorrecte des relations pour les requêtes avec spécifications de voyage dans le temps
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implémenter DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Renommer UNSUPPORTED_EMPTY_LOCATION en INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Ajouter une API d’extension pour planifier la normalisation de la mise en cache
• [SPARK-41054] [SC-116447][ui][CORE] Support RocksDB en tant que KVStore dans l’interface utilisateur dynamique
• [SPARK-38550] [SC-115223]Rétablir « [SQL][core] Utiliser un magasin basé sur un disque pour enregistrer plus d’informations de débogage pour l’interface utilisateur en direct »
• [SPARK-41173] [SC-116185][sql] Déplacer require() en dehors des constructeurs d’expressions de chaîne
• [SPARK-41188] [SC-116242][core][ML] Définir executorEnv OMP_NUM_THREADS pour qu'il soit égal à spark.task.cpus par défaut pour les processus JVM de l'exécuteur Spark
• [SPARK-41130] [SC-116155][sql] Renommer OUT_OF_DECIMAL_TYPE_RANGE en NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Réduire la conversion de collection lors de la création d’AttributeMap
• [SPARK-41139] [SC-115983][sql] Améliorer la classe d’erreur : PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Exiger l’ombrage pour le fichier jar de classe Java, améliorer la gestion des erreurs
• [SPARK-40999] [SC-116168] Propagation d’indicateurs vers des sous-requêtes
• [SPARK-41017] [SC-116054][sql] Prise en charge de l’élagage de colonnes avec plusieurs filtres non déterministes
• [SPARK-40834] [SC-114773][sql] Utiliser SparkListenerSQLExecutionEnd pour suivre l’état SQL final dans l’interface utilisateur
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number doit retourner null lorsque le format est null
• [SPARK-39799] [SC-115984][sql] DataSourceV2 : Afficher l’interface du catalogue
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Éviter l’incorporation de Spark Connect dans la version binaire Apache Spark
• [SPARK-41048] [SC-116043][sql] Améliorer le partitionnement et l’ordre de sortie avec le cache AQE
• [SPARK-41198] [SC-116256][ss] Corriger les métriques dans la requête de diffusion en continu ayant la source de diffusion en continu CTE et DSv1
• [SPARK-41199] [SC-116244][ss] Résoudre le problème des métriques lorsque la source de diffusion en continu DSv1 et la source de streaming DSv2 sont co-utilisées
• [SPARK-40957] [SC-116261][sc-114706] Ajouter un cache de mémoire dans HDFSMetadataLog
• [SPARK-40940] Rétablir « [SC-115993] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de diffusion en continu ».
• [SPARK-41090] [SC-116040][sql] Lever une exception pour db_name.view_name lors de la création d’une vue temporaire par l’API dataset
• [SPARK-41133] [SC-116085][sql] Intégrer UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION dans NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Coder 9 validations de sauvegarde
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect construit en tant que plug-in de pilote avec des dépendances masquées
• [SPARK-41096] [SC-115812][sql] Prise en charge de la lecture du type FIXED_LEN_BYTE_ARRAY Parquet
• [SPARK-41140] [SC-115879][sql] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_2440 en INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Incompatibilité entre FileSourceScanExec et Orc et ParquetFileFormat sur la production de sortie en colonnes
• [SPARK-41155] [SC-115991][sql] Ajouter un message d’erreur à SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de diffusion en continu.
• [SPARK-41098] [SC-115790][sql] Renommer GROUP_BY_POS_REFERS_AGG_EXPR en GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Migrer les échecs de vérification de type de la mise en forme des nombres vers des classes d’erreur
• [SPARK-41059] [SC-115658][sql] Renommer _LEGACY_ERROR_TEMP_2420 en NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Convertir DATATYPE_MISMATCH. UNSPECIFIED_FRAME à INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Renommer _LEGACY_ERROR_TEMP_0055 en UNCLOSED_BRACKETED_COMMENT

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.1.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.5 LTS
• Java : Zulu 8.64.0.19-CA-linux64
• Scala : 2.12.14
• Python : 3.9.5
• R : 4.2.2
• Delta Lake : 2.2.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de la capture du Microsoft CRAN datée du 11 novembre 2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)