Partager via

Databricks Runtime 12.2 LTS

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.2 LTS, propulsé par Apache Spark 3.3.2.

Databricks a publié cette version en mars 2023.

Remarque

LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez Cycle de vie de la version de Databricks Runtime LTS.

Conseil

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin du support (EoS), consultez Fin de support des notes de publication des versions de Databricks Runtime. Les versions EoS de Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.

Modifications de comportement

[Changement cassant] La nouvelle version de Python nécessite la mise à jour des clients Python Databricks Connect V1

Remarque

Une mise à jour ultérieure déplace la version python dans Databricks Runtime 12.2 LTS vers la version 3.9.21. La version 3.9.21 n’introduit aucune modification comportementale.

Pour appliquer les correctifs de sécurité requis, la version Python dans Databricks Runtime 12.2 LTS est mise à niveau de 3.9.5 à 3.9.19. Étant donné que ces modifications peuvent entraîner des erreurs dans les clients qui utilisent des fonctions PySpark spécifiques, tous les clients qui utilisent Databricks Connect V1 pour Python avec Databricks Runtime 12.2 LTS doivent être mis à jour vers Python 3.9.7 ou version ultérieure.

Améliorations et nouvelles fonctionnalités

Python mis à niveau de 3.9.19 à 3.9.21

La version Python dans Databricks Runtime 12.2 LTS est mise à jour de 3.9.19 à 3.9.21.

L’évolution du schéma Delta Lake prend en charge la spécification de colonnes sources dans les instructions de fusion

Vous pouvez maintenant spécifier des colonnes présentes uniquement dans la table source dans les actions d’insertion ou de mise à jour pour les instructions de fusion lorsque l’évolution du schéma est activée. Dans Databricks Runtime 12.1 et ci-dessous, seules INSERT * ou UPDATE SET * actions peuvent être utilisées pour l’évolution du schéma avec fusion. Consultez Évolution automatique du schéma pour la fusion Delta Lake.

Les charges de travail Structured Streaming sont prises en charge sur les clusters avec mode d’accès partagé

Vous pouvez désormais utiliser Structured Streaming pour interagir avec Unity Catalog sur des ressources de calcul grâce au mode d'accès standard. Certaines limitations s’appliquent. Voir quelles fonctionnalités de Structured Streaming sont prises en charge par le catalogue Unity ?

Nouvelles fonctionnalités pour les E/S prédictives

La prise en charge de Photon pour le récepteur Foreachbatch est désormais disponible. Les charges de travail qui diffusent à partir d’une source et fusionnent dans des tables Delta ou écrivent dans plusieurs récepteurs peuvent désormais tirer parti du récepteur Photonized Foreachbatch .

Prise en charge implicite de l'alias pour les colonnes latérales

Azure Databricks prend désormais en charge l’alias de colonne latérale implicite par défaut. Vous pouvez maintenant réutiliser une expression spécifiée précédemment dans la même SELECT liste. Par exemple, étant donné SELECT 1 AS a, a + 1 AS b, le a dans a + 1 peut être résolu comme le 1 AS a défini précédemment. Pour plus d’informations sur l’ordre de résolution, consultez Résolution de noms. Pour désactiver cette fonctionnalité, vous pouvez définir spark.sql.lateralColumnAlias.enableImplicitResolution sur false.

Nouvelle fonctionnalité forEachBatch

Photon est désormais pris en charge lors de l’utilisation de foreachBatch pour écrire dans un récepteur de données.

Options de connexion standardisées pour la fédération des requêtes

Vous pouvez désormais utiliser un ensemble unifié d’options (hôte, port, base de données, utilisateur, mot de passe) pour vous connecter aux sources de données prises en charge dans la fédération de requêtes. Port est facultatif et utilise le numéro de port par défaut pour chaque source de données, sauf s’il est spécifié.

Bibliothèque de fonctions SQL étendue pour la gestion des tableaux

Vous pouvez maintenant supprimer tous les éléments NULL d’un tableau à l’aide de array_compact. Pour ajouter des éléments à un tableau, utilisez array_append.

Nouvelle fonction de masque pour anonymiser les chaînes

Appelez la fonction mask pour anonymiser les valeurs de chaîne sensibles.

Les conditions d’erreur courantes retournent maintenant des SQLSTATE

La plupart des conditions d’erreur de Databricks Runtime incluent désormais des valeurs SQLSTATE documentées qui peuvent être utilisées pour tester les erreurs de manière conforme au standard SQL.

Appeler les fonctions de génération dans la clause FROM

Vous pouvez maintenant appeler des fonctions génératrices de tables telles que explode dans la clause normale FROM d’une requête. Cela aligne l’appel de fonction de générateur avec d’autres fonctions de table intégrées et définies par l’utilisateur.

La prise en charge des mémoires tampons de protocole est généralement disponible

Vous pouvez utiliser les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Tampons de protocole de lecture et d’écriture.

Atteindre la définition pour les variables et fonctions de notebook

Dans les notebooks, vous pouvez rapidement accéder à la définition d’une variable, d’une fonction ou du code derrière une instruction %run en cliquant avec le bouton droit sur le nom de la variable ou de la fonction.

Correctif rapide du Notebook pour l’importation automatique de bibliothèques

Les Databricks Notebooks offrent désormais une fonction de correction rapide pour l'importation automatique de bibliothèques. Si vous oubliez d’importer une bibliothèque comme pandas, pointez sur l’avertissement de syntaxe souligné, puis cliquez sur correctif rapide, cette fonctionnalité nécessite que l’Assistant Databricks soit activé dans votre espace de travail.

Résolution des bogues

  • Amélioration de la cohérence pour le comportement de validation Delta pour les transactions vides relatives aux commandes update, delete et merge. Au niveau d’isolation WriteSerializable, les commandes qui n’entraînent aucune modification créent désormais une validation vide. Au niveau d’isolation Serializable, de telles transactions vides ne créent plus de validation.

Changements de comportement

Changements de comportement avec la nouvelle fonctionnalité d’alias de colonne latérale

La nouvelle fonctionnalité d’alias de colonne latérale introduit des modifications de comportement pour les cas suivants lors de la résolution de noms :

  • L’alias de colonne latérale est désormais prioritaire sur les références corrélées portant le même nom. Par exemple, pour cette requête SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), le contenu interne c1 a été résolu en référence corrélée c1 AS c2, mais passe maintenant à l'alias de colonne latérale t.c1. La requête retourne maintenant NULL.
  • L’alias de colonne latérale est désormais prioritaire sur les paramètres de fonction portant le même nom. Par exemple, pour la fonction CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, le x dans le corps de la fonction a été identifié comme le paramètre de fonction x, mais il est modifié pour l’alias de colonne latérale x + 1 dans le corps de la fonction. La requête SELECT * FROM func(1) retourne maintenant 2, 2.
  • Pour désactiver la fonctionnalité d’alias de colonne latérale, définissez spark.sql.lateralColumnAlias.enableImplicitResolution sur false. Pour plus d'informations, consultez Résolution de noms.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • filelock de 3.8.2 à 3.9.0
    • joblib de 1.1.0 à 1.1.1
    • platformdirs de 2.6.0 à 2.6.2
    • whatthepatch de 1.0.3 à 1.0.4
  • Bibliothèques R mises à niveau :
    • class de 7.3-20 à 7.3-21
    • codetools de 0.2-18 à 0.2-19
    • MASS de 7.3-58 à 7.3-58.2
    • nlme de 3.1-160 à 3.1-162
    • Rserve de 1.8-11 à 1.8-12
    • SparkR de 3.3.1 à 3.3.2

Changements de comportement

  • Les utilisateurs sont maintenant tenus d’avoir SELECT et MODIFY de privilèges sur n’importe quel fichier lors de la création d’un schéma avec un emplacement défini.

Apache Spark

Databricks Runtime 12.2 inclut Apache Spark 3.3.2. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 12.1 (EoS), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-42416] [SC-123205][sc-122851][SQL] Les opérations Dateset ne doivent pas résoudre à nouveau le plan logique analysé
  • [SPARK-41848] Rétablir « [CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Correction de la tâche sur-planifiée avec TaskResourceProfile »
  • [SPARK-42162] [SC-122711][es-556261] Introduire l’expression MultiCommutativeOp comme optimisation de la mémoire pour canoniser de grandes arborescences d’expressions commutatives
  • [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Correction du paramètre de profondeur récursive pour les fonctions Protobuf
  • [SPARK-42002] [SC-122476][connect][PYTHON] Implémenter DataFrameWriterV2
  • [SPARK-41716] [SC-122545][connect] Renommer _catalog_to_pandas en _execute_and_fetch dans Catalog
  • [SPARK-41490] [SC-121774][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implémenter Catalog.cacheTable(), isCached() et uncache()
  • [SPARK-42191] [SC-121990][sql] Support udf 'luhn_check'
  • [SPARK-42253] [SC-121976][python] Ajouter un test pour détecter la classe d’erreur dupliquée
  • [SPARK-42268] [SC-122251][connect][PYTHON] Ajouter UserDefinedType dans les protos
  • [SPARK-42231] [SC-121841][sql] Transformer MISSING_STATIC_PARTITION_COLUMN en internalError
  • [SPARK-42136] [SC-122554] Refactoriser le calcul de partitionnement de la sortie BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][sql] Intégrer _LEGACY_ERROR_TEMP_1003 à FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][sc-121820][PYTHON] Migrer l'erreur de type de pyspark/sql/dataframe.py vers PySparkTypeError
  • [SPARK-35240] Rétablir “[SC-118242][ss] Utiliser CheckpointFileManager …"
  • [SPARK-41488] [SC-121858][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_1176 (et 1177)
  • [SPARK-42232] [SC-122267][sql] Renommer la classe d’erreur : UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][sql] Réécrire des agrégats distincts après la fusion de sous-requête
  • [SPARK-42306] [SC-122539][sql] Intégrer _LEGACY_ERROR_TEMP_1317 à UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][sql] Renommer la classe d’erreur : UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] Ignorer IOException dans handleBlockRemovalFailure si SparkContext est arrêté
  • [SPARK-41295] [SC-122442][spark-41296][SQL] Renommer les classes d’erreur
  • [SPARK-42320] [SC-122478][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][connect] SparkConnectClient prend désormais en charge RetryPolicies
  • [SPARK-38728] [SC-116723][sql] Testez la classe d’erreur : FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Exemples autonomes dans PySpark
  • [SPARK-39347] [SC-122457][ss] Correction de bug pour le calcul de la fenêtre temporelle lorsque le temps de l'événement < 0
  • [SPARK-42336] [SC-122458][core] Utiliser getOrElse() au lieu de contains() dans ResourceAllocator
  • [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF dans Spark Connect
  • [SPARK-42217] [SC-122263][sql] Prise en charge de l'alias de colonne latérale implicite dans les requêtes avec Window
  • [SPARK-35240] [SC-118242][ss] Utiliser CheckpointFileManager pour la manipulation des fichiers de point de contrôle
  • [SPARK-42294] [SC-122337][sql] Inclure les valeurs par défaut de colonne dans la sortie DESCRIBE pour les tables V2
  • [SPARK-41979] Rétablir « Rétablir « [12.x][sc-121190][SQL] Ajouter des points manquants pour les messages d’erreur dans les classes d’erreur ».
  • [SPARK-42286] [SC-122336][sql] Revenir au chemin de génération de code précédent pour une expression complexe avec CAST
  • [SPARK-42275] [SC-122249][connect][PYTHON] Évitez d’utiliser la liste et le dictionnaire intégrés en saisie statique
  • [SPARK-41985] [SC-122172][sql] Centraliser d’autres règles de résolution de colonnes
  • [SPARK-42126] [SC-122330][python][CONNECT] Accepter le type de retour dans les chaînes DDL pour les UDF Scalaires Python dans Spark Connect
  • [SPARK-42197] [SC-122328][sc-121514][CONNECT] Réutilise l’initialisation JVM et sépare les groupes de configuration à définir en mode local distant
  • [SPARK-41575] [SC-120118][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Rétablir « [SC-122172][sql] Centraliser d’autres règles de résolution de colonnes »
  • [SPARK-42123] [SC-122234][sc-121453][SQL] Inclure les valeurs par défaut de colonne dans DESCRIBE et SHOW CREATE TABLE la sortie
  • [SPARK-41985] [SC-122172][sql] Centraliser d’autres règles de résolution de colonnes
  • [SPARK-42284] [SC-122233][connect] Vérifiez que l’assembly de serveur de connexion est généré avant d’exécuter des tests clients - SBT
  • [SPARK-42239] [SC-121790][sql] Intégrer MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][sql] DS V2 pushdown prend en charge les dialectes JDBC compilés SortOrder par eux-mêmes
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics doit prendre en charge Python UDAF
  • [SPARK-41979] Revenir sur « [12.x][sc-121190][SQL] Ajouter des points manquants pour les messages d’erreur dans les classes d’erreur ».
  • [SPARK-42224] [12.x][sc-121708][CONNECT] Migrer TypeError dans l’infrastructure d’erreur pour les fonctions Spark Connect
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migrer les erreurs Spark Connect dans l’infrastructure d’erreurs PySpark.
  • [SPARK-42119] [SC-121913][sc-121342][SQL] Ajouter des fonctions valeur-table intégrées inline et inline_outer
  • [SPARK-41489] [SC-121713][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Introduction de PySparkValueError et PySparkTypeError
  • [SPARK-42081] [SC-121723][sql] Améliorer la validation des modifications de plan
  • [SPARK-42225] [12.x][sc-121714][CONNECT] Ajouter SparkConnectIllegalArgumentException pour gérer précisément l’erreur Spark Connect.
  • [SPARK-42044] [12.x][sc-121280][SQL] Correction du message d’erreur incorrect pour MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][sc-121712][PS] Autoriser le paramètre de colonnes lors de la création d’un DataFrame avec la série.
  • [SPARK-42078] [12.x][sc-120761][PYTHON] Migrer les erreurs levées par JVM dans PySparkException.
  • [SPARK-42133] [12.x][sc-121250] Ajouter des méthodes d’API de jeu de données de base au client Scala SparkConnect
  • [SPARK-41979] [12.x][sc-121190][SQL] Ajouter des points manquants pour les messages d’erreur dans les classes d’erreur.
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] UDF scalaire Python en ligne dans Spark Connect
  • [SPARK-42051] [SC-121994][sql] Prise en charge de Codegen pour HiveGenericUDF
  • [SPARK-42257] [SC-121948][core] Supprimer le trieur externe de variable inutilisée
  • [SPARK-41735] [SC-121771][sql] Utiliser MINIMAL au lieu de STANDARD pour SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][sql] Affiner NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] Améliorer le message d’erreur pour PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][core] Migrer SparkCoreErrors vers des classes d’erreur
  • [SPARK-42163] [SC-121839][sql] Correction de la taille du schéma pour l’index de tableau non pliable ou la clé de carte
  • [SPARK-40711] [SC-119990][sql] Ajouter des métriques de taille de déversement pour la fenêtre
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Permettre à createDataFrame de prendre en charge la coercition AtomicType -> StringType
  • [SPARK-42202] [SC-121837][connect][Test] Améliorer la logique d’arrêt du serveur de test E2E
  • [SPARK-41167] [SC-117425][sql] Améliorer la performance des expressions LIKE multiples en créant un prédicat d'arborescence d'expressions équilibré
  • [SPARK-41931] [SC-121618][sql] Meilleur message d’erreur pour la définition de type complexe incomplète
  • [SPARK-36124] [SC-121339][sc-110446][SQL] Prise en charge des sous-requêtes avec corrélation via UNION
  • [SPARK-42090] [SC-121290][3.3] Introduire le nombre de nouvelles tentatives sasl dans RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR doit fournir un planificateur FAIR
  • [SPARK-41572] [SC-120772][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][sql] Renommer et améliorer le message d’erreur pour NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][sql] Améliorer le message d’erreur pour INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][sc-120573] Affecter SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Nouvelles tentatives de requête SASL
  • [SPARK-38591] [SC-121018][sql] Ajouter flatMapSortedGroups et cogroupSorted
  • [SPARK-41975] [SC-120767][sql] Améliorer le message d’erreur pour INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][sql][PROTOBUF] Ajouter des options manquantes pour les fonctions Protobuf
  • [SPARK-41984] [SC-120769][sql] Renommer et améliorer le message d’erreur pour RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][sql] Correction de NPE pour les classes d’erreur : CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][connect][PYTHON] Correction du nom de colonne incorrect dans le doctest de withField
  • [SPARK-41283] [SC-121175][connect][PYTHON] Ajouter array_append à la connexion
  • [SPARK-41960] [SC-120773][sql] Attribuer un nom à _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][sql] Fix getPartitionFiltersAndDataFilters() pour gérer les filtres sans attributs référencés
  • [SPARK-42096] [SC-121012][connect] Un nettoyage de code pour connect module
  • [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Corriger count(*) et count(col(*))
  • [SPARK-42045] [SC-120958][sc-120450][SQL] mode SQL ANSI : Round/Bround doit retourner une erreur en cas de dépassement d’entier
  • [SPARK-42043] [SC-120968][connect] Résultat du client Scala avec des tests E2E
  • [SPARK-41884] [SC-121022][connect] Support du tuple simple comme ligne imbriquée
  • [SPARK-42112] [SC-121011][sql][SS] Ajouter une vérification null avant ContinuousWriteRDD#compute la fermeture de la fonction dataWriter
  • [SPARK-42077] [SC-120553][connect][PYTHON] Littéral doit lever TypeError pour dataType non pris en charge
  • [SPARK-42108] [SC-120898][sql] Transformer l’analyseur Count(*) en Count(1)
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] Prend en charge SQL paramétré par sql()
  • [SPARK-40599] [SC-120930][sql] Assouplir le type de règle multiTransform pour permettre aux alternatives d'être de n'importe quel type de Seq
  • [SPARK-41574] [SC-120771][sql] Mettre à jour _LEGACY_ERROR_TEMP_2009 comme INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][sql] Transformer INCORRECT_END_OFFSET en INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][sc-118513][CORE] Renommer MedianHeap en PercentileMap et prendre en charge les percentiles
  • [SPARK-41757] [SC-120608][spark-41901][CONNECT] Correction de la représentation sous forme de chaîne pour la classe Column
  • [SPARK-42084] [SC-120775][sql] Éviter la divulgation de la restriction d'accès uniquement qualifié
  • [SPARK-41973] [SC-120765][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][sql] SPJ : Remove Option in KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][connect][PYTHON] Renommer les messages de protocole pour toDF et withColumnsRenamed
  • [SPARK-42089] [SC-120605][connect][PYTHON] Corriger les problèmes de nom de variable dans les fonctions lambda imbriquées
  • [SPARK-41982] [SC-120604][sql] Les partitions de type chaîne ne doivent pas être traitées comme des types numériques
  • [SPARK-40599] [SC-120620][sql] Ajouter des méthodes multitransformes à TreeNode pour générer des alternatives
  • [SPARK-42085] [SC-120556][connect][PYTHON] Prendre en charge from_arrow_schema les types imbriqués
  • [SPARK-42057] [SC-120507][sql][PROTOBUF] Correction de la façon dont l’exception est gérée dans le rapport d’erreurs.
  • [SPARK-41586] [12.x][tous les tests][SC-120544][python] Introduction pyspark.errors et classes d’erreur pour PySpark.
  • [SPARK-41903] [SC-120543][connect][PYTHON] Literal doit prendre en charge un tableau de 1 dimension
  • [SPARK-42021] [SC-120584][connect][PYTHON] Prendre createDataFrame en charge array.array
  • [SPARK-41896] [SC-120506][sql] Filtrage par index de ligne retourne des résultats vides
  • [SPARK-41162] [SC-119742][sql] Correction de la jointure anti- et de la jointure semi- pour l'auto-jointure avec des agrégations
  • [SPARK-41961] [SC-120501][sql] Prise en charge des fonctions à valeurs de table avec la clause LATERAL
  • [SPARK-41752] [SC-120550][sql][UI] Regrouper les exécutions imbriquées sous l’exécution racine
  • [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Le littéral doit prendre en charge les types de données Numpy
  • [SPARK-42028] [SC-120344][connect][PYTHON] Tronquer les horodatages en nanosecondes
  • [SPARK-42011] [SC-120534][connect][PYTHON] Implémenter DataFrameReader.csv
  • [SPARK-41990] [SC-120532][sql] Utiliser FieldReference.column au lieu de apply dans la conversion de filtres de V1 à V2
  • [SPARK-39217] [SC-120446][sql] Rend le côté de l'élagage de DPP compatible avec Union
  • [SPARK-42076] [SC-120551][connect][PYTHON] Externalisation de la conversion des données arrow -> rows vers conversion.py
  • [SPARK-42074] [SC-120540][sql] Activer KryoSerializer dans TPCDSQueryBenchmark pour appliquer l'inscription des classes SQL
  • [SPARK-42012] [SC-120517][connect][PYTHON] Implémenter DataFrameReader.orc
  • [SPARK-41832] [SC-120513][connect][PYTHON] Corriger DataFrame.unionByName, ajouter allow_missing_columns
  • [SPARK-38651] [SC-120514][SQL] Ajouter spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert doit accepter ExpressionProxy comme enfant
  • [SPARK-41232] [SC-120073][sql][PYTHON] Ajout de array_append fonction
  • [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader doit prendre en charge la liste des chemins d’accès
  • [SPARK-42071] [SC-120533][core] S’inscrire scala.math.Ordering$Reverse à KyroSerializer
  • [SPARK-41986] [SC-120429][sql] Introduire le shuffle sur SinglePartition
  • [SPARK-42016] [SC-120428][connect][PYTHON] Activer les tests liés à la colonne imbriquée
  • [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader doit prendre en charge le schéma StructType
  • [SPARK-42031] [SC-120389][core][SQL] Nettoyer remove les méthodes qui n’ont pas besoin d'être remplacées
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Permettre createDataFrame(rows/lists/tuples/dicts) de prendre en charge les types imbriqués
  • [SPARK-41437] [SC-117601][sql][ALL TESTS] Ne pas optimiser deux fois la requête d'entrée pour le retour en arrière d'écriture v1
  • [SPARK-41840] [SC-119719][connect][PYTHON] Ajouter l’alias manquant groupby
  • [SPARK-41846] [SC-119717][connect][PYTHON] Activer doctests pour les fonctions de fenêtre
  • [SPARK-41914] [SC-120094][sql] FileFormatWriter matérialise le plan AQE avant d’accéder à outputOrdering
  • [SPARK-41805] [SC-119992][sql] Réutiliser des expressions dans WindowSpecDefinition
  • [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range pour accepter des nombres flottants en tant qu’arguments
  • [SPARK-42029] [SC-120336][connect] Ajouter des règles de shading Guava pour connect-common éviter un échec au démarrage
  • [SPARK-41989] [SC-120334][python] Éviter de rompre la configuration de journalisation à partir de pyspark.pandas
  • [SPARK-42003] [SC-120331][sql] Réduire le code dupliqué dans ResolveGroupByAll
  • [SPARK-41635] [SC-120313][sql] Correction du groupe par tous les rapports d’erreurs
  • [SPARK-41047] [SC-120291][sql] Améliorer la documentation pour la fonction d'arrondi
  • [SPARK-41822] [SC-120122][connect] Configurer la connexion gRPC pour le client Scala/JVM
  • [SPARK-41879] [SC-120264][connect][PYTHON] Permettre à DataFrame.collect de prendre en charge les types imbriqués
  • [SPARK-41887] [SC-120268][connect][PYTHON] Rendre DataFrame.hint accepter un paramètre typé liste
  • [SPARK-41964] [SC-120210][connect][PYTHON] Ajouter la liste des fonctions d’E/S non prises en charge
  • [SPARK-41595] [SC-120097][sql] Prise en charge de la fonction génératrice explode/explode_outer dans la clause FROM
  • [SPARK-41957] [SC-120121][connect][PYTHON] Activer le doctest pour DataFrame.hint
  • [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect la sortie doctest a un ordre différent
  • [SPARK-41442] [SC-117795][sql][ALL TESTS] Mettez à jour uniquement la valeur SQLMetric si vous fusionnez avec une métrique valide
  • [SPARK-41944] [SC-120046][connect] Transmettre les configurations lorsque le mode local distant est activé
  • [SPARK-41708] [SC-119838][sql] Extraire les informations v1write vers WriteFiles
  • [SPARK-41780] [SC-120000][sql] Doit lever INVALID_PARAMETER_VALUE. PATTERN lorsque les paramètres ne sont pas valides regexp
  • [SPARK-41889] [SC-119975][sql] Associer la cause racine à invalidPatternError et refactoriser les classes d’erreur INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][sql] Rendre des classes de cas AvroScanBuilder et JsonScanBuilder
  • [SPARK-41945] [SC-120010][connect][PYTHON] Python : connecter les données de colonne perdues par le client avec pyarrow. Table.to_pylist
  • [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Encodeurs agnostiques
  • [SPARK-41354] [SC-119995][connect][PYTHON] Implémenter RepartitionByExpression
  • [SPARK-41581] [SC-119997][sql] Update _LEGACY_ERROR_TEMP_1230 as INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][connect][PYTHON] Ajouter la liste des éléments non pris en charge pour functions
  • [SPARK-41933] [SC-119980][connect] Fournir le mode local qui démarre automatiquement le serveur
  • [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' doit respecter le schéma DDL fourni par l’utilisateur
  • [SPARK-41936] [SC-119978][connect][PYTHON] Permettre à withMetadata de réutiliser le protocole withColumns
  • [SPARK-41898] [SC-119931][connect][PYTHON] Parité de contrôle de type pour les paramètres Window.rowsBetween et Window.rangeBetween avec pyspark.
  • [SPARK-41939] [SC-119977][connect][PYTHON] Ajouter la liste des fonctions non prises en charge pour catalog
  • [SPARK-41924] [SC-119946][connect][PYTHON] Faire en sorte que StructType prenne en charge les métadonnées et implémente DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][connect][PYTHON] Ajouter la liste des fonctions non prises en charge pour session
  • [SPARK-41875] [SC-119969][connect][PYTHON] Ajouter des cas de test pour Dataset.to()
  • [SPARK-41824] [SC-119970][connect][PYTHON] Ignorer le test de documentation pour l'explication du connect
  • [SPARK-41880] [SC-119959][connect][PYTHON] Permettre à la fonction from_json d'accepter un schéma non littéral
  • [SPARK-41927] [SC-119952][connect][PYTHON] Ajouter la liste non prise en charge pour GroupedData
  • [SPARK-41929] [SC-119949][connect][PYTHON] Ajouter une fonction array_compact
  • [SPARK-41827] [SC-119841][connect][PYTHON] Permettre à GroupBy d'accepter une liste de colonnes
  • [SPARK-41925] [SC-119905][sql] Activer par défaut spark.sql.orc.enableNestedColumnVectorizedReader
  • [SPARK-41831] [SC-119853][connect][PYTHON] Rendre DataFrame.select capable d'accepter une liste de colonnes.
  • [SPARK-41455] [SC-119858][connect][PYTHON] Faire en sorte que DataFrame.collect supprime les informations du fuseau horaire
  • [SPARK-41923] [SC-119861][connect][PYTHON] Ajouter DataFrame.writeTo à la liste non prise en charge
  • [SPARK-41912] [SC-119837][sql] Sous-requête ne doit pas valider CTE
  • [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Ajouter la prise en charge des dataframes vides pour createDataFrame
  • [SPARK-41905] [SC-119848][connect] Nom de support sous forme de chaînes dans la tranche
  • [SPARK-41869] [SC-119845][connect] Rejeter une chaîne unique dans dropDuplicates
  • [SPARK-41830] [SC-119840][connect][PYTHON] Faire DataFrame.sample accepter les mêmes paramètres que PySpark
  • [SPARK-41849] [SC-119835][connect] Implémenter DataFrameReader.text
  • [SPARK-41861] [SC-119834][sql] Faire en sorte que la méthode build() des ScanBuilders de v2 renvoie un scan typé
  • [SPARK-41825] [SC-119710][connect][PYTHON] Activer les tests doctests liés à DataFrame.show
  • [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Faire en sorte que createDataFrame gère None/NaN correctement
  • [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Assurez-vous que DataFrame.collect gère correctement None/NaN/Array/Binary
  • [SPARK-39318] [SC-119713][sql] Supprimer les fichiers de référence tpch-plan-stability AvecStatistiques
  • [SPARK-41791] [SC-119745] Ajouter de nouveaux types de colonnes de métadonnées de source de fichier
  • [SPARK-41790] [SC-119729][sql] Définir le lecteur TRANSFORM et le format de l’enregistreur correctement
  • [SPARK-41829] [SC-119725][connect][PYTHON] Ajouter le paramètre de classement manquant dans Sort et sortWithinPartitions
  • [SPARK-41576] [SC-119718][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][connect][PYTHON] Correction du test de documentation pour DataFrame.describe
  • [SPARK-41871] [SC-119714][connect] Le paramètre d’indicateur DataFrame peut être str, float ou int
  • [SPARK-41720] [SC-119076][sql] Renommage de UnresolvedFunc en UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][sql] Attribuer le nom à _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][sql] Correction du bogue d’exactitude lié aux valeurs DEFAULT dans le lecteur Orc
  • [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Réutiliser INVALID_TYPED_LITERAL au lieu de _LEGACY_ERROR_TEMP_0022

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.2.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.5 LTS
    • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs Databricks Runtime s’exécutent sur les machines virtuelles du fournisseur cloud, qui peuvent utiliser une autre version Ubuntu ou distribution Linux.
  • Java  Zulu 8.68.0.21-CA-linux64
  • Scala : 2.12.15
  • Python: 3.9.21
  • R : 4.2.2
  • Delta Lake : 2.2.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
cfp2-cffi 21.3.0 cfc2-cffi-bindings 21.2.0 asttokens 2.0.5
attributs 21.4.0 appel de retour 0.2.0 backports.entry-points-selectable 1.2.0
bellesoupe4 4.11.1 noir 22.3.0 blanchir 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
cliquez 8.0.4 chiffrement 3.4.8 cycliste 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
décorateur 5.1.1 defusedxml 0.7.1 distlib 0.3.6
Conversion de docstring en markdown 0.11 points d’entrée 0,4 en cours d’exécution 0.8.3
aperçu des facettes 1.0.0 validation rapide des schémas JSON (fastjsonschema) 2.16.2 verrou de fichier 3.9.0
outils de police 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.2
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Mccabe 0.7.0 désaccorder 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
carnet de notes 6.4.8 numpy 1.21.5 empaquetage 21,3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
spécification de chemin 0.9.0 dupe 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Oreiller 9.0.1 pépin 21.2.4
platformdirs 2.6.2 tracé 5.6.0 enfiché 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requêtes 2.27.1 requests-unixsocket 0.2.0 corde 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy (bibliothèque Python pour le calcul scientifique) 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
Six 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.10
données en pile 0.2.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.2 ténacité 8.0.1
terminé 0.13.1 chemin de test 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornade 6.1
Traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
mises à niveau automatiques 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 c’est quoi le patch 1.0.4
roue 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022. L’instantané n’est plus disponible.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 10.0.0 Askpass 1.1 assertthat 0.2.1
rétroportage 1.4.1 base 4.2.2 base64enc 0.1-3
morceau 4.0.4 bit 64 4.0.5 objet BLOB 1.2.3
botte 1.3-28 brasser 1,0-8 brio 1.1.3
balai 1.0.1 bslib 0.4.1 cachemire 1.0.6
appelant 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-58 classe 7.3-21 Cli 3.4.1
Presse-papiers 0.8.0 horloge 0.6.1 Grappe 2.1.4
codetools 0.2-19 espace colorimétrique 2.0-3 commonmark 1.8.1
compilateur 4.2.2 Configuration 0.3.1 cpp11 0.4.3
pastel 1.5.2 Références 1.3.2 friser 4.3.3
data.table 1.14.4 jeux de données 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digérer 0.6.30 éclairage vers le bas 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipse 0.3.2 évaluer 0,18 fans 1.0.3
couleurs 2.1.1 carte rapide 1.1.0 fontawesome 0.4.0
condamnés 0.5.2 foreach 1.5.2 étranger 0.8-82
forger 0.2.0 Fs 1.5.2 futur 1.29.0
future.apply 1.10.0 se gargariser 1.2.1 produits génériques 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4-1-4 globales 0.16.1
colle 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 graphisme 4.2.2 grDevices 4.2.2
grille 4.2.2 gridExtra 2.3 gsubfn 0,7
gt ;pouvant être 0.3.1 casque de sécurité 1.2.0 havre 2.5.1
supérieur 0.9 Hms 1.1.2 outils HTML 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Id 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 itérateurs 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2,23-20 knitr 1.40
étiquetage 0.4.2 plus tard 1.3.0 treillis 0.20-45
lave 1.7.0 cycle de vie 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASSE 7.3-58.2 Matrice 1.5-1 mémorisation 2.0.1
méthodes 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modèleur 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallèle 4.2.2
parallèlement 1.32.1 pilier 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.7 éloge 1.0.0
joliesunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progrès 1.2.2
progresseur 0.11.0 promesses 1.2.0.1 proto 1.0.0
mandataire 0,4-27 p.s. 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest (algorithme d'apprentissage automatique) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recettes 1.0.3
match retour 1.0.1 revanche2 2.1.2 Télécommandes 2.4.2
exemple reproductible 2.0.2 remodeler2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 écailles 1.2.1
sélecteur 0,4-2 informations sur la session 1.2.2 forme 1.4.6
brillant 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 Cannelures 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.2.2
statistiques4 4.2.2 chaine 1.7.8 stringr 1.4.1
survie 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 mise en forme de texte 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 changement d'heure 0.1.1 date-heure 4021.106
tinytex 0.42 outils 4.2.2 tzdb 0.3.0
vérificateur d'URL 1.0.1 Utilise ça 2.1.6 utf8 1.2.2
utils 4.2.2 Identifiant unique universel (UUID) 1.1:0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
vibrisse 0,4 flétrir 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 fermeture éclair 2.2.2

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.12.189
com.amazonaws aws-java-sdk-millisecondes 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws Outil de support aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caféine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profileur 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Configuration 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-analyseurs 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-dbcp commons-dbcp 1.4
téléchargement de fichiers communs téléchargement de fichiers communs 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty Netty Transport Native Epoll pour Linux AArch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty transport-netty-natif-commun-unix 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine conserve 1,2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow vecteur-flèche 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons texte commun 1.10.0
org.apache.curator curateur-client 2.13.0
org.apache.curator curateur-framework 2.13.0
org.apache.curator curateur-recettes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.4
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Composant commun de hive-shims 2.3.9
org.apache.hive.shims programmeur de cales de hive 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy lierre 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet colonne de parquet 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet encodage parquet 1.12.3-databricks-0002
org.apache.parquet structures-de-format-parquet 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotations du public 0.13.0
org.apache.zookeeper gardien de zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.46.v20220331
org.eclipse.jetty serveur jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket serveur websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de conteneur jersey 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-commun 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validateator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Annotations 17.0.0
org.joda joda-convert 1.7
org.joddd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Cales 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark.spark inutilisé 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel chats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly.openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on