Partager via

Databricks Runtime 15.1 (EoS)

Note

La prise en charge de cette version de Databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour connaître toutes les versions de Databricks Runtime prises en charge, consultez les notes de versions et de compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 15.1 optimisé par Apache Spark 3.5.0.

Databricks a publié cette version en avril 2024.

Changements cassants

La prise en charge de Databricks Runtime 15.0 et de Databricks Runtime 15.0 for Machine Learning prendra fin le 31 mai 2024, car une mise à niveau de la bibliothèque pandas 1.5.3 vers 2.0.3 dans la version 15.0 a provoqué un changement non rétrocompatible dans plusieurs API Apache Spark. Pour plus d’informations sur les changements non rétrocompatibles, consultez La bibliothèque Python pandas repasse à la version 1.5.3. Pour résoudre cette incompatibilité, Databricks a publié Databricks Runtime 15.1 et Databricks Runtime 15.1 for Machine Learning. Les fonctionnalités prises en charge par ces versions sont les mêmes que celles des versions 15.0, mais pandas est repassé à la version 1.5.3.

Les clusters ou travaux qui utilisent les versions 15.0 de Databricks Runtime continueront de fonctionner, mais ne recevront aucune mise à jour de produit ni aucun correctif de sécurité. Vous ne pouvez plus configurer un nouveau calcul qui utilise Databricks Runtime 15.0 ou Databricks Runtime 15.0 ML dans l’interface utilisateur Databricks. Si vous n’utilisez pas de fonctionnalités ni d’API nécessitant pandas 2.0 ou versions ultérieures, Databricks vous recommande de basculer ces charges de travail vers Databricks Runtime 15.1.

Si vous utilisez des fonctionnalités ou des API disponibles uniquement dans pandas 2.0 ou versions ultérieures et que vous n’utilisez aucune fonction affectée par cette version, Databricks vous recommande de passer à Databricks Runtime 15.1 et de mettre à niveau le package pandas par défaut à l’aide des bibliothèques de cluster ou délimitées aux notebooks. Par exemple, pour mettre à niveau la bibliothèque pandas dans un notebook Databricks, utilisez la commande suivante :

%pip install pandas==2.0.3

La bibliothèque Python pandas repasse à la version 1.5.3

Dans cette version, la bibliothèque pandas passe de la version 2.0.3 à la version 1.5.3. Cette restauration d’une version antérieure était nécessaire, car des incompatibilités dans la version 2.0.3 de pandas provoquaient des erreurs dans certaines API pandas sur des fonctions Spark. Voici la liste des fonctions affectées par la version 2.0.3 de pandas :

  • pyspark.date_range : le paramètre closed est manquant, provoquant des erreurs lorsque cette fonction est appelée par du code existant.
  • La fonctionnalité de GroupBy avec des colonnes MultiIndex est modifiée, provoquant un comportement inattendu.
  • Certains attributs datetime de DatetimeIndex (par exemple day, month, year, etc.) renvoient des types de données int32 au lieu de types de données int64.

La fonction PySpark spark.sql() échoue désormais en raison de types d’arguments non valides

Dans Databricks Runtime 15.1 et versions ultérieures, le paramètre args pour les paramètres nommés ou positionnels transmis à la fonction spark.sql() doit être un dictionnaire ou une liste. Si un autre type d’objet est transmis, l’erreur suivante est générée : PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Le stockage des bibliothèques à la racine de DBFS est obsolète et désactivé par défaut.

Pour améliorer la sécurité des bibliothèques dans un espace de travail Azure Databricks, le stockage des fichiers de bibliothèque à la racine de DBFS est obsolète et désactivé par défaut dans Databricks Runtime 15.1 et les versions suivantes. Databricks recommande de charger toutes les bibliothèques, y compris les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans les fichiers de l’espace de travail, les volumes Unity Catalog, ou d’utiliser un référentiel de packages. Consultez Recommandations relatives au chargement des bibliothèques.

Pour réactiver le stockage des bibliothèques à la racine DBFS, définissez le paramètre de configuration Spark suivant : spark.databricks.driver.dbfsLibraryInstallationAllowed true.

La version Python par défaut est mise à niveau de la version 3.10 vers la version 3.11

Avec Databricks Runtime 15.1, la version Python par défaut est la version 3.11.0. Pour obtenir la liste des bibliothèques Python mises à niveau, consultez Mises à niveau des bibliothèques.

JDK 11 est supprimé.

Comme précédemment annoncé, JDK 11 est supprimé de Databricks Runtime 15.1 et versions ultérieures. Databricks recommande la mise à niveau vers JDK 17 lors de la mise à niveau vers Databricks Runtime 15.1 et versions ultérieures. Consultez le kit de développement logiciel (SDK) Databricks pour Java.

Le REPL Python se termine maintenant correctement.

Avec Databricks Runtime 15.1, le processus PYTHON REPL du notebook se termine normalement à la sortie. Ceci fait que les hooks atexit sont respectés. Par exemple, dans un workflow comportant plusieurs tâches de notebook Python, les hooks atexit inscrits dans la première tâche s’exécutent avant l’exécution de la deuxième tâche de notebook Python.

Améliorations et nouvelles fonctionnalités

La clause * (étoile) est désormais prise en charge dans la WHERE clause

Vous pouvez maintenant utiliser la clause étoile (*) dans la clause WHERE pour référencer toutes les colonnes de la liste SELECT. Par exemple : SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La configuration spark.sql.json.enablePartialResults est désormais activée par défaut.

La configuration Spark spark.sql.json.enablePartialResults est désormais activée par défaut, ce qui permet à l’analyseur JSON de gérer correctement les erreurs d’analyse pour les types complexes comme struct, map et array sans supprimer les champs restants. Cette modification résout un problème de cohérence pour les sources de données JSON avec le nettoyage des colonnes.

Les bibliothèques de cluster prennent désormais en charge les fichiers requirements.txt.

Vous pouvez désormais installer des bibliothèques de cluster en utilisant un fichier requirements.txt stocké dans un fichier d’espace de travail ou un volume Unity Catalog. Dans les clusters en mode d’accès Dédié et Standard , le requirements.txt fichier peut référencer d’autres fichiers. Dans les clusters en mode d’accès Aucune isolation partagée, seuls les packages PyPI sont pris en charge. Consultez les bibliothèques délimitées par le calcul.

L’interface CLI Databricks est désormais disponible dans le terminal web.

Vous pouvez désormais utiliser l’interface CLI Databricks à partir du terminal web dans le notebook. Le bloc-notes doit être attaché à un cluster en mode d’accès partagé dédié ou sans isolation . Pour plus d’informations, consultez Utiliser le terminal web et l’interface CLI Databricks.

Ajout de référentiels Python par défaut aux configurations de cluster

Dans Databricks Runtime 15.1 et ultérieur, vous pouvez configurer des paramètres globaux pip index-url et extra-index-url pour l’installation d’une bibliothèque au niveau du cluster et du notebook lors de la configuration d’un cluster ou de la définition d’une stratégie de cluster. Pour ce faire, définissez les variables d’environnement DATABRICKS_PIP_INDEX_URL et DATABRICKS_PIP_EXTRA_INDEX_URL.

Terminal web disponible sur les clusters standard

Dans Databricks Runtime 15.1 et versions ultérieures, vous pouvez utiliser un terminal web sur des clusters en mode d’accès Standard .

Le transfert d’informations d’identification et les contrôles d’accès aux tables du metastore Hive sont obsolètes

Le transfert des informations d’identification et les contrôles d’accès aux tables du metastore Hive sont des modèles de gouvernance des données hérités. Passez à Unity Catalog pour simplifier la sécurité et la gouvernance de vos données grâce à un point centralisé de gestion et d’audit de l’accès aux données sur plusieurs espaces de travail de votre compte. Consultez Qu’est-ce que Unity Catalog ?.

La prise en charge du transfert d’informations d’identification et des contrôles d’accès aux tables du metastore Hive sera supprimée dans une future version de DBR.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • black de la version 22.6.0 à la version 23.3.0
    • boto3 de 1.24.28 à 1.34.39
    • botocore de 1.27.96 à 1.34.39
    • certifi de 2022.12.7 à 2023.7.22
    • chiffrement de la version 39.0.1 à la version 41.0.3
    • databricks-sdk de la version 0.1.6 à la version 0.20.0
    • distlib de la version 0.3.7 vers la version 0.3.8
    • googleapis-common-protos de la version 1.62.0 à la version 1.63.0
    • grpcio de la version 1.48.2 vers la version 1.60.0
    • grpcio-status de la version 1.48.1 vers la version 1.60.0
    • importlib-metadata de la version 4.6.4 à la version 6.0.0
    • ipykernel de 6.25.0 à 6.25.1
    • ipython de 8.14.0 à 8.15.0
    • ipywidgets de 7.7.2 à 8.0.4
    • jupyter-core de 5.2.0 à 5.3.0
    • jupyterlab-widgets de la version 1.0.0 à la version 3.0.5
    • matplotlib de 3.7.0 à 3.7.2
    • pip de 22.3.1 à 23.2.1
    • platformdirs de 2.5.2 vers 3.10.0
    • protobuf de la version 4.24.0 vers la version 4.24.1
    • pyarrow de 8.0.0 à 14.0.1
    • Pygments de 2.11.2 à 2.15.1
    • pyodbc de 4.0.32 à 4.0.38
    • requests de 2.28.1 à 2.31.0
    • s3transfer de 0.6.2 à 0.10.0
    • scikit-learn de 1.1.1 à 1.3.0
    • scipy de 1.10.0 à 1.11.1
    • setuptools de 65.6.3 à 68.0.0
    • statsmodels de 0.13.5 à 0.14.0
    • tenacity de la version 8.1.0 vers la version 8.2.2
    • tornade de 6.1 à 6,3,2
    • typing_extensions de la version 4.4.0 vers la version 4.7.1
    • urllib3 de 1.26.14 à 1.26.16
    • virtualenv de 20.16.7 à 20.24.2
    • widgetsnbextension de 3.6.1 à 4.0.5
    • zipp de la version 1.0.0 vers la version 3.11.0
  • Bibliothèques R mises à niveau :
    • arrow de la version 12.0.1 vers la version 14.0.0.2
    • askpass de la version 1.1 à la version 1.2.0
    • base de 4.3.1 à 4.3.2
    • brew de 1.0-8 à 1.0-10
    • brio de 1.1.3 à 1.1.4
    • bslib de la version 0.5.0 vers la version 0.6.1
    • cli de 3.6.1 vers 3.6.2
    • commonmark de 1.9.0 à 1.9.1
    • compiler de 4.3.1 à 4.3.2
    • config de la version 0.3.1 à la version 0.3.2
    • cpp11 de 0.4.4 à 0.4.7
    • credentials de 1.3.2 à 2.0.1
    • curl de 5.0.1 à 5.2.0
    • data.table de 1.14.8 à 1.15.0
    • datasets de 4.3.1 à 4.3.2
    • DBI de la version 1.1.3 vers la version 1.2.1
    • dbplyr de la version 2.3.3 vers la version 2.4.0
    • desc de 1.4.2 à 1.4.3
    • digest de 0.6.33 vers 0.6.34
    • dplyr de la version 1.1.2 vers la version 1.1.4
    • e1071 de 1.7-13 à 1.7-14
    • evaluate de la version 0.21 vers la version 0.23
    • fansi de 1.0.4 à 1.0.6
    • fontawesome de la version 0.5.1 vers la version 0.5.2
    • fs de 1.6.2 à 1.6.3
    • future de la version 1.33.0 vers la version 1.33.1
    • future.apply de la version 1.11.0 vers la version 1.11.1
    • gargle de 1.5.1 à 1.5.2
    • gert de la version 1.9.2 vers la version 2.0.1
    • ggplot2 de 3.4.2 à 3.4.4
    • glmnet de 4.1-7 vers 4.1-8
    • glue de 1.6.2 à 1.7.0
    • graphics de 4.3.1 à 4.3.2
    • grDevices de 4.3.1 à 4.3.2
    • grid de 4.3.1 à 4.3.2
    • gtable de la version 0.3.3 vers la version 0.3.4
    • hardhat de la version 1.3.0 vers la version 1.3.1
    • haven de la version 2.5.3 vers la version 2.5.4
    • htmltools de la version 0.5.5 vers la version 0.5.7
    • htmlwidgets de la version 1.6.2 à la version 1.6.4
    • httpuv de 1.6.11 à 1.6.14
    • httr de la version 1.4.6 vers la version 1.4.7
    • httr2 de la version 0.2.3 vers la version 1.0.0
    • jsonlite de 1.8.7 à 1.8.8
    • knitr de la version 1.43 vers la version 1.45
    • étiquetage de la version 0.4.2 à la version 0.4.3
    • later de la version 1.3.1 vers la version 1.3.2
    • lave de 1.7.2.1 à 1.7.3
    • lifecycle de 1.0.3 à 1.0.4
    • listenv de la version 0.9.0 à la version 0.9.1
    • lubridate de 1.9.2 à 1.9.3
    • markdown de 1.7 à 1.12
    • methods de 4.3.1 à 4.3.2
    • openssl de 2.0.6 à 2.1.1
    • parallel de 4.3.1 à 4.3.2
    • pkgbuild de 1.4.2 à 1.4.3
    • pkgload de la version 1.3.2.1 vers la version 1.3.4
    • plyr de 1.8.8 à 1.8.9
    • prettyunits de la version 1.1.1 à la version 1.2.0
    • pROC de la version 1.18.4 à la version 1.18.5
    • processx de la version 3.8.2 vers la version 3.8.3
    • prodlim de la version 2023.03.31 à la version 2023.08.28
    • progress de la version 1.2.2 à la version 1.2.3
    • progressr de la version 0.13.0 vers la version 0.14.0
    • promises de la version 1.2.0.1 vers la version 1.2.1
    • ps de 1.7.5 vers 1.7.6
    • purrr de 1.0.1 à 1.0.2
    • ragg de 1.2.5 à 1.2.7
    • Rcpp de la version 1.0.11 vers la version 1.0.12
    • RcppEigen de 0.3.3.9.3 à 0.3.3.9.4
    • readr de 2.1.4 vers 2.1.5
    • recipes de la version 1.0.6 vers la version 1.0.9
    • rematch de la version 1.0.1 à la version 2.0.0
    • remotes de 2.4.2 vers 2.4.2.1
    • reprex de la version 2.0.2 vers la version 2.1.0
    • rlang de la version 1.1.1 vers la version 1.1.3
    • rmarkdown de la version 2.23 vers la version 2.25
    • RODBC de la version 1.3-20 à la version 1.3-23
    • roxygen2 de la version 7.2.3 vers la version 7.3.1
    • rprojroot de 2.0.3 vers 2.0.4
    • Rserve de la version 1.8-11 vers la version 1.8-13
    • RSQLite de la version 2.3.1 vers la version 2.3.5
    • sass de la version 0.4.6 vers la version 0.4.8
    • scales de la version 1.2.1 vers la version 1.3.0
    • shiny de la version 1.7.4.1 vers la version 1.8.0
    • sparklyr de la version 1.8.1 vers la version 1.8.4
    • splines de 4.3.1 à 4.3.2
    • stas de 4.3.1 à 4.3.2
    • stats4 de 4.3.1 à 4.3.2
    • stringi de la version 1.7.12 vers la version 1.8.3
    • stringr de la version 1.5.0 vers la version 1.5.1
    • systemfonts de la version 1.0.4 vers la version 1.0.5
    • tcltk de 4.3.1 à 4.3.2
    • testthat de 3.1.10 vers 3.2.1
    • textshaping de la version 0.3.6 vers la version 0.3.7
    • tidyr de 1.3.0 vers 1.3.1
    • timechange de la version 0.2.0 à la version 0.3.0
    • timeDate de la version 4022.108 vers la version 4032.109
    • tinytex de la version 0.45 vers la version 0.49
    • tools de 4.3.1 à 4.3.2
    • utf8 de la version 1.2.3 à la version 1.2.4
    • utils de 4.3.1 à 4.3.2
    • uuid de 1.1-0 vers 1.2-0
    • vctrs de 0.6.3 vers 0.6.5
    • vroom de 1.6.3 à 1.6.5
    • waldo de 0.5.1 à 0.5.2
    • withr de 2.5.0 à 3.0.0
    • xfun de la version 0.39 vers la version 0.41
    • xml2 de 1.3.5 à 1.3.6
    • yaml de 2.3.7 à 2.3.8
    • zip de 2.3.0 à 2.3.1
  • Bibliothèques Java mises à niveau :
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de la version 2.15.1 vers la version 2.16.0
    • com.google.flatbuffers.flatbuffers-java de la version 1.12.0 vers la version 23.5.26
    • com.typesafe.config de la version 1.2.1 à la version 1.4.3
    • org.apache.ant.ant de la version 1.9.16 à la version 1.10.11
    • org.apache.ant.ant-jsch de la version 1.9.16 à la version 1.10.11
    • org.apache.ant.ant-launcher de la version 1.9.16 à la version 1.10.11
    • org.apache.arrow.arrow-format de la version 12.0.1 vers la version 15.0.0
    • org.apache.arrow.arrow-memory-core de la version 12.0.1 vers la version 15.0.0
    • org.apache.arrow.arrow-memory-netty de la version 12.0.1 vers la version 15.0.0
    • org.apache.arrow.arrow-vector de la version 12.0.1 vers la version 15.0.0
    • org.apache.avro.avro de la version 1.11.2 à la version 1.11.3
    • org.apache.avro.avro-ipc de la version 1.11.2 à 1.11.3
    • org.apache.avro.avro-mapred de la version 1.11.2 à 1.11.3
    • org.apache.logging.log4j.log4j-api de la version 2.20.0 à 2.22.1
    • org.apache.logging.log4j.log4j-api de la version 2..20.0 à 2.22.1
    • org.apache.logging.log4j.log4j-core de la version 2.20.0 à 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de la version 2.20.0 à 2.22.1
    • org.postgresql.postgresql de 42.6.0 à 42.6.1

Apache Spark

Databricks Runtime 15.1 comprend Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 14.3 LTS ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-45527] [DBRRM-805][es-1073714] Revertir « [SC-151626][core] Utiliser une fraction pour effectuer le calcul des ressources »
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Ajouter l’indicateur COLLATION_ENABLED de configuration
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorer la recherche de table V2 lorsqu’une table se trouve dans le cache de table V1
  • [SPARK-46808] [SC-154113][python] Affiner les classes d’erreur dans Python avec fonction de tri automatique
  • [SPARK-47251] [SC-158291][python] Bloquer les types non valides de l’argument args pour la commande sql
  • [SPARK-47251] [SC-158121][python] Blocage des types non valides de l’argument args pour la commande sql
  • [SPARK-47108] [SC-157204][core] Définir derby.connection.requireAuthentication à false explicitement dans les CLIs
  • [SPARK-45599] [SC-157537][core] Utiliser l’égalité des objets dans OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Utiliser ordinalNumber pour définir uniformément la valeur de paramIndex la classe d’erreur UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Extraire une fonction d’assistance pour éliminer le code dupliqué qui est récupéré MessageParameters dans ErrorParamsGrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Permettre à ProtoUtils.abbreviate de prendre en charge les champs répétés
  • [SPARK-46342] [SC-150283][sql] Remplacer IllegalStateException par SparkException.internalError dans sql
  • [SPARK-47123] [SC-157412][core] JDBCRDD ne gère pas correctement les erreurs dans getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Ajuster les noms et les textes des erreurs de colonne
  • [SPARK-45789] [SC-157101][sql] Prise en charge DESCRIBE TABLE pour les colonnes de clustering
  • [SPARK-43256] [SC-157699][sql] Supprimer la classe d’erreur _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics vérifie les types d’entrée
  • [SPARK-47183] [SC-157660][python] Correction de la classe d’erreur pour sameSemantics
  • [SPARK-47179] [SC-157663][sql] Améliorer le message d’erreur de SparkThrowableSuite pour une meilleure débogabilité
  • [SPARK-46965] [SC-155791][core] Vérifier logType dans Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Présentation des expressions Collate (Assembler) et Collation (Classement)
  • [SPARK-46946] [SC-155721][sql] Prise en charge de la diffusion de plusieurs clés de filtrage dans DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Ajouter des informations de type Variant à PySpark
  • [SPARK-47101] [SC-157360][sql] Autoriser l’utilisation de virgules dans les noms de colonnes de niveau supérieur et supprimer la vérification de la définition de type imbriquée dans HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Correction d’une faute de frappe dans l’explication de l’interface utilisateur de streaming
  • [SPARK-47113] [SC-157348][core] Rétablir la logique de correction du point de terminaison S3A de SPARK-35878
  • [SPARK-47130] [SC-157462][core] Utiliser listStatus pour contourner les informations de localisation de blocs lors du nettoyage des logs du pilote
  • [SPARK-43259] [SC-157368][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec doit initialiser la projection non sécurisée
  • [SPARK-47137] [SC-157463][python][CONNECT] Ajouter getAll à spark.conf pour la parité des fonctionnalités avec Scala
  • [SPARK-46924] [SC-154905][core] Corriger le bouton Load New dans l’interface utilisateur de journalisation Master/HistoryServer
  • [SPARK-47069] [SC-157370][python][CONNECT] Présentation spark.profile.show/dump du profilage basé sur SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Rendre mapInPandas / mapInArrow compatible avec ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Classements - Présentation de CollationFactory qui fournit des règles de comparaison et de hachage pour les classements pris en charge
  • [SPARK-47057] [SC-157036][python] Test de données Reeanble MyPy
  • [SPARK-46934] [SC-157084][sql] Aller-retour en lecture/écriture avec HMS pour le type struct avec des caractères spéciaux.
  • [SPARK-46727] [SC-153472][sql] Port classifyException() dans les dialectes JDBC sur les classes d’erreur
  • [SPARK-46964] [SC-155740][sql] Modifier la signature de l’erreur d’exécution de requête hllInvalidLgK pour prendre un entier comme 4ème argument
  • [SPARK-46949] [SC-155719][sql] Prise en charge de CHAR/VARCHAR via ResolveDefaultColumns
  • [SPARK-46972] [SC-1558888][sql] Correction du remplacement asymétrique de char/varchar dans V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Implémenter des méthodes dumpPerfProfiles et dumpMemoryProfiles de SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Prise en charge du profilage v2 dans les fonctions de groupe/cogroupe applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Autoriser le script du serveur Spark Connect à attendre
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Prise en charge du profilage v2 pour fonctions Pandas définies par l’utilisateur de type agrégées
  • [SPARK-47004] [SC-156499][connect] Ajout de tests supplémentaires à ClientStreamingQuerySuite pour augmenter la couverture des tests du client Scala
  • [SPARK-46994] [SC-156169][python] Refactoriser PythonWrite pour préparer la prise en charge de l’écriture en continu de source de données Python
  • [SPARK-46979] [SC-156587][ss] Ajout de prise en charge pour spécifier l’encodeur de clé et de valeur séparément, ainsi que pour chaque famille de colonnes dans le fournisseur de magasins d’état RocksDB.
  • [SPARK-46960] [SC-155940][ss] Test de plusieurs flux d’entrée avec l’opérateur TransformWithState
  • [SPARK-46966] [SC-156112][python] Ajouter l’API UDTF pour « analyser » pour indiquer un sous-ensemble de colonnes de table d’entrée à sélectionner
  • [SPARK-46895] [SC-155950][core] Remplacer le minuteur par un exécuteur planifié à thread unique
  • [SPARK-46967] [SC-155815][core][UI] Masquer Thread Dump et Heap Histogram des Dead exécuteurs dans l’interface Executors utilisateur
  • [SPARK-46512] [SC-155826][core] Optimiser la lecture de shuffle lorsque le tri et la combinaison sont utilisés.
  • [SPARK-46958] [SC-155942][sql] Ajouter un fuseau horaire manquant pour forcer les valeurs par défaut
  • [SPARK-46754] [SC-153830][sql][AVRO] Corriger la résolution du code de compression dans les options de définition de table avro et d’écriture
  • [SPARK-46728] [SC-154207][python] Vérifier correctement l’installation de Pandas
  • [SPARK-43403] [SC-154216][ui] Vérifiez que l’ancien SparkUI dans HistoryServer a été détaché avant de charger un nouveau
  • [SPARK-39910] [SC-156203][sql] Délégation de la qualification des chemins au système de fichiers lors du globbing des chemins des fichiers DataSource
  • [SPARK-47000] [SC-156123] Rétablir "[SC-156123][core] Utiliser getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Déplacer les catégories d’erreurs et les états dans JSON
  • [SPARK-46997] [SC-156175][core] Activer spark.worker.cleanup.enabled par défaut
  • [SPARK-46865] [SC-156168][ss] Ajouter le support par lots pour l'opérateur TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate éviter les opérations inutiles setField
  • [SPARK-46970] [SC-155816][core] Réécriture OpenHashSet#hasher avec pattern matching
  • [SPARK-46984] [SC-156024][python] Supprimer pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Utilisation getTotalMemorySize dans WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Éviter d’utiliser des API internes dans des tests de bout en bout de trame de données
  • [SPARK-46931] Rétablir « [SC-155661][ps] Implémenter {Frame, Series}.to_hdf»
  • [SPARK-46618] [SC-153828][sql] Améliorer les messages d’erreur pour l’erreur DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] Exécuter l'optimiseur sur les valeurs par défaut de la colonne CREATE TABLE
  • [SPARK-46911] [SC-155724][ss] Ajout de l’opérateur deleteIfExists à StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Prise en charge du codec de compression lz4raw pour Parquet
  • [SPARK-47002] [SC-156223][python] Renvoyer un message d’erreur amélioré si le champ 'orderBy' de la méthode 'analyze' retourne accidentellement une liste de chaînes de caractères
  • [SPARK-46890] [SC-155802][sql] Correction du bogue d’analyse de CSV avec les valeurs d’existence par défaut et le nettoyage des colonnes
  • [SPARK-46977] [SC-155892][core] Une demande ayant échoué pour obtenir un jeton à partir d’un NameNode ne doit pas ignorer les demandes de jeton suivantes
  • [SPARK-46608] [SC-151806][sql] Restaurer la compatibilité descendante de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Clause star de prise en charge dans la clause WHERE
  • [SPARK-46908] [SC-155702][sql] Clause star de prise en charge dans la clause WHERE
  • [SPARK-46852] [SC-155665][ss] Supprimer l’utilisation de l’encodeur de clé explicite et la transmettre implicitement à l’opérateur pour l’opérateur transformWithState
  • [SPARK-46864] [SC-155669][ss] Intégrer l'État Arbitraire V2 au nouveau cadre de classe d'erreur
  • [SPARK-45807] [SC-155706][sql] Vue de retour après avoir appelé replaceView(..)
  • [SPARK-46899] [SC-154651][core] Supprimer POST les API de MasterWebUI lorsque spark.ui.killEnabled est false
  • [SPARK-46868] [SC-154539][core] Prise en charge de l’interface utilisateur du journal de travail Spark
  • [SPARK-46931] [SC-155661][ps] Implémenter {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Supprimer les éléments inutilisés updateSparkConfigFromProperties et isAbsoluteURI in o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Utiliser ThreadUtils.shutdown pour fermer les pools de threads
  • [SPARK-46400] [SC-155658][core][SQL] Lorsqu’il existe des fichiers endommagés dans le référentiel maven local, ignorez ce cache et réessayez
  • [SPARK-46932] [SC-155655] Nettoyer les importations dans pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Écrire un générateur de sous-requête qui génère des permutations des sous-requêtes pour augmenter la couverture des tests
  • [SPARK-46914] [SC-154776][ui] Raccourcir le nom de l’application dans le tableau récapitulatif de la page Historique
  • [SPARK-46831] [SC-154699][sql] Collations - Extension de StringType et PhysicalStringType avec le champ collationId
  • [SPARK-46816] [SC-154415][ss] Ajouter la prise en charge de base pour un nouvel opérateur de gestion d’état arbitraire, un type valueState unique, plusieurs variables d’état et la prise en charge sous-jacente des familles de colonnes pour RocksDBStateStoreProvider avec/sans point de contrôle de journal des modifications
  • [SPARK-46925] [SC-154890][python][CONNECT] Ajouter un avertissement qui indique d’installer memory_profiler pour le profilage de la mémoire
  • [SPARK-46927] [SC-154904][python] Faire assertDataFrameEqual fonctionner correctement sans PyArrow
  • [SPARK-46021] [SC-148987][core] Prise en charge de l’annulation des travaux futurs appartenant à un groupe de travaux
  • [SPARK-46747] [SC-154789][sql] Éviter l’analyse lors de l'utilisation de la fonction getTableExistsQuery pour les dialectes JDBC
  • [SPARK-46904] [SC-154704][ui] Correction du problème d’affichage du résumé de l’interface Historique
  • [SPARK-46870] [SC-154541][core] Prise en charge de l’interface utilisateur du journal maître Spark
  • [SPARK-46893] [SC-154780][ui] Supprimer les scripts inline des descriptions de l’interface utilisateur
  • [SPARK-46910] [SC-154760][python] Éliminer les exigences JDK dans l’installation de PySpark
  • [SPARK-46907] [SC-154736][core] Afficher l’emplacement du journal des pilotes dans le serveur d’historique Spark
  • [SPARK-46902] [SC-154661][ui] Correction de l’interface utilisateur du serveur d’historique Spark pour utiliser setAppLimit non exporté
  • [SPARK-46687] [SC-154725][python][CONNECT] Prise en charge de base du profileur de mémoire basé sur SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Remplacer SimpleDateFormat par DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Quand la valeur mode est Null, une exception NullPointException doit not être levée
  • [SPARK-46872] [SC-154543][core] Récupérer log-view.js pour être non modulaire
  • [SPARK-46883] [SC-154629][core] API de support /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Activer spark.ui.prometheus.enabled par défaut
  • [SPARK-46873] [SC-154638][ss] Ne recréez pas de nouveau StreamingQueryManager pour la même session Spark
  • [SPARK-46829] [SC-154419][core] Supprimer createExecutorEnv de SparkEnv
  • [SPARK-46827] [SC-154280][core] Adapter RocksDBPersistenceEngine pour qu'il prenne en charge un lien symbolique
  • [SPARK-46903] [SC-154662][core] Prise en charge de l’interface utilisateur du journal du serveur d’historique Spark
  • [SPARK-46874] [SC-154646][python] Supprimer la pyspark.pandas dépendance de assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Paramètre de validation spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][sql] Convertir _LEGACY_ERROR_TEMP_2102 en UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Correction MasterPage pour trier Running Drivers correctement la table par Duration colonne
  • [SPARK-46796] [SC-154279][ss] Vérifiez que les fichiers distants corrects (mentionnés dans metadata.zip) sont utilisés sur le chargement de version de RocksDB
  • [SPARK-46888] [SC-154636][core] Correction Master pour rejeter les demandes /workers/kill/ si le retrait est désactivé
  • [SPARK-46818] [SC-154422][sql] Améliorer les messages d’erreur pour la plage avec des entrées non assemblables
  • [SPARK-46898] [SC-154649][connect] Simplifier la transformation de la fonction protobuf dans le Planificateur
  • [SPARK-46828] [SC-154413][sql] Supprimer l’assertion non valide du mode distant pour spark sql Shell
  • [SPARK-46733] [SC-154274][core] Simplifiez le BlockManager où l'opération de sortie dépend uniquement du thread d'interruption.
  • [SPARK-46777] [ SC-154016][ss] Réorganisation de la structure du catalyseur StreamingDataSourceV2Relation pour être plus aligné avec la version par lot
  • [SPARK-46515] [SC-151716] Ajouter la fonction MONTHNAME
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion doit vérifier la nullabilité
  • [SPARK-46787] [SC-154404][connect] bloomFilter la fonction doit lancer une exception AnalysisException pour une entrée non valide
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation instances du même plan mis en cache doivent être sémantiquement équivalentes
  • [SPARK-45827] [SC-153973] Interdire le partitionnement sur une colonne Variant
  • [SPARK-46797] [SC-154085][core] Renommer spark.deploy.spreadOut en spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Prise en charge du profilage JVM de l’exécuteur
  • [SPARK-46746] [SC-153557][sql][AVRO] Attacher l’extension codec aux fichiers de source de données avro
  • [SPARK-46698] [SC-153288][cœur] Remplacer le minuteur par un exécuteur planifié à thread unique pour la barre de progression de la console.
  • [SPARK-46629] [SC-153835] Corriger le type STRUCT DDL qui ne prend pas en charge la nullabilité et les commentaires
  • [SPARK-46750] [SC-153772][connect][PYTHON] Nettoyage du code des API DataFrame
  • [SPARK-46769] [SC-153979][sql] Affiner l’inférence du schéma liée à l’horodatage
  • [SPARK-46765] [SC-153904][python][CONNECT] Permettre à shuffle de spécifier le type de données de seed
  • [SPARK-46579] [SC-151481][sql] Éditer l’URL JDBC dans les erreurs et les journaux
  • [SPARK-46686] [SC-153875][python][CONNECT] Prise en charge de base du profileur UDF Python basé sur SparkSession
  • [SPARK-46748] Annuler “[SC-153800][core] Supprimer *slav**.sh le script..."
  • [SPARK-46707] [SC-153833][sql] Ajout d’un champ jetable aux expressions pour améliorer la poussée de prédicats
  • [SPARK-46519] [SC-151278][sql] Effacer les classes d’erreur inutilisées du error-classes.json fichier
  • [SPARK-46677] [SC-153426][sql][CONNECT] Correction de la résolution dataframe["*"]
  • [SPARK-46317] [SC-150184][python][CONNECT] Mettre en correspondance les comportements mineurs dans SparkSession avec une couverture de test complète
  • [SPARK-46748] [SC-153800][core] Supprimer les *slav**.sh scripts
  • [SPARK-46663] [SC-153490][python] Désactiver le profiler de mémoire pour les fonctions pandas définies par l’utilisateur utilisant des itérateurs
  • [SPARK-46410] [SC-150776][sql] Attribuer des classes/sous-classes d'erreurs dans JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][python] Valider les URL de démarrage avec la configuration en cours de définition
  • [SPARK-46612] [SC-153536][sql] Ne pas convertir la chaîne de type d’un tableau récupérée à partir du pilote JDBC
  • [SPARK-46254] [SC-149788][python] Supprimer la vérification des versions obsolètes de Python 3.8/3.7
  • [SPARK-46490] [SC-151335][sql] Exiger des classes d’erreur dans SparkThrowable les sous-classes
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Réduire l’utilisation de la mémoire Heap du pilote en raccourcissant la durée de vie de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Correction de la référence de colonne ambiguë dans la jointure automatique
  • [SPARK-46381] [SC-150495][sql] Migrer des sous-classes de AnalysisException vers des classes d’erreur
  • [SPARK-46351] [SC-150335][sql] Exiger une classe d’erreur dans AnalysisException
  • [SPARK-46220] [SC-149689][sql] Restreindre les charsets dans decode()
  • [SPARK-46369] [SC-150340][core] Supprimer le kill lien des RELAUNCHING pilotes dans MasterPage
  • [SPARK-46052] [SC-153284][core] Supprimer la fonction TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Prise en charge GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Supprimer inferTimestampNTZ inutilisé dans ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Simplifier ReloadingX509TrustManager en se basant uniquement sur le thread d’interruption pour l’opération de sortie.
  • [SPARK-46722] [SC-153438][connect] Ajouter un test concernant la vérification de compatibilité descendante pour StreamingQueryListener dans Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][sql] Aligner l’implémentation « codegen » et « non-codegen » de StringDecode
  • [SPARK-46258] [SC-149799][core] Ajouter RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Améliorer FileSystemPersistenceEngine la prise en charge des compressions
  • [SPARK-46189] [SC-149567][ps][SQL] Effectuer des comparaisons et des arithmétiques entre les mêmes types dans différentes fonctions d’agrégation Pandas pour éviter les erreurs de mode interprétées
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Réduire la profondeur de pile en remplaçant Option.isDefined par Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Compter le dernier déversement pour la métrique des octets de déversement de disque pendant la répartition
  • [SPARK-45642] [SC-150286][core][SQL] Correction FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Correction de RemoveRedundantAlias en excluant les attributs de sous-requête
  • [SPARK-46681] [SC-153287][core] Refacturer ExecutorFailureTracker#maxNumExecutorFailures pour éviter de calculer defaultMaxNumExecutorFailures lorsque MAX_EXECUTOR_FAILURES est configuré
  • [SPARK-46695] [SC-153289][sql][HIVE] Configurer systématiquement hive.execution.engine sur mr
  • [SPARK-46325] [SC-150228][connect] Supprimer les fonctions de remplacement inutiles lors de la construction de WrappedCloseableIterator dans ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Migrez toutes les ValeursError restantes dans l’infrastructure d’erreur PySpark.
  • [SPARK-46547] [SC-153174][ss] Avaler une exception non critique dans la tâche de maintenance pour éviter un blocage entre le thread de maintenance et l’opérateur d’agrégation de streaming
  • [SPARK-46169] [SC-149373][ps] Affecter les numéros JIRA appropriés pour les paramètres manquants de l’API DataFrame .
  • [SPARK-45857] [SC-148096][sql] Appliquer les classes d’erreur dans les sous-classes de AnalysisException

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Veuillez télécharger les pilotes récemment publiés et mettre à niveau (téléchargez ODBC, téléchargez JDBC).

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 15.1.

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.4 LTS
  • Java : Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R : 4.3.2
  • Delta Lake : 3.1.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 Azure Storage File Data Lake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
cliquez 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 chiffrement 41.0.3 cycliste 0.11.0
Cython 0.29.32 Kit de développement logiciel Databricks (SDK) 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 décorateur 5.1.1 distlib 0.3.8
points d’entrée 0,4 exécuter 0.8.3 aperçu des facettes 1.1.1
verrou de fichier 3.13.1 outils de police 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage (Stockage dans le cloud de Google) 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets (un outil de widgets interactifs pour Python) 8.0.4 isodate 0.6.1
Jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets (widgets pour JupyterLab) 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empaquetage 23,2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 Requêtes 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 données en pile 0.2.0
statsmodels, une bibliothèque Python pour la modélisation statistique 0.14.0 ténacité 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornade 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 roue 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l'instantané CRAN du gestionnaire de packages en date du 10-02-2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 14.0.0.2 Askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 objet BLOB 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachemire 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
classe 7.3-22 cli 3.6.2 clipr 0.8.0
horloge 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compilateur 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 jeux de données 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramme 1.6.5 diffobj 0.3.5 digérer 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipse 0.3.2 évaluer 0.23
fans 1.0.6 farver 2.1.1 carte rapide 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
futur 1.33.1 future.apply 1.11.1 gargle 1.5.2
produits génériques 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphisme 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 outils HTML 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 étiquetage 0.4.3
plus tard 1.3.2 lattice 0.21-8 lave 1.7.3
cycle de vie 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrice 1.5-4.1 memoise 2.0.1 methods 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modèleur 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pilier 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.9 éloge 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progrès 1.2.3
progressr 0.14.0 promesses 1.2.1 proto 1.0.0
proxy 0,4-27 p.s. 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest (algorithme d'apprentissage automatique) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 réactif 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recettes 1.0.9 match retour 2.0.0 revanche2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1,8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
écailles 1.3.0 selectr 0,4-2 informations sur la session 1.2.2
shape 1.4.6 brillant 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.3.2
statistiques4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 fichier Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
mise en forme de texte 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 changement d'heure 0.3.0
date-heure 4032.109 tinytex 0,49 outils 4.3.2
tzdb 0.4.0 vérificateur d'URL 1.0.1 Utilise ça 2.2.2
utf8 1.2.4 utils 4.3.2 Identifiant unique universel (UUID) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caféine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib système_natif-java 1,1
com.github.fommil.netlib système_natif-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone annotations_sujettes_aux_erreurs 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics annotation des métriques 4.2.19
io.dropwizard.metrics métriques de base 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métriques-vérifications de santé 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics servlets de métriques 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx de collecte 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow vecteur-flèche 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper gardien de zoo 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.52.v20230823
org.eclipse.jetty serveur jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket serveur websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatible avec scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Finale
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on