Partager via

Databricks Runtime 12.0 (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.0 optimisé par Apache Spark 3.3.1.

Databricks a publié cette version en décembre 2022.

Améliorations et nouvelles fonctionnalités

E/S prédictives en disponibilité générale

Les E/S prédictives sont désormais en disponibilité générale. Pour plus d’informations, consultez Qu’est-ce que les E/S prédictives ?.

Photon Writer prend en charge la compression zstd

Le Photon Writer natif prend désormais en charge le codec de compression zstd lorsque zstd est activé en définissant spark.sql.parquet.compression.codec sur zstd.

Prise en charge du profil de ressource de tâche au niveau des étapes pour les clusters autonomes

Vous pouvez maintenant utiliser la planification au niveau des étapes sur des clusters autonomes lorsque l’allocation dynamique est désactivée. Pour utiliser cette fonctionnalité, spécifiez les ressources de tâche avec ResourceProfileBuilder pour chaque étape.

Prise en charge DE SQL pour le remplacement sélectif avec REPLACE WHERE

Vous pouvez maintenant remplacer de manière sélective les données correspondant à une expression arbitraire dans une table Delta à l’aide du modèle suivant.

INSERT INTO table_name REPLACE WHERE predicate append_relation

replaceWhereRemplacement sélectif arbitraire avec .

Les filigranes sont désormais pris en charge dans SQL

Vous pouvez désormais spécifier des filigranes à l’aide de l’interface SQL DLT et dans les requêtes SQL sur les DataFrames de streaming. Consultez la clause WATERMARK.

Profilage de la mémoire PySpark

Le profilage de mémoire est désormais activé pour les fonctions pySpark définies par l’utilisateur. Cela fournit des informations sur l’incrément de mémoire, l’utilisation de la mémoire et le nombre d’occurrences pour chaque ligne de code dans une fonction définie par l’utilisateur.

Élagage dynamique pour DELETE et UPDATE

Lors de l'utilisation de calcul activé par Photon, DELETE et UPDATE utilisent maintenant des techniques d'élagage de fichiers et de partitions dynamiques dans les cas où cela améliore les performances. Par exemple, l'élagage dynamique est activé lorsqu'une table source plus petite est utilisée pour mettre à jour ou supprimer des lignes dans une table plus grande.

Métriques de suppression au niveau des lignes pour les opérations de langage de manipulation de données partitionnés

Avec les prédicats partitionnés, les utilisateurs peuvent désormais auditer le nombre de lignes supprimées lors de l’exécution d’opérations de langage de manipulation de données (DML) telles que DELETE, TRUNCATEet replaceWhere.

Résolution des bogues

Correction d’un problème lié à l’analyse JSON dans le chargeur automatique où toutes les colonnes étaient laissées sous forme de chaînes. Auparavant, cloudFiles.inferColumnTypes n'était pas défini ou était défini sur false, et le JSON contenait des objets imbriqués.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • argon2-cffi de 20.1.0 à 21.3.0
    • attrs de 21.2.0 à 21.4.0
    • backports-entry-points-selectable==1.1.1 à 1.2.0
    • bleach de 4.0.0 à 4.1.0
    • boto3 de 1.21.18 à 1.21.32
    • botocore de 1.24.18 à 1.24.32
    • cffi de 1.14.6 à 1.15.0
    • click de 8.0.3 à 8.0.4
    • cycler de 0.10.0 à 0.11.0
    • Cython de 0.29.24 à 0.29.28
    • debugpy de 1.4.1 à 1.5.1
    • decorator de 5.1.0 à 5.1.1
    • entrypoints de 0.3 à 0.4
    • idna de 3.2 à 3.3
    • ipykernel de 6.12.1 à 6.15.3
    • ipython de 7.32.0 à 8.5.0
    • ipywidgets de 7.7.0 à 7.7.2
    • jedi de 0.18.0 à 0.18.1
    • joblib de 1.0.1 à 1.1.0
    • jsonschema de 3.2.0 à 4.4.0
    • kiwisolver de 1.3.1 à 1.3.2
    • matplotlib de 3.4.3 à 3.5.1
    • nbclient de 0.5.3 à 0.5.13
    • nbconvert de 6.1.0 à 6.4.4
    • nbformat de 5.1.3 à 5.3.0
    • nest-asyncio de 1.5.1 à 1.5.5
    • notebook de 6.4.5 à 6.4.8
    • numpy de 1.20.3 à 1.21.5
    • packaging de 21.0 à 21.3
    • pandas de 1.3.4 à 1.4.2
    • pandocfilters de 1.4.3 à 1.5.0
    • parso de 0.8.2 à 0.8.3
    • Pillow de 8.4.0 à 9.0.1
    • platformdirs de 2.5.2 vers 2.5.4
    • plotly de 5.9.0 à 5.6.0
    • prometheus-client de 0.11.0 à 0.13.1
    • protobuf de 4.21.5 à 3.19.4
    • pycparser de 2.20 à 2.21
    • Pygments de 2.10.0 à 2.11.2
    • pyodbc de 4.0.31 à 4.0.32
    • pyzmq de 22.2.1 à 22.3.0
    • requests de 2.26.0 à 2.27.1
    • s3transfer de 0.5.2 à 0.5.0
    • scikit-learn de 0.24.2 à 1.0.2
    • scipy de 1.7.1 à 1.7.3
    • statsmodels de 0.12.2 à 0.13.2
    • terminado de 0.9.4 à 0.13.1
    • tomli de 2.0.1 à 1.2.2
    • traitlets de 5.1.0 à 5.1.1
    • urllib3 de 1.26.7 à 1.26.9
    • widgetsnbextension de 3.6.0 à 3.6.1
  • Bibliothèques R mises à niveau :
    • base de 4.1.3 à 4.2.2
    • brew de 1.0-7 à 1.0-8
    • bslib de 0.4.0 à 0.4.1
    • callr de 3.7.2 à 3.7.3
    • chron de 2.3-57 à 2.3-58
    • cli de 3.3.0 vers 3.4.1
    • cluster de 2.1.3 à 2.1.4
    • commonmark de 1.8.0 à 1.8.1
    • compiler de 4.1.3 à 4.2.2
    • cpp11 de 0.4.2 à 0.4.3
    • crayon de 1.5.1 à 1.5.2
    • curl de 4.3.2 à 4.3.3
    • data.table de 1.14.2 à 1.14.4
    • datasets de 4.1.3 à 4.2.2
    • desc de 1.4.1 à 1.4.2
    • devtools de 2.4.4 à 2.4.5
    • digest de 0.6.29 vers 0.6.30
    • e1071 de 1.7-11 à 1.7-12
    • evaluate 0.16 à 0.18
    • fontawesome de 0.3.0 à 0.4.0
    • future de 1.28.0 à 1.29.0
    • future.apply de 1.9.1 à 1.10.0
    • gargle de 1.2.0 à 1.2.1
    • gert de 1.8.0 à 1.9.1
    • ggplot2 de 3.3.6 à 3.4.0
    • gh de 1.3.0 à 1.3.1
    • gitcreds de 0.1.1 à 0.1.2
    • graphics de 4.1.3 à 4.2.2
    • grDevices de 4.1.3 à 4.2.2
    • grid de 4.1.3 à 4.2.2
    • httpuv de 1.6.5 à 1.6.6
    • isoband de 0.2.5 à 0.2.6
    • jsonlite de 1.8.0 à 1.8.3
    • lave de 1.6.10 à 1.7.0
    • lifecycle de 1.0.1 à 1.0.3
    • lubridate de 1.8.0 à 1.9.0
    • markdown de 1.1 à 1.3
    • MASS de 7.3-56 à 7.3-58
    • Matrix de 1.4-1 à 1.5-1
    • methods de 4.1.3 à 4.2.2
    • mgcv de 1.8-40 à 1.8-41
    • nlme de 3.1-157 à 3.1-160
    • nnet de 7.3-17 à 7.3-18
    • openssl de 2.0.2 à 2.0.4
    • parallel de 4.1.3 à 4.2.2
    • pkgload de 1.3.0 à 1.3.1
    • processx de 3.7.0 à 3.8.0
    • ps de 1.7.1 vers 1.7.2
    • purrr de 0.3.4 à 0.3.5
    • ragg de 1.2.2 à 1.2.4
    • RcppEigen de 0.3.3.9.2 à 0.3.3.9.3
    • readr de 2.1.2 vers 2.1.3
    • recipes de 1.0.1 à 1.0.3
    • rlang de 1.0.5 vers 1.0.6
    • rmarkdown de 2.16 vers 2.18
    • rpart de 4.1.16 à 4.1.19
    • RSQLite de 2.2.16 à 2.2.18
    • shiny de 1.7.2 vers 1.7.3
    • SparkR de la version 3.3.0 vers la version 3.3.1
    • splines de 4.1.3 à 4.2.2
    • stas de 4.1.3 à 4.2.2
    • stats4 de 4.1.3 à 4.2.2
    • sys de 3.4 à 3.4.1
    • tcltk de 4.1.3 à 4.2.2
    • testthat de 3.1.4 vers 3.1.5
    • tidyr de 1.2.0 vers 1.2.1
    • tidyselect de 1.1.2 à 1.2.0
    • timeDate de 4021.104 vers 4021.106
    • tinytex de 0,41 à 0,42
    • tools de 4.1.3 à 4.2.2
    • utils de 4.1.3 à 4.2.2
    • vctrs de 0.4.1 vers 0.5.0
    • vroom de 1.5.7 à 1.6.0
    • xfun de 0.32 vers 0.34
    • yaml de 2.3.5 à 2.3.6
    • zip de 2.2.0 à 2.2.2
  • Bibliothèques Java mises à niveau :
    • com.fasterxml.jackson.core.jackson-databind de la version 2.13.4 vers la version 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 à 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de la version 1.12.0-databricks-0007 vers la version 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations de 0.5.0 à 0.13.0

Apache Spark

Databricks Runtime 12.0 comprend Apache Spark 3.3.1. Cette version inclut tous les correctifs Spark et améliorations inclus dans Databricks Runtime 11.3 LTS (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Rétablir « [SC-113542][ss] Modifier la valeur par défaut de la configuration de récupération des offsets Kafka »
  • [SPARK-40646] [SC-116061] Rétablir « [SC-113379][sql] Correction du retour de résultats partiels dans les fonctions JSON et de source de données JSON »
  • [SPARK-41195] [SC-116305][sql] Prise en charge de PIVOT/UNPIVOT avec des jointures enfants
  • [SPARK-41178] [SC-116139][sql] Correction de la priorité des règles d’analyseur entre JOIN et virgule
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Ajouter la classe STREAM_FAILED d’erreur à StreamingQueryException
  • [SPARK-40921] Annuler “[SC-115140][sc-114585][SQL] Ajouter une clause WHEN NOT MATCHED BY SOURCE à MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Étendre la colonne METADATA pour prendre en charge les index de ligne pour les fichiers Parquet
  • [SPARK-41055] [SC-115582][sql] Renommer _LEGACY_ERROR_TEMP_2424 en GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Prise en charge du nom de classe du message pour PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalent Sql de la commande Remplacer Dataframe
  • [SPARK-41095] [SC-115659][sql] Convertir les opérateurs non résolus en erreurs internes
  • [SPARK-41144] [SC-115866][sql] L’indicateur non résolu ne doit pas entraîner l’échec de la requête
  • [SPARK-41137] [SC-115858][sql] Renommer LATERAL_JOIN_OF_TYPE en INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Renommer la classe _LEGACY_ERROR_TEMP_0040 d’erreur en INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] Vérification de la nullité pour le test unitaire du générateur de données
  • [SPARK-40769] [SC-114923][core][SQL] Migrer les échecs de vérification de type des expressions d’agrégation sur les classes d’erreur
  • [SPARK-41043] [SC-115183][sql] Renommer la classe _LEGACY_ERROR_TEMP_2429 d’erreur en NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Prise en charge de l’importation Protobuf et réorganisation des classes d’erreur.
  • [SPARK-41019] [SC-114987][sql] Fournir un contexte de requête à failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Utiliser UNEXPECTED_INPUT_TYPE au lieu de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Réduire la taille aléatoire de ALS
  • [SPARK-41134] [SC-115851][sql] Améliorer le message d’erreur des erreurs internes
  • [SPARK-37980] Annuler « [SQL] Étendre la colonne METADATA pour prendre en charge les index de ligne pour les fichiers Parquet »
  • [SPARK-41109] [SC-115788][sql] Renommer la classe d’erreur _LEGACY_ERROR_TEMP_1216 en INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Utiliser NON_FOLDABLE_INPUT au lieu de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Optimiser l’utilisation du GenericArrayData constructeur pour Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Ajouter un remplissage de caractères côté lecture pour couvrir les fichiers de données externes
  • [SPARK-40978] [SC-114574][sql] Migrer failAnalysis() sans un contexte vers des classes d’erreur
  • [SPARK-40663] [SC-114586][sql] Migrer des erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2 : Prise en charge du filtrage de groupe d’exécution dans les commandes au niveau des lignes
  • [SPARK-40372] [SC-115668][sql] Migrer des échecs de vérifications de type tableau sur des classes d’erreur
  • [SPARK-41038] [SC-115371][sql] Renommer MULTI_VALUE_SUBQUERY_ERROR en SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Renommer la classe _LEGACY_ERROR_TEMP_1208 d’erreur en FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrer les échecs de vérification des types des conditions dans les classes d’erreur
  • [SPARK-40371] [SC-114557][sql] Migrer les échecs de vérification des types de NthValue et NTile sur des classes d’erreur
  • [SPARK-41092] [SC-115547][sql] N’utilisez pas d’identificateur pour faire correspondre les unités d’intervalle
  • [SPARK-41009] [SC-115360][sql] Renommer la classe _LEGACY_ERROR_TEMP_1070 d’erreur en LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Étendre la colonne METADATA pour prendre en charge les index de ligne pour les fichiers Parquet
  • [SPARK-40967] [SC-114448][sql] Migrer failAnalysis() vers des classes d’erreur
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumenter les fonctions définies par l’utilisateur Python à l’aide de métriques SQL
  • [SPARK-41012] [SC-114873][sql] Renommer _LEGACY_ERROR_TEMP_1022 en ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Renommer PARSE_CHAR_MISSING_LENGTH en DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrer les échecs de vérification des types des expressions diverses en classes d'erreurs
  • [SPARK-37945] [SC-115534][sql][CORE] Utiliser des classes d’erreur dans les erreurs d’exécution des opérations arithmétiques
  • [SPARK-40374] [SC-114705][sql] Migrer les échecs de vérification de type des créateurs de types sur des classes d’erreur
  • [SPARK-41056] [SC-115354][r] Corriger le nouveau comportement de R_LIBS_SITE introduit dans R 4.2
  • [SPARK-41041] [SC-115357][sql] Intégrer _LEGACY_ERROR_TEMP_1279 dans TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Migrer des erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Renommer la classe _LEGACY_ERROR_TEMP_1019 d’erreur en STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Ne pas corriger les enfants pliables des fonctions d’agrégation dans RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Améliorer les classes d’erreur et les messages
  • [SPARK-40798] [SC-113782][sql] Alter partition doit vérifier que la valeur suit storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] Utiliser SparkIllegalArgumentException au lieu de IllegalArgumentException dans CreateDatabaseCommand et AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Ajouter la clause WHEN NOT MATCHED BY SOURCE à MERGE INTO
  • [SPARK-40360] [SC-114965] Exceptions ALREADY_EXISTS et NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Ajouter un sérialiseur manquant pour java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrer les échecs de vérification de type des fonctions d'ordre supérieur dans les classes d’erreurs
  • [SPARK-40248] [SC-114704][sql] Utiliser un plus grand nombre de bits pour générer un filtre Bloom
  • [SPARK-41040] [SC-115145][ss] Correction de l’échec de la requête de streaming en auto-union lors de l’utilisation de readStream.table
  • [SPARK-32380] [SC-114966][sql] Correction de l’accès de la table HBase via Hive à partir de Spark
  • [SPARK-40749] [SC-114860][sql] Migrer les échecs de vérification de type des générateurs sur des classes d’erreur
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Correction de l’opérateur avec état en retard...
  • [SPARK-40654] [SC-112783] Supprimer les lignes de journal temporaires
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Corriger les avertissements de compilation Java liés au type générique
  • [SPARK-40657] [SC-113642][cherry-pick] Ajouter la prise en charge des classes Java dans Protob...
  • [SPARK-40898] [SC-113932][sql] Mettre les noms de fonctions entre guillemets dans les erreurs d’incompatibilité de type de données
  • [SPARK-40760] [SC-113750][sql] Migrer les échecs de vérification de type des expressions d’intervalle sur les classes d’erreur
  • [SPARK-36114] [SC-113771][sql] Prise en charge des sous-requêtes avec des prédicats corrélés de non-égalité
  • [SPARK-40856] [SC-113738][sql] Mettre à jour le modèle d’erreur de WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrer les échecs de vérification de type des fenêtres temporelles vers les classes d’erreur
  • [SPARK-40750] [SC-113812][sql] Migrer les échecs de vérification de type des expressions mathématiques sur les classes d’erreur
  • [SPARK-40756] [SC-113749][sql] Migrer les échecs de vérification de type des expressions de chaîne sur les classes d’erreur
  • [SPARK-40768] [SC-113640][sql] Migrer les échecs de vérification de type de bloom_filter_agg() vers les classes d’erreur
  • [SPARK-40369] [SC-113402][core][SQL] Transférer les échecs de vérification de types des appels par réflexion vers des classes d’erreur
  • [SPARK-39445] [SQL] Supprimer la fenêtre si les expressions de fenêtre sont vides dans l'élagage des colonnes
  • [SPARK-40761] [SC-113245][sql] Migrer les échecs de vérification de type des expressions percentiles en classes d’erreurs
  • [SPARK-40361] [SC-112789][sql] Migrer des échecs de vérification de type arithmétique sur des classes d’erreur
  • [SPARK-40714] [SC-112576][sql] Supprimer PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Correction des spécifications de partition dans PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Migrer les échecs de vérification des types de collection sur les classes d’erreur
  • [SPARK-40910] [SC-114259][sql] Remplacer UnsupportedOperationException par SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Ajouter UNPIVOT à la syntaxe SQL
  • [SPARK-39783] [SC-113389][sql] Quote qualifiedName pour corriger les backticks pour les candidats de colonne dans les messages d’erreur
  • [SPARK-40663] [SC-112520][sql] Migrer des erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Renommer la classe _LEGACY_ERROR_TEMP_0021 d’erreur en UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Éliminer les champs de sous-classes d’erreur distincts
  • [SPARK-40944] [SC-114530][sql] Assouplir la contrainte d'ordre pour les options de la colonne CREATE TABLE
  • [SPARK-40815] [SC-114528][sql] Ajouter DelegateSymlinkTextInputFormat pour contourner le bogue SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Reimplement df.stat. {cov, corr} avec des fonctions sql intégrées
  • [SPARK-40932] [SC-114439][core] Correction des messages d'erreur pour allGather qui sont remplacés
  • [SPARK-39312] [SQL] Utiliser le prédicat natif Parquet pour dans la poussée de filtre
  • [SPARK-40862] [SC-114352][sql] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-1144446][sql] Définir la valeur Nullable correctement dans le projet créé par ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Migrer des erreurs d’exécution vers des classes d’erreur : _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Relâcher l'exigence de la règle window_time et permettre plusieurs appels de window_time
  • [SPARK-40540] [SC-111639][sql] Migrer des erreurs de compilation vers des classes d’erreur : _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Correctif pour Unhex lorsque l’entrée a un nombre impair de symboles
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Introduire window_time fonction pour extraire l’heure de l’événement à partir de la colonne de fenêtre
  • [SPARK-40800] [SC-113772][sql] Toujours inclure les expressions en ligne dans OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Réimplémenter frequentItems avec des opérations de dataframe
  • [SPARK-40735] [SC-114022][sc-112657] Appeler constamment bash avec /usr/bin/env bash dans les scripts pour rendre le code plus portable
  • [SPARK-40773] [SC-113091][sql] Réorganiser checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Vérifier les types de données non pris en charge lors de la corrélation des sous-requêtes
  • [SPARK-40660] [SC-112293][core][SQL] Basculer vers XORShiftRandom pour distribuer des éléments
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrer des erreurs de compilation vers des classes d’erreur
  • [SPARK-40551] [SC-113135][sql] DataSource V2 : Ajouter des API pour les opérations au niveau des lignes delta
  • [SPARK-39391] [SC-110676][core] Réutiliser les classes partitionneur
  • [SPARK-40368] [SC-113396][sql] Transférer les erreurs de vérification des types du filtre Bloom vers les classes d’erreur
  • [SPARK-39146] [SC-111814][core][SQL] Introduire un singleton local pour ObjectMapper cela peut être réutilisé
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrer les échecs de vérification du type de fenêtre sur les classes d’erreur
  • [SPARK-40874] [SC-113756][python] Corriger les transmissions dans les fonctions définies par l'utilisateur Python lorsque le chiffrement est activé
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrer les échecs de vérification de type dans les expressions CSV/JSON vers les classes d’erreur
  • [SPARK-40880] [SC-113764][sql] Réimplémenter summary avec des opérations de dataframe
  • [SPARK-40877] [SC-113763][sql] Réimplémenter crosstab avec les opérations de dataframe
  • [SPARK-40382] [SC-113098][sql] Regrouper des expressions d’agrégation distinctes par des enfants sémantiquement équivalents dans RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Ajouter une vérification supplémentaire du changement de nom de fichier de point de contrôle
  • [SPARK-40829] [SC-113426][sql] STORED AS serde in CREATE TABLE LIKE view ne fonctionne pas
  • [SPARK-40844] [SC-113542][ss] Inverser la valeur par défaut de la configuration de récupération des décalages Kafka
  • [SPARK-40488] [SC-113568][sc-111160] Ne pas encapsuler les exceptions levées lorsque l’écriture de source de données échoue
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Renommer message en messageTemplate dans le format STANDARD des erreurs
  • [SPARK-40618] [SC-113096][sql] Correction du bogue dans la règle MergeScalarSubqueries avec des sous-requêtes imbriquées à l’aide du suivi des références
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Ajouter des API de développeur liées à l’erreur
  • [SPARK-40806] [SC-113250][sql] Correctif typo : CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Correction du renvoi de résultats partiels dans la source de données JSON et les fonctions JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Prise en charge de Protobuf pour Spark - à partir de...
  • [SPARK-40753] [SC-113539][sql] Correction du bogue dans le cas test pour l'opération de répertoire du catalogue
  • [SPARK-40765] [SC-113056][sql] Optimiser l’opération fs redondante dans CommandUtils#calculateSingleLocationSize#getPathSize la méthode
  • [SPARK-40114] [ES-479282][r][11.X] Support de Arrow 9.0.0 avec SparkR
  • [SPARK-40479] [SC-110935][sql] Migrer une erreur de type d’entrée inattendue vers une classe d’erreur
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrer des erreurs d’analyse sur des classes d’erreur
  • [SPARK-39853] [SC-111867][core] Prise en charge du profil de ressource de tâche au niveau de l'étape pour un cluster autonome lorsque l’allocation dynamique est désactivée (rétroportage de PR-47157)
  • [SPARK-40407] [SC-1111161][sql] Correction de l’asymétrie potentielle des données causée par df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE n’a pas besoin d’effectuer de recherche de table
  • [SPARK-40703] [SC-113242][sql] Introduire le shuffle sur SinglePartition pour améliorer le parallélisme
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil pour définir l’origine des options de configuration hadoop/hive
  • [SPARK-39062] [11.x][core] Ajouter la prise en charge de la planification des ressources au niveau de la phase pour un cluster autonome
  • [SPARK-33861] [SC-109877]Rétablir « [SQL] Simplifier le conditionnel dans le prédicat »
  • [SPARK-40667] [SC-113136][sql] Refactorisation des options de source de données de fichiers
  • [SPARK-40370] [SC-110677][sql] Migrer les échecs de vérification de type vers des classes d'erreur dans CAST
  • [SPARK-40611] [SC-113105][sql] Améliorer les performances de setInterval & getInterval for UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Assurer que le contenu de SERDEPROPERTIES dans le résultat de ShowCreateTableAsSerdeCommand ait un ordre défini
  • [SPARK-40585] [SC-112180][sql] Prise en charge des identificateurs entre guillemets doubles
  • [SPARK-40772] [SC-112992][sql] Améliorer spark.sql.adaptive.skewJoin.skewedPartitionFactor pour le support de Double valeurs
  • [SPARK-40565] [SC-112417][sql] Ne pas envoyer de filtres non déterministes aux sources de fichiers V2
  • [SPARK-8731] [SC-112784] Beeline ne fonctionne pas avec l’option -e lors du démarrage en arrière-plan
  • [SPARK-35242] [SC-111398][sql] Prise en charge de la modification de la base de données par défaut du catalogue de sessions
  • [SPARK-40426] [SC-110672][sql] Retourner une carte à partir de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Optimiser les performances du modèle de keys.zipWithIndex.toMap code
  • [SPARK-40521] [SC-112430][sql] Ne retourner que les partitions existantes de la fonctionnalité de création de partitions de Hive
  • [SPARK-40705] [SC-112567][sql] Traiter le cas de l'utilisation d'un tableau mutable lors de la conversion de Row en JSON pour Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Soutien pour la suppression de plusieurs colonnes
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Supprimer les opérations d’interpolateur de chaîne redondantes
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Trier les paramètres de message d’erreur par noms dans les formats JSON
  • [SPARK-40403] [SC-110564][sql] Calculer une taille de tableau non sécurisée à l’aide de longs pour éviter une taille négative dans le message d’erreur
  • [SPARK-40482] [SC-110831][sql] Rétablir SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Transmettre les paramètres de message d’erreur aux exceptions sous forme de mappages
  • [SPARK-40628] [SC-112414][sql] Ne pas transmettre une condition complexe de jointure semi-/anti-jointure dans le projet
  • [SPARK-40562] [SC-111455][sql] Ajouter spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Ajouter PushProjectionThroughLimit pour l'optimiseur
  • [SPARK-39200] [SC-111244][core] Permettre au stockage de secours de lire le contenu entièrement
  • [SPARK-38717] [SC-111241][sql] Gérer le comportement de préservation de la casse de la spécification des buckets de Hive.
  • [SPARK-40385] [SC-111123][sql] Correction du chemin interprété pour le constructeur d’objet complémentaire
  • [SPARK-40216] [SC-112413][sql] Extraire la méthode commune ParquetUtils.prepareWrite pour dédupliquer le code dans ParquetFileFormat et ParquetWrite
  • [SPARK-40636] [SC-112160][core] Correction du journal incorrect des shuffles restants dans BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corriger la condition de course lors de la gestion des entrées executorMetricsPoller stageTCMP
  • [SPARK-40618] [SC-112046][sql] Correction du bogue dans la règle MergeScalarSubqueries avec des sous-requêtes imbriquées
  • [SPARK-40612] [SC-111933][core] Correction du principal utilisé pour le renouvellement des jetons de délégation sur les gestionnaires de ressources non-YARN
  • [SPARK-40595] [SC-111662][sql] Améliorer le message d’erreur pour les relations CTE inutilisées
  • [SPARK-40314] [SC-111879][sql][PYTHON] Ajouter des liaisons Scala et Python pour inline et inline_outer
  • [SPARK-40416] [SC-110945][sql] Déplacer les messages d'erreur de l'analyse des sous-requêtes pour les intégrer au nouveau cadre d'erreurs
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() doit lever les exceptions de son enfant
  • [SPARK-40509] [SC-111644][ss][PYTHON] Ajoutez un exemple pour applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() doit lever les exceptions de son enfant
  • [SPARK-40016] [SQL] Supprimer tryEval inutile dans l’implémentation de try_sum()
  • [SPARK-40527] [SC-1112224][sql] Conserver les noms de champs de struct ou les clés de mappage dans CreateStruct
  • [SPARK-38098] [SC-111178][python] Ajouter la prise en charge de ArrayType de StructType imbriqué à la conversion basée sur des flèches
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Fournir le contexte de requête dans AnalysisException
  • [SPARK-40492] [SC-111324][ss] Effectuer une maintenance avant de décharger StateStore en streaming
  • [SPARK-40487] [SC-111124][sql] Configurer defaultJoin dans BroadcastNestedLoopJoinExec pour s'exécuter en parallèle
  • [SPARK-40474] [SC-111273][sql] Corriger le comportement d’inférence de schéma CSV et d’analyse des données sur les colonnes avec des dates et des horodatages mixtes
  • [SPARK-40508] [SC-111066][sql] Traiter le partitionnement inconnu comme UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Correction des configurations pour contrôler « enableDateTimeParsingFallback »
  • [SPARK-40435] [SC-111214][ss][PYTHON] Ajouter des suites de test pour applyInPandasWithState dans PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implémenter applyInPandasWithState dans PySpark

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 12.0.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.5 LTS
  • Java : Zulu 8.64.0.19-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R : 4.2.2
  • Delta Lake : 2.2.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
cfp2-cffi 21.3.0 cfc2-cffi-bindings 21.2.0 asttokens 2.0.5
attributs 21.4.0 appel de retour 0.2.0 backports.entry-points-selectable 1.2.0
bellesoupe4 4.11.1 noir 22.3.0 blanchir 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
cliquez 8.0.4 chiffrement 3.4.8 cycliste 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
décorateur 5.1.1 defusedxml 0.7.1 distlib 0.3.6
points d’entrée 0,4 en cours d’exécution 0.8.3 aperçu des facettes 1.0.0
validation rapide des schémas JSON (fastjsonschema) 2.16.2 verrou de fichier 3.8.0 outils de police 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets (un outil de widgets interactifs pour Python) 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
désaccorder 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
carnet de notes 6.4.8 numpy 1.21.5 empaquetage 21,3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
spécification de chemin 0.9.0 dupe 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Oreiller 9.0.1 pépin 21.2.4
platformdirs 2.5.4 tracé 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requêtes 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy (bibliothèque Python pour le calcul scientifique) 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Six 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.10
données en pile 0.2.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.13.2 ténacité 8.0.1
terminé 0.13.1 chemin de test 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornade 6.1
Traitlets 5.1.1 typing_extensions 4.1.1 mises à niveau automatiques 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 roue 0.37.0 widgetsnbextension 3.6.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 10.0.0 Askpass 1.1 assertthat 0.2.1
rétroportage 1.4.1 base 4.2.2 base64enc 0.1-3
morceau 4.0.4 bit 64 4.0.5 objet BLOB 1.2.3
botte 1.3-28 brasser 1,0-8 brio 1.1.3
balai 1.0.1 bslib 0.4.1 cachemire 1.0.6
appelant 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-58 classe 7.3-20 Cli 3.4.1
Presse-papiers 0.8.0 horloge 0.6.1 Grappe 2.1.4
codetools 0.2-18 espace colorimétrique 2.0-3 commonmark 1.8.1
compilateur 4.2.2 config 0.3.1 cpp11 0.4.3
pastel 1.5.2 Références 1.3.2 friser 4.3.3
data.table 1.14.4 jeux de données 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digérer 0.6.30 éclairage vers le bas 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipse 0.3.2 évaluer 0,18 fans 1.0.3
couleurs 2.1.1 carte rapide 1.1.0 fontawesome 0.4.0
condamnés 0.5.2 foreach 1.5.2 étranger 0.8-82
forger 0.2.0 Fs 1.5.2 futur 1.29.0
future.apply 1.10.0 se gargariser 1.2.1 produits génériques 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4-1-4 globales 0.16.1
colle 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 graphisme 4.2.2 grDevices 4.2.2
grille 4.2.2 gridExtra 2.3 gsubfn 0,7
gt ;pouvant être 0.3.1 casque de sécurité 1.2.0 havre 2.5.1
supérieur 0.9 Hms 1.1.2 outils HTML 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Id 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 itérateurs 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2,23-20 knitr 1.40
étiquetage 0.4.2 plus tard 1.3.0 treillis 0.20-45
lave 1.7.0 cycle de vie 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASSE 7.3-58 Matrice 1.5-1 mémorisation 2.0.1
méthodes 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modèleur 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallèle 4.2.2
parallèlement 1.32.1 pilier 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.7 éloge 1.0.0
joliesunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progrès 1.2.2
progresseur 0.11.0 promesses 1.2.0.1 proto 1.0.0
mandataire 0,4-27 p.s. 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest (algorithme d'apprentissage automatique) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recettes 1.0.3
match retour 1.0.1 revanche2 2.1.2 Télécommandes 2.4.2
exemple reproductible 2.0.2 remodeler2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 écailles 1.2.1
sélecteur 0,4-2 informations sur la session 1.2.2 forme 1.4.6
brillant 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 Cannelures 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistiques 4.2.2
statistiques4 4.2.2 chaine 1.7.8 stringr 1.4.1
survie 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 mise en forme de texte 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 changement d'heure 0.1.1 date-heure 4021.106
tinytex 0.42 outils 4.2.2 tzdb 0.3.0
vérificateur d'URL 1.0.1 Utilise ça 2.1.6 utf8 1.2.2
utils 4.2.2 Identifiant unique universel (UUID) 1.1:0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
vibrisse 0,4 flétrir 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 fermeture éclair 2.2.2

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.12.189
com.amazonaws aws-java-sdk-millisecondes 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws Outil de support aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caféine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profileur 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-analyseurs 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-dbcp commons-dbcp 1.4
téléchargement de fichiers communs téléchargement de fichiers communs 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty Netty Transport Native Epoll pour Linux AArch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty transport-netty-natif-commun-unix 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine conserve 1,2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow vecteur-flèche 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons texte commun 1.10.0
org.apache.curator curateur-client 2.13.0
org.apache.curator curateur-framework 2.13.0
org.apache.curator curateur-recettes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.4
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Composant commun de hive-shims 2.3.9
org.apache.hive.shims programmeur de cales de hive 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy lierre 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet colonne de parquet 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet encodage parquet 1.12.3-databricks-0001
org.apache.parquet structures-de-format-parquet 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotations du public 0.13.0
org.apache.zookeeper gardien de zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.46.v20220331
org.eclipse.jetty serveur jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket serveur websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de conteneur jersey 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-commun 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validateator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Annotations 17.0.0
org.joda joda-convert 1.7
org.joddd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Cales 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark.spark inutilisé 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel chats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly.openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on