Partager via

Databricks Runtime 10.5 (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.5, avec Apache Spark 3.2.1. Databricks a publié cette version en mai 2022.

Améliorations et nouvelles fonctionnalités

SQL : Nouvelles fonctions to_number et try_to_number

Les fonctions to_number et try_to_number vous permettent de convertir des représentations de caractères de nombres dans différents formats en DECIMAL.

SQL : Nouvelle fonction try_sum

Contrairement à sum, la fonction d’agrégation try_sum retourne NULL au lieu d’une erreur lorsqu’un débordement se produit.

SQL : Mise à jour des fonctions ceil, ceiling et floor

La ceil fonction, ceiling la fonction et floor la fonction prennent désormais en charge un deuxième argument facultatif pour spécifier une échelle cible.

SQL : Nouvelles fonctions d’agrégation regr_avgx et regr_avgy

La nouvelle regr_avgx fonction d’agrégation et regr_avgy la fonction d’agrégation prennent en charge les régressions linéaires.

SQL : Mise à jour des fonctions contains, startswith et endswith

La contains fonction, startswith la fonction et endswith la fonction prennent désormais en charge les types de données binaires comme entrée en plus des chaînes.

SQL : Nouvelle fonction array_size

La nouvelle array_size fonction calcule la taille d’un tableau.

Catalogue Unity : la sortie LIST SQL supprime la colonne is_directory et ajoute le suffixe / aux chemins d’accès au répertoire (préversion publique)

La sortie de l’instruction SQL LIST permettant de répertorier les chemins d’accès régis par Unity Catalog a changé. La colonne is_directory n’est plus affichée. Au lieu de cela, les chemins qui représentent des répertoires se terminent par une barre oblique de fin (/) pour les colonnes path et name. Cette modification est cohérente avec la sortie de la commande dbutils.fs.ls.

Chargeur automatique : nouvelle fonction SQL CLOUD_FILES_STATE

Vous pouvez utiliser la nouvelle fonction CLOUD_FILES_STATE pour interroger l’état interne d’un flux de chargeur automatique. Consultez Interrogation de fichiers découverts par le chargeur automatique.

Chargeur automatique : la prise en charge des notifications de fichier est désormais en disponibilité générale

La prise en charge des notifications de fichier pour Auto Loader sur Google Cloud est désormais en disponibilité générale.

Delta Lake : nouvelle option maxRecordsPerFile pour le nombre maximal d’enregistrements écrits dans un seul fichier

Lorsque vous utilisez les API DataFrame pour écrire dans une table Delta, vous pouvez utiliser l’option maxRecordsPerFile permettant de spécifier le nombre maximal d’enregistrements à écrire dans un seul fichier. La spécification d’une valeur égale à zéro ou d’une valeur négative représente aucune limite. Consultez Configurer Delta Lake pour contrôler la taille du fichier de données.

Dépréciation de Koalas

Koalas est maintenant déconseillé. Koalas fournit des API pandas sur Apache Spark. Koalas a reçu la contribution de la communauté et a été disponible en tant qu’API pandas sur Spark à partir d’Apache Spark 3.2. Koalas continue d’être préinstallé pour Databricks Runtime 10.5, mais ne sera plus préinstallé à partir de la prochaine version de Databricks Runtime.

Pour en savoir plus sur l’API pandas sur Spark, consultez :

Nouvelle colonne _metadata pour tous les formats de fichiers

Vous pouvez obtenir des informations de métadonnées pour les fichiers d’entrée avec la colonne _metadata. La colonne _metadata est masquée. Cette colonne est disponible pour tous les formats de fichier d’entrée. Pour inclure la colonne _metadata dans un retour de DataFrame, vous devez référencer explicitement cette colonne dans votre requête. Consultez Colonne métadonnées de fichier.

Tester votre pipeline avec Databricks Runtime 10.5

Databricks Runtime 10.5 est désormais la version prise en charge preview pour Lakeflow Spark Declarative Pipelines. Pour tester votre pipeline avec Databricks Runtime 10.5, définissez le paramètre channel sur preview dans vos paramètres de pipeline.

Résolution des bogues

  • Correction de l’affichage des résultats des métriques numUpdatedRows et numCopiedRows pour les opérations de mise à jour sur les tables Delta qui ont activé la capture des changements de données (CDC).

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • plotly de la version 5.5.0 vers la version 5.6.0
  • Bibliothèques R mises à niveau :
    • base de la version 4.1.2 vers la version 4.1.3
    • caret de 6.0-90 vers 6.0-91
    • cluster de 2.1.2 à 2.1.3
    • commonmark de 1.7 à 1.8.0
    • compiler de la version 4.1.2 vers la version 4.1.3
    • crayon de 1.5.0 à 1.5.1
    • datasets de la version 4.1.2 vers la version 4.1.3
    • desc de 1.4.0 vers 1.4.1
    • fansi de 1.0.2 à 1.0.3
    • glue de 1.6.1 à 1.6.2
    • graphics de la version 4.1.2 vers la version 4.1.3
    • grDevices de la version 4.1.2 vers la version 4.1.3
    • grid de la version 4.1.2 vers la version 4.1.3
    • knitr de 1.37 vers 1.38
    • MASS de 7.3-55 à 7.3-56
    • Matrix de 1.4-0 à 1.4-1
    • methods de 4.1.2 à 4.1.3
    • mgcv de 1.8-39 à 1.8-40
    • nlme de 3.1-155 à 3.1-157
    • OpenSSL de 1.4.6 à 2.0.0
    • parallel de 4.1.2 à 4.1.3
    • plyr de 1.8.6 à 1.8.7
    • processx de 3.5.2 à 3.5.3
    • r2d3 de 0.2.5 à 0.2.6
    • Rcpp de 1.0.8 à 1.0.8.3
    • rlang de 1.0.1 vers 1.0.2
    • rmarkdown de 2.11 à 2.13
    • RSQLite de 2.2.10 à 2.2.11
    • sass de 0.4.0 à 0.4.1
    • splines de 4.1.2 à 4.1.3
    • stas de 4.1.2 à 4.1.3
    • stats4 de 4.1.2 à 4.1.3
    • tcltk de 4.1.2 à 4.1.3
    • tools de 4.1.2 à 4.1.3
    • utils de 4.1.2 à 4.1.3
    • uuid de 1.0-3 à 1.0-4
    • waldo de 0.3.1 à 0.4.0
    • withr de 2.4.3 à 2.5.0
    • xfun de 0.29 à 0.30
  • Bibliothèques Java mises à niveau :
    • com.h2database.h2 de 1.4.195 à 2.1.210
    • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks à 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime de 3.3.1 à 3.3.2
    • org.rocksdb.rocksdbjni de 6.24.2 vers 6.20.3

Apache Spark

Databricks Runtime 10.5 comprend Apache Spark 3.2.1. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 10.4 LTS (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

  • [SPARK-38354] [SC-97886] Rétablissement de « [SQL] Ajouter une métrique de sondes de hachage pour la jointure de hachage aléatoire »
  • [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrumenter le module PySpark SQL avec un journal d'utilisation générale
  • [SPARK-38333] [SQL] L’expression PlanExpression doit ignorer la fonction addExprTree dans l’exécuteur
  • [SPARK-38646] [PYTHON][10.x] Extraction d’une caractéristique pour les fonctions Python
  • [SPARK-38674] [PHOTON] Ajout d’une métrique à PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Remplacement de la valeur trouvée par un élément non Null dans la liste restante pour la clé et suppression des éléments Null restants des valeurs dans le magasin keyWithIndexToValue pour les jointures flux-flux
  • [SPARK-38446] [Core] Correction du blocage entre ExecutorClassLoader et FileDownloadCallback provoqué par Log4j
  • [SPARK-38705] [SQL] Utilisation de l’identificateur de fonction dans la commande create and drop function
  • [SPARK-38684] [SS] Correction du problème d’exactitude sur la jointure externe flux-flux avec le fournisseur de magasin d’état RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase ne trouve pas la ligne de décalage dont l’entrée n’est pas null
  • [SPARK-38204] [SS] Utilisation de StatefulOpClusteredDistribution pour les opérateurs avec état avec respect de la compatibilité descendante
  • [SPARK-38616] [SQL] Suivi du texte de requête SQL dans Catalyst TreeNode
  • [SPARK-38600] [SQL] Inclusion de unit dans la chaîne sql de TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagation des métadonnées à partir de colonnes imbriquées dans Alias
  • [SPARK-38535] [SQL] Ajout de l’énumération datetimeUnit et l’utiliser dans TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Mise à jour du type de résultat histogram_numeric (x, y) pour rendre x == au type d’entrée
  • [SPARK-38148] [SQL] Ne pas ajouter de taille de partition dynamique s’il existe une taille de partition statique
  • [SPARK-37527] [SQL] Compilation de COVAR_POP, COVAR_SAMP et CORR dans H2Dialet
  • [SPARK-38510] [SQL] Réessayer ClassSymbol.selfType pour contourner les références cycliques
  • [SPARK-38509] [SQL] Désinscription des fonctions TIMESTAMPADD/DIFF et supprimer DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Impossible de lire TimestampNTZ comme TimestampLTZ
  • [SPARK-38526] [SQL] Correction du nom d’alias de fonction trompeur pour RuntimeReplaceable
  • [SPARK-38335] [SQL] Implémentation de la prise en charge de l’analyseur pour les valeurs de colonne DEFAULT
  • [SPARK-38593] [SS] Report de la métrique du nombre d’événements de suppression tardive abandonnés dans SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Ajout de numRowsDroppedByWatermark à SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Restauration du comportement de to_timestamp qui autorise les types numériques
  • [SPARK-38481] [SQL] Remplacement de l’exception de dépassement de capacité Java de TIMESTAMPADD par une exception Spark
  • [SPARK-37753] [SQL] Ajustement de la logique pour rétrograder la jointure de hachage de diffusion dans DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH doit prendre en charge les types chaîne et binaire
  • [SPARK-38345] [SQL] Introduction de la fonction SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Amélioration des messages d’erreur d’instruction vide et <EOF> dans ParseException
  • [SPARK-37614] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_avgx et regr_avgy
  • [SPARK-38560] [SQL] Si Sum, Count et Any s’accompagnent de distinct, ne pas faire d’agrégation partielle.
  • [SPARK-38360] [SQL][ss][PYTHON] Introduire une exists fonction permettant TreeNode d’éliminer les modèles de code en double
  • [SPARK-38385] [SQL] Améliorer les messages d’erreur des cas d'« entrée incompatible » d’ANTLR
  • [SPARK-38240] [SQL] Amélioration de RuntimeReplaceable et ajout d’une recommandation pour l’ajout de nouvelles fonctions
  • [SPARK-38542] [SQL] UnsafeHashedRelation doit sérialiser numKeys
  • [SPARK-38521] [SQL] Passage de partitionOverwriteMode d’une chaîne à une variable dans Scala
  • [SPARK-38558] [SQL] Suppression des casts inutiles entre IntegerType et IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly prend en charge les expressions pliables
  • [SPARK-38410] [SQL] Prise en charge de la spécification du numéro de partition initial pour le rééquilibrage
  • [SPARK-38107] [SQL] Utilisation des classes d’erreur dans les erreurs des UDF Python/Pandas
  • [SPARK-38354] [SQL] Ajout d’une métrique de sondes de hachage pour la jointure de hachage aléatoire
  • [SPARK-38112] [SQL] Utilisation des classes d’erreur dans les erreurs de gestion de date/timestamp
  • [SPARK-38361] [SQL] Ajout d’une méthode de fabrique getConnection dans JDBCDialect.
  • [SPARK-37865] [SQL] Correction du bogue de déduplication de l’union
  • [SPARK-38298] [SQL][tests] Fix DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite sous le mode ANSI
  • [SPARK-38407] [SQL] CAST ANSI : limitation du cast des types complexes non Null plus flexible
  • [SPARK-38352] [SQL] Correction de DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite en mode ANSI
  • [SPARK-38054] [SQL] Prise en charge des espaces de noms de liste dans le dialecte JDBC v2 MySQL
  • [SPARK-37960] [SQL] Nouvelle infrastructure pour représenter des expressions de catalyseur dans les API DS v2
  • [SPARK-38103] [SQL] Migration des erreurs d’analyse de transformation dans le nouveau framework d’erreurs
  • [SPARK-38519] [SQL] L’exception AQE doit respecter SparkFatalException
  • [SPARK-38528] [SQL] Itération sur la séquence d’agrégation lors de la création d’une liste de projets dans ExtractGenerator
  • [SPARK-38320] [SS] Correction du délai flatMapGroupsWithState dans le lot avec des données pour la clé
  • [SPARK-38442] [SQL] Correction de ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite en mode ANSI
  • [SPARK-38268] [SQL] Masquage du champ « failOnError » dans la méthode toString Abs/CheckOverflow
  • [SPARK-37949] [SQL] Amélioration de l’estimation des statistiques de rééquilibrage
  • [SPARK-38450] [SQL] Correction de HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite sous le mode ANSI
  • [SPARK-38501] [SQL] Correction des échecs de test thriftserver en mode ANSI
  • [SPARK-37895] [SQL] Filtrage de la colonne push avec des colonnes entre guillemets
  • [SPARK-38449] [SQL] Éviter d’appeler createTable quand ignoreIfExists=true et que la table existe
  • [SPARK-38406] [SQL] Amélioration des performances de ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Extraction du générateur de l’expression GeneratorOuter contenue par un opérateur Generate.
  • [SPARK-38309] [CORE] Correction des métriques SHS shuffleTotalReads et shuffleTotalBlocks
  • [SPARK-38412] [SS] Correction de la séquence permutée de et vers stateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][sql][SS] Remplacer les correspondances de modèle sur les expressions booléennes par des instructions conditionnelles
  • [SPARK-38104] [SQL] Migration des erreurs d’analyse de fenêtre dans le nouveau framework d’erreurs
  • [SPARK-38434] [SQL] Sémantique correcte de la méthode CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Le traitement SS ne peut pas être démarré, car la com...
  • [SPARK-38378] [SQL] Refactorisation de la définition de grammaire ANTLR en fichiers Parser et Lexer distincts
  • [SPARK-37475] [SQL] Ajout d’un paramètre d’échelle aux fonctions floor et ceil
  • [SPARK-38411] [CORE] Utilisation de UTF-8 lors doMergeApplicationListingInternal de la lecture des journaux des événements
  • [SPARK-36553] [ML] KMeans évite les statistiques auxiliaires de calcul pour les grands K
  • [SPARK-38393] [SQL] Nettoyage de l’utilisation déconseillée de GenSeq/GenMap
  • [SPARK-38389] [SQL] Ajout des alias DATEDIFF() et DATE_DIFF() pour TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Correction du calcul de poids du cache d’index aléatoire pour les petits fichiers d’index
  • [SPARK-38353] [PYTHON] Instrumentation des méthodes magiques enter et exit pour l’API Pandas sur Spark
  • [SPARK-38323] [SQL][streaming] Prise en charge des métadonnées de fichier masquées dans streaming
  • [SPARK-38138] [SQL] Matérialisation des sous-requêtes QueryPlan
  • [SPARK-38094] Activation des noms de colonnes de schéma correspondants par ID de champ
  • [SPARK-37923] [SQL] Génération des transformations de partition pour BucketSpec à l’intérieur de l’analyseur
  • [SPARK-38363] [SQL] Éviter l’erreur d’exécution dans Dataset.summary()/Dataset.describe() quand le mode ANSI est activé
  • [SPARK-38284] [SQL] Ajout de la fonction TIMESTAMPDIFF()
  • [SPARK-38251] [SQL] Changement de Cast.toString en « cast » au lieu de « ansi_cast » en mode ANSI
  • [SPARK-38314] [SQL] Correction de l’échec de lecture des fichiers Parquet après l’écriture des métadonnées de fichier masquées dans

Consultez Mises à jour de maintenance de Databricks Runtime 10.5.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.4 LTS
  • Java : Zulu 8.56.0.21-CA-linux64
  • Scala : 2.12.14
  • Python : 3.8.10
  • R : 4.1.3
  • Delta Lake : 1.2.1

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015,10 (ISO-Rolling) appdirs 1.4.4 cfp2-cffi 20.1.0
générateur asynchrone 1,10 attributs 20.3.0 appel de retour 0.2.0
bidict 0.21.4 blanchir 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycliste 0.10.0 Cython 0.29.23
dbus-python 1.2.16 décorateur 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-infos 0.23ubuntu1 points d’entrée 0,3
aperçu des facettes 1.0.0 verrou de fichier 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (un outil de widgets interactifs pour Python) 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets (widgets pour JupyterLab) 1.0.0 kiwisolver 1.3.1 Koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 désaccorder 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 carnet de notes 6.3.0 numpy 1.20.1
empaquetage 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 dupe 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Oreiller 8.2.0 pépin 21.0.1
tracé 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy (bibliothèque Python pour le calcul scientifique) 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Six 1.15.0
ssh-import-id 5.10 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.2 ténacité 8.0.1
terminé 0.9.4 chemin de test 0.4.4 threadpoolctl 2.1.0
tornade 6.1 Traitlets 5.0.5 mises à niveau automatiques 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 roue 0.36.2 widgetsnbextension 3.5.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 28/03/2022.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Askpass 1.1 assertthat 0.2.1 rétroportage 1.4.1
base 4.1.3 base64enc 0.1-3 morceau 4.0.4
bit 64 4.0.5 objet BLOB 1.2.2 botte 1.3-28
brasser 1.0-7 brio 1.1.3 balai 0.7.12
bslib 0.3.1 cachemire 1.0.6 appelant 3.7.0
caret 6.0-91 cellranger 1.1.0 Chron 2.3-56
classe 7.3-20 Cli 3.2.0 Presse-papiers 0.8.0
Grappe 2.1.3 codetools 0.2-18 espace colorimétrique 2.0-3
commonmark 1.8.0 compilateur 4.1.3 config 0.3.1
cpp11 0.4.2 pastel 1.5.1 Références 1.3.2
friser 4.3.2 data.table 1.14.2 jeux de données 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digérer 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipse 0.3.2 évaluer 0.15 fans 1.0.3
couleurs 2.1.0 carte rapide 1.1.0 fontawesome 0.2.2
condamnés 0.5.1 foreach 1.5.2 étranger 0.8-82
forger 0.2.0 Fs 1.5.2 futur 1.24.0
future.apply 1.8.1 se gargariser 1.2.0 produits génériques 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globales 0.14.0
colle 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 graphisme 4.1.3 grDevices 4.1.3
grille 4.1.3 gridExtra 2.3 gsubfn 0,7
GTable 0.3.0 casque de sécurité 0.2.0 havre 2.4.3
supérieur 0.9 h-m-s 1.1.1 outils HTML 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Id 1.0.1
ini 0.3.1 ipred 0.9-12 isobande 0.2.5
itérateurs 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2,23-20 knitr 1,38 étiquetage 0.4.2
plus tard 1.3.0 treillis 0.20-45 lave 1.6.10
cycle de vie 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 MASSE 7.3-56
Matrice 1.4-1 mémorisation 2.0.1 méthodes 4.1.3
mgcv 1.8-40 mime 0,12 ModelMetrics 1.2.2.2
modèleur 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallèle 4.1.3 parallèlement 1.30.0 pilier 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.7 éloge 1.0.0
joliesunits 1.1.1 Proc 1.18.0 processx 3.5.3
prodlim 2019.11.13 progrès 1.2.2 progresseur 0.10.0
promesses 1.2.0.1 prototype 1.0.0 mandataire 0.4-26
p.s. 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest (algorithme d'apprentissage automatique) 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recettes 0.2.0 match retour 1.0.1 revanche2 2.1.2
Télécommandes 2.4.2 exemple reproductible 2.0.1 remodeler2 1.4.4
rlang 1.0.2 rmarkdown 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
écailles 1.1.1 sélecteur 0,4-2 informations sur la session 1.2.2
forme 1.4.6 brillant 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
Cannelures 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Statistiques 4.1.3 statistiques4 4.1.3 chaine 1.7.6
stringr 1.4.0 survie 3.2-13 sys 3.4
tcltk 4.1.3 Démos Pédagogiques 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 date-heure 3043.102 tinytex 0,37
outils 4.1.3 tzdb 0.2.0 Utilise ça 2.1.5
utf8 1.2.2 utilitaires 4.1.3 Identifiant unique universel (UUID) 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 vibrisse 0,4 flétrir 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 fermeture éclair 2.2.0

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.12.189
com.amazonaws aws-java-sdk-millisecondes 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws Outil de support aws-java-sdk 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-ombragé 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caféine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profileur 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-analyseurs 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-dbcp commons-dbcp 1.4
téléchargement de fichiers communs téléchargement de fichiers communs 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics métriques-json 4.1.1
io.dropwizard.metrics métriques-JVM 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-suppléments 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite (roche pyrolitique) 4 h 30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 2.0.0
org.apache.arrow arrow-mémoire-cœur 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vecteur-flèche 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons texte commun 1.6
org.apache.curator curateur-client 2.13.0
org.apache.curator curateur-framework 2.13.0
org.apache.curator curateur-recettes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop environnement d'exécution du client Hadoop 3.3.2
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Composant commun de hive-shims 2.3.9
org.apache.hive.shims programmeur de cales de hive 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy lierre 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet colonne de parquet 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet encodage parquet 1.12.0-databricks-0004
org.apache.parquet structures-de-format-parquet 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus annotations du public 0.5.0
org.apache.zookeeper gardien de zoo 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.43.v20210629
org.eclipse.jetty serveur jetty 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket serveur websocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers servlet de conteneur jersey 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-commun 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validateator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Annotations 17.0.0
org.joda joda-convert 1.7
org.joddd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Cales 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark inutilisé 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel chats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly.openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on