Partager via


Databricks Runtime 5.4 (EoS)

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Databricks a publié cette version en juin 2019.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 5.4 optimisé par Apache Spark.

Nouvelles fonctionnalités

Delta Lake sur Azure Databricks ajoute l’optimisation automatique (préversion publique)

Aujourd’hui, lorsque vous écrivez des données dans un stockage cloud, vous devez compacter les fichiers pour obtenir des performances d’E/S optimales. Vous devez vous soucier de la taille appropriée des fichiers, de la fréquence de compactage des fichiers, de la taille du cluster à utiliser, etc. En réponse à cette classe de problèmes, nous sommes heureux d’introduire l’optimisation automatique avec Delta Lake sur Azure Databricks. Pendant chaque écriture dans des tables Delta, nous allons automatiquement déterminer les tailles de fichiers appropriées et les fichiers compacts afin que vous n’ayez pas à vous soucier de l’optimisation de la disposition de stockage. Pendant les écritures, si l’option auto-optimize est true, Azure Databricks détermine automatiquement si une optimisation est nécessaire et optimise les petits fichiers. Pour plus d’informations, consultez Configurer Delta Lake pour contrôler la taille du fichier de données.

Disponibilité générale des utilitaires de bibliothèque

Les utilitaires de bibliothèque sont désormais généralement disponibles Cette fonctionnalité vous permet de manipuler des bibliothèques Python à partir de l’étendue d’une session de notebook. Consultez Utilitaire de bibliothèque (dbutils.library) (hérité).

Disponibilité générale de Databricks Connect

Databricks Connect est désormais généralement disponible. Cette fonctionnalité est une bibliothèque de client Spark qui vous permet de connecter votre environnement IDE favori (IntelliJ, Eclipse, PyCharm, RStudio), votre serveur de notebook (Zeppelin, Jupyter) et d’autres applications personnalisées à des clusters Azure Databricks et d’exécuter du code Apache. Consultez Databricks Connect.

Source de données de fichier binaire

La source de données de fichier binaire lit les fichiers binaires et convertit chacun d’eux en un enregistrement unique qui contient le contenu brut et les métadonnées du fichier. Vous pouvez désormais lire efficacement des fichiers arbitraires dans un DataFrame Spark sans avoir à lire leur contenu. Cela s’avère particulièrement utile si vous souhaitez utiliser Spark pour charger des fichiers volumineux, tels que des images, à des fins de scoring. Consultez Fichier binaire.

Améliorations

Mise en cache du disque

Le cache de disque est désormais préconfiguré pour les instances Lsv2. Cependant, le cache n'est pas activé par défaut. Pour plus d’informations sur la façon de l’activer, consultez Activer ou désactiver le cache de disque.

Transfert direct des informations d’identification Azure AD à Azure Data Lake Storage

Le montage DBFS du système de fichiers Azure Data Lake Storage (ADLS) Gen2 avec transfert direct des informations d’identification Microsoft Entra ID est désormais pris en charge. Consultez Azure Data Lake Storage.

Mise à niveau de R vers la version 3.6.0

La base R est mise à niveau de la version 3.5.2 vers la version 3.6.0.

Apache Spark

Databricks Runtime 5.4 inclut Apache Spark 2.4.3. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 5.3 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-27596][SQL] L’option JDBC « query » ne fonctionne pas pour la base de données Oracle
  • [SPARK-27240][PYTHON] Utilisation de DataFrame pandas pour l’argument de type struct dans une fonction définie par l’utilisateur pandas scalaire.
  • [SPARK-26745][SQL][TESTS] Cas de test JsonSuite : ligne vide -> nombre d’enregistrements 0
  • [SPARK-25535][CORE] Contournement d’une mauvaise gestion des erreurs dans commons-crypto.
  • [SPARK-26891][YARN] Correction de test non fiable dans YarnSchedulerBackendSuite
  • [SPARK-27563][SQL][TEST] Obtention automatique des dernières versions de Spark dans HiveExternalCatalogVersionsSuite
  • [SPARK-27494][SS] Les valeurs Null ne fonctionnent pas dans la source Kafka v2
  • [SPARK-27550][TEST] Correction de test-dependencies.sh pour ne pas utiliser de profil kafka-0-8 pour Scala-2.12
  • [SPARK-26992][STS] Correction de la livraison correcte de pool de planificateurs STS
  • [SPARK-27544][PYTHON][TEST] Correction de script de test Python pour fonctionner sur la build Scala-2.12
  • [SPARK-27539][SQL] Correction de l’estimation inexacte de l’agrégat outputRows avec une colonne contenant des valeurs null
  • [SPARK-27469][BUILD] Unification de deps commons-beanutils sur la dernière version 1.9.3
  • [SPARK-27419][FOLLOWUP][DOCS] Ajout d’une note sur la modification de spark.executor.heartbeatInterval en guide de migration
  • [SPARK-27496][CORE] Les erreurs fatales devraient également être renvoyées à l’expéditeur
  • [SPARK-25079][PYTHON] Mise à jour de l’exécutable python3 vers la version 3.6.x
  • [SPARK-27163][PYTHON] Nettoyage et consolidation de la fonctionnalité de fonction définie par l'utilisateur pandas
  • [SPARK-27403][SQL] Correction de updateTableStats pour mettre à jour les statistiques de table toujours avec les nouvelles statistiques ou aucune
  • [SPARK-27479][BUILD] Masquage des documents API pour org.apache.spark.util.kvstore
  • [SPARK-27446][R] Utiliser la configuration Spark existante si elle est disponible.
  • [SPARK-27453] Transfert de partitionBy en guise d’options dans DataFrameWriter
  • [SPARK-27454][SPARK-27454][HOT-FIX][ML][SQL] Cherrypick (le correctif dans la source de données d’image Spark échoue quand il rencontre des images illégales)
  • [SPARK-27351][SQL] Mauvaise estimation de outputRows après AggregateEstimation avec seulement une colonne de valeurs null
  • [SPARK-27314][SQL] Déduplication des exprIds pour Union.
  • [SPARK-27394][WEBUI] Vidage de LiveEntity si nécessaire lors de la réception de SparkListenerExecutorMetricsUpdate (rétroportage 2.4)
  • [SPARK-27406][SQL] Interruption de la sérialisation UnsafeArrayData quand deux machines ont des tailles d'Oops différentes
  • [SPARK-27419][CORE] Évitement de la conversion d’intervalle de pulsation en secondes (2.4)
  • [SPARK-27391][SS] N’initialisez pas un val différé dans le travail ContinuousExecution.
  • [SPARK-27390][CORE][SQL][TEST] Correction d’une discordance de nom de package
  • [SPARK-27358][UI] Mise à jour de jquery vers la version 1.12.x pour récupérer les correctifs de sécurité
  • [SPARK-27216][CORE] Mise à niveau de RoaringBitmap vers la version 0.7.45 pour corriger un problème Kryo de ser/dser non sûr
  • [SPARK-27382][SQL][TEST] Mise à jour des tests Spark 2.4.x dans HiveExternalCatalogVersionsSuite
  • [SPARK-27338][CORE] Correction d’un blocage entre UnsafeExternalSorter et TaskMemoryManager
  • [SPARK-27338][CORE][FOLLOWUP] Suppression d’espace de fin
  • [SPARK-27338][CORE] Correction d’un blocage dans UnsafeExternalSorter.SpillableIterator lors du verrouillage de UnsafeExternalSorter.SpillableIterator et TaskMemoryManager
  • [SPARK-27346][SQL] Relâche la condition d’assertion de nouvelle ligne sur le champ « exemples » dans ExpressionInfo
  • [SPARK-26998][CORE] Suppression de la configuration de SSL des exécuteurs
  • [SPARK-27244][CORE][TEST][FOLLOWUP] toDebugString expurge des informations sensibles
  • [SPARK-27267][FOLLOWUP] Mise à jour du manifeste de dépendance hadoop-2.6
  • [SPARK-27267][CORE] Mise à jour de snappy pour éviter les erreurs lors de la décompression des données sérialisées vides
  • [SPARK-27301][DSTREAM] Raccourcissement du cycle de vie mis en cache du système de fichiers avec l’étendue interne de la méthode de nettoyage
  • [SPARK-27244][CORE] Expurgation des mots de passe mprs de l’utilisation de l’option logConf=true
  • [SPARK-26208][SQL] Ajout d’en-têtes aux fichiers csv vides lorsque header=true
  • [SPARK-27275][CORE] Correction de corruption potentielle dans EncryptedMessage.transferTo (2.4)
  • [SPARK-23836][PYTHON] Ajout de la prise en charge du retour de StructType dans une fonction définie par l'utilisateur pandas scalaire
  • [SPARK-26961][CORE] Activation de la fonctionnalité classloading parallèle
  • [SPARK-27274][DOCS] Corriger les références à Scala 2.11 dans les documents de la version 2.4.1+ ; Notez que la prise en charge de la version 2.11 est déconseillée à partir de la version 2.4.1+
  • [SPARK-27198][CORE] Désaccord d’intervalle de pulsation cardiaque entre le conducteur et l’exécuteur
  • [SPARK-27094][YARN] Contournement de l’interruption du thread d’ingestion RackResolver.
  • [SPARK-24935][SQL] Correction d’UDAF Hive avec deux tampons d’agrégation
  • [SPARK-27160][SQL] Correction de DecimalType lors de la création de filtres orc
  • [SPARK-26606][CORE] Gestion correcte des options de pilote lors de l’envoi à un mode de cluster autonome via un client hérité
  • [SPARK-27221][SQL] Amélioration du message d’erreur d’assertion dans TreeNode.parseToJson (5.x)
  • [SPARK-27102][R][PYTHON][CORE] Supprimer les références aux codes Scala de Python dans les codes Scala de R
  • [SPARK-27159][SQL] Mise à jour du dialecte de serveur mssql pour prendre en charge le type binaire
  • [SPARK-27112][CORE] : Création d’un classement des ressources entre les threads pour résoudre les blocages rencontrés lors de la tentative de suppression d’exécuteurs en raison d’une allocation dynamique ou d’une liste rouge
  • [SPARK-27178][K8S] ajout d’un package nss pour corriger les tests
  • [SPARK-27045][SQL] Onglet SQL dans l’interface utilisateur affichant le SQL réel au lieu du site d’appel en cas de SparkSQLDriver
  • [SPARK-27119][SQL] Ne pas inférer le schéma en lisant une table Hive serde avec une source de données native
  • [SPARK-27165][SPARK-27107][BUILD][SQL] Mise à niveau d’Apache ORC vers la version 1.5.5
  • [SPARK-26742][K8S] Mise à jour de la version de client k8s vers la version 4.1.2
  • [SPARK-26927][CORE] Vérification que l’exécuteur esst actif lors du traitement d’événements dans un gestionnaire d’allocation dynamique.
  • [SPARK-27097][CHERRY-PICK 2.4] Évitement de l’incorporation des décalages dépendant de la plateforme littéralement dans le code généré par l’ensemble de l’étape
  • [SPARK-27111][SS] Correction d’une concurrence qui avait pour effet qu’une requête continue pouvait échouer avec InterruptedException (5.x)
  • [SPARK-27111][SS] Correction d’une concurrence qui avait pour effet qu’une requête continue pouvait échouer avec InterruptedException
  • [SPARK-27080][SQL] Correction de bug : mergeWithMetastoreSchema avec comparaison uniforme en minuscules
  • [SPARK-26604][CORE] Nettoyage de l'enregistrement des canaux pour StreamManager
  • [SPARK-27016][SQL][BUILD] Traitement de tous les avertissements antlr comme des erreurs lors de la génération de l’analyseur à partir du fichier de grammaire sql
  • [SPARK-25863][SPARK-21871][SQL] Vérification que les statistiques de taille de code sont vides ou ne figurent pas dans updateAndGetCompilationStats
  • [SPARK-27078][SQL] Correction de NoSuchFieldError lors de la lecture d’affichages matérialisés Hive
  • [SPARK-27019][SQL][WEBUI] onJobStart se produit après que onExecutionEnd ne doit pas remplacer kvstore
  • [SPARK-27065][CORE] Évitement de plusieurs gestionnaires de tâches actifs pour une phase
  • [SPARK-24669][SQL] Invalider les tables en cas de DROP DATABASE CASCADE
  • [SPARK-26932][DOC] Ajout d’un avertissement pour un problème de lecteur Hive 2.1.1 ORC
  • [SPARK-25139][SPARK-18406][CORE] Éviter d'utiliser des NonFatals pour tuer l’Exécuteur dans PythonRunner

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 5.4.

Environnement du système

  • Système d’exploitation : Ubuntu 16.04.6 LTS
  • Java : 1.8.0_191
  • Scala : 2.11.12
  • Python : 2.7.12 pour les clusters Python 2 et 3.5.2 pour les clusters Python 3.
  • R : R version 3.6.0 (2019-04-26)
  • Clusters GPU : Les bibliothèques GPU NVIDIA suivantes sont installées :
    • Pilote Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Remarque

Bien que Scala 2.12 soit pris en charge dans Apache Spark 2.4, il ne l’est pas dans Databricks Runtime 5.4.

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
chiffrement 1,5 cycliste 0.10.0 Cython 0.24.1
décorateur 4.0.10 docutils 0.14 énumération 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 contrats à terme 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 adresse IP 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1,2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 dupe 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Oreiller 3.3.1
pépin 19.1.1 Plis 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 Python-geohash 0.8.5 pytz 01/06/2016
requêtes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy (bibliothèque Python pour le calcul scientifique) 0.18.1 récurer 0.32 seaborn 0.7.1
setuptools 41.0.1 simplejson 3.8.2 simples3 1,0
répartition unique 3.4.0.3 Six 1.10.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.6.1
tornade 5.1.1 Traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 roue 0.33.3
wsgiref 0.1.2

Bibliothèques R installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
abind 1.4-5 Askpass 1.1 assertthat 0.2.1
rétroportage 1.1.3 base 3.6.0 base64enc 0.1-3
BH 1.69.0-1 morceau 1.1-14 bit 64 0.9-7
bitops 1.0-6 objet BLOB 1.1.1 botte 1,3-20
brasser 1.0-6 appelant 3.2.0 voiture 3.0-2
données de voiture 3.0-2 caret 6.0-82 cellranger 1.1.0
Chron 2.3-53 classe 7.3-15 Cli 1.1.0
Presse-papiers 0.5.0 clisymbols 1.2.0 Grappe 2.0.8
codetools 0.2-16 espace colorimétrique 1.4-1 commonmark 1.7
compilateur 3.6.0 config 0,3 pastel 1.3.4
friser 3.3 data.table 1.12.0 jeux de données 3.6.0
DBI 1.0.0 dbplyr 1.3.0 Desc 1.2.0
devtools 2.0.1 digeste 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 ellipse 0.1.0 fans 0.4.0
condamnés 0.4.0 foreach 1.4.4 étranger 0.8-71
forger 0.2.0 Fs 1.2.7 Gbm 2.1.5
produits génériques 0.0.2 ggplot2 3.1.0 Gh 1.0.1
git2r 0.25.2 glmnet 2.0-16 colle 1.3.1
Gower 0.2.0 graphisme 3.6.0 grDevices 3.6.0
grille 3.6.0 gridExtra 2.3 gsubfn 0,7
gt ;pouvant être 0.3.0 H₂O 3.22.1.1 havre 2.1.0
Hms 0.4.2 outils HTML 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 itérateurs 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 étiquetage 0,3
treillis 0.20-38 lave 1.6.5 lazyeval 0.2.2
plus petit 0.3.7 lme4 1.1-21 lubridate 1.7.4
magrittr 1,5 mapproj 1.2.6 cartes 3.3.0
maptools 0.9-5 MASSE 7.3-51.1 Matrice 1.2-17
MatrixModels 0.4-1 mémorisation 1.1.0 méthodes 3.6.0
mgcv 1.8-28 mime 0,6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-10
nlme 3.1-139 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.3 openxlsx 4.1.0
parallèle 3.6.0 pbkrtest 0.4-7 pilier 1.3.1
pkgbuild 1.0.3 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr (un package logiciel pour le traitement de données) 1.8.4
louange 1.0.0 joliesunits 1.0.2 Proc 1.14.0
processx 3.3.0 prodlim 2018.04.18 progrès 1.2.0
proto 1.0.0 p.s. 1.3.0 purrr 0.3.2
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest (algorithme d'apprentissage automatique) 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.1 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.12 readr 1.3.1
readxl 1.3.1 recettes 0.1.5 match retour 1.0.1
Télécommandes 2.0.2 remodeler2 1.4.3 rivière 0.5.16
rlang 0.3.3 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.10 écailles 1.0.0
informations de session 1.1.1 Sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.3 ÉparseM 1.77 spatial 7.3-11
Cannelures 3.6.0 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 statistiques 3.6.0 statistiques4 3.6.0
chaine 1.4.3 stringr 1.4.0 survie 2.43-3
sys 3.1 tcltk 3.6.0 Démos Pédagogiques 2,10
testthat 2.0.1 tibble 2.1.1 tidyr 0.8.3
tidyselect 0.2.5 date-heure 3043.102 outils 3.6.0
utilisez ceci 1.4.0 utf8 1.1.4 utils 3.6.0
viridisLite 0.3.0 vibrisse 0,3-2 flétrir 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
fermeture éclair 2.0.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.11)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-glue 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.11.313
com.amazonaws aws-java-sdk-millisecondes 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws Outil de support aws-java-sdk 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics ruisseau 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml camarade de classe 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.2.8
com.microsoft.azure Azure Storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.11 0,3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-analyseurs 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
Commons-Digester Commons-Digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift compresseur d'air 0.10
io.dropwizard.metrics métriques de base 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics métriques-vérifications de santé 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics servlets de métriques 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx collecteur 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1,2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-suppléments 1.2.17
log4j log4j 1.2.17
maven-trees hive-exec-with-glue hive-12679-patch_deploy
maven-trees hive-exec-with-glue hive-exec_shaded
net.hydromatic eigenbase-propriétés 1.1.5
net.razorvine pyrolite (roche pyrolitique) 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 0.10.0
org.apache.arrow mémoire-flèche 0.10.0
org.apache.arrow vecteur-flèche 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite noyau de calcite 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curateur-client 2.7.1
org.apache.curator curateur-framework 2.7.1
org.apache.curator curateur-recettes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubant
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy lierre 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet colonne de parquet 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet encodage parquet 1.10.1.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper gardien de zoo 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilateur commun 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security (sécurité de quai) 9.3.20.v20170531
org.eclipse.jetty serveur jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-goyva 2.22.2
org.glassfish.jersey.containers servlet de conteneur jersey 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-commun 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validateator 5.1.1.Final
org.iq80.snappy Snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.joddd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Cales 0.7.45
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline (outil de ligne de commande d'Apache Hive) 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark.spark inutilisé 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework test de printemps 4.1.4.RELEASE
org.tukaani xz 1,5
org.typelevel machiniste_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.3
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52