Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones con soporte de Databricks Runtime, consulte Versiones y compatibilidad de las notas de la versión de Databricks Runtime.
Databricks publicó esta versión en julio de 2019. En agosto de 2019 se declaró el soporte técnico a largo plazo (LTS). El 27 de julio de 2021 finalizó el soporte técnico. El Soporte técnico extendido de la versión 5.5 de Databricks Runtime (EoS) se publicó el 8 de julio de 2021 y se amplió hasta diciembre de 2021. Usa Ubuntu 18.04.5 LTS en lugar de la distribución en desuso de Ubuntu 16.04.6 LTS usada en la versión inicial de Databricks Runtime 5.5 LTS. El soporte técnico de Ubuntu 16.04.6 LTS finalizó el 1 de abril de 2021.
En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 5.5, con tecnología de Apache Spark.
Nuevas características
Delta Lake en Azure Databricks: Optimización Automática
En este momento, al escribir datos en el almacenamiento en la nube, debe compactar los archivos para obtener un rendimiento óptimo de E/S. Tiene que preocuparse por el tamaño adecuado del archivo y la frecuencia con la que se deben compactar, así como del tamaño del clúster que va a usar, entre otras cosas. Para resolver esta clase de problemas, nos complace anunciar la disponibilidad general de la optimización automática con Delta Lake en Azure Databricks. Durante cada escritura en tablas Delta, calculamos automáticamente los tamaños de archivo correctos y los archivos compactos para que no tenga que preocuparse por optimizar el diseño de almacenamiento. Al escribir, si la opción auto-optimize es true, Azure Databricks determina automáticamente si se necesita una optimización y optimiza los archivos pequeños. Para obtener más información, consulte Configuración de Delta Lake para controlar el tamaño del archivo de datos.
Delta Lake en Azure Databricks mejoró el rendimiento de las consultas de agregación min, max y count
El rendimiento de las consultas de agregación min, max y count para Delta Lake en Azure Databricks se ha mejorado significativamente al reducir la cantidad de datos leídos. Estas consultas ahora se ejecutan mediante estadísticas y valores de partición en los metadatos, en lugar de examinar los datos.
Canalizaciones de inferencia de modelos más rápidas con mejor origen de datos de archivo binario y una UDF de pandas de iterador escalar (versión preliminar pública)
Las tareas de aprendizaje automático, especialmente en el dominio de imágenes y vídeos, a menudo tienen que funcionar en un gran número de archivos. Con Databricks Runtime 5.4, ya pusimos a disposición el origen de datos de archivo binario para ayudar a realizar ETL de archivos arbitrarios, como imágenes, en tablas de Spark. En Databricks Runtime 5.5, se ha añadido una opción, recursiveFileLookup, para cargar archivos de forma recursiva desde los directorios de entrada anidados. Consulte Archivo binario.
El origen de datos de archivo binario permite ejecutar tareas de inferencia de modelos en paralelo desde tablas de Spark mediante una UDF escalar de pandas. Sin embargo, es posible que tenga que inicializar el modelo para cada lote de registros, lo que causa sobrecarga. En Databricks Runtime 5.5, retroportamos un nuevo tipo de UDF de pandas llamado «iterador escalar» desde la versión principal de Apache Spark. Con él, puede inicializar un modelo solo una vez y aplicarlo a muchos lotes de entrada, lo que puede dar lugar a una velocidad de 2-3x para modelos como ResNet50. Consulte Serie a UDF escalar.
API de secretos en cuadernos de R
Con la API de secretos se pueden insertar secretos en cuadernos sin necesidad de incrustar código. Esta API ahora esta disponible en cuadernos de R además del soporte existente para los cuadernos de Python y Scala. Puede usar la función dbutils.secrets.get para obtener secretos. Los secretos se ocultan antes de imprimirlos en una celda del cuaderno.
Mejoras
- Soporte para la ejecución de las operaciones de Delta Lake SQL en Python
foreachBatch: Hemos solucionado la limitación conocida que impedía escribir en las tablas Delta desde el interiorforeachBatchde una consulta de flujo estructurado definida en Python. Esto resulta útil en cargas de trabajo de transmisión de Python habituales; por ejemplo, Escribir agregados de flujos en modo de actualización utilizando MERGE y foreachBatch. - Rendimiento de las tablas Delta almacenadas en Azure Data Lake Gen2: la comprobación de la versión más reciente de una tabla Delta en ADLS ahora solo comprueba el final del registro de transacciones, en lugar de enumerar todas las versiones disponibles. Esta optimización hace que
UPDATEsea una operación de tiempo constante y mejora considerablemente la latencia. - Escalabilidad de la optimización
ZORDER BY: el orden Z en tablas de Delta muy grandes ahora usa unidades de trabajo más pequeñas gobernadas por un control de admisión avanzado. Con esta característica se mejora la estabilidad de esta operación sin sacrificar el uso del clúster. - Rendimiento mejorado de los comandos DML en tablas que tienen un número elevado de columnas: ahora se realiza una mejor eliminación de columnas al examinar los datos coincidentes en los comandos
UPDATE,DELETEyMERGE. - Soporte para la configuración de VNet y de los puntos de conexión de servicio en el conector de Spark: Azure Synapse Analytics. Se han añadido rutas de acceso de ADL Gen2 a una lista de permitidos como localizaciones temporales de datos (
.option("tempDir", "abfss://...") y se ha añadido una nueva opción llamadauseAzureMSIpara que sea usada en lugar deforward_spark_azure_storage_credentials, si Synapse Analytics está configurado para autenticar a través de identidades administradas a la cuenta de almacenamiento V2. - Invalidación automática de la caché de disco : la caché de disco ahora detecta automáticamente los archivos que se han modificado o sobrescrito después de almacenarse en la caché. Las entradas obsoletas se invalidan automáticamente y se expulsan de la caché. Consulte Optimización del rendimiento con el almacenamiento en caché en Azure Databricks.
- Se ha actualizado la biblioteca wheel de Python de 0.33.3 a 0.33.4.
- Se ha actualizado la biblioteca nlme R de 3.1-139 a 3.1-140.
Corrección de errores
- Se ha corregido la cancelación de comandos R que no ejecutan trabajos de Spark. Anteriormente, los comandos de R que no ejecutan trabajos de Spark podrían cancelarse, pero el estado de los cuadernos se perdería; Los comandos ahora se pueden cancelar sin perder el estado del cuaderno.
- Al eliminar o mover una tabla administrada ahora se invalida el registro de Delta Lake almacenado en caché.
- Se corrigió un error al escribir el punto de comprobación de Delta Lake que podría fallar debido a
FileAlreadyExistsException. - El REPL de Scala ahora establece el indicador
-target:jvm-1.8adecuado para admitir la llamada a métodos de Java que utilizan características de Java 8.
Spark de Apache
Databricks Runtime 5.5 incluye Apache Spark 2.4.3. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 5.4 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:
- [SPARK-24695] permite que los UDF devuelvan CalendarInterval
- [SPARK-28056] agrega docstring/doctest para UDF de pandas SCALAR_ITER
- [SPARK-28185] Cierra el generador cuando las UDF de Python se detienen antes
- [SPARK-24703] Soporte para la multiplicación de intervalos
- [SPARK-27018][CORE] Corrección de la eliminación incorrecta de archivos con puntos de comprobación en PeriodicCheckpointer
- [SPARK-28127][SQL] Micro optimización en el método mapChildren de TreeNode
- [SPARK-26038] Decimal toScalaBigInt/toJavaBigInteger para los decimales que no caben
- [SPARK-26555][SQL] Hace que la comprobación del subtipo ScalaReflection sea segura
- [SPARK-28081][ML] Manejo de grandes cuentas de vocabulario en word2vec
- [SPARK-21882][CORE] OutputMetrics no cuenta los bytes escritos correctamente en la función saveAsHadoopDataset
- [SPARK-28030] conversión del filePath en URI en el origen de datos de archivo binario
- [SPARK-27803][SQL][PYTHON] Corrección de la eliminación de columnas para la UDF de Python
- [SPARK-27917][SQL] la forma canónica del objecto CaseWhen es incorrecta
- [SPARK-27798][SQL] from_avro no debe generar el mismo valor cuando se convierte en relación local.
- [SPARK-27873][SQL] columnNameOfCorruptRecord no debería comprobarse con los nombres de columna del encabezado CSV al deshabilitar enforceSchema
- [SPARK-27907][SQL] HiveUDAF debería devolver NUL cuando hay 0 filas
- [SPARK-27699][SQL] Inserción parcial de predicados disyuntivos en Parquet/ORC
- [SPARK-27868][CORE] Valor predeterminado y documentación mejores para el trabajo pendiente del servidor de sockets.
- [SPARK-27869][CORE] Ocultar información confidencial de Propiedades del sistema de la interfaz de usuario
- [SPARK-27863][SQL][BACKPORT-2.4] los ficheros de metadatos y temporales no deberían contarse como ficheros de datos
- [SPARK-27657][ML] Corrección del formato del registro de ml.util.Instrumentation.logFai…
- [SPARK-27858][SQL] Corrección de la deserialización de Avro en los tipos de unión con varios tipos que no son null
- [SPARK-27711][CORE] Anulación de InputFileBlockHolder al final de las tareas
- [SPARK-27351][SQL] Cálculo de outputRows incorrecto después de AggregateEstimation con una única columna de valor NULL
- [SPARK-27539][SQL] Corrección de cálculos erróneos de outputRows agregados con columnas que contienen valores null
- [SPARK-27800][SQL] Corrección de la respuesta incorrecta a los casos de prueba de BitwiseXor
- [SPARK-27639][SQL] InMemoryTableScan muestra el nombre de la tabla en la interfaz de usuario si es posible
- [SPARK-27726][CORE] Corrección del rendimiento de las eliminaciones de ElementTrackingStore al usar InMemoryStore con cargas elevadas
- [SPARK-27771][SQL] Agregar la descripción SQL para las funciones de agrupación (cubo, acumulación, agrupación y grouping_id)
- [SPARK-27735][SS] La cadena de intervalo de análisis no debería distinguir mayúsculas de minúsculas en SS
- [SPARK-26856][PYSPARK] Compatibilidad de Python con las API from_avro y to_avro
- -[SPARK-26870][SQL] Desplazamiento de to_avro/from_avro a objetos de función debido a la compatibilidad con Java
- [SPARK-26812][SQL] Informe de nulabilidad correcta para los tipos de datos complejos en Union
- [SPARK-27671][SQL] Corrección del error al convertir de un null anidado en una estructura
- [SPARK-27673][SQL] Añadir información a las expresiones aleatorias, expresiones regulares y nulas
-
[SPARK-27672][SQL] Añadir
sinceinformación a las expresiones de cadena - [SPARK-25139][SPARK-18406][CORE] Evitar que NonFatals terminen el ejecutor en PythonRunner
- [SPARK-27624][CORE] Corrección de CalenderInterval para mostrar correctamente un intervalo vacío
- [SPARK-27577][MLLIB] Umbrales correctos reducidos en BinaryClassificationMetrics
- [SPARK-27621][ML] Regresión lineal: se validan los parámetros relacionados con el entrenamiento como una pérdida ocurrida solo durante la fase de ajuste.
- [SPARK-26048][SPARK-24530] Selección exclusiva de todas las confirmaciones que faltan en el script de la versión 2.4
- [SPARK-24935][SQL] Compatibilidad con INIT ->UPDATE -> MERGE -> FINISH en el adaptador UDAF de Hive
Actualizaciones de mantenimiento
Consulte Actualizaciones de mantenimiento de Databricks Runtime 5.5.
Entorno del sistema
- Sistema operativo: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
- R: R, versión 3.6.0 (2019-04-26)
-
Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
- Controlador Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Nota:
Scala 2.12 es compatible con Apache Spark 2.4, pero no con Databricks Runtime 5.5.
En esta sección:
- Bibliotecas de Python instaladas
- Bibliotecas de R instaladas
- Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse (una biblioteca de Python para el análisis de argumentos de línea de comandos) | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografía | 1.5 | ciclista | 0.10.0 | Cython | 0.24.1 |
| decorador | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futuros | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | dirección IP | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| entumecida | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | chivo expiatorio | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Almohada | 3.3.1 |
| pepita | 19.1.1 | Capas | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Pitón | 2.7.12 |
| Python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 1.6.2016 |
| Solicitudes | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | restregar | 0,32 | biblioteca de visualización de datos de Python llamada seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1,0 |
| singledispatch (despacho único) | 3.4.0.3 | six (seis) | 1.10.0 | statsmodels (paquete de Python para análisis estadístico) | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | rueda | 0.33.4 |
| wsgiref | 0.1.2 |
Bibliotecas de R instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | asegúrate de que | 0.2.1 |
| retroportaciones | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | poco | 1.1-14 | bit 64 | 0.9-7 |
| bitops | 1.0-6 | mancha | 1.1.1 | bota | 1.3-20 |
| fermentar | 1.0-6 | callr | 3.2.0 | automóvil | 3.0-2 |
| datosDelCoche | 3.0-2 | cursor | 6.0-82 | cellranger (herramienta de análisis de datos celulares) | 1.1.0 |
| Chron | 2.3-53 | clase | 7.3-15 | Cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | conglomerado | 2.0.8 |
| codetools | 0.2-16 | espacio de colores | 1.4-1 | commonmark | 1.7 |
| compilador | 3.6.0 | configuración | 0,3 | crayón | 1.3.4 |
| rizo | 3.3 | tabla de datos | 1.12.0 | conjuntos de datos | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Descripción | 1.2.0 |
| devtools | 2.0.1 | digerir | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | elipsis | 0.1.0 | fans | 0.4.0 |
| convictos | 0.4.0 | foreach | 1.4.4 | extranjero | 0.8-71 |
| fragua | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| genéricos | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | pegamento | 1.3.1 |
| Gower | 0.2.0 | gráficos | 3.6.0 | grDevices | 3.6.0 |
| rejilla | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | H₂O | 3.22.1.1 | refugio | 2.1.0 |
| HMS | 0.4.2 | herramientas de HTML | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iteradores | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | etiquetado | 0,3 |
| retícula | 0.20-38 | lava | 1.6.5 | evaluación diferida | 0.2.2 |
| más pequeño/a | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
| maptools | 0.9-5 | MASA | 7.3-51.1 | Matriz | 1.2-17 |
| MatrixModels | 0.4-1 | memorizar | 1.1.0 | métodos | 3.6.0 |
| mgcv | 1.8-28 | mimo | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl (software de cifrado) | 1.3 | openxlsx | 4.1.0 |
| paralelo | 3.6.0 | pbkrtest | 0.4-7 | pilar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| alabanza | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | progreso | 1.2.0 |
| prototipo | 1.0.0 | P.D | 1.3.0 | ronroneo | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| Bosque Aleatorio (randomForest) | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recetas | 0.1.5 | partido de revancha | 1.0.1 |
| Telecontroles | 2.0.2 | reshape2 | 1.4.3 | río | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0,10 | balanzas | 1.0.0 |
| información de la sesión | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | DispersoM | 1.77 | espacial | 7.3-11 |
| Tiras | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | estadísticas | 3.6.0 | estadísticas4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | supervivencia | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | fechaHora | 3043.102 | herramientas | 3.6.0 |
| úsalo | 1.4.0 | utf8 | 1.1.4 | utilidades | 3.6.0 |
| viridisLite | 0.3.0 | bigotes | 0,3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| cremallera | 2.0.1 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | SDK de AWS para Java - Soporte | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | flujo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuración | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | analizadores de univocidad | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | compresor de aire | 0,10 |
| io.dropwizard.metrics | núcleo de métricas | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | métricas-verificaciones de salud | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | activación | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolución | javolución | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | ejecución de hive con glue | hive-12679-patch_deploy |
| maven-trees | ejecución de hive con glue | hive-exec_shaded |
| net.hydromatic | eigenbase-propiedades | 1.1.5 |
| net.razorvine | pirolita | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.9.2 |
| org.apache.arrow | formato de flecha | 0.10.0 |
| org.apache.arrow | memoria de flecha | 0.10.0 |
| org.apache.arrow | vector de flecha | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcte | calcte-avatica | 1.2.0-incubación |
| org.apache.calcte | núcleo de calcita | 1.2.0-incubación |
| org.apache.calcte | calcte-linq4j | 1.2.0-incubación |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | marco de trabajo para curadores | 2.7.1 |
| org.apache.curator | curador-recetas | 2.7.1 |
| org.apache.derby | derbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | anotaciones de Hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-cliente | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubación |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | hiedra | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | calzos de orco | 1.5.2 |
| org.apache.parquet | parquet-columna | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | codificación de parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | sombreado xbean-asm6 | 4.8 |
| org.apache.zookeeper | guardián de zoológico | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | Seguridad de Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | servidor Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guayaba | 2.22.2 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | validador de hibernación | 5.1.1.Final |
| org.iq80.snappy | rápido | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Cuñas | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | sin usar | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.LANZAMIENTO |
| org.springframework | Prueba de primavera | 4.1.4.LANZAMIENTO |
| org.tukaani | xz | 1.5 |
| org.typelevel | maquinista_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |