Databricks Runtime 5.2 (EoS)

Databricks publicó esta versión en enero de 2019.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 5.2, con tecnología de Apache Spark.

Nuevas características

Databricks Asesor

Databricks Advisor analiza automáticamente los comandos y muestra avisos para ayudarle a mejorar el rendimiento.

Consulte Databricks Advisor.

Características de Delta Lake

Esta versión de Databricks Runtime agrega las siguientes características nuevas de Delta Lake:

• La importación rápida de Parquet permite importar archivos Parquet en una tabla Delta sin copiar datos. Esta característica facilita la conversión de tablas de Parquet existentes y la migración de canalizaciones a Delta.

• El viaje en el tiempo agrega la capacidad de consultar una instantánea de una tabla, mediante una cadena de marca de tiempo o una versión, usando una sintaxis SQL, así como opciones de DataFrameReader para expresiones de marca de tiempo. Esta es una gran herramienta para:

  • Volver a crear análisis, informes o salidas (por ejemplo, la salida de un modelo de aprendizaje automático), lo que resulta útil para depuración o auditoría, especialmente en campos regulados.
  • Escribir consultas temporales complejas.
  • Corregir errores en los datos.
  • Proporcionar aislamiento de instantáneas a un conjunto de consultas para tablas que cambian rápidamente.

  Importante

  Esta característica es Experimental.

  Consulte Trabajar con el historial de tablas de Delta Lake.

Bibliotecas con ámbito de Notebook

Utilidad de biblioteca (dbutils.library) (heredada) ahora admite los esquemas de URI del sistema de archivos de Azure adl, abfss, y wasbs. Las utilidades de biblioteca le permiten instalar bibliotecas de Python, como Eggs, Wheels y PyPI, en cuadernos de Python mediante la API de biblioteca de Utilidades de Databricks.

Mejoras

• Delta Lake
  • El historial de tablas muestra ahora la versión de instantánea leída y el nivel de aislamiento utilizado por una escritura en la tabla Delta.
  • se ha agregado compatibilidad con ALTER TABLE SET LOCATION
  • Se ha agregado compatibilidad con los campos anidados en la cláusula UPDATE de la tabla Delta MERGE INTO (por ejemplo, MERGE INTO table ON ... WHEN MATCHED THEN UPDATE SET topLevel.nestedField = ...).
• Rendimiento mejorado de la función de agregado approx_count_distinct.
• Se ha actualizado Java de 1.8.0_181 a 1.8.0_191.
• Se ha actualizado el compilador de Java Janino de 3.0.9 a 3.0.10.
• Se han quitado las bibliotecas Java com.mchange.c3p0 y com.mchange.mchange-commons-java.
• Se ha actualizado setuptools en Python frmo de 40.6.2 a 40.6.3.
• Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.

Corrección de errores

• Haga que el cuaderno display() respete la configuración de zona horaria de la sesión de Apache Spark.

Spark de Apache

Databricks Runtime 5.2 incluye Apache Spark 2.4.0. Esta versión incluye todas las correcciones y mejoras que se han incorporado en Databricks Runtime 5.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-26586][SS] Corrección de la condición de carrera que hace que los flujos se ejecuten con configuraciones inesperadas
• [SPARK-26267][SS] Reintento al detectar desplazamientos incorrectos de Kafka (dbr-branch-5.x)
• [SPARK-26383][CORE] NPE cuando se usa DataFrameReader.jdbc con una URL incorrecta
• [SPARK-26019][PYSPARK] Se permiten puertas de enlace py4j no seguras
• [SPARK-26098][WEBUI] Se muestra la consulta SQL asociada en la página Trabajo
• [SPARK-26402] Acceso a campos anidados con letras en mayúscula y minúscula, con el modo que no las diferencia
• [SPARK-26444][WEBUI] El color de la fase no cambia con su estado
• [SPARK-26426][SQL] Corrección del error de aserción de ExpresionInfo en el sistema operativo Windows.
• [SPARK-26352][SQL] La reordenación de combinación no debería cambiar el orden de los atributos de salida
• [SPARK-26422][R] Compatibilidad para deshabilitar la compatibilidad con Hive en SparkR, incluso para versiones de Hadoop no compatibles con la bifurcación de Hive
• [SPARK-24687][CORE] Evita la suspensión del trabajo cuando la generación de un binario de tarea provoca un error irrecuperable
• [SPARK-26366][SQL] ReplaceExceptWithFilter deberá considerar NULL como False
• [SPARK-26394][CORE] Corrección del error de anotación para Utils.timeStringAsMs
• [SPARK-26382][CORE] El comparador de prefijos debe controlar -0,0
• [SPARK-26352][SQL] Corrección de la ausencia de sameOutput en branch-2.4
• [SPARK-26352][SQL] La reordenación de combinación no debería cambiar el orden de los atributos de salida
• [SPARK-26316][SPARK-21052] Reversión de las métricas de combinación hash que provocan una degradación del rendimiento
• [SPARK-26315][PYSPARK] Umbral de conversión automática de Entero a Float en approxSimilarityJoin de BucketedRandomProjectionLSHModel
• [SPARK-26265][CORE] Coloca freePage en un bloque finally
• [SPARK-26370][SQL] Corrección de la resolución de la función de orden superior para el mismo identificador.
• [SPARK-21809] Página Cambiar fase para usar tablas de datos que admitan la ordenación de columnas y la búsqueda
• [SPARK-26355][PYSPARK] Agrega una solución alternativa para PyArrow 0.11.
• [SPARK-26265][CORE] Corrección del interbloqueo en BytesToBytesMap.MapIterator al bloquear tanto BytesToBytesMap.MapIterator como TaskMemoryManager
• [SPARK-26327][SQL] Corrección de errores para la actualización de métricas de FileSourceScanExec
• [SPARK-26307][SQL] Corrección de CTAS al usar INSERT en una tabla con particiones mediante Hive SerDe
• [SPARK-26233][SQL] CheckOverflow al codificar un valor decimal
• [SPARK-26119][CORE][WEBUI] La tabla de resumen de tareas solo debe contener métricas correctas de las tareas.
• [SPARK-24423][SQL] Corrección del ejemplo de error
• [SPARK-25860][SQL] Reemplaza Literal(null, _) por FalseLiteral, siempre que sea posible
• [SPARK-26219][CORE] El resumen del ejecutor debe actualizarse para los trabajos de error en la UI del servidor de historial
• [SPARK-26226][SQL] Actualiza el seguimiento de consultas para notificar la escala de tiempo de las fases
• [SPARK-26181][SQL] El método hasMinMaxStats de ColumnStatsMap no es correcto
• [SPARK-26198][SQL] Corrección de los valores NULL de serialización de metadatos que inician NPE
• [SPARK-26080][PYTHON] Omite el límite de recursos de Python en Windows, en un trabajo de Python
• [SPARK-26241][SQL] Agregación de queryId a IncrementalExecution (backport)
• [SPARK-26201] Corrección de la difusión de Python con cifrado
• [SPARK-26188][SQL] FileIndex: no inferir tipos de datos de columnas de partición si el usuario especifica el esquema
• [SPARK-26186][SPARK-26184][CORE] La hora de la última actualización no se actualiza para la aplicación Inprogress
• [SPARK-24341][SQL] Admite solo subconsultas IN con el mismo número de elementos por fila
• [SPARK-26137][CORE] Usa la propiedad del sistema Java "file.separator" inste...
• [SPARK-26114][CORE] Fuga del campo readingIterator en ExternalSorter
• [SPARK-25451][SPARK-26100][CORE] La tabla de métricas agregadas no muestra el número correcto de las tareas totales
• [SPARK-25786][CORE] Si ByteBuffer.hasArray es false, se produce una excepción UnsupportedOperationException para Kryo
• [SPARK-24553][UI] Corrección del redireccionamiento innecesario de la UI
• [SPARK-26109][WEBUI] La duración de la tabla de métricas de resumen de tareas es diferente a la de la tabla de tareas
• [SPARK-26084][SQL] Corrige la excepción AggregateExpression.references sin resolver
• [SPARK-25947][SQL][BACKPORT-5. X] Reduce el uso de memoria en ShuffleExchangeExec seleccionando solo las columnas de ordenación
• [SPARK-26118][WEB UI] Se introduce spark.ui.requestHeaderSize para establecer HTTP requestHeaderSize
• [SPARK-26079][SQL] Asegura la entrega de eventos del agente de escucha en StreamingQueryListenersConfSuite.
• [SPARK-26092][SS] Uso de CheckpointFileManager para escribir el archivo de metadatos de streaming
• [SPARK-25883][SQL] Invalidación del método prettyName en from_avro/to_avro

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 5.2.

Entorno del sistema

• Sistema operativo: Ubuntu 16.04.5 LTS
• Java: 1.8.0_191
• Scala: 2.11.8
• Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
• R: versión de R 3.4.4 (15-03-2018)
• Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
  • Controlador Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)