Databricks Runtime 7.1 (EoS)

Databricks publicó esta versión en julio de 2020.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 7.1, con tecnología Apache Spark 3.0.

Nuevas características

Databricks Runtime 7.1 incluye las siguientes características nuevas.

Delta Lake

• Ahora puede establecer metadatos definidos por el usuario en cada confirmación realizada por las operaciones Delta. Para ver más detalles, consulte Enriquecimiento de tablas de Delta Lake con metadatos personalizados.

• Ahora puede consultar la configuración de SQL spark.databricks.delta.lastCommitVersionInSession para obtener la versión de la última confirmación escrita por el SparkSession actual.

  Si no ha realizado ninguna confirmación por parte de SparkSession, se devuelve un valor vacío al consultar la clave. Esta característica no se admite en casos de streaming o multiproceso.

• CONVERT TO DELTA ahora puede convertir tablas Parquet creadas por Structured Streaming mediante el registro de transacciones que se encuentra en la carpeta _spark_metadata. Esto evita que los archivos no confirmados a través de la consulta de streaming se consideren en la tabla Delta. A continuación, puede continuar la secuencia con la misma ubicación de punto de control.

  Nota:

  Existe una pequeña posibilidad de que los datos del último microlote se puedan volver a confirmados en la tabla después del proceso de conversión.

• Esta versión contiene mejoras de rendimiento para las operaciones MERGE INTO que solo tienen cláusulas coincidentes. Es decir, solo tienen acciones UPDATE y DELETE y no tienen ninguna acción INSERT.

Comandos pip para admitir bibliotecas de Python con ámbito de cuaderno

A partir de Databricks Runtime 7.1 ML, puede usar los comandos %pip para administrar bibliotecas de Python instaladas en una sesión de cuaderno. Para más información, consulte Bibliotecas de Python cuyo ámbito es Notebook.

Mejoras

• Agrega un método display a los DataFrames de PySpark, Pandas y Koalas, por lo que ahora puede ejecutar df.display() para facilitar el análisis exploratorio de datos. Consulte Creación de una nueva visualización.
• Koalas ahora está instalado.

Apache Spark

Databricks Runtime 7.1 incluye Apache Spark 3.0.0. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 7.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

• [SPARK-32057] ExecuteStatement: cancelar y cerrar no debe ser un ERROR transitorio
• [SPARK-32167] [SQL] Corregir GetArrayStructFields para respetar la nulabilidad del campo interno de forma conjunta
• [SPARK-31935] La configuración del sistema de archivos de Hadoop debe ser efectiva en las opciones del origen de datos
• [SPARK-32038] [SQL] NormalizeFloatingNumbers también debe funcionar en distintos agregados
• [SPARK-31705] [SQL] Inserción de más predicados posibles a través de la combinación mediante la conversión de CNF
• [SPARK-31945] [SQL][pyspark] Habilitación de la caché para la misma función de Python
• [SPARK-8981] [CORE] Agregar compatibilidad con MDC en Executor
• [SPARK-31986] [SQL] Corrección del establecimiento de una nueva base de cálculo de micros del calendario juliano al gregoriano de marcas de tiempo locales superpuestas
• [SPARK-31959] [SQL] Corrección del establecimiento de una nueva base de cálculo de micros del calendario juliano al gregoriano al cambiar el desplazamiento de zona horaria estándar
• [SPARK-26905] [SQL] Seguimiento de las palabras clave reservadas SQL:2016
• [SPARK-31990] [SS] Use toSet.toSeq en Dataset.dropDuplicates
• [SPARK-31992] [SQL] Punto de referencia para el modo de establecimiento de una nueva base de cálculo de EXCEPTION
• [SPARK-31983] [WEBUI] Corrección de la ordenación de la columna de duración en la pestaña de Structured Streaming
• [SPARK-31593] [SS] Eliminación de la actualización de progreso de la consulta de streaming innecesaria
• [SPARK-31968] [SQL] Comprobación de columnas de partición duplicadas al escribir datos
• [SPARK-31632] [CORE][webui] Enriquecer el mensaje de excepción cuando el resumen de la aplicación no está disponible
• [SPARK-31916] [SQL] StringConcat puede dar lugar a StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] La configuración del sistema de archivos de Hadoop debe ser efectiva en las opciones del origen de datos
• [SPARK-31954] [SQL] Eliminación de un caso de prueba duplicado en HiveQuerySuite
• [SPARK-28199] [SS] Eliminación del paquete privado en la clase o el objeto en el paquete sql.execution
• [SPARK-31956] [SQL] No se producirá un error si no hay ninguna combinación de sí mismo ambigua
• [SPARK-31941] [CORE] Reemplazo de SparkException por NoSuchElementException para applicationInfo en AppStatusStore.
• [SPARK-26905] [SQL] Incorporación de TYPE a la lista ANSI no reservada
• [SPARK-31921] [CORE] Corrección de la advertencia incorrecta: "App app-xxx requiere más recursos de los que cualquiera de los trabajados podría tener"
• [SPARK-31220] [SQL] La repartición obedece a initialPartitionNum cuando adaptiveExecutionEnabled
• [SPARK-29295] [SQL] El mapa de particiones dinámico que se analiza desde la ruta de acceso de partición no debe distinguir entre mayúsculas y minúsculas
• [SPARK-31849] [PYTHON][sql] Mensaje de error más correcto en el mensaje de excepción de UDF de Python
• [SPARK-31923] [CORE] Omisión de acumuladores internos que usan tipos no reconocidos en lugar de bloquearse
• [SPARK-31849] [PYTHON][sql] Desduplicar y reutilizar Utils.exceptionString en el control de excepciones de Python

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 7.1.

Entorno del sistema

• Sistema operativo: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: Versión R 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 22-04-2020.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)