Databricks Runtime 7.4 (EoS)

Databricks publicó esta versión en noviembre de 2020.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 7.4, con tecnología Apache Spark 3.0.

Nuevas características

En esta sección:

• Característica y mejoras de Delta Lake
• Auto Loader ahora admite la delegación de la configuración de recursos de notificación de archivos a los administradores
• El nuevo privilegio USAGE da a los administradores un mayor control sobre los privilegios de acceso a datos
• FUSE para DBFS ahora está habilitado para clústeres habilitados para acceso directo

Característica y mejoras de Delta Lake

En esta versión se proporcionan las siguientes características y mejoras de Delta Lake:

• La nueva API permite a Delta Lake comprobar que los datos agregados a una tabla satisfacen las restricciones
• La nueva API permite revertir una tabla de Delta a una versión anterior de la tabla
• La nueva versión inicial permite devolver solo los cambios más recientes en un origen de streaming de Delta Lake
• Se mejoró la estabilidad de OPTIMIZE

La nueva API permite a Delta Lake comprobar que los datos agregados a una tabla satisfacen las restricciones

Delta Lake ahora admite restricciones CHECK. Cuando se proporciona, Delta Lake comprueba automáticamente que los datos agregados a una tabla satisfagan la expresión especificada. Para agregar restricciones CHECK, use el comando ALTER TABLE ADD CONSTRAINTS. Para más información, consulte Restricciones en Azure Databricks.

La nueva API permite revertir una tabla de Delta a una versión anterior de la tabla

Ahora puede revertir las tablas de Delta a versiones anteriores mediante el comando RESTORE:

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Pitón

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE crea una nueva confirmación que revierte todos los cambios realizados en la tabla desde la versión que desea restaurar. Se restauran todos los datos y metadatos existentes, lo que incluye el esquema, las restricciones, los identificadores de transacción de streaming, los metadatos de COPY INTO y la versión del protocolo de tabla. Para más información, consulte Restauración de una tabla de Delta.

La nueva versión inicial permite devolver solo los cambios más recientes en un origen de streaming de Delta Lake

Para devolver solo los cambios más recientes, especifique startingVersion como latest. Para obtener más información, consulte Especificación de la posición inicial.

Se mejoró la estabilidad de OPTIMIZE

OPTIMIZE (sin predicados de partición) se puede escalar para ejecutarse en tablas con decenas de millones de archivos pequeños. Anteriormente, al controlador de Apache Spark se le podía agotar la memoria y OPTIMIZE no se completaba.Ahora, OPTIMIZE controla tablas muy grandes con decenas de millones de archivos.

Auto Loader ahora admite la delegación de la configuración de recursos de notificación de archivos a los administradores

Una nueva API de Scala permite a los administradores configurar recursos de notificación de archivos para Auto Loader. Los ingenieros de datos ahora pueden operar sus flujos de Auto Loader con menos permisos al delegar la configuración inicial de los recursos a sus administradores. Vea Configuración o administración manual de recursos de notificación de archivos.

El nuevo privilegio USAGE da a los administradores un mayor control sobre los privilegios de acceso a datos

Para realizar una acción en un objeto de una base de datos, ahora se le debe conceder el privilegio USAGE en esa base de datos, además de los privilegios necesarios para realizar la acción. El privilegio USAGE se concede para una base de datos o un catálogo. Con la introducción del privilegio USAGE, el propietario de una tabla ya no puede decidir compartirla con otro usuario; el usuario también debe tener el privilegio USAGE en la base de datos que contiene la tabla.

En las áreas de trabajo que tienen habilitado el control de acceso a tablas, el users grupo tiene automáticamente el privilegio USAGE para la raíz CATALOG.

Para obtener más información, consulte USAGE privilegios.

FUSE para DBFS ahora está habilitado para clústeres habilitados para acceso directo

Ahora puede leer y escribir desde DBFS mediante el montaje de FUSE en /dbfs/ cuando se usa un clúster de alta simultaneidad habilitado para el acceso directo a credenciales. Se admiten los montajes normales. No se admiten los montajes que requieren credenciales de acceso directo.

Mejoras

Spark SQL admite IFF y CHARINDEX como sinónimos de IF y POSITION

En Databricks Runtime, IF() es un sinónimo de CASE WHEN <cond> THEN <expr1> ELSE <expr2> END.

Databricks Runtime ahora admite IFF() como sinónimo de IF().

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX es un nombre alternativo para la función POSITION. CHARINDEX busca la posición de la primera aparición de una cadena dentro de otra cadena con un índice de inicio opcional.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Varias salidas por celda habilitadas para cuadernos de Python de manera predeterminada

Databricks Runtime 7.1 introdujo compatibilidad con varias salidas por celda en cuadernos de Python (y celdas de %python dentro de cuadernos que no son de Python), pero era necesario habilitar la característica para el cuaderno. Esta característica está habilitada de manera predeterminada en Databricks Runtime 7.4. Consulte Visualización de varias salidas por celda.

Mejoras de la característica de autocompletar para cuadernos de Python

Autocompletar para Python muestra información de tipos adicional generada a partir del análisis estático del código mediante la biblioteca de Jedi. Puede presionar la tecla Tab para ver una lista de opciones.

Se ha mejorado display de los vectores de Spark ML en la versión preliminar de DataFrame de Spark

El formato display ahora muestra etiquetas para el tipo de vector (disperso o denso), la longitud, los índices (para los vectores dispersos) y los valores.

Otras correcciones

• Se ha corregido un problema de selección con collections.namedtuple en los cuadernos.
• Se ha corregido un problema de selección con clases y métodos definidos de manear interactiva.
• Se ha corregido un error que provocaba un error de mlflow.start_run() en las llamadas en el acceso directo o en los clústeres habilitados para el control de acceso a tablas.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • jedi se actualizó de 0.14.1 a 0.17.2.
  • koalas se actualizó de 1.2.0 a 1.3.0.
  • parso se actualizó de 0.5.2 a 0.7.0.
• Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.

Apache Spark

Databricks Runtime 7.4 incluye Apache Spark 3.0.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 7.3 LTS (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• [SPARK-33170] [SQL] Adición de la configuración de SQL para controlar el comportamiento de respuesta rápida a errores en FileFormatWriter
• [SPARK-33136] [SQL] Corrección del parámetro intercambiado por error en V2WriteCommand.outputResolved
• [SPARK-33134] [SQL] Devolución de resultados parciales solo para objetos JSON raíz
• [SPARK-33038] [SQL] Combinación de AQE inicial y plan actual…
• [SPARK-33118][SQL]CREATE TEMPORARY Error de TABLE con la ubicación
• [SPARK-33101] [ML] Hacer que el formato LibSVM propague la configuración de Hadoop desde las opciones de DS hasta el sistema de archivos HDFS subyacente
• [SPARK-33035] [SQL] Actualiza las entradas obsoletas de asignación de atributos en QueryPlan#transformUpWithNewOutput
• [SPARK-33091] [SQL] Evitar el uso de map en lugar de foreach para evitar posibles efectos secundarios en los autores de llamada de OrcUtilsreadCatalystSchema
• [SPARK-33073] [PYTHON] Mejora del control de errores en de conversión de Pandas a Arrow
• [SPARK-33043] [ML] Control de spark.driver.maxResultSize=0 en el cálculo heurístico de RowMatrix
• [SPARK-29358] [SQL] Hacer que unionByName rellene opcionalmente las columnas que faltan con valores NULL
• [SPARK-32996] [WEB-UI] Control de ExecutorMetrics vacío en ExecutorMetricsJsonSerializer
• [SPARK-32585] [SQL] Compatibilidad con la enumeración de Scala en ScalaReflection
• [SPARK-33019] [CORE] Uso de spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 de manera predeterminada
• [SPARK-33018] [SQL] Corrección del problema de estimación de estadísticas si el elemento secundario tiene 0 bytes
• [SPARK-32901] [CORE] No asignar memoria mientras se desborda UnsafeExternalSorter
• [SPARK-33015] [SQL] Uso de millisToDays() en la regla ComputeCurrentTime
• [SPARK-33015] [SQL] Cálculo de la fecha actual solo una vez
• [SPARK-32999] [SQL] Uso de Utils.getSimpleName para evitar alcanzar el nombre de clase con formato incorrecto en TreeNode
• [SPARK-32659] [SQL] Difusión de Array en lugar de Set en InSubqueryExec
• [SPARK-32718] [SQL] Eliminación de palabras clave innecesarias para las unidades de intervalo
• [SPARK-32886] [WEBUI] corregir el vínculo "undefined" en la línea de tiempo de eventos
• [SPARK-32898] [CORE] Corrección de un executorRunTime incorrecto cuando la tarea termina antes del inicio real
• [SPARK-32635] [SQL] Adición de un nuevo caso de prueba en el módulo de Catalyst
• [SPARK-32930] [CORE] Reemplazo de los métodos isFile/isDirectory en desuso
• [SPARK-32906] [SQL] Los nombres de campo de estructura no deben cambiar después de normalizar los valores float
• [SPARK-24994] [SQL] Adición de un optimizador UnwrapCastInBinaryComparison para simplificar el literal entero
• [SPARK-32635] [SQL] Corrección de la propagación plegable
• [SPARK-32738] [CORE] Debe reducir el número de subprocesos activos si se produce un error grave en Inbox.process
• [SPARK-32900] [CORE] Permitir un desbordamiento de UnsafeExternalSorter cuando hay valores NULL
• [SPARK-32897] [PYTHON] No mostrar una advertencia de desaprobación en SparkSession.builder.getOrCreate
• [SPARK-32715] [CORE] Corrección de la fuga de memoria cuando no se pudieron almacenar fragmentos de difusión
• [SPARK-32715] [CORE] Corrección de la fuga de memoria cuando no se pudieron almacenar fragmentos de difusión
• [SPARK-32872] [CORE] Impedir que BytesToBytesMap en MAX_CAPACITY supere el umbral de crecimiento
• [SPARK-32876] [SQL] Cambio de las versiones de reserva predeterminadas a 3.0.1 y 2.4.7 en HiveExternalCatalogVersionsSuite
• [SPARK-32840] [SQL] Puede ocurrir que el valor de intervalo no válido esté simplemente adherido a la unidad
• [SPARK-32819] [SQL] El parámetro ignoreNullability debe ser eficaz de forma recursiva
• [SPARK-32832] [SS] Uso de CaseInsensitiveMap para las opciones DataStreamReader/Writer
• [SPARK-32794] [SS] Corrección de un error de caso patológico poco frecuente en el motor de microlotes con algunas consultas con estado + lotes sin datos + orígenes V1
• [SPARK-32813] [SQL] Obtención de la configuración predeterminada del lector vectorizado ParquetSource si no hay ninguna SparkSession activa
• [SPARK-32823] [INTERFAZ DE USUARIO WEB] Corrección de los informes de recursos de la interfaz de usuario maestra
• [SPARK-32824] [CORE] Mejora del mensaje de error cuando el usuario olvida .amount en una configuración de recursos
• [SPARK-32614] [SQL] No aplique el procesamiento de comentarios si no se establece 'comment' para CSV
• [SPARK-32638] [SQL] Corrige las referencias al agregar alias en WidenSetOperationTypes
• [SPARK-32810] [SQL] Los orígenes de datos CSV/JSON deben evitar las rutas comodín g al inferir el esquema
• [SPARK-32815] [ML] Corrección del error de carga del origen de datos LibSVM en rutas de acceso de archivo con metacaracteres glob
• [SPARK-32753] [SQL] Solo copiar etiquetas en el nodo sin etiquetas
• [SPARK-32785] [SQL] El intervalo con elementos pendientes no debe dar como resultado NULL
• [SPARK-32764] [SQL] -0.0 debe ser igual a 0.0
• [SPARK-32810] [SQL] Los orígenes de datos CSV/JSON deben evitar las rutas comodín g al inferir el esquema
• [SPARK-32779] [SQL] Evitar el uso de la API sincronizada de SessionCatalog en el flujo withClient, lo que conduce a DeadLock
• [SPARK-32791] [SQL] La métrica de tablas sin particiones no debe tener tiempo de recorte dinámico de particiones
• [SPARK-32767] [SQL] La combinación de cubos debe funcionar si spark.sql.shuffle.partitions es mayor que el número de cubos
• [SPARK-32788] [SQL] El recorrido de tablas sin particiones no debe tener un filtro de partición
• [SPARK-32776] [SS] PropagateEmptyRelation no debe optimizar el límite de streaming
• [SPARK-32624] [SQL] Corrección de la regresión en CodegenContext.addReferenceObj en tipos de Scala anidados
• [SPARK-32659] [SQL] Mejora de la prueba para la poda de DPP en un tipo no atómico
• [SPARK-31511] [SQL] Hacer que los iteradores de BytesToBytesMap sean seguros para subprocesos
• [SPARK-32693] [SQL] Comparación de dos dataframes con el mismo esquema, excepto la propiedad que acepta valores NULL
• [SPARK-28612] [SQL] Documento de método correcto de DataFrameWriterV2.replace()

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 7.4.

Entorno del sistema

• Sistema operativo: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (compilación 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: Versión R 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del XX-XX-XXXX.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)