Databricks Runtime 10.1 (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.1 y Databricks Runtime 10.1 Photon, con tecnología de Apache Spark 3.2.0. Databricks publicó esta versión en noviembre de 2021. Photon se encuentra en versión preliminar pública.

Nuevas características y mejoras

• Nueva configuración de tablas de Delta para compactar archivos pequeños.
• Nuevas métricas de grupo de filas para exámenes de consultas de Parquet.
• Trigger.AvailableNow para consultas de streaming del origen Delta.
• Trigger.AvailableNow para Auto Loader.
• Compatibilidad de Delta con configuraciones de sistema de archivos de Hadoop que se pasan a través de las opciones de DataFrame.
• Ahora se admiten puntos de control del estado asincrónicos en los trabajos de streaming con estado (versión preliminar pública).
• Sparklyr con credenciales transferidas.
• Control de precisión del resumen de datos de Databricks Utilities (versión preliminar pública).
• Ahora se pueden usar los cuadernos de Azure Databricks con el kernel de IPython.
• Nuevas funciones en Spark SQL.

Nueva configuración de tablas de Delta para compactar archivos pequeños

La propiedad delta.autoOptimize.autoCompact de las tablas de Delta ahora acepta los nuevos valores de auto y legacy, además de los valores actuales de true y false. Cuando se establece en auto (recomendado), la compactación automática usa mejores valores predeterminados, como el establecimiento de 32 MB como tamaño del archivo de destino (aunque los comportamientos predeterminados están sujetos a cambios en el futuro). Cuando se establece en legacy o true, la compactación automática usa 128 MB como tamaño del archivo de destino.

En lugar de establecer esta propiedad para una tabla individual, puede establecer la configuración de spark.databricks.delta.autoCompact.enabled en auto, legacy o true para habilitar la compactación automática para todas las tablas de Delta. Esta configuración tiene prioridad sobre la propiedad de tabla relacionada durante la sesión actual.

El tamaño del archivo de destino para la compactación automática se puede controlar con la configuración de spark.databricks.delta.autoCompact.maxFileSize.

Para más información sobre la compactación automática, consulte Compactación automática para Delta Lake en Azure Databricks.

Nuevas métricas de grupo de filas para exámenes de consultas de Parquet

Las consultas con exámenes de Parquet ahora presentan métricas de grupo de filas en la interfaz de usuario de Spark. Estas métricas de grupo de filas son:

• Número total de grupos de filas de Parquet.
• Número de grupos de filas de Parquet leídos.

Trigger.AvailableNow para consultas de streaming del origen Delta

Este cambio permite un nuevo tipo de desencadenador para las consultas de streaming del origen Delta en Scala: Trigger.AvailableNow. Es como Trigger.Once, que procesa todos los datos disponibles y, después, detiene la consulta. Sin embargo, Trigger.AvailableNow proporciona una mejor escalabilidad, porque los datos se pueden procesar en varios lotes en lugar de uno solo. Este cambio no introduce una nueva interfaz, sino que implementa una API actual de Spark. Este desencadenador también admite todas las opciones de limitación de frecuencia que ya son compatibles con Delta como origen.

Ejemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Consulte cobertura de Trigger.AvailableNow en ¿Qué es el cargador automático?.

Trigger.AvailableNow para Auto Loader

Trigger.AvailableNow es un nuevo modo de desencadenador de streaming similar a Trigger.Once. Trigger.Once procesa todos los datos disponibles y, después, detiene la consulta. Trigger.AvailableNow proporciona una mejor escalabilidad, porque los datos se pueden procesar en varios lotes en lugar de uno solo. Auto Loader ahora admite Trigger.AvailableNow tanto en la lista de directorios como en los modos de notificación de archivos para Scala. Consulte cobertura de Trigger.AvailableNow en ¿Qué es el cargador automático?.

Compatibilidad de Delta con configuraciones de sistema de archivos de Hadoop que se pasan a través de las opciones de DataFrame

Al igual que Parquet, Delta ahora admite la lectura de configuraciones de sistema de archivos de Hadoop de las opciones DataFrameReader y DataFrameWriter cuando se lee o escribe una tabla, mediante DataFrameReader.load(path) o DataFrameWriter.save(path). Consulte Configuración de las credenciales de almacenamiento de Delta

Ahora se admiten puntos de control del estado asincrónicos en los trabajos de streaming con estado (versión preliminar pública)

Los puntos de control del estado asincrónicos son una nueva característica que puede reducir la latencia de los microlotes de un extremo a otro en los trabajos de streaming con estado con actualizaciones de estado de gran tamaño. Consulte Puntos de comprobación de estado asincrónico para consultas con estado.

Sparklyr con credenciales transferidas

Ahora puede usar las API de Sparklyr para leer y escribir datos en el almacenamiento en la nube usando credenciales transferidas. Esta funcionalidad está limitada a los clústeres estándar con acceso de usuario único. Acceso a Azure Data Lake Storage mediante el paso directo de credenciales de Microsoft Entra ID (heredado)

Control de precisión del resumen de datos de Databricks Utilities (versión preliminar pública)

El nuevo parámetro precise para dbutils.data.summarize controla la precisión de los resultados de resumen. Cuando precise está establecido en false (valor predeterminado), el resumen devuelve resultados aproximados para el recuento de valores únicos, el percentil y el recuento de elementos frecuentes. Cuando precise está establecido en true, los resúmenes ahora se calculan con valores exactos para el recuento de valores únicos y el recuento de elementos frecuentes, con estimaciones de percentil más precisas. Vea Comando summarize (dbutils.data.summarize).

Ahora se pueden usar los cuadernos de Azure Databricks con el kernel de IPython

Ahora se puede configurar un clúster de Azure Databricks para que use el kernel de IPython para ejecutar código de Python. El uso del kernel de IPython en Azure Databricks agrega compatibilidad con las herramientas de visualización y salida de IPython. Además, el kernel de IPython captura las salidas stdout y stderr de los procesos secundarios creados por un cuaderno, lo que permite incluir esa salida en los resultados del comando del cuaderno.

Para obtener más información, vea Kernel de IPython.

Nuevas funciones de Spark SQL

Se han agregado los siguientes objetos y comandos para trabajar con datos en Unity Catalog (versión preliminar):

• Ubicaciones externas
• ALTER CATALOG
• ALTER CREDENTIAL
• MODIFICAR UBICACIÓN
• CREATE CATALOG
• CREAR UBICACIÓN
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• DESCRIPCIÓN DE LA UBICACIÓN
• DROP CATALOG
• DROP CREDENTIAL
• Ubicación de Entrega
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• MOSTRAR UBICACIONES
• USE CATALOG

Se han agregado los siguientes comandos para Delta Sharing (versión preliminar), que permite compartir datos de solo lectura con destinatarios ajenos a la organización:

• Compartir
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT COMPARTIR
• REVOKE COMPARTIR
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Corrección de errores

• Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException, como No FileSystem for scheme, o modificar sparkContext.hadoopConfiguration para que no tuviera efecto en las consultas.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • filelock: de 3.0.12 a 3.3.1
  • koalas: de 1.8.1 a 1.8.2
  • plotly: de 5.1.0 a 5.3.0
• Bibliotecas de R actualizadas:
  • bslib: de 0.3.0 a 0.3.1
  • caret: de 6.0-88 a 6.0-90
  • cpp11: de 0.3.1 a 0.4.0
  • data.table: de 1.14.0 a 1.14.2
  • desc: de 1.3.0 a 1.4.0
  • diffobj: de 0.3.4 a 0.3.5
  • digest: de 0.6.27 a 0.6.28
  • generics: de 0.1.0 a 0.1.1
  • hms: de 1.1.0 a 1.1.1
  • knitr: de 1.34 a 1.36
  • lattice: de 0.20-44 a 0.20-45
  • lifecycle: de 1.0.0 a 1.0.1
  • lubridate: de 1.7.10 a 1.8.0
  • mgcv: de 1.8-37 a 1.8-38
  • mime: de 0.11 a 0.12
  • pkgload: de 1.2.2 a 1.2.3
  • progressr: de 0.8.0 a 0.9.0
  • rcmdcheck: de 1.3.3 a 1.4.0
  • readr: de 2.0.1 a 2.0.2
  • recipes: de 0.1.16 a 0.1.17
  • remotes: de 2.4.0 a 2.4.1
  • rlang: de 0.4.11 a 0.4.12
  • rvest: de 1.0.1 a 1.0.2
  • shiny: de 1.6.0 a 1.7.1
  • stringi: de 1.7.4 a 1.7.5
  • testthat: de 3.0.4 a 3.1.0
  • tidyr: de 1.1.3 a 1.1.4
  • tinytex: de 0.33 a 0.34
  • usethis: de 2.0.1 a 2.1.2
  • xfun: de 0.26 a 0.27
• Bibliotecas de Java actualizadas:
  • com.zaxxer.HikariCP: de 3.1.0 a 4.0.3

Apache Spark

Databricks Runtime 10.1 incluye Apache Spark 3.2.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 10.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

• [SPARK-37037] [SQL] Mejorar la ordenación de la matriz de bytes unificando la función compareTo de UTF8String y ByteArray
• [SPARK-37091] [R] SystemRequirements para incluir Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: compatibilidad con Capa de sockets seguros (SSL) para HMS
• [SPARK-37098] [SQL] La modificación de las propiedades de una tabla debería invalidar la caché
• [SPARK-36992] [SQL] Mejorar el rendimiento de la ordenación de matriz de bytes unificando la función getPrefix de UTF8String y ByteArray
• [SPARK-37047] [SQL] Agregar las funciones lpad y rpad para cadenas binarias
• [SPARK-37076] [SQL] Implementar StructType.toString explícitamente para Scala 2.13
• [SPARK-37075] [SQL] Mover la creación de expresiones UDAF de sql/catalyst a sql/core
• [SPARK-37084] [SQL] Establecer spark.sql.files.openCostInBytes en bytesConf
• [SPARK-37088] [ PYSPARK][sql] El subproceso escritor no debe tener acceso a la entrada después de que el agente de escucha de finalización de la tarea devuelva
• [SPARK-37069] [SQL] Ejecutar alternativa correctamente cuando Hive.getWithoutRegisterFns no está disponible
• [SPARK-37050] [PYTHON] Actualizar las instrucciones de instalación de Conda
• [SPARK-37067] [SQL] Usar ZoneId.of() para controlar la cadena de zona horaria en DatetimeUtils
• [SPARK-35925] [SQL] Admitir DayTimeIntervalType en la función width-bucket
• [SPARK-35926] [SQL] Agregar compatibilidad con YearMonthIntervalType para width_bucket
• [SPARK-35973] [SQL] Agregar el comandoSHOW CATALOGS
• [SPARK-36922] [SQL] Las funciones SIGN/SIGNUM deberían admitir intervalos ANSI
• [SPARK-37078] [CORE] Admitir constructores Sink antiguos de 3 parámetros
• [SPARK-37061] [SQL] Corregir CustomMetrics al usar clases internas
• [SPARK-35918] [AVRO] Unificar el control de incoherencias de esquema de lectura/escritura y mejorar los mensajes de error
• [SPARK-36871] [SQL]Migrar CreateViewStatement a la versión 2 del marco de comandos
• [SPARK-36898] [SQL] Hacer configurable el factor de combinación hash aleatorio
• [SPARK-36921] [SQL] Hacer que DIV admita intervalos ANSI
• [SPARK-36794] [SQL] Omitir las claves de combinación duplicadas al crear una relación para la combinación hash aleatoria SEMI/ANTI
• [SPARK-36867] [SQL] Corrección del mensaje de error con alias GROUP BY
• [SPARK-36914] [SQL] Implementar dropIndex y listIndexes en JDBC (dialecto MySQL)
• [SPARK-35531] [SQL] Pasar directamente la tabla de Hive a HiveClient cuando se llame a getPartitions para evitar la conversión innecesaria de HiveTable -> CatalogTable -> HiveTable
• [SPARK-36718] [SQL] Contraiga proyectos solo si no duplicamos expresiones costosas
• [SPARK-37046] [SQL]: alter view no mantiene las mayúsculas y minúsculas de las columnas
• [SPARK-36978] [SQL] La regla InferConstraints debería crear restricciones IsNotNull en el campo anidado al que se accede en lugar del tipo anidado raíz
• [SPARK-37052] [CORE] Spark solo debería pasar el argumento –verbose a la clase principal cuando es el shell SQL
• [SPARK-37017] [SQL] Reducir el ámbito de sincronización para evitar posibles interbloqueos
• [SPARK-37032] [SQL] Corregir el vínculo roto de la sintaxis de SQL en la página de referencia de SQL
• [SPARK-36905][SQL] Corregir la lectura de vistas de subárbol sin nombres de columna explícitos
• [SPARK-36678] Migración de SHOW TABLES para usar el comando V2 de manera predeterminada
• [SPARK-36943] [SQL] Mejorar la redacción del mensaje de error de columna que falta
• [SPARK-36980] [SQL] insert query para admitir CTE
• [SPARK-37001] [SQL] Deshabilitar dos niveles de mapa para la agregación de hash final de forma predeterminada
• [SPARK-36970] [SQL] Formato B de la función date_format deshabilitado manualmente para que Java 17 sea compatible con Java 8
• [SPARK-36546] [SQL] Agregar compatibilidad con matrices a unionByName
• [SPARK-36979] [SQL] Agregar regla RewriteLateralSubquery a nonExcludableRules
• [SPARK-36949] [SQL] No permitir tablas del proveedor Hive con intervalos ANSI
• [SPARK-36849] [SQL] Migrar CreateTableStatement a la versión 2 del marco de comandos
• [SPARK-36868] [SQL] Migrar CreateTableStatement a la versión 2 del marco de comandos
• [SPARK-36841] [SQL] Agregar la sintaxis ANSI set catalog xxx para cambiar el catálogo actual
• [SPARK-36821] [SQL] Hacer que la clase ColumnarBatch sea ampliable (anexo)
• [SPARK-36963] [SQL] Agregar max_by/min_by a sql.functions
• [SPARK-36913] [SQL] Implementar createIndex e IndexExists en DS V2 JDBC (dialecto MySQL)
• [SPARK-36848] [SQL] Migrar ShowCurrentNamespaceStatement a la versión 2 del marco de comandos
• [SPARK-36526] [SQL] Compatibilidad con índices DSV2: agregar la interfaz supportsIndex
• [SPARK-36960] [SQL] Delegar filtros con intervalos ANSI en ORC
• [SPARK-36929] [SQL] Quitar el método EliminateSubqueryAliasesSuite#assertEquifirm, que no se utiliza
• [SPARK-36931] [SQL] Admitir la lectura y escritura de intervalos ANSI en orígenes de datos ORC
• [SPARK-34980] [SQL] Admitir fusión de particiones con Union en AQE
• [SPARK-36809] [SQL] Quitar la variable de difusión de InSubqueryExec que se usa en DPP
• [SPARK-36813] [SQL][python] Proponer una infraestructura de as-of unión e inlemento ps.merge_asof
• [SPARK-36918] [SQL] Omitir tipos al comparar estructuras para unionByName
• [SPARK-36891] [SQL] Refactorizar SpecificParquetRecordReaderBase y agregar más cobertura a la descodificación vectorizada de Parquet
• [SPARK-36920] [SQL] Admitir intervalos ANSI en ABS()
• [SPARK-36888] [SQL] Agregar casos de prueba para la función sha2
• [SPARK-36889] [SQL] Respetar spark.sql.parquet.filterPushdown en ParquetScanBuilder v2
• [SPARK-36830] [SQL] Admitir la lectura y escritura de intervalos ANSI en orígenes de datos JSON
• [SPARK-36870] [SQL] Introducir la clase de error INTERNAL_ERROR
• [SPARK-36831] [SQL] Admitir la lectura y escritura de intervalos ANSI en orígenes de datos CSV.
• [SPARK-36550] [SQL] Causa de propagación cuando se produce un error en la reflexión de UDF
• [SPARK-36866] [SQL] Delegar filtros con intervalos ANSI en Parquet
• [SPARK-33832] [SQL] Forzar la simplificación y mejora del código de combinación de sesgo
• [SPARK-36642] [SQL] Agregar la API df.withMetadata de pyspark
• [SPARK-35765] [SQL] Las agregaciones de valores únicos no tienen en cuenta los duplicados
• [SPARK-36825] [SQL] Leer/escribir dataframes con intervalos ANSI en archivos de Parquet
• [SPARK-36829] [SQL] Refactorizar la comprobación de valores NULL para collectionOperators
• [SPARK-32712] [SQL] Admitir la escritura de tablas en cubo de Hive (formatos de archivo de Hive con hash de Hive)
• [SPARK-36797] [SQL] Union debería resolver las columnas anidadas como columnas de nivel superior
• [SPARK-36838] [SQL] Mejorar el rendimiento del código generado por InSet
• [SPARK-36683] [SQL] Agregar nuevas funciones de SQL integradas: SEC y CSC
• [SPARK-36721] [SQL] Simplificar las igualdades booleanas si un lado es literal
• [SPARK-36760] [SQL] Agregar la interfaz SupportsPushDownV2Filters
• [SPARK-36652] [SQL] DynamicJoinSelection de AQE no debería aplicarse a NonEquiJoin
• [SPARK-36745] [SQL] ExtractEquiJoinKeys debería devolver los predicados originales en las claves de combinación
• [SPARK-36107] [SQL] Refactorizar el primer conjunto de 20 errores de ejecución de consultas para usar clases de error
• [SPARK-32709] [SQL] Admitir la escritura de tablas en cubo de Hive (formato de Parquet/ORC con hash de Hive)
• [SPARK-36735] [SQL] Ajustar la sobrecarga de la relación en caché para DPP
• [SPARK-33832] [SQL] Admitir la optimización de la combinación sesgada incluso si introduce una ordenación aleatoria adicional
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec debería usar todas las condiciones en lugar de la condición nonEquiCond
• [SPARK-35221] [SQL] Agregar la comprobación de sugerencias de combinación admitidas
• [SPARK-36814] [SQL] Hacer que la clase ColumnarBatch sea ampliable
• [SPARK-36663] [SQL] Admitir nombres de columna solo numéricos en orígenes de datos ORC
• [SPARK-36751] [SQL][python][R] Agregar API de bit/octet_length a Scala, Python y R
• [SPARK-36733] [SQL] Corregir un problema de rendimiento en SchemaPruning cuando una estructura tiene muchos campos
• [SPARK-36724] [SQL] Admitir timestamp_ntz como tipo de columna de tiempo para SessionWindow
• [SPARK-36556] [SQL] Agregar filtros de DSV2
• [SPARK-36687] [SQL][core] Cambiar el nombre de las clases de error con _ERROR sufijo
• [SPARK-35803] [SQL] Admitir DataSource V2 en CreateTempViewUsing
• [SPARK-36642] [SQL] Agregar df.withMetadata, una sugerencia de sintaxis para actualizar los metadatos de un dataframe

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.1.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 26-10-2021.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)