Databricks Runtime 10.3 (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.3 y Databricks Runtime 10.3 Photon, con tecnología de Apache Spark 3.2.1. Photon se encuentra en versión preliminar pública. Databricks publicó esta versión en febrero de 2022.

Nuevas características y mejoras

• Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al cambiar la base de las marcas de tiempo de los orígenes de datos de Parquet
• Nuevas funciones en Spark SQL.
• La combinación de orden aleatorio bajo ya está disponible con carácter general
• Nuevas COPY INTO características: modo de validación y evolución del esquema
• Ahora se admiten las columnas de identidad en las tablas Delta (versión preliminar pública)

Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al cambiar la base de las marcas de tiempo de los orígenes de datos de Parquet

Los escritores de Parquet y Avro ahora usan la zona horaria de sesión al cambiar la base de las marcas de tiempo en modo legacy en lugar de usar la zona horaria de JVM predeterminada. La zona horaria de sesión se establece en la zona horaria de JVM de forma predeterminada.

Nuevas funciones de Spark SQL

Las siguientes funciones de Spark SQL ahora se admiten en esta versión:

• aes_decrypt: descifra la entrada mediante AES.
• aes_encrypt: cifra la entrada mediante AES.
• contains: determina si una expresión contiene otra expresión.
• endswith: determina si una expresión termina con otra expresión.
• percentile_cont: devuelve un valor de percentil.
• startswith: determina si una expresión comienza con otra expresión.

La combinación de orden aleatorio bajo ya está disponible con carácter general

El comando Delta MERGE INTO usa una técnica denominada combinación de orden aleatorio bajo, que reduce el orden aleatorio de las filas sin modificar. Esta técnica mejora el rendimiento del comando y ayuda a conservar la agrupación en clústeres existente en la tabla, como la ordenación Z. Esta funcionalidad se introdujo en Databricks Runtime 9.0 en la versión preliminar pública y ahora ha alcanzado la disponibilidad general. Para habilitar la combinación de orden aleatorio bajo, establezca spark.databricks.delta.merge.enableLowShuffle en true. Consulte Combinación de orden aleatorio bajo en Azure Databricks.

Nuevas COPY INTO características: modo de validación y evolución del esquema

Modo de validación: COPY INTO ahora admite un modo VALIDATE en el que los datos que se van a cargar en una tabla se validan pero no se escriben en la tabla. Estas validaciones incluyen lo siguiente:

• Si se pueden analizar los datos.
• Si el esquema coincide con el de la tabla o si el esquema debe evolucionar.
• Si se cumplen todas las restricciones de comprobación y nulabilidad.

Ejemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

El valor predeterminado es validar todos los datos que se van a cargar. Puede proporcionar una serie de filas para que se validen con la palabra clave ROWS, como VALIDATE 15 ROWS. La instrucción COPY INTO devuelve una vista previa de los datos de 50 filas o menos, cuando se usa un número menor que 50 con la palabra clave ROWS.

Evolución del esquema: COPY INTO ahora admite la evolución del esquema con la opción mergeSchema en COPY_OPTIONS. Para desarrollar el esquema de una tabla, debe tener permisos OWN sobre la tabla.

Ejemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Consulte COPY INTO.

Ahora se admiten las columnas de identidad en las tablas Delta (versión preliminar pública)

Delta Lake ahora admite columnas de identidad. Cuando se escribe en una tabla Delta que define una columna de identidad y no se proporcionan valores para esa columna, Delta ahora asigna automáticamente un valor único y estadísticamente creciente o decreciente. Consulte CREATE TABLE [USING].

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • distlib de 0.3.3 a 0.3.4
  • filelock de 3.4.0 a 3.4.2
  • numpy de 1.19.2 a 1.20.1
  • plotly de 5.3.1 a 5.5.0
• Bibliotecas de R actualizadas:
  • backports de 1.4.0 a 1.4.1
  • brio de 1.1.2 a 1.1.3
  • escoba de 0.7.10 a 0.7.11
  • class de 7.3-19 a 7.3-20
  • cpp11 de 0.4.1 a 0.4.2
  • DBI de 1.1.1 a 1.1.2
  • devtools de 2.4.2 a 2.4.3
  • digest de 0.6.28 a 0.6.29
  • dtplyr de 1.1.0 a 1.2.0
  • fansi de 0.5.0 a 1.0.2
  • foreign de 0.8-81 a 0.8-82
  • fs de 1.5.0 a 1.5.2
  • gert de 1.4.3 a 1.5.0
  • glue de 1.5.0 a 1.6.0
  • httpuv de 1.6.3 a 1.6.5
  • jsonlite de 1.7.2 a 1.7.3
  • knitr de 1.36 a 1.37
  • MASS de 7.3-54 a 7.3-55
  • Matrix de 1.3-4 a 1.4-0
  • nlme de 3.1-152 a 3.1-155
  • nnet frm de 7.3-16 a 7.3-17
  • openssl de 1.4.5 a 1.4.6
  • parallelly de 1.29.0 a 1.30.0
  • pkgbuild de 1.2.0 a 1.3.1
  • pkgload de 1.2.3 a 1.2.4
  • progressr de 0.9.0 a 0.10.0
  • Rcpp de 1.0.7 a 1.0.8
  • readr de 2.1.0 a 2.1.1
  • remotes de 2.4.1 a 2.4.2
  • RSQLite de 2.2.8 a 2.2.9
  • sessioninfo de 1.2.1 a 1.2.2
  • sparklyr de 1.7.2 a 1.7.4
  • testque de 3.1.0 a 3.1.1
  • tinytex de 0.35 a 0.36
  • usethis de 2.1.3 a 2.1.5
  • vroom de 1.5.6 a 1.5.7
  • withr de 2.4.2 a 2.4.3
  • xfun de 0.28 a 0.29
  • xml2 de 1.3.2 a 1.3.3
• Bibliotecas de Java actualizadas:
  • dev.ludovic.netlib.arpack de 1.3.2 a 2.2.1
  • dev.ludovic.netlib.blas de 1.3.2 a 2.2.1
  • dev.ludovic.netlib.lapack de 1.3.2 a 2.2.1
  • io.delta.delta-sharing-spark_2.12 de 0.2.0 a 0.3.0

Apache Spark

Databricks Runtime 10.3 incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 10.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-37896] [SQL] Implementación de ConstantColumnVector y mejora del rendimiento de los metadatos de archivos ocultos
• [SPARK-37924] [SQL] Ordenar las propiedades de la tabla por clave en SHOW CREATE TABLE VIEW (v1)
• [SPARK-37636] [SQL] Migración de CREATE NAMESPACE para usar el comando V2 de forma predeterminada
• [SPARK-37381] [ SQL] Unificar pruebas v1 y v2 SHOW CREATE TABLE
• [SPARK-37876] [CORE][sql] Mover SpecificParquetRecordReaderBase.listDirectory a TestUtils
• [SPARK-37854] [CORE] Reemplazo de la comprobación de tipos con la coincidencia de patrones en el código de Spark
• [SPARK-36967] [CORE] Informe del tamaño preciso del bloque de orden aleatorio si está sesgado
• [SPARK-37864] [SQL] Compatibilidad con valores booleanos de lectura vectorizados que usan la codificación RLE con Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator debe omitir rápidamente la comprobación de alineación con la plataforma no alineada
• [SPARK-37855] [SQL] Excepción IllegalStateException al transformar una matriz dentro de una estructura anidada
• [SPARK-37858] [SQL] Inicio de SparkRuntimeException con clases de error desde funciones AES
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker no debe intentar obtener el estado de un archivo omitido
• [SPARK-37860] [UI] Corrección de taskindex en la escala de tiempo del evento de tarea de la página de fase
• [SPARK-36879] [SQL] Compatibilidad con la codificación de páginas de datos de Parquet v2 (DELTA_BINARY_PACKED) para la ruta de acceso vectorizada
• [SPARK-37828] [SQL] Delegación de filtros mediante RebalancePartitions
• [SPARK-37802] [SQL][3.2] El nombre del campo compuesto debe funcionar con la delegación del agregado
• [SPARK-37826] [SQL] Uso del nombre de códec zstd en los nombres de archivo ORC para hive orc impl
• [SPARK-37820] [SQL] Reemplazo de ApacheCommonBase64 por JavaBase64 para funciones de cadena
• [SPARK-37832] [SQL] El convertidor de estructuras ORC debe usar una matriz para buscar convertidores de campos en lugar de una lista vinculada
• [SPARK-37786] [SQL] Compatibilidad de StreamingQueryListener con SQLConf.get para obtener sqlConf correspondiente de SessionState
• [SPARK-37527] [SQL] Traducción de más funciones de agregado estándar para la delegación
• [SPARK-37777] [SQL] Actualización de la sintaxis SQL de SHOW FUNCTIONS
• [SPARK-8582] [CORE] Punto de control diligente cuando se le pide que lo haga de forma real
• [SPARK-37822] [SQL] StringSplit debe devolver una matriz en elementos que no son NULL
• [SPARK-37812] [SQL] Al deserializar una estructura ORC, se reutiliza la fila de resultado cuando es posible
• [SPARK-37367] [SQL] Nueva habilitación de pruebas de excepción en la vista de DDLParserSuite.create: básica
• [SPARK-37796] [SQL] ByteArrayMethods arrayEquals debe omitir rápidamente la comprobación de alineación con la plataforma no alineada
• [SPARK-37817] [SQL][minor] Quitar código inaccesible en complexTypeExtractors.scala
• [SPARK-37807] [SQL] Corrección de errores tipográficos en mensajes de HttpAuthenticationException
• [SPARK-37750] [SQL] Modo ANSI: opcionalmente, se devuelve un resultado NULL si el elemento no existe en la matriz o el mapa.
• [SPARK-37789] [SQL] Adición de una clase para representar funciones de agregado generales en DS V2
• [SPARK-37785] [SQL][core] Añadir Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Supporte la función QueryExecutionListener para usar SQLConf.get y obtener el SQLConf correspondiente de SessionState.
• [SPARK-37783] [SS][sql][CORE] Habilite la recursividad de cola siempre que sea posible.
• [SPARK-37726] [SQL] Adición de métricas de tamaño de volcado para sort merge join
• [SPARK-37800] [SQL] TreeNode.argString aplica un formato incorrecto a argumentos de tipo Set[_]
• [SPARK-37716] [SQL] Mejora de los mensajes de error cuando LateralJoin tiene expresiones no deterministas
• [SPARK-37779] [SQL] Convertir el plan de ColumnarToRowExec en canonizable después de la (de)serialización
• [SPARK-37578] [SQL] Actualización de métricas de tareas a partir de métricas personalizadas de ds v2
• [SPARK-37676] [SQL] Compatibilidad con la función de agregación ANSI: percentile_cont
• [SPARK-37724] [SQL] Modo ANSI: deshabilitación de palabras clave reservadas ANSI de forma predeterminada
• [SPARK-37705] [SQL][3.2] Fusión mediante cambio de base de marcas de tiempo en la zona horaria de sesión guardada en los metadatos de Parquet/Avro
• [SPARK-34755] [SQL] Compatibilidad con las utilidades para transformar el formato de número
• [SPARK-36703] [SQL] Eliminación de la ordenación si es el elemento secundario de RepartitionByExpression
• [SPARK-37369] [SQL] Evitar la transición redundante de ColumnarToRow en InMemoryTableScan
• [SPARK-37450] [SQL] Eliminación de campos innecesarios de Generate
• [SPARK-37728] [SQL] La lectura de columnas anidadas con el lector vectorizado de ORC puede provocar la excepción ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Adición de code-gen para sort aggregate sin agrupar las claves
• [SPARK-37659] [UI][3.2] Corrección de la condición de carrera de FsHistoryProvider entre la información de enumeración y eliminación de registros
• [SPARK-37727] [SQL] Mostrar las configuraciones omitidas y las advertencias ocultas para la configuración ya establecida en SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider indica si se modifica el contexto de seguridad
• [SPARK-37273] [SQL] Compatibilidad con columnas de metadatos de archivo ocultos en Spark SQL
• [SPARK-36876] [SQL] Compatibilidad con la eliminación de particiones dinámicas para HiveTableScanExec
• [SPARK-37546] [SQL] El comando V2 ReplaceTableAsSelect debe calificar la ubicación
• [SPARK-37545] [SQL] El comando V2 CreateTableAsSelect debe calificar la ubicación
• [SPARK-37707] [SQL] Permitir la asignación de almacén y la conversión implícita entre tipos datetime
• [SPARK-37644] [SQL] Compatibilidad con la delegación de agregado completa del origen de datos v2
• [SPARK-37695] [CORE][shuffle] Omitir diagnósticos de bloques combinados en mezcla basada en empuje
• [SPARK-35295] [ML] Reemplazo completo de com.github.fommil.netlib por dev.mente.netlib:2.0
• [SPARK-37694] [SQL] No permitir la eliminación de recursos en la CLI de Spark SQL
• [SPARK-37330] [SQL] Migración de ReplaceTableStatement al comando v2
• [SPARK-27974] [SQL] Compatibilidad con la función de agregado ANSI: array_agg
• [SPARK-36902] [SQL] Migración de CreateTableAsSelectStatement al comando v2
• [SPARK-37678] [PYTHON] Corrección de la firma _cleanup_and_return
• [SPARK-37613] [SQL] Compatibilidad con la función de agregado ANSI: regr_count
• [SPARK-37689] [SQL] Se debe admitir la expansión en PropagateEmptyRelation
• [SPARK-37654] [SQL] Corrección de NPE en Row.getSeq cuando el campo es Null
• [SPARK-37496] [SQL] Migración de ReplaceTableAsSelectStatement al comando v2
• [SPARK-37483] [SQL] Compatibilidad con la delegación de sentencias Top-N en el origen de datos JDBC V2
• [SPARK-37577] [SQL] Corrección de ClassCastException: ArrayType no se puede convertir en StructType para generar la eliminación
• [SPARK-37310] [SQL] Migración de ALTER NAMESPACE … SET PROPIEDADES para usar el comando V2 de forma predeterminada
• [SPARK-37501] [ SQL] CREATE/REPLACE TABLE debe calificar la ubicación para el comando v2
• [SPARK-37343] [SQL] Implementación de createIndex, IndexExists y dropIndex en JDBC (dialecto de Postgres)
• [SPARK-37060] [CORE][3.2] Control de la respuesta de estado del controlador de los maestros de copia de seguridad
• [SPARK-37629] [SQL] Aceleración de Expression.canonicalized
• [SPARK-37633] [SQL] La conversión de desencapsulado debe omitirse si se ha generado un error en la conversión hacia abajo con un...
• [SPARK-37631] [SQL] Limpieza del código al promover cadenas a tipo doble en funciones matemáticas
• [SPARK-37569] [SQL] No marcar campos de vista anidados como anulables
• [SPARK-37557] [SQL] Reemplazo del valor hash de objeto por el agregado de ordenación si el elemento secundario ya está ordenado
• [SPARK-36850] [SQL] Migración de CreateTableStatement a la plataforma de comandos v2
• [SPARK-37592] [SQL] Mejora del rendimiento deJoinSelection
• [SPARK-37217] [SQL] El número de particiones dinámicas debe realizar una comprobación temprana al escribir en tablas externas
• [SPARK-37584] [SQL] Nueva función SQL: map_contains_key
• [SPARK-37455] [SQL] Reemplazo del valor hash por el agregado de ordenación si el elemento secundario ya está ordenado
• [SPARK-34735] [SQL][ui] Agregar configuraciones modificadas para la ejecución de SQL en la interfaz de usuario
• [SPARK-37540] [SQL] Detección de más viajes en el tiempo no admitidos
• [SPARK-37376] [SQL] Introducción de un nuevo elemento HasPartitionKey de la interfaz de DataSource V2
• [SPARK-37666] [SQL] Establecimiento de GCMaes_encrypt() como modo predeterminado en /aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader debe retroceder a la versión relacionada, no siempre Hadoop-2.7.4
• [SPARK-37561] [SQL] Evitar cargar todas las funciones al obtener el DelegationToken de Hive
• [SPARK-37370] [SQL] Adición de configuraciones de SQL para controlar code-gen de combinación recién agregado en 3.3
• [SPARK-37311] [SQL] Migración de ALTER NAMESPACE … SET LOCATION para usar el comando V2 de forma predeterminada
• [SPARK-37192] [SQL] Migrar SHOW TBLPROPERTIES para usar el comando V2 de forma predeterminada
• [SPARK-37219] [SQL] Adición de compatibilidad con la sintaxis AS OF
• [SPARK-37316] [SQL] Adición de code-gen para existence sort merge join
• [SPARK-37591] [SQL] Compatibilidad con el modo GCM mediante aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Adición de los argumentos modepadding y aes_encrypt() a /aes_decrypt()
• [SPARK-12567] [SQL] Adición de las funciones integradas aes_encrypt y aes_decrypt
• [SPARK-37392] [SQL] Corrección del error de rendimiento al inferir restricciones para Generate
• [SPARK-37481] [Core][webui] Corregir la desaparición de fases omitidas después de reintentar
• [SPARK-37533] [SQL] Nueva función SQL: try_element_at
• [SPARK-37451] [SQL] Corrección del tipo de cadena de conversión al tipo decimal si spark.sql.legacy.allowNegativeScaleOfDecimal está habilitado
• [SPARK-37062] [SS] Introducción de un nuevo origen de datos para proporcionar un conjunto coherente de filas por microlote
• [SPARK-37552] [SQL] Adición de la función convert_timezone()
• [SPARK-37555] [SQL] spark-sql debe pasar el último comentario sin cerrar al back-end
• [SPARK-37286] [SQL] Migración de compileAggregates de JDBCRDD a JdbcDialect
• [SPARK-37485] [CORE][sql] Reemplazar map por expresiones que no producen ningún resultado con foreach
• [SPARK-37556] [SQL] Error de la clase Desert Void con la serialización de Java
• [SPARK-37520] [SQL] Adición de las funciones de cadena startswith() y endswith()
• [SPARK-37471] [SQL] Compatibilidad con spark-sql ; en el comentario entre corchetes anidado
• [SPARK-37360] [SQL] Compatibilidad con TimestampNTZ en el origen de datos JSON
• [SPARK-37508] [SQL] Adición de la función de cadena CONTAINS()
• [SPARK-37494] [SQL] Unificación de la salida del comando SHOW CREATE TABLE de las opciones v1 y v2
• [SPARK-37524] [SQL] Se deben quitar todas las tablas después de probar la eliminación de particiones dinámicas
• [SPARK-37389] [SQL] Comprobación de comentarios entre corchetes
• [SPARK-37220] [SQL] No dividir el archivo de entrada para el lector de Parquet con delegación de agregado
• [SPARK-37326] [SQL] Compatibilidad con TimestampNTZ en el origen de datos CSV
• [SPARK-35867] [SQL] Habilitación de la lectura vectorizada para VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][sql] Reemplazar get y getOrElse por getOrElse
• [SPARK-37492] [SQL] Optimización del código de prueba de ORC con withAllNativeOrcReaders
• [SPARK-37458] [SS] Eliminación del elemento SerializeFromObject innecesario del plan de foreachBatch

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.3.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN el 19-01-2022.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)