Databricks Runtime 11.0 (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 11.0, con tecnología de Apache Spark 3.3.0. Databricks publicó esta versión en junio de 2022.

Nuevas características y mejoras

• Nueva versión de Apache Spark
• Los cuadernos de Python ahora usan el kernel de IPython.
• Compatibilidad con ipywidgets
• El conector de Synapse ahora escribe datos de Parquet en modo no heredado
• Ahora se exige el esquema HTTPS cuando el cliente ABFS usa el token de SAS
• SQL: DESC ahora es un alias de DESCRIBE
• SQL: la versión nueva función current_version muestra los detalles de la versión
• La anulación de una restricción de tabla de Delta que falta ahora genera un error
• SQL: la nueva cláusula EXCEPT de la instrucción SELECT excluye las columnas de la selección
• Compatibilidad con la anulación de columnas en tablas de Delta (versión preliminar pública)
• COPY INTO mejoras
• Ahora se admite CONVERT TO DELTA en entornos habilitados para el catálogo de Unity (versión preliminar pública)

Nueva versión de Apache Spark

Databricks Runtime 11.0 y Databricks Runtime 11.0 Photon incluyen Apache Spark 3.3.0. Para más información, consulte Apache Spark.

Los cuadernos de Python ahora usan el kernel de IPython

En Databricks Runtime 11.0 y versiones posteriores, los cuadernos de Python usan el kernel de IPython para ejecutar código de Python. Consulte Kernel de IPython.

Compatibilidad con ipywidgets

Ahora puede usar ipywidgets para que los cuadernos de Python de Databricks sean interactivos. Consulte ipywidgets.

El conector de Synapse ahora escribe datos de Parquet en modo no heredado

El conector de Azure Synapse ahora escribe datos de Parquet en modo no heredado. Conserva el formato de marca de tiempo INT96 al usar PolyBase y comandos COPY para cargas de trabajo por lotes y de streaming.

Ahora se exige el esquema HTTPS cuando el cliente ABFS usa el token de SAS

Cuando el cliente de Azure Blob File System (ABFS) usa un token de firma de acceso compartido (SAS), ahora se aplica el esquema HTTPS.

SQL: DESC ahora es un alias de DESCRIBE

Ahora puede usar DESC como alias de DESCRIBE cuando describa ubicaciones externas o credenciales de almacenamiento. Por ejemplo:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: la versión nueva función current_version muestra los detalles de la versión

La nueva función current_version muestra la versión actual de Databricks Runtime si está disponible, la versión actual de Databricks SQL si está disponible y otros detalles relacionados con la versión. Use esta nueva función para consultar información relacionada con la versión. Consulte la current_version función.

La anulación de una restricción de tabla de Delta que falta ahora genera un error

Si ahora intenta anular una restricción de tabla de Delta por nombre y esa restricción no existe, recibirá un error. Para obtener el comportamiento anterior, que no produce un error si la restricción no existe, ahora tiene que usar la instrucción IF EXISTS. Consulte ALTER TABLE.

SQL: la nueva cláusula EXCEPT de la instrucción SELECT excluye las columnas de la selección

Las instrucciones SELECT ahora admiten la cláusula EXCEPT para excluir columnas de la selección. Por ejemplo, SELECT * EXCEPT (x) FROM table devuelve todas las columnas de table excepto x. También se permiten columnas anidadas. Por ejemplo, SELECT * EXCEPT (x.a) FROM table devuelve todas las columnas de tablepero omite el campo a de la estructura x.

Compatibilidad con la anulación de columnas en tablas de Delta (versión preliminar pública)

Puede usar ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> o ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) anular una columna o una lista de columnas, respectivamente, de una tabla de Delta como operación de solo metadatos. Las columnas se "eliminan temporalmente", ya que todavía están en los archivos de Parquet subyacentes, pero ya no son visibles para la tabla de Delta.

Puede usar REORG TABLE <table-name> APPLY (PURGE) para desencadenar una reescritura de archivo en los archivos que contienen datos eliminados temporalmente, como columnas anuladas.

Puede usar VACUUM para quitar los archivos eliminados del almacenamiento físico, incluidos los archivos antiguos que contienen columnas anuladas y que se han reescrito mediante REORG TABLE.

Mejoras de COPY INTO

Ahora puede crear tablas Delta con marcador de posición vacío para que el esquema se infiera más adelante durante un comando COPY INTO:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

La instrucción SQL anterior es idempotente y se puede programar para que se ejecute para ingerir datos exactamente una vez en una tabla Delta.

Si los datos que ingiere no se pueden leer debido a algún problema de daños, puede omitir los archivos dañados; para ello, establezca ignoreCorruptFiles en true en FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

El comando COPY INTO devuelve el número de archivos que se omitieron debido a daños en la columna num_skipped_corrupt_files. Esta métrica también aparece en la columna operationMetrics, en numSkippedCorruptFiles después de ejecutar DESCRIBE HISTORY en la tabla Delta.

COPY INTO no realiza un seguimiento de los archivos dañados, por lo que se pueden volver a cargar en una ejecución posterior si se corrigen los daños. Para ver qué archivos están dañados, ejecute COPY INTO en modo VALIDATE.

Ahora se admite CONVERT TO DELTA en entornos habilitados para el catálogo de Unity (versión preliminar pública)

En entornos habilitados para el uso de Unity Catalog, puede usar CONVERT TO DELTA para lo siguiente:

• Convertir archivos Parquet de ubicaciones externas en Delta Lake.
• Convertir tablas Parquet externas en tablas Delta.

Cambios de comportamiento

• SQL: las funciones lpad y rpad ahora admiten secuencias de bytes
• El formato de cadena en format_string y printf ya no permite %0$
• Los valores NULL de los archivos CSV ahora se escriben como cadenas vacías sin comillas de manera predeterminada
• La propiedad de tabla external ahora está reservada
• Log4j se actualizó de Log4j 1 a Log4j 2
• Ahora, las bibliotecas que se instalan desde Maven se resuelven en el plano de datos de manera predeterminada

SQL: las funciones lpad y rpad ahora admiten secuencias de bytes

Las funciones lpad y rpad se han actualizado para agregar compatibilidad con secuencias de bytes además de con cadenas.

El formato de cadena en format_string y printf ya no permite %0$

La especificación del formato %0$ en las funciones format_string y printf ahora produce un error de manera predeterminada. Este cambio consiste en conservar el comportamiento esperado con versiones anteriores de Databricks Runtime y bases de datos comunes de terceros. El primer argumento siempre debe hacer referencia a %1$ al usar un índice de argumentos para indicar la posición del argumento en la lista de argumentos.

Los valores NULL de los archivos CSV ahora se escriben como cadenas vacías sin comillas de manera predeterminada

Los valores NULL de los archivos CSV se escribían previamente como cadenas vacías entre comillas. Con esta versión, los valores NULL de los archivos CSV ahora se escriben como cadenas vacías sin comillas de manera predeterminada. Para volver al comportamiento anterior, establezca la opción nullValue en "" para las operaciones de escritura.

La propiedad de tabla external ahora está reservada

La propiedad external es ahora una propiedad de tabla reservada de manera predeterminada. Ahora se producen excepciones cuando se usa la propiedad external con las cláusulas CREATE TABLE ... TBLPROPERTIES y ALTER TABLE ... SET TBLPROPERTIES.

Log4j se actualizó de Log4j 1 a Log4j 2

Log4j 1 se está actualizando a Log4j 2. Se están quitando las dependencias de Log4j 1 heredadas.

Si usa las clases de Log4j 1 que se antes estaban incluidas en Databricks Runtime, esas clases ya no existen. Tiene que actualizar las dependencias a Log4j 2.

Si tiene complementos personalizados o archivos de configuración que se basan en Log4j 2, es posible que ya no funcionen con la versión de Log4j 2 en esta versión. Para obtener ayuda, póngase en contacto con el equipo de la cuenta de Azure Databricks.

Las bibliotecas instaladas desde Maven ahora se resuelven en el plano de proceso de forma predeterminada

Las bibliotecas de Maven ahora se resuelven en el plano de proceso de forma predeterminada al instalar bibliotecas en un clúster. El clúster debe tener acceso a Maven Central. Como alternativa, puede establecer la propiedad de configuración de Spark para revertir el comportamiento al anterior:

spark.databricks.libraries.enableMavenResolution false

Corrección de errores

• Se ha corregido la compatibilidad binaria de LeafNode, UnaryNode y BinaryNode entre Apache Spark y Databricks Runtime, y las clases ahora son compatibles con Apache Spark 3.3.0 y versiones posteriores. Si encuentra el siguiente mensaje o similar al usar un paquete de terceros con Databricks Runtime, vuelva a generar el paquete con Apache Spark 3.3.0 o posterior: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • platformdirs de 2.5.1 a 2.5.2
  • protobuf de 3.20.0 a 3.20.1
• Bibliotecas de R actualizadas:
  • blob de 1.2.2 a 1.2.3
  • broom de 0.7.12 a 0.8.0
  • caret de 6.0-91 a 6.0-92
  • cli de 3.2.0 a 3.3.0
  • dplyr de 1.0.8 a 1.0.9
  • future de 1.24.0 a 1.25.0
  • future.apply de 1.8.1 a 1.9.0
  • gert de 1.5.0 a 1.6.0
  • ggplot2 de 3.3.5 a 3.3.6
  • glmnet de 4.1-3 a 4.1-4
  • haven de 2.4.3 a 2.5.0
  • httr de 1.4.2 a 1.4.3
  • knitr de 1.38 a 1.39
  • magrittr de 2.0.2 a 2.0.3
  • parallelly de 1.30.0 a 1.31.1
  • ps de 1.6.0 a 1.7.0
  • RColorBrewer de 1.1-2 a 1.1-3
  • RcppEigen de 0.3.3.9.1 a 0.3.3.9.2
  • readxl de 1.3.1 a 1.4.0
  • rmarkdown de 2.13 a 2.14
  • rprojroot de 2.0.2 a 2.0.3
  • RSQLite de 2.2.11 a 2.2.13
  • scales de 1.1.1 a 1.2.0
  • testthat de 3.1.2 a 3.1.4
  • tibble de 3.1.6 a 3.1.7
  • tinytex de 0.37 a 0.38
  • tzdb de 0.2.0 a 0.3.0
  • uuid de 1.0-4 a 1.1-0
  • vctrs de 0.3.8 a 0.4.1
• Bibliotecas de Java actualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-core de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-databind de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.0 a 2.13.3
  • com.google.crypto.tink.tink de 1.6.0 a 1.6.1
  • com.ning.compress-lzf de 1.0.3 a 1.1
  • dev.ludovic.netlib.arpack de 2.2.0 a 2.2.1
  • dev.ludovic.netlib.blas de 2.2.0 a 2.2.1
  • dev.ludovic.netlib.lapack de 2.2.0 a 2.2.1
  • io.netty.netty-all de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-buffer de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-codec de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-common de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-handler de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-resolver de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-tcnative-classes de 2.0.46.Final a 2.0.48.Final
  • io.netty.netty-transport de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-epoll de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-unix-common de 4.1.73.Final a 4.1.74.Final
  • joda-time.joda-time de 2.10.12 a 2.10.13
  • org.apache.commons.commons-math3 de 3.4.1 a 3.6.1
  • org.apache.httpcomponents.httpcore de 4.4.12 a 4.4.14
  • org.apache.orc.orc-core de 1.7.3 a 1.7.4
  • org.apache.orc.orc-mapreduce de 1.7.3 a 1.7.4
  • org.apache.orc.orc-shims de 1.7.3 a 1.7.4
  • org.eclipse.jetty.jetty-client de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuation de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-jndi de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlets de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util-ajax de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-webapp de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-client de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-common de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-server de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client de 2.2.5 a 2.7.4
  • org.postgresql.postgresql de 42.2.19 a 42.3.3
  • org.roaringbitmap.RoaringBitmap de 0.9.23 a 0.9.25
  • org.roaringbitmap.shims de 0.9.23 a 0.9.25
  • org.rocksdb.rocksdbjni de 6.20.3 a 6.24.2
  • org.slf4j.jcl-over-slf4j de 1.7.32 a 1.7.36
  • org.slf4j.jul-to-slf4j de 1.7.32 a 1.7.36
  • org.slf4j.slf4j-api de 1.7.30 a 1.7.36

Apache Spark

Databricks Runtime 11.0 incluye Apache Spark 3.3.0.

En esta sección:

• Spark SQL y Core
• Structured Streaming
• PySpark
• MLLIB
• SparkR
• interfaz de usuario
• Build

Spark SQL y Core

Modo ANSI

• Nuevas reglas de sintaxis de conversión explícitas en modo ANSI (SPARK-33354)
• Elt() debe devolver NULL si index es NULL en el modo ANSI (SPARK-38304)
• Opcionalmente, se devuelve un resultado NULL si el elemento no existe en la matriz o el mapa (SPARK-37750)
• Se permite la conversión entre tipo numérico y tipo de marca de tiempo (SPARK-37714)
• Deshabilitación de palabras clave reservadas ANSI de manera predeterminada (SPARK-37724)
• Uso de reglas de asignación de almacén para resolver la invocación de funciones (SPARK-37438)
• Adición de una configuración para permitir la conversión entre Datetime y Numeric (SPARK-37179)
• Adición de una configuración para aplicar opcionalmente palabras clave reservadas ANSI (SPARK-37133)
• No permitir operaciones binarias entre el Interval y String literal (SPARK-36508)

Mejoras de las características

• Compatibilidad con los tipos ANSI SQL INTERVAL (SPARK-27790)
• Mejoras en los mensajes de error (SPARK-38781)
• Compatibilidad con metadatos de archivo ocultos para Spark SQL (SPARK-37273)
• Compatibilidad con literales de cadena sin formato (SPARK-36371)
• Clase auxiliar para batch Dataset.observe() (SPARK-34806)
• Compatibilidad con la especificación del número de partición inicial para el reequilibrio (SPARK-38410)
• Compatibilidad con el modo en cascada para la API dropNamespace (SPARK-37929)
• Permitir la asignación de almacén y la conversión implícita entre tipos datetime (SPARK-37707)
• Recopilar, primero y último deben ser funciones de agregado deterministas (SPARK-32940)
• Adición de ExpressionBuilder para funciones con sobrecargas complejas (SPARK-37164)
• Adición de compatibilidad con matrices a unionByName (SPARK-36546)
• Adición de df.withMetadata, una sugerencia de sintaxis para actualizar los metadatos de un dataframe (SPARK-36642)
• Compatibilidad con literales de cadena sin formato (SPARK-36371)
• Uso de CAST en el análisis de fechas y marcas de tiempo con el patrón predeterminado (SPARK-36418)
• Compatibilidad con la clase de valor en el esquema anidado para Dataset (SPARK-20384)
• Adición de compatibilidad con la sintaxis AS OF (SPARK-37219)
• Agregar REPEATABLE en TABLESAMPLE para especificar la semilla (SPARK-37165)
• Adición de la sintaxis ANSI set catalog xxx para cambiar el catálogo actual (SPARK-36841)
• Compatibilidad con ILIKE (ALL | ANY | SOME): LIKE sin distinción entre mayúsculas y minúsculas (SPARK-36674, SPARK-36736, SPARK-36778)
• La fase de consulta de soporte muestra estadísticas en tiempo de ejecución en modo de explicación con formato (SPARK-38322)
• Adición de métricas de tamaño de volcado para sort merge join (SPARK-37726)
• Actualización de la sintaxis SQL de SHOW FUNCTIONS (SPARK-37777)
• Compatibilidad con la sintaxis DROP COLUMN [IF EXISTS] (SPARK-38939)
• Nuevas funciones integradas y sus extensiones (SPARK-38783)
  • Fecha y hora
    • Adición de la función TIMESTAMPADD() (SPARK-38195)
    • Adición de la función TIMESTAMPDIFF() (SPARK-38284)
    • Adición del alias DATEDIFF() para TIMESTAMPDIFF() (SPARK-38389)
    • Adición del alias DATEADD() para TIMESTAMPADD() (SPARK-38332)
    • Adición de la función convert\_timezone() (SPARK-37552, SPARK-37568)
    • Se expone la expresión make_date en functions.scala (SPARK-36554)
  • Funciones de AES (SPARK-12567)
    • Adición de las funciones integradas aes_encrypt y aes_decrypt (SPARK-12567)
    • Compatibilidad con el modo GCM mediante aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Establecimiento de GCM como modo predeterminado en aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Adición de los argumentos mode y padding a aes\_encrypt()/aes\_decrypt() (SPARK-37586)
  • Función de agregación de ANSI (SPARK-37671)
    • Compatibilidad con la función de agregado de ANSI: regr_count (SPARK-37613)
    • Compatibilidad con la función de agregado de ANSI: regr_avgx y regr_avgy (SPARK-37614)
    • Compatibilidad con la función de agregación de ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Compatibilidad con la función de agregación de ANSI: percentile_disc (SPARK-37691)
    • Compatibilidad con la función de agregado de ANSI: regr_count (SPARK-37613)
    • Compatibilidad con la función de agregado de ANSI: array_agg (SPARK-27974)
    • Compatibilidad con la función de agregado de ANSI: regr_r2 (SPARK-37641)
    • Nueva función de SQL: try_avg (SPARK-38589)
  • Colecciones
    • Se presenta la función ARRAY_SIZE de SQL (SPARK-38345)
    • Nueva función de SQL: map_contains_key (SPARK-37584)
    • Nueva función de SQL: try_element_at (SPARK-37533)
    • Nueva función de SQL: try_sum (SPARK-38548)
  • Formato
    • Adición de una nueva función de SQL: to_binary (SPARK-37507, SPARK-38796)
    • Nueva función de SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Funciones de formato de tipo de datos: to\_number (SPARK-28137)
  • Cadena/binario
    • Adición de la función de cadena CONTAINS() (SPARK-37508)
    • Adición de las funciones de cadena startswith() y endswith() (SPARK-37520)
    • Adición de las funciones lpad y rpad para cadenas binarias (SPARK-37047)
    • Compatibilidad con la función split_part (SPARK-38063)
  • Adición del parámetro de escala a las funciones floor y ceil (SPARK-37475)
  • Nuevas funciones de SQL: try_subtract y try_multiply (SPARK-38164)
  • Implementación de la función de agregación histogram_numeric, que admite la agregación parcial (SPARK-16280)
  • Adición de max_by/min_by a sql.functions (SPARK-36963)
  • Adición de nuevas funciones de SQL integradas: SEC y CSC (SPARK-36683)
  • array_intersect controla duplicados Double.NaN y Float.NaN (SPARK-36754)
  • Adición de cotangente como funciones de Scala y Python (SPARK-36660)

Mejoras de rendimiento

• Generación de código whole stage
  • Adición de code-gen para sort aggregate sin agrupar las claves (SPARK-37564)
  • Adición de code-gen para la combinación de fusión de ordenación externa completa (SPARK-35352)
  • Adición de code-gen para la combinación hash aleatoria externa completa (SPARK-32567)
  • Adición de code-gen para existence sort merge join (SPARK-37316)
• Delegación (filtros)
  • Delegación de filtros mediante RebalancePartitions (SPARK-37828)
  • Delegación del filtro de columna booleana (SPARK-36644)
  • Delegación del límite 1 para el lado derecho de la semi/anti combinación izquierda si la condición de combinación está vacía (SPARK-37917)
  • Traducción de más funciones de agregado estándar para la delegación (SPARK-37527)
  • Compatibilidad con la propagación de relaciones vacías a través de agregado/combinación (SPARK-35442)
  • Filtrado en tiempo de ejecución de nivel de fila (SPARK-32268)
  • Compatibilidad con la combinación semi izquierda en filtros de tiempo de ejecución de nivel de fila (SPARK-38565)
  • Compatibilidad con la delegación de predicado y aplicación de predicado y eliminación de columnas para CTE desduplicados (SPARK-37670)
• Vectorización
  • Implementación de ConstantColumnVector y mejora del rendimiento de los metadatos de archivos ocultos (SPARK-37896)
  • Habilitación de la lectura vectorizada para VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Combinación, eliminación o reemplazo de nodos
  • Combinación de uniones si hay un proyecto entre ellas (SPARK-37915)
  • Combinación en una conversión si es posible convertir de forma segura dos conversiones (SPARK-37922)
  • Eliminación de la ordenación si es el elemento secundario de RepartitionByExpression (SPARK-36703)
  • Quita la combinación externa si solo tiene DISTINCT en el lado transmitido con alias (SPARK-37292)
  • Reemplazo del valor hash por el agregado de ordenación si el elemento secundario ya está ordenado (SPARK-37455)
  • Solo contrae los proyectos si no duplicamos expresiones costosas (SPARK-36718)
  • Eliminación de alias redundantes después de RewritePredicateSubquery (SPARK-36280)
  • Combinación de subconsultas escalares no correlacionadas (SPARK-34079)
• Creación de particiones
  • No se agrega la eliminación de particiones dinámicas si existe la eliminación de particiones estáticas (SPARK-38148)
  • Mejora de RebalancePartitions en las reglas del optimizador (SPARK-37904)
  • Adición de un factor de partición pequeño para volver a equilibrar las particiones (SPARK-37357)
• Unirse
  • Se ha ajustado la lógica para disminuir la combinación hash de difusión en DynamicJoinSelection (SPARK-37753)
  • Omitir las claves de combinación duplicadas al crear una relación para la combinación hash aleatoria SEMI/ANTI (SPARK-36794)
  • Compatibilidad con la optimización de la combinación sesgada incluso si introduce una ordenación aleatoria adicional (SPARK-33832)
• AQE
  • Compatibilidad con la eliminación de límites en el optimizador de AQE (SPARK-36424)
  • Optimización de un plan de fila en el optimizador normal y AQE (SPARK-38162)
• Aggregate.groupOnly admite expresiones plegables (SPARK-38489)
• ByteArrayMethods arrayEquals debe omitir rápidamente la comprobación de alineación con la plataforma no alineada (SPARK-37796)
• Adición de la eliminación del patrón de árbol a la regla CTESubstitution (SPARK-37379)
• Adición de más simplificaciones del operador Not (SPARK-36665)
• Compatibilidad con BooleanType en UnwrapCastInBinaryComparison (SPARK-36607)
• Fusión quita todas las expresiones después de la primera expresión que no acepta valores NULL (SPARK-36359)
• Adición de un visitante de plan lógico para propagar los atributos distintos (SPARK-36194)

Mejoras del conector integrado

• General
  • Serialización Lenient de datetime desde el origen de datos (SPARK-38437)
  • Tratamiento de la ubicación de la tabla como absoluta cuando la primera letra de su ruta de acceso está en la barra diagonal de create/alter table (SPARK-38236)
  • Eliminación de ceros iniciales de la partición de tipo de número estático vacía (SPARK-35561)
  • Compatibilidad con ignoreCorruptFiles y ignoreMissingFiles en las opciones del origen de datos (SPARK-38767)
  • Adición del comando SHOW CATALOGS (SPARK-35973)
• Parquet
  • Habilitación de los nombres de columna de esquema coincidentes por identificadores de campo (SPARK-38094)
  • Eliminación del nombre del campo de comprobación al leer o escribir datos en Parquet (SPARK-27442)
  • Compatibilidad con valores booleanos de lectura vectorizados que usan la codificación RLE con Parquet DataPage V2 (SPARK-37864)
  • Compatibilidad con la codificación de páginas de datos de Parquet v2 (DELTA_BINARY_PACKED) para la ruta de acceso vectorizada (SPARK-36879)
  • Fusión mediante cambio de base de marcas de tiempo en la zona horaria de sesión guardada en los metadatos de Parquet/Avro (SPARK-37705)
  • Delegación agrupada por columna de partición para la agregación (SPARK-36646)
  • Delegación de agregado (mínimo/máximo/recuento) para Parquet (SPARK-36645)
  • Parquet: habilitación de las columnas de esquema coincidentes por identificador de campo (SPARK-38094)
  • Reducción del tamaño de página predeterminado por LONG_ARRAY_OFFSET si se usan G1GC y ON_HEAP (SPARK-37593)
  • Implementación de codificaciones vectorizadas DELTA_BYTE_ARRAY y DELTA_LENGTH_BYTE_ARRAY para compatibilidad con Parquet V2 (SPARK-37974)
  • Compatibilidad con tipos complejos para lector vectorizado de Parquet (SPARK-34863)
• ORCO
  • Eliminación del nombre del campo de comprobación al leer o escribir datos existentes en Orc (SPARK-37965)
  • Delegación de agregado para ORC (SPARK-34960)
  • Compatibilidad con la lectura y escritura de intervalos ANSI en orígenes de datos ORC (SPARK-36931)
  • Compatibilidad con nombres de columna solo numéricos en orígenes de datos ORC (SPARK-36663)
• JSON (JavaScript Object Notation)
  • Respetar allowNonNumericNumbers al analizar valores NaN e Infinity entre comillas en el lector JSON (SPARK-38060)
  • Uso de CAST para datetime en CSV/JSON de forma predeterminada (SPARK-36536)
  • Alineación del mensaje de error para los tipos de clave no admitidos en MapType en el lector JSON (SPARK-35320)
• CSV
  • Corrección que hace referencia a la columna de registro dañada de CSV (SPARK-38534)
  • Los valores NULL se deben guardar como nada en lugar de cadenas vacías entrecomilladas ("") de manera predeterminada (SPARK-37575)
• JDBC
  • Adición de la instrucción IMMEDIATE a la implementación de truncamiento del dialecto DB2 (SPARK-30062)
• Colmena
  • Compatibilidad con la escritura de tablas en cubo de Hive (formatos de archivo de Hive con hash de Hive) (SPARK-32712)
  • Uso de expresiones para filtrar particiones de Hive en el lado cliente (SPARK-35437)
  • Compatibilidad con la eliminación de particiones dinámicas para HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir debe usar el origen de datos si es convertible (SPARK-38215)
  • Compatibilidad con la escritura de tablas en cubo de Hive (formato de Parquet/ORC con hash de Hive) (SPARK-32709)

Retirada de nodos

• FallbackStorage no debe intentar resolver el nombre de host "remoto" arbitrario (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved debe controlar ExecutorDecommission como finalizado (SPARK-38023)

Otros cambios importantes

• Adición de bloqueo específico a BlockInfoManager (SPARK-37356)
• Compatibilidad con la asignación de tipos de recursos de gpu/fpga de Spark a un tipo de recurso de YARN personalizado (SPARK-37208)
• Informe del tamaño preciso del bloque de orden aleatorio si está sesgado (SPARK-36967)
• Compatibilidad con el registro de Netty en la capa de red (SPARK-36719)

Transmisión Estructurada

Características principales

• Presentación de Trigger.AvailableNow para ejecutar consultas de streaming como Trigger.Once en varios lotes (SPARK-36533)

Otros cambios importantes

• Se utiliza StatefulOpClusteredDistribution para los operadores con estado respetando la compatibilidad con versiones anteriores (SPARK-38204)
• Se ha corregido el tiempo de espera de flatMapGroupsWithState del lote con datos para la clave (SPARK-38320)
• Se ha solucionado el problema de corrección en la combinación externa de flujo a flujo con el proveedor del almacén de estado de RocksDB (SPARK-38684)
• Compatibilidad con Trigger.AvailableNow en el origen de datos de Kafka (SPARK-36649)
• Optimización de la ruta de acceso de escritura en el proveedor del almacén de estado RocksDB (SPARK-37224)
• Presentación de un nuevo origen de datos para proporcionar un conjunto coherente de filas por microlote (SPARK-37062)
• Uso de StatefulOpClusteredDistribution para los operadores con estado y respetando la compatibilidad con versiones anteriores (SPARK-38204)

PySpark

Pandas API en Spark

Mejoras principales

• Optimización de índices de "secuencia distribuida" con el valor predeterminado (SPARK-36559, SPARK-36338)
  • Compatibilidad para especificar el tipo de índice y el nombre en API de Pandas en Spark (SPARK-36709)
  • Visualización del tipo de índice predeterminado en planes de SQL para API de Pandas en Spark (SPARK-38654)

Características principales

• Implementación de ps.merge_asof nativo de SparkSQL (SPARK-36813)
• Compatibilidad con TimedeltaIndex en API de Pandas en Spark (SPARK-37525)
• Compatibilidad con timedelta de Python (SPARK-37275, SPARK-37510)
• Implementación de funciones en CategoricalAccessor/CategoricalIndex (SPARK-36185)
• Usa el formateador de cadenas estándar de Python para la API de SQL en pandas API en Spark (SPARK-37436)
• Compatibilidad con operaciones básicas de Series/Index de timedelta (SPARK-37510)
• Compatibilidad con MultiIndex.dtypes (SPARK-36930)
• Implementación de Index.map (SPARK-36469)
• Implementación de Series.xor y Series.rxor (SPARK-36653)
• Implementación del operador unario invert de ps.Series/Index integral (SPARK-36003)
• Implementación de DataFrame.cov (SPARK-36396)
• Compatibilidad con cadena y marca de tiempo para (Series|DataFrame).describe() (SPARK-37657)
• Compatibilidad con el parámetro lambda column de DataFrame.rename(SPARK-38763)

Otros cambios importantes

Últimos cambios

• Anulación de la compatibilidad de referencias a Python 3.6 en documentos y python/docs (SPARK-36977)
• Eliminación del hack namedtuple al reemplazar el pickle integrado por cloudpickle (SPARK-32079)
• La versión mínima de Pandas ha aumentado a 1.0.5 (SPARK-37465)
• Mejoras principales
  • Proporcionar un generador de perfiles para UDF de Python/Pandas (SPARK-37443)
  • Usa el formateador de cadenas estándar de Python para la API de SQL en PySpark (SPARK-37516)
  • Exposición de estado y clase de error de SQL en excepciones de PySpark (SPARK-36953)
  • Intento de capturar faulthanlder cuando se bloquea un trabajo de Python (SPARK-36062)

Características principales

• Implementación de DataFrame.mapInArrow en Python (SPARK-37228)
• Usa el formateador de cadenas estándar de Python para la API de SQL en PySpark (SPARK-37516)
• Adición de la API df.withMetadata de pyspark (SPARK-36642)
• Compatibilidad con timedelta de Python (SPARK-37275)
• Exposición de tableExists en pyspark.sql.catalog (SPARK-36176)
• Exposición de databaseExists en pyspark.sql.catalog (SPARK-36207)
• Exposición de functionExists en pyspark.sql.catalog (SPARK-36258)
• Adición de Dataframe.observation a PySpark (SPARK-36263)
• Adición de la API max_by o min_by a PySpark (SPARK-36972)
• Compatibilidad para deducir el dict anidado como estructura al crear un dataframe (SPARK-35929)
• Adición de las API bit/octet_length a Scala, Python y R (SPARK-36751)
• Compatibilidad con la API ILIKE en Python (SPARK-36882)
• Adición del método isEmpty para la API DataFrame de Python (SPARK-37207)
• Adición de varias columnas que agregan compatibilidad (SPARK-35173)
• Adición de SparkContext.addArchive en PySpark (SPARK-38278)
• Hacer que los representantes de tipos de SQL puedan evaluarse (SPARK-18621)
• Sugerencias de tipo insertadas para fpm.py en python/pyspark/mllib (SPARK-37396)
• Implementación del parámetro dropna de SeriesGroupBy.value_counts (SPARK-38837)

MLlib

Características principales

• Adición del parámetro distanceMeasure a trainKMeansModel (SPARK-37118)
• Exposición de LogisticRegression.setInitialModel, como KMeans et al do (SPARK-36481)
• Compatibilidad con CrossValidatorModel para obtener la desviación estándar de las métricas para cada paramMap (SPARK-36425)

Mejoras principales

• Optimización de algunos treeAggregates en MLlib al retrasar las asignaciones (SPARK-35848)
• Reescritura de _shared_params_code_gen.py en sugerencias de tipo insertadas para ml/param/shared.py (SPARK-37419)

Otros cambios importantes

• Actualización a breeze 1.2 (SPARK-35310)

SparkR

• Migración de documentos de SparkR a pkgdown (SPARK-37474)
• Exposición de make_date expresión en R (SPARK-37108)
• Incorporación de la API max_by o min_by a SparkR (SPARK-36976)
• Compatibilidad con la API ILIKE en R (SPARK-36899)
• Adición de secante y cosecante como funciones de R (SPARK-36824)
• Adición de las API bit/octet_length a Scala, Python y R (SPARK-36751)
• Adición de cotangente como función de R (SPARK-36688)

Interfaz de usuario

• Resumen de métricas de especulación a nivel de fase (SPARK-36038)
• Tiempo de bloqueo de lectura aleatorio unificado para ordenar aleatoriamente el tiempo de espera de captura de lectura en StagePage (SPARK-37469)
• Adición de configuraciones modificadas para la ejecución de SQL en la UI (SPARK-34735)
• Hacer que ThriftServer reconozca spark.sql.redaction.string.regex (SPARK-36400)
• Asociación e inicio del controlador después de iniciar la aplicación en la UI (SPARK-36237)
• Agregar duración de confirmación al gráfico del nodo de la pestaña SQL (SPARK-34399)
• Compatibilidad con el back-end de RocksDB en el servidor de historial de Spark (SPARK-37680)
• Visualización de opciones para API de Pandas en Spark en la UI (SPARK-38656)
• Cambie el nombre de "SQL" a "SQL/ DataFrame" en la página de la interfaz de usuario de SQL (SPARK-38657)

Construir

• Migración de log4j 1 a log4j 2 (SPARK-37814)
• Actualización de log4j2 a 2.17.2 (SPARK-38544)
• Actualización a Py4J 0.10.9.5 (SPARK-38563)
• Actualización de ORC a 1.7.4 (SPARK-38866)
• Actualización de las tablas de datos a 1.10.25 (SPARK-38924)

Actualizaciones de mantenimiento

Consulte Databricks Runtime 11.0.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 06-05-2022.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)