Databricks Runtime 17.0

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 17.0, con tecnología de Apache Spark 4.0.0.

Databricks publicó esta versión en junio de 2025.

Nuevas características y mejoras

• SparkML ahora se admite en clústeres estándar
• Compatibilidad con procedimientos SQL
• Establecer una intercalación predeterminada para funciones SQL
• Expresiones de tabla comunes recursivas (versión preliminar pública)
• ANSI SQL habilitado de forma predeterminada
• PySpark y Spark Connect ahora admiten dataframes df.mergeInto API
• Compatibilidad con ALL CATALOGS en SCHEMAS SHOW
• La agrupación en clústeres líquidos ahora compacta los vectores de eliminación de forma más eficaz
• Permitir expresiones no deterministas en UPDATE/INSERT valores de columna para operaciones MERGE
• Omitir y rescatar estructuras vacías para la ingesta de Cargador automático (especialmente Avro)
• Cambio de las API delta MERGE de Python y Scala para devolver DataFrame en lugar de Unit
• Compatibilidad con la palabra clave VAR para declarar y quitar variables SQL
• Actualización de bibliotecas de Apache Parquet
• Soporte de federación de identidades de carga de trabajo para Google Cloud Pub/Sub

SparkML ahora se admite en clústeres estándar

El modo de acceso estándar (anteriormente modo de acceso compartido) ahora admite Spark ML en PySpark (pyspark.ml) y MLflow para Spark (mlflow.spark). Para el ajuste de hiperparámetros, Databricks recomienda usar Optuna y Joblib Spark en clústeres estándar.

Se aplican las siguientes limitaciones al ejecutar SparkML en clústeres estándar:

• El tamaño máximo del modelo es de 1 GB.
• El tamaño máximo de caché del modelo por sesión es de 10 GB.
• El entrenamiento del modelo de árbol se detiene al principio si el tamaño del modelo está a punto de superar los 1 GB.
• No se admiten los siguientes modelos de SparkML:
  • DistributedLDAModel
  • FPGrowthModel

Compatibilidad con procedimientos SQL

Los scripts SQL ahora se pueden encapsular en un procedimiento almacenado como un recurso reutilizable en el catálogo de Unity. Puede crear un procedimiento mediante el comando CREATE PROCEDURE y, a continuación, llamarlo mediante el comando CALL .

Establecer una intercalación predeterminada para funciones SQL

Con la nueva cláusula DEFAULT COLLATION del comando CREATE FUNCTION se define la intercalación predeterminada utilizada para los parámetros STRING, el tipo de valor devuelto y los literales STRING en el cuerpo de la función.

Expresiones de tabla comunes recursivas (versión preliminar pública)

Azure Databricks ahora admite la navegación de datos jerárquicos mediante expresiones de tabla comunes recursivas (rCTEs). Use un CTE de referencia automática con UNION ALL para seguir la relación recursiva.

ANSI SQL habilitado de forma predeterminada

El dialecto SQL predeterminado ahora es ANSI SQL. ANSI SQL es un estándar bien establecido y ayudará a proteger a los usuarios frente a resultados inesperados o incorrectos. Lea la guía de habilitación de ANSI de Databricks para obtener más información.

PySpark y Spark Connect ahora admiten dataframes df.mergeInto API

PySpark y Spark Connect ahora admiten la df.mergeInto API, que anteriormente solo estaba disponible para Scala.

Compatibilidad con ALL CATALOGS en SCHEMAS SHOW

La SHOW SCHEMAS sintaxis se actualiza para aceptar la sintaxis siguiente:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Cuando se especifica ALL CATALOGS en una consulta SHOW, la ejecución recorre todos los catálogos activos que admiten espacios de nombres mediante el administrador de catálogos (DsV2). Para cada catálogo, incluye los espacios de nombres de nivel superior.

Los atributos de salida y el esquema del comando se han modificado para agregar una catalog columna que indica el catálogo del espacio de nombres correspondiente. La nueva columna se agrega al final de los atributos de salida, como se muestra a continuación:

Salida anterior

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Nueva salida

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

La agrupación en clústeres líquidos ahora compacta los vectores de eliminación de forma más eficaz

Las tablas delta con agrupación de clústeres de Liquid ahora aplican de manera más eficiente los cambios físicos derivados de los vectores de eliminación cuando OPTIMIZE está en funcionamiento. Para obtener más información, consulte Aplicar cambios a archivos de datos Parquet.

Permitir expresiones no deterministas en los valores de columna UPDATE/INSERT para operaciones MERGE

Azure Databricks ahora permite en las operaciones MERGE el uso de expresiones no deterministas en los valores de columna actualizados e insertados. Sin embargo, no se admiten expresiones no deterministas en las condiciones de instrucciones MERGE.

Por ejemplo, ahora puede generar valores dinámicos o aleatorios para las columnas:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Esto puede ser útil para que la privacidad de los datos ofusque los datos reales al tiempo que se conservan las propiedades de datos (como los valores medio u otras columnas calculadas).

Omitir y rescatar estructuras vacías para la ingesta de Cargador automático (especialmente Avro)

Auto Loader ahora recupera los tipos de datos de Avro con un esquema vacío, ya que la tabla Delta no admite la ingesta de datos de tipo vacío struct.

Cambio de las API delta MERGE de Python y Scala para devolver DataFrame en lugar de Unit

Las API de Scala y Python MERGE (como DeltaMergeBuilder) ahora también devuelven un dataframe como la API de SQL, con los mismos resultados.

Compatibilidad con la palabra clave VAR para declarar y quitar variables SQL

La sintaxis SQL para declarar y quitar variables ahora admite la VAR palabra clave además de VARIABLE. Este cambio unifica la sintaxis en todas las operaciones relacionadas con variables, lo que mejora la coherencia y reduce la confusión de los usuarios que ya usan VAR al establecer variables.

Actualización de bibliotecas de Apache Parquet

Las bibliotecas de Apache Parquet se han actualizado de la versión 1.13.1 a la 1.15.1 para garantizar la compatibilidad con Spark 4.0. Esta actualización incluye mejoras de rendimiento, correcciones de errores y compatibilidad mejorada con características de Parquet en los siguientes módulos:

• parquet-column
• parquet-common
• parquet-encoding
• parquet-format-structures
• parquet-hadoop
• parquet-jackson

Compatibilidad con la federación de identidades para cargas de trabajo en Google Cloud Pub/Sub

Ahora puede usar la federación de identidades de carga de trabajo para conectarse de forma segura a Google Cloud Pub/Sub desde Databricks sin necesidad de claves de cuenta de servicio. Esto simplifica la autenticación para cargas de trabajo de ingesta de datos y streaming que se integran con Pub/Sub.

Cambios de comportamiento

• Ya no se admiten certificados personalizados de autoridad de certificación del sistema de archivos de Databricks (DBFS)
• Se ha quitado la sección "Fallos de caché reales" en la interfaz de usuario de Spark.
• Se quitó la métrica "Cache Metadata Manager Peak Disk Usage" (Uso máximo de discos del Administrador de metadatos de caché) en la interfaz de usuario de Spark.
• Se ha eliminado la sección "Rescheduled cache miss bytes" en la interfaz de usuario de Spark
• CREATE VIEW Las cláusulas de nivel de columna ahora producen errores cuando la cláusula solo se aplicaría a las vistas materializadas

Ya no se admiten certificados CA personalizados del sistema de archivos de Databricks (DBFS)

Como parte del esfuerzo continuo para dejar de usar el almacenamiento de datos en la raíz de DBFS y los montajes de DBFS, los certificados CA personalizados de DBFS no se admiten en Databricks Runtime 17.0 y versiones posteriores. Para obtener recomendaciones sobre cómo trabajar con archivos, consulte Uso de archivos en Azure Databricks.

Se ha quitado la sección "True cache misses" en la interfaz de usuario de Spark.

Este cambio elimina el soporte para la métrica "Cache true misses size" (tanto para las memorias caché comprimidas como para las no comprimidas). La métrica "Errores de escritura en caché" mide la misma información.

Utilice numLocalScanTasks como un proxy viable para esta métrica, cuando su intención es ver el rendimiento de la memoria caché cuando los archivos se asignan al ejecutor correcto.

Se quitó la métrica "Cache Metadata Manager Peak Disk Usage" (Uso máximo de discos del Administrador de metadatos de caché) en la interfaz de usuario de Spark.

Este cambio elimina la compatibilidad con las métricas cacheLocalityMgrDiskUsageInBytes y cacheLocalityMgrTimeMs del Databricks Runtime y de la UI de Spark.

Se ha eliminado la sección "Rescheduled cache miss bytes" en la interfaz de usuario de Spark

Se han eliminado de DBR las métricas de tamaño de fallos reprogramados de caché y tamaño de fallos reprogramados de caché (sin comprimir). Esto se hace porque esto mide el rendimiento de la memoria caché cuando los archivos se asignan a ejecutores no preferidos. numNonLocalScanTasks es un buen proxy para esta métrica.

CREATE VIEW Las cláusulas de nivel de columna ahora producen errores cuando la cláusula solo puede aplicarse a vistas materializadas.

Los comandos CREATE VIEW que especifican una cláusula de nivel de columna que solo es válida para MATERIALIZED VIEWs ahora producen un error. Las cláusulas afectadas para los comandos CREATE VIEW son:

• NOT NULL
• Un tipo de datos especificado, como FLOAT o STRING
• DEFAULT
• COLUMN MASK

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:

  • azure-core de 1.31.0 a 1.34.0
  • negro de 24.4.2 a 24.10.0
  • boto3 de 1.34.69 a 1.36.2
  • botocore de 1.34.69 a 1.36.3
  • cachetools de 5.3.3 a 5.5.1
  • certifi de 2024.6.2 a 2025.1.31
  • cffi de 1.16.0 a 1.17.1
  • charset-normalizer de 2.0.4 a 3.3.2
  • cloudpickle de 2.2.1 a 3.0.0
  • contourpy de 1.2.0 a 1.3.1
  • criptografía de 42.0.5 a 43.0.3
  • Cython de 3.0.11 a 3.0.12
  • databricks-sdk de 0.30.0 a 0.49.0
  • debugpy de 1.6.7 a 1.8.11
  • En desuso desde la versión 1.2.14 hasta la 1.2.13
  • distlib de 0.3.8 a 0.3.9
  • Actualización de filelock de la versión 3.15.4 a la 3.18.0
  • fonttools de 4.51.0 a 4.55.3
  • GitPython de 3.1.37 a 3.1.43
  • google-auth de 2.35.0 a 2.40.0
  • google-cloud-core de 2.4.1 a 2.4.3
  • google-cloud-storage de 2.18.2 a 3.1.0
  • google-crc32c de 1.6.0 a 1.7.1
  • grpcio de 1.60.0 a 1.67.0
  • grpcio-status de 1.60.0 a 1.67.0
  • importlib-metadata de 6.0.0 a 6.6.0
  • ipyflow-core de la versión 0.0.201 a 0.0.209
  • ipykernel de 6.28.0 a 6.29.5
  • ipython de 8.25.0 a 8.30.0
  • ipywidgets de 7.7.2 a 7.8.1
  • Actualización de jedi de la versión 0.19.1 a la 0.19.2.
  • jupyter_client de 8.6.0 a 8.6.3
  • kiwisolver de 1.4.4 a 1.4.8
  • matplotlib de 3.8.4 a 3.10.0
  • matplotlib-inline de 0.1.6 a 0.1.7
  • Actualización de mlflow-skinny de la versión 2.19.0 a la 2.22.0
  • numpy de 1.26.4 a 2.1.3
  • opentelemetry-api de 1.27.0 a 1.32.1
  • opentelemetry-sdk de 1.27.0 a 1.32.1
  • opentelemetry-semantic-conventions de 0,48b0 a 0,53b1
  • pandas de 1.5.3 a 2.2.3
  • parso de 0.8.3 a 0.8.4
  • patsy de 0.5.6 a 1.0.1
  • pillow de 10.3.0 a 11.1.0
  • plotly de 5.22.0 a 5.24.1
  • pluggy de 1.0.0 a 1.5.0
  • proto-plus de 1.24.0 a 1.26.1
  • protobuf de 4.24.1 a 5.29.4
  • pyarrow de 15.0.2 a 19.0.1
  • pyccolo de 0.0.65 a 0.0.71
  • pydantic de 2.8.2 a 2.10.6
  • pydantic_core de 2.20.1 a 2.27.2
  • PyJWT de 2.7.0 a 2.10.1
  • pyodbc de 5.0.1 a 5.2.0
  • pyparsing de 3.0.9 a 3.2.0
  • pyright de 1.1.294 a 1.1.394
  • python-lsp-server de 1.10.0 a 1.12.0
  • PyYAML de 6.0.1 a 6.0.2
  • pyzmq de 25.1.2 a 26.2.0
  • solicitudes de 2.32.2 a 2.32.3
  • rsa de 4.9 a 4.9.1
  • s3transfer de 0.10.2 a 0.11.3
  • scikit-learn de 1.4.2 a 1.6.1
  • scipy de 1.13.1 a 1.15.1
  • sqlparse de 0.5.1 a 0.5.3
  • statsmodels de 0.14.2 a 0.14.4
  • tenacidad de 8.2.2 a 9.0.0
  • threadpoolctl de 2.2.0 a 3.5.0
  • tornado de 6.4.1 a 6.4.2
  • typing_extensions de 4.11.0 a 4.12.2
  • urllib3 de 1.26.16 a 2.3.0
  • virtualenv de 20.26.2 a 20.29.3
  • wheel de 0.43.0 a 0.45.1
  • wrapt de 1.14.1 a 1.17.0
  • yapf de 0.33.0 a 0.40.2
  • zipp de 3.17.0 a 3.21.0

• Bibliotecas de R actualizadas:

  • arrow de 16.1.0 a 19.0.1
  • askpass de 1.2.0 a 1.2.1
  • base de 4.4.0 a 4.4.2
  • bigD de 0.2.0 a 0.3.0
  • bit de 4.0.5 a 4.6.0
  • bit64 de 4.0.5 a 4.6.0-1
  • bitops de 1.0-8 a 1.0-9
  • broom de 1.0.6 a 1.0.7
  • bslib: de 0.8.0 a 0.9.0
  • caret: de 6.0-94 a 7.0-1
  • chron de 2.3-61 a 2.3-62
  • cli de 3.6.3 a 3.6.4
  • reloj de 0.7.1 a 0.7.2
  • commonmark de 1.9.1 a 1.9.5
  • compilador de 4.4.0 a 4.4.2
  • cpp11 de 0.4.7 a 0.5.2
  • credentials de 2.0.1 a 2.0.2
  • curl de 5.2.1 a 6.2.1
  • data.table: de 1.15.4 a 1.17.0
  • conjuntos de datos de 4.4.0 a 4.4.2
  • digest: de 0.6.36 a 0.6.37
  • e1071 de 1.7-14 a 1.7-16
  • evaluate de 0.24.0 a 1.0.3
  • fontawesome: de 0.5.2 a 0.5.3
  • fs de 1.6.4 a 1.6.5
  • future.apply de 1.11.2 a 1.11.3
  • gert de 2.1.0 a 2.1.4
  • git2r de 0.33.0 a 0.35.0
  • glue de 1.7.0 a 1.8.0
  • gower de 1.0.1 a 1.0.2
  • gráficos de 4.4.0 a 4.4.2
  • grDevices de 4.4.0 a 4.4.2
  • cuadrícula de 4.4.0 a 4.4.2
  • gt de la versión 0.11.0 a la versión 0.11.1
  • Actualización de gtable de la versión 0.3.5 a la versión 0.3.6
  • hardhat de 1.4.0 a 1.4.1
  • httr2 de 1.0.2 a 1.1.1
  • jsonlite de 1.8.8 a 1.9.1
  • knitr: de 1.48 a 1.50
  • posterior de 1.3.2 a 1.4.1
  • lava de 1.8.0 a 1.8.1
  • lubridate: de 1.9.3 a 1.9.4
  • métodos de 4.4.0 a 4.4.2
  • mime: de 0.12 a 0.13
  • mlflow de 2.14.1 a 2.20.4
  • nlme de 3.1-165 a 3.1-164
  • openssl de 2.2.0 a 2.3.2
  • parallel de 4.4.0 a 4.4.2
  • parallelly de 1.38.0 a 1.42.0
  • pillar de 1.9.0 a 1.10.1
  • Actualización de pkgbuild de la versión 1.4.4 a la 1.4.6
  • pkgdown de 2.1.0 a 2.1.1
  • processx: de 3.8.4 a 3.8.6
  • profvis de 0.3.8 a 0.4.0
  • progressr: de 0.14.0 a 0.15.1
  • promesas de 1.3.0 a 1.3.2
  • ps de 1.7.7 a 1.9.0
  • purrr de 1.0.2 a 1.0.4
  • R6 de 2.5.1 a 2.6.1
  • ragg de 1.3.2 a 1.3.3
  • randomForest de 4.7-1.1 a 4.7-1.2
  • Rcpp de 1.0.13 a 1.0.14
  • RcppEigen de 0.3.4.0.0 a 0.3.4.0.2
  • reactR de 0.6.0 a 0.6.1
  • readxl de 1.4.3 a 1.4.5
  • recetas de 1.1.0 a 1.2.0
  • rlang: de 1.1.4 a 1.1.5
  • rmarkdown de 2.27 a 2.29
  • RODBC de 1.3-23 a 1.3-26
  • Rserve de 1.8-13 a 1.8-15
  • RSQLite de 2.3.7 a 2.3.9
  • rstudioapi de 0.16.0 a 0.17.1
  • sessioninfo de 1.2.2 a 1.2.3
  • shiny: de 1.9.1 a 1.10.0
  • actualización de sparklyr de la versión 1.8.6 a la 1.9.0
  • SparkR de 3.5.2 a 4.0.0
  • splines de 4.4.0 a 4.4.2
  • estadísticas de 4.4.0 a 4.4.2
  • stats4 de 4.4.0 a 4.4.2
  • survival de 3.6-4 a 3.5-8
  • sys de 3.4.2 a 3.4.3
  • systemfonts de 1.1.0 a 1.2.1
  • tcltk de 4.4.0 a 4.4.2
  • testthat de la versión 3.2.1.1 a la versión 3.2.3
  • textshaping de 0.4.0 a 1.0.0
  • timeDate: de 4032.109 a 4041.110
  • tinytex de 0,52 a 0,56
  • herramientas desde la versión 4.4.0 hasta la 4.4.2
  • tzdb de 0.4.0 a 0.5.0
  • usethis: de 3.0.0 a 3.1.0
  • utils de 4.4.0 a 4.4.2
  • V8 de 4.4.2 a 6.0.2
  • waldo de 0.5.2 a 0.6.1
  • withr de 3.0.1 a 3.0.2
  • xfun de 0,46 a 0,51
  • xml2 de 1.3.6 a 1.3.8
  • zip de 2.3.1 a 2.3.2

• Bibliotecas de Java actualizadas:

  • com.clearspring.analytics.stream de 2.9.6 a 2.9.8
  • com.esotericsoftware.kryo-shaded de 4.0.2 a 4.0.3
  • com.fasterxml.classmate de 1.3.4 a 1.5.1
  • com.fasterxml.jackson.core.jackson-annotations de 2.15.2 a 2.18.2
  • com.fasterxml.jackson.core.jackson-core de 2.15.2 a 2.18.2
  • com.fasterxml.jackson.core.jackson-databind de 2.15.2 a 2.18.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.15.2 a 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.15.2 a 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310: de 2.16.0 a 2.18.2
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.15.2 a 2.18.2
  • com.github.luben.zstd-jni de 1.5.5-4 a 1.5.6-10
  • com.google.code.gson.gson de 2.10.1 a 2.11.0
  • com.google.crypto.tink.tink de la versión 1.9.0 a la versión 1.16.0
  • com.google.errorprone.error_prone_annotations de 2.10.0 a 2.36.0
  • com.google.flatbuffers.flatbuffers-java de 23.5.26 a 24.3.25
  • com.google.guava.guava de 15.0 a 33.4.0-jre
  • com.google.protobuf.protobuf-java de 3.25.1 a 3.25.5
  • com.microsoft.azure.azure-data-lake-store-sdk de 2.3.9 a 2.3.10
  • com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 a 12.8.0.jre8
  • commons-cli.commons-cli de 1.5.0 a 1.9.0
  • commons-codec.commons-codec de la versión 1.16.0 a la versión 1.17.2
  • commons-io.commons-io de 2.13.0 a 2.18.0
  • io.airlift.aircompressor de 0.27 a 2.0.2
  • io.dropwizard.metrics.metrics-annotation de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-core de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-graphite de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-healthchecks de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-jetty9 de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-jmx versión 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-json de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-jvm de 4.2.19 a 4.2.30
  • io.dropwizard.metrics.metrics-servlets de 4.2.19 a 4.2.30
  • io.netty.netty-all de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-buffer de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-codec de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-codec-http de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-codec-http2 de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-codec-socks de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-common de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-handler de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-handler-proxy de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-resolver de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-windows-x86_64 a 2.0.70.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes de 2.0.61.Final a 2.0.70.Final
  • io.netty.netty-transport de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-transport-classes-epoll de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.108.Final a 4.1.118.Final
  • io.netty.netty-transport-native-epoll de 4.1.108.Final-linux-x86_64 a 4.1.118.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.108.Final-osx-x86_64 a 4.1.118.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.108.Final a 4.1.118.Final
  • io.prometheus.jmx.collector de 0.12.0 a 0.18.0
  • io.prometheus.simpleclient de 0.7.0 a 0.16.1-databricks
  • io.prometheus.simpleclient_common de 0.7.0 a 0.16.1-databricks
  • io.prometheus.simpleclient_dropwizard de 0.7.0 a 0.16.1-databricks
  • io.prometheus.simpleclient_pushgateway de 0.7.0 a 0.16.1-databricks
  • io.prometheus.simpleclient_servlet de 0.7.0 a 0.16.1-databricks
  • joda-time.joda-time de 2.12.1 a 2.13.0
  • net.razorvine.pickle de 1.3 a 1.5
  • org.antlr.antlr4-runtime de 4.9.3 a 4.13.1
  • org.apache.arrow.arrow-format de 15.0.0 a 18.2.0
  • org.apache.arrow.arrow-memory-core de 15.0.0 a 18.2.0
  • org.apache.arrow.arrow-memory-netty de 15.0.0 a 18.2.0
  • org.apache.arrow.arrow-vector de 15.0.0 a 18.2.0
  • org.apache.avro.avro de 1.11.4 a 1.12.0
  • org.apache.avro.avro-ipc de 1.11.4 a 1.12.0
  • org.apache.avro.avro-mapred de 1.11.4 a 1.12.0
  • org.apache.commons.commons-compress de 1.23.0 a 1.27.1
  • org.apache.commons.commons-lang3 de 3.12.0 a 3.17.0
  • org.apache.commons.commons-text de 1.10.0 a 1.13.0
  • org.apache.curator.curator-client de 2.13.0 a 5.7.1
  • org.apache.curator.curator-framework de 2.13.0 a 5.7.1
  • org.apache.curator.curator-recipes de 2.13.0 a 5.7.1
  • org.apache.datasketches.datasketches-java de 3.1.0 a 6.1.1
  • org.apache.datasketches.datasketches-memory de 2.0.0 a 3.0.2
  • org.apache.hadoop.hadoop-client-runtime: de 3.3.6 a 3.4.1
  • org.apache.hive.hive-beeline de 2.3.9 a 2.3.10
  • org.apache.hive.hive-cli de 2.3.9 a 2.3.10
  • org.apache.hive.hive-jdbc de 2.3.9 a 2.3.10
  • org.apache.hive.hive-llap-client de 2.3.9 a 2.3.10
  • org.apache.hive.hive-llap-common de la versión 2.3.9 a la 2.3.10
  • org.apache.hive.hive-serde de 2.3.9 a 2.3.10
  • org.apache.hive.hive-shims de 2.3.9 a 2.3.10
  • org.apache.hive.shims.hive-shims-0.23 de 2.3.9 a 2.3.10
  • org.apache.hive.shims.hive-shims-common de 2.3.9 a 2.3.10
  • org.apache.hive.shims.hive-shims-scheduler de 2.3.9 a 2.3.10
  • org.apache.ivy.ivy de 2.5.2 a 2.5.3
  • org.apache.logging.log4j.log4j-1.2-api de 2.22.1 a 2.24.3
  • org.apache.logging.log4j.log4j-api de 2.22.1 a 2.24.3
  • org.apache.logging.log4j.log4j-core de 2.22.1 a 2.24.3
  • org.apache.logging.log4j.log4j-layout-template-json de 2.22.1 a 2.24.3
  • org.apache.logging.log4j.log4j-slf4j2-impl de 2.22.1 a 2.24.3
  • org.apache.orc.orc-core de 1.9.2-shaded-protobuf a 2.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf a 2.1.1-shaded-protobuf
  • org.apache.orc.orc-shims de 1.9.2 a 2.1.1
  • org.apache.thrift.libthrift de 0.12.0 a 0.16.0
  • org.apache.ws.xmlschema.xmlschema-core de 2.3.0 a 2.3.1
  • org.apache.xbean.xbean-asm9-shaded de 4.23 a 4.26
  • org.apache.zookeeper.zookeeper de 3.9.2 a 3.9.3
  • org.apache.zookeeper.zookeeper-jute de 3.9.2 a 3.9.3
  • org.checkerframework.checker-qual de 3.31.0 a 3.43.0
  • org.eclipse.jetty.jetty-client de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-continuation de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-http de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-io de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-jndi de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-plus de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-proxy de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-security de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-server de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlet de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlets de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-webapp de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.52.v20230823 a 9.4.53.v20231009
  • org.glassfish.jersey.containers.jersey-container-servlet: de 2.40 a 2.41
  • org.glassfish.jersey.containers.jersey-container-servlet-core: de 2.40 a 2.41
  • org.glassfish.jersey.core.jersey-client: de 2.40 a 2.41
  • org.glassfish.jersey.core.jersey-common: de 2.40 a 2.41
  • org.glassfish.jersey.core.jersey-server: de 2.40 a 2.41
  • org.glassfish.jersey.inject.jersey-hk2: de 2.40 a 2.41
  • org.hibernate.validator.hibernate-validator de 6.1.7.Final a 6.2.5.Final
  • org.jboss.logging.jboss-logging de 3.3.2.Final a 3.4.1.Final
  • org.objenesis.objenesis de 2.5.1 a 3.3
  • org.roaringbitmap.RoaringBitmap de 0.9.45-databricks a 1.2.1
  • org.rocksdb.rocksdbjni de 9.2.1 a 9.8.4
  • org.scalatest.scalatest-compatible de 3.2.16 a 3.2.19
  • org.slf4j.jcl-over-slf4j de 2.0.7 a 2.0.16
  • org.slf4j.jul-to-slf4j de 2.0.7 a 2.0.16
  • org.slf4j.slf4j-api de 2.0.7 a 2.0.16
  • org.threeten.threeten-extra de 1.7.1 a 1.8.0
  • org.tukaani.xz de 1.9 a 1.10

Apache Spark

Muchas de sus características ya estaban disponibles en Databricks Runtime 14.x, 15.x y 16.x, y ahora se envían de fábrica con Runtime 17.0.

• SPARK-52311 Redefinir la salida de UnionLoop para que no se duplique si la salida de anclaje está duplicada
• SPARK-50104 Compatibilidad con SparkSession.executeCommand en Connect
• SPARK-51085 Restauración de SQLContext Companion
• SPARK-49698 Agregue la anotación ClassicOnly solo para los métodos clásicos.
• SPARK-52026 Bloquear la API de Pandas en Spark en modo ANSI de forma predeterminada
• SPARK-43415 Implementación KVGDS.agg con función personalizada mapValues
• SPARK-50979 Eliminar implícitos en .expr/.typedExpr
• SPARK-49961 Firma de tipo de transformación correcta para Scala y Java
• SPARK-51012 Eliminar SparkStrategy de los Connect Shims.
• SPARK-50915 Agregar getCondition y dejar de usar getErrorClass en PySparkException
• SPARK-51821 Llame a interrupt() sin bloquear uninterruptibleLock para evitar posibles interbloqueos.
• SPARK-52192 Comprobación de la ruta de carga de MLCache
• SPARK-52122 Corrección de la vulnerabilidad de RCE DefaultParamsReader
• SPARK-52191 Eliminar el deserializador de Java en el cargador de ruta local del modelo
• SPARK-52051 Implementar "Habilitar resumen del modelo cuando el control de memoria esté habilitado" y "Refinar el mensaje de error y ocultar la configuración interna de Spark" en los commits de DBR 17.0.0
• SPARK-51391 Corrección SparkConnectClient para respetar SPARK_USER y user.name
• SPARK-51416 Quitar SPARK_CONNECT_MODE al iniciar el servidor de Spark Connect
• SPARK-51156 Compatibilidad con la autenticación de tokens estáticos en Spark Connect
• SPARK-51279 Evitar suspensión constante para esperar al servidor de Spark Connect en Scala
• SPARK-51254 No permitir --master con la dirección URL de Spark Connect
• SPARK-51267 Alineación de la lógica del servidor local de Spark Connect entre Python y Scala
• SPARK-51212 Adición de un paquete pySpark separado para Spark Connect de forma predeterminada
• SPARK-52017 Habilitación de varias referencias automáticas y referencias automáticas desde una subconsulta dentro de rCTE
• SPARK-52035 Desacoplar LinearRegressionTrainingSummary y LinearRegressionModel
• SPARK-50511 Evitar el encapsulamiento de mensajes de error del origen de datos de Python
• SPARK-51974 Limitar el tamaño del modelo y el tamaño de caché del modelo por sesión
• SPARK-51947 Descarga de la caché del modelo de Spark Connect
• SPARK-49751 Corrección de la deserialización del evento SparkListenerConnectServiceStarted
• SPARK-47952 Compatibilidad con la recuperación de la dirección y el puerto reales de SparkConnectService GRPC mediante programación cuando se ejecuta en Yarn
• SPARK-47587 Módulo de Hive: Migración de logWarn con variables al marco de registro estructurado
• SPARK-50768 Introduce TaskContext.createResourceUninterruptibly para evitar la pérdida de flujos por interrupción de tareas
• SPARK-51818 Mover la creación de QueryExecution a AnalyzeHandler y no ejecutar para AnalyzePlanRequests
• SPARK-51609 Optimización de la ejecución recursiva de CTE para consultas sencillas
• SPARK-49748 Agregar getCondition y dejar de usar getErrorClass en SparkThrowable
• SPARK-51867 Hacer que el modelo de Scala admita los métodos de guardar y cargar en la ruta del sistema de archivos local
• SPARK-51856 Actualizar la API de tamaño de modelo para contar el tamaño de dataframe distribuido
• SPARK-51941 Corrección del problema de precisión numérica para convertToCatalyst cuando el valor de la entrada es BigDecimal entre -1.0 y 1.0
• SPARK-50605 Compatibilidad con el modo de API de SQL para facilitar la migración a Spark Connect
• SPARK-51849 Refactorización ResolveDDLCommandStringTypes
• SPARK-51673 Aplicar la intercalación predeterminada para modificar la consulta de vista
• SPARK-51880 Corregir las referencias del cliente de Python en los objetos de caché de ML
• SPARK-51873 Para el algoritmo OneVsRest, permita el uso de guardar o cargar para reemplazar la caché.
• SPARK-51072 CallerContext para establecer el contexto de auditoría en la nube de Hadoop
• SPARK-51790 Registro de UTF8String en KryoSerializer
• SPARK-51022 Eliminar elementos no utilizados del método tableSampleClause en build() de MsSqlServerSQLQueryBuilder y DB2SQLQueryBuilder
• SPARK-51219 Corrección ShowTablesExec.isTempView para trabajar con catálogos que no son V2SessionCatalog
• SPARK-49700 Interfaz unificada de Scala para Connect y Clásico
• SPARK-50458 Control de errores adecuado para sistemas de archivos no compatibles al leer archivos
• SPARK-50666 Sugerencia de soporte para leer en el origen de datos JDBC
• SPARK-50131 Volver a aplicar "Add IN Subquery DataFram..."
• SPARK-51899 Implementación de reglas de control de errores para spark.catalog.listTables()
• SPARK-51820 Solucionar los problemas restantes para el nuevo group/order mediante un enfoque ordinal.
• SPARK-48585 Hacer que built-in el método classifyException de JdbcDialect produzca la original excepción.
• SPARK-48387 Postgres: Mapear TimestampType a TIMESTAMP WITH TIME ZONE
• SPARK-51820 Mover la construcción UnresolvedOrdinal antes del análisis para evitar problemas al agrupar por ordinal
• SPARK-48337 Solución para la pérdida de precisión de los valores TIME en JDBC
• SPARK-51711 Propaga la sesión de Spark remota activa a nuevos subprocesos para corregir CrossValidator
• SPARK-47515 Guardar TimestampNTZType como DATETIME en MySQL
• SPARK-48439 Derby: Calcular la precisión y la escala adecuadas para el tipo DECIMAL
• SPARK-51820 Preparar la lógica de redacción para la sincronización de códigos de SPARK-51820
• SPARK-48323 DB2: Asigne BooleanType a BOOLEAN en lugar de CHAR(1)
• SPARK-51635 Combinar PushProjectionThroughLimit e PushProjectionThroughOffset
• SPARK-48211 DB2: Leer SMALLINT como ShortType
• SPARK-51803 Almacenar el tipo JDBC del motor externo en los metadatos de StructField
• SPARK-51845 Adición de mensajes de protocolo CleanCache y GetCacheInfo
• SPARK-49511 Aplicación de reglas de formato a sql/api
• SPARK-47968 MsSQLServer: asignar datatimeoffset a TimestampType
• SPARK-51726 Usar TableInfo para la tabla CREATE/REPLACE/CREATE OR REPLACE
• SPARK-47967 Hacer que JdbcUtils.makeGetter maneje correctamente el tipo de tiempo de lectura NTZ
• SPARK-47989 MsSQLServer: corrección del ámbito de spark.sql.legacy.mssqlserver.numericMapping.enabled
• SPARK-51193 Actualizar Netty a 4.1.118.Final y netty-tcnative a 2.0.70.Final
• SPARK-47882 createTableColumnTypes necesita ser mapeado a tipos de base de datos en lugar de usarse directamente
• SPARK-47879 Oracle: Utilizar VARCHAR2 en lugar de VARCHAR para la asignación de VarcharType
• SPARK-51372 Introducción a TableInfo para las creaciones de tablas
• SPARK-47791 Truncar los decimales que exceden utilizando primero la escala en lugar de la precisión desde la fuente de datos JDBC
• SPARK-51404 Analizar el time(n) tipo como TimeType(n)
• SPARK-50350 Avro: agregar nueva función schema_of_avro (scala lateral)
• SPARK-51136 Establecer CallerContext para el servidor de historial
• SPARK-50641 Mover GetJsonObjectEvaluator a JsonExpressionEvalUtils
• SPARK-50083 Integración _LEGACY_ERROR_TEMP_1231 en PARTITIONS_NOT_FOUND
• SPARK-51556 Adición de la try_to_time función
• SPARK-47684 Postgres: mapear longitud no especificada bpchar a StringType
• SPARK-48688 Devuelve un error razonable al llamar a sql to_avro y from_avro funciones, pero Avro no se carga de forma predeterminada.
• SPARK-49839 SPJ: Omitir ordenaciones si es posible
• SPARK-45534 Usa java.lang.ref.Cleaner en lugar de 'finalize' para RemoteBlockPushResolver
• SPARK-51816 Simplificar StatFunctions.multipleApproxQuantiles con las APIs de marco de datos
• SPARK-49179 Corrección de las combinaciones internas multicubetadas de la versión 2 que lanzan un error de aserción.
• SPARK-47456 Compatibilidad con el códec ORC Brotli
• SPARK-51542 Agregar un botón de desplazamiento para direccionar la parte superior e inferior
• SPARK-51541 Compatibilidad con el TIME tipo de datos en los métodos Literal
• SPARK-51615 Refactorizar ShowNamespaces para usar RunnableCommand
• SPARK-51191 Validar el control de valores predeterminados en DELETE, UPDATE, MERGE
• SPARK-51829 El lado cliente debe actualizar client.thread_local.ml_caches después de la eliminación
• SPARK-51358 Introducción a la detección de retrasos de carga de instantáneas mediante StateStoreCoordinator
• SPARK-51686 Vincule los identificadores de ejecución de las subecuciones para la ejecución actual, si existe.
• SPARK-51456 Adición de la to_time función
• SPARK-51773 Convertir los formatos de archivo en clases de casos para compararlos correctamente
• SPARK-51777 Registrar clases sql.columnar.* en KryoSerializer
• SPARK-51432 Lanzar una excepción adecuada cuando los esquemas de Arrow no coincidan
• SPARK-51395 Refinar el control de los valores predeterminados en los procedimientos
• SPARK-50582 Añadir función incorporada de comillas
• SPARK-51684 Corrección del error de prueba en test_pandas_transform_with_state
• SPARK-51213 Mantener la información de la clase Expression al resolver parámetros de sugerencia
• SPARK-51651 Enlazar el identificador de ejecución raíz para la ejecución actual, si lo hay
• SPARK-50947 Asignar la clase de error adecuada y SparkException para artefactos duplicados
• SPARK-51574 Serialización de filtros para la inserción de filtros del origen de datos de Python
• SPARK-51608 Registrar excepción al terminar el ejecutor de Python
• SPARK-51266 Quitar la definición sin usar de private[spark] object TaskDetailsClassNames
• SPARK-51011 Agregar registro para si se interrumpirá una tarea cuando se mate
• SPARK-49646 Añadir configuración de Spark para corregir la descorrelación de subconsultas
• SPARK-51107 Refactorizar CommandBuilderUtils#join para reutilizar líneas y reducir la redundancia
• SPARK-51758 Corrección del caso de prueba relacionado con el lote adicional que causa un df vacío debido a la marca de agua
• SPARK-51664 Compatibilidad con el tipo de datos TIME en la expresión Hash
• SPARK-51819 Actualización del módulo de prueba pyspark-errors para incluir pruebas que faltan
• SPARK-50751 Asignación de una condición de error adecuada para _LEGACY_ERROR_TEMP_1305
• SPARK-50973 Limpieza del uso de api en desuso relacionado con avro.Schema#toString(boolean)
• SPARK-50908 Deshabilitar la prueba TTL inestable en test_pandas_transform_with_state.py
• SPARK-50811 Compatibilidad con la habilitación del generador de perfiles de JVM en el controlador
• SPARK-50808 Corrección del problema en writeAll con tipos mixtos que no se registran adecuadamente.
• SPARK-51780 Implementar el procedimiento 'Describe'
• SPARK-50370 Compatibilidad con Codegen para json_tuple
• SPARK-50756 Utilizar la clase de error para las excepciones en SparkConf.validateSettings
• SPARK-50805 Mover método nameForAppAndAttempt a o.a.s.u.Utils
• SPARK-51812 Eliminación de parámetros redundantes de algunos métodos en QueryExecution
• SPARK-50819 Refactorización del módulo de generador de perfiles de Spark
• SPARK-51547 Asignar nombre a la condición de error: _LEGACY_ERROR_TEMP_2130
• SPARK-48538 Evitar fugas de memoria HMS causadas por bonecp
• SPARK-51176 Garantizar la coherencia para errores inesperados en <> PySpark Connect Clásico
• SPARK-50773 Deshabilitar el registro estructurado de forma predeterminada
• SPARK-50616 Agregar opción de extensión de archivo al escritor de orígenes de datos CSV
• SPARK-50624 Agregar TimestampNTZType a ColumnarRow/MutableColumnarRow
• SPARK-51590 Deshabilitar TIME en orígenes de datos basados en archivos integrados
• SPARK-49886 Prueba de error de nivel de consulta para el formato V2 de rocksDB
• SPARK-50823 Actualización de cloudpickle de 3.1.0 a 3.1.1
• SPARK-50780 Usar overrideStdFeatures en lugar de setFeatureMask en JacksonParser
• SPARK-50621 Actualización de Cloudpickle a la versión 3.1.0
• SPARK-50719 Compatibilidad con interruptOperation PySpark
• SPARK-50545AccessControlException debe lanzarse incluso si ignoreCorruptFiles está habilitado.
• SPARK-51517 Compatibilidad con el tipo de datos TIME en los resultados de Hive
• SPARK-47856 Mapeo de tipos de datos de Spark SQL desde Oracle y añadir pruebas
• SPARK-46066 Use la API Separators en lugar de string API para construir el DefaultPrettyPrinter
• SPARK-50718 Compatibilidad con addArtifact(s) PySpark
• SPARK-51497 Adición del formateador de hora predeterminado
• SPARK-51488 Soporte para la palabra clave TIME como tipo de dato
• SPARK-51273 El procedimiento de llamada de Spark Connect ejecuta el procedimiento dos veces
• SPARK-51092 Omitir las pruebas flatMapGroupsWithState v1 con tiempo de espera en plataformas big endian
• SPARK-50606 Corrección de NPE en el SessionHolder no iniciado
• SPARK-49530 Compatibilidad con subgráficos circulares en la representación gráfica con pyspark
• SPARK-50357 Compatibilidad con Interrupt(Tag|Todas) API para PySpark
• SPARK-51290 Habilitar el relleno de valores predeterminados en las operaciones de escritura de DSv2
• SPARK-50485 Desenvolver SparkThrowable en (Unchecked)ExecutionException lanzada por tableRelationCache
• SPARK-51513 Corrección de la regla RewriteMergeIntoTable genera un plan sin resolver
• SPARK-51482 Compatibilidad con la conversión de cadena a hora
• SPARK-51462 Soporte para literales tipados del tipo de datos TIME
• SPARK-51454 Compatibilidad con la conversión de hora a cadena
• SPARK-51447 Agregar stringToTime y stringToTimeAnsi
• SPARK-51775 Normalizar LogicalRelation y HiveTableRelation por NormalizePlan
• SPARK-51791ImputerModel almacena coeficientes con matrices en lugar de dataframe
• SPARK-51442 Agregar formateadores de tiempo
• SPARK-51384 Soporte java.time.LocalTime como el tipo externo de TimeType
• SPARK-51747 El plan almacenado en caché del origen de datos debe respetar las opciones
• SPARK-51774 Adición de código de estado GRPC a la excepción GRPC de Conexión de Python
• SPARK-51660 Manejar adecuadamente cuando no se soporta MDC
• SPARK-51296 Compatibilidad para recopilar datos corruptos en el modo de columna de variante única.
• SPARK-45907 Uso de las API ProcessHandle de Java9+ para calcularProcessTree en ProcfsMetricsGetter
• SPARK-51342 Agregar TimeType
• SPARK-51769 Agregar maxRecordsPerOutputBatch para limitar el número de registros del lote de salida de Arrow.
• SPARK-51350 Implementar procedimientos de presentación
• SPARK-51711 Directiva de expulsión de MLCache basada en memoria
• SPARK-51178 Generar el error adecuado de PySpark en lugar de SparkConnectGrpcException
• SPARK-51738 IN subconsulta con tipo de estructura
• SPARK-51714 Agregar prueba de ingesta de errores para probar el formato de punto de comprobación del almacén de estado V2
• SPARK-51704 Eliminación de la operación de recopilación innecesaria
• SPARK-51512 Filtrar MapStatus null al limpiar los datos de barajado con ExternalShuffleService.
• SPARK-49308 Compatibilidad con UserDefinedAggregateFunction en el cliente Scala de Spark Connect
• SPARK-50091 Manejar el caso de agregados en el operando izquierdo de la subconsulta IN
• SPARK-50265 Compatibilidad con spark.udf.registerJavaUdf en Connect
• SPARK-49273 Compatibilidad de origen con el cliente Scala de Spark Connect
• SPARK-51187 Implementar la desactivación progresiva de la configuración incorrecta introducida en SPARK-49699
• SPARK-51650 Compatibilidad para eliminar objetos almacenados en caché de ML en lotes
• SPARK-51619 Compatibilidad con la entrada/salida de UDT en UDF de Python optimizada con Apache Arrow
• SPARK-51333 Desenvolver InvocationTargetException producido en MLUtils.loadOperator
• SPARK-51566 Mejora del rastreo de errores de UDF en Python
• SPARK-51393 Volver a usar UDF de Python normal cuando Arrow no está disponible, pero las UDF de Python optimizadas por Arrow están habilitadas.
• SPARK-49960 Compatibilidad con Custom ExpressionEncoder y correcciones de TransformEncoder
• SPARK-51380 Agregar visitSQLFunction y visitAggregateFunction para mejorar la flexibilidad de V2ExpressionSQLBuilder
• SPARK-51600 Anteponer clases de sql/hive y sql/hive-thriftserver cuando isTesting || isTestingSql es verdadero
• SPARK-51070 Usar scala.collection.Set en lugar de Set en ValidateExternalType
• SPARK-50759 Desuso de algunas API de catálogo heredadas
• SPARK-50994 Realizar la conversión de RDD en ejecución supervisada
• SPARK-51466 Eliminación de la inicialización integrada de UDF de Hive en la evaluación de UDF de Hive
• SPARK-51491 Simplificación de boxplot con api de subconsulta
• SPARK-51175 Mostrar Master el tiempo transcurrido cuando se eliminan controladores
• SPARK-50334 Extracción de lógica común para leer el descriptor del archivo PB
• SPARK-50483 BlockMissingException debería lanzarse incluso si ignoreCorruptFiles está habilitado
• SPARK-50286 Propagación correcta de las opciones de SQL a WriteBuilder
• SPARK-51023 Registro de la dirección remota en la excepción RPC
• SPARK-47611 Limpieza del código fallido en MySQLDialect.getCatalystType
• SPARK-49229 Eliminar duplicados en la gestión de UDF de Scala en SparkConnectPlanner
• SPARK-50557 Compatibilidad con RuntimeConfig.contains(..) en la interfaz SQL de Scala
• SPARK-51471 RatePerMicroBatchStream: clasificación del error ASSERT cuando offset/timestamp en startOffset sea mayor que endOffset
• SPARK-50473 Simplificación del control de columnas clásico
• SPARK-49286 Traslado de funciones avro/Protobuf a sql/api
• SPARK-49087 Distinguir funciones no resueltas que llaman a funciones internas
• SPARK-50422 Hacer Parameterized SQL queries de SparkSession.sql API GA
• SPARK-49249 PR complementaria para "Agregar la nueva configuración predeterminada del gestor de artefactos en PySpark a la lista de permitidos"
• SPARK-50366 Aislamiento de etiquetas definidas por el usuario en el nivel de subproceso para SparkSession en el modelo clásico
• SPARK-49436 Interfaz común para SQLContext
• SPARK-51551 Para el algoritmo de optimización, permita el uso de guardar o cargar para reemplazar la memoria caché.
• SPARK-51599 Optimizar ps.read_excel para archivos de Excel grandes
• SPARK-51118 Corregir ExtractPythonUDFs para comprobar los tipos de entrada de UDF encadenados para el respaldo
• SPARK-50395 Corrección de la sintaxis de URI con formato incorrecto en Windows
• SPARK-50708 Eliminación de recursos de artefactos en GC del ArtifactManager instancia
• SPARK-51076 Alternativa de UDF de Python Arrow para tipos de entrada y salida UDT
• SPARK-50243 Cargador de clases almacenados en caché para ArtifactManager
• SPARK-49249 Aislamiento de artefactos en Spark clásico
• SPARK-50821 Actualización de Py4J de 0.10.9.8 a 0.10.9.9
• SPARK-51591 Corrección del error de ThreadPoolExecutor en la prueba diaria de Python 3.13
• SPARK-40353 Corregir el desajuste de nulabilidad en el índice ps.read_excel
• SPARK-42746 Implementación de la función LISTAGG
• SPARK-50102 Añadir intercaladores necesarios para los métodos SQL públicos que faltan.
• SPARK-50513 Dividir EncoderImplicits de SQLImplicits y proporcionar un objeto auxiliar dentro de StatefulProcessor
• SPARK-51567 Corregir DistributedLDAModel.vocabSize
• SPARK-49569 Añadir adaptadores para soportar SparkContext y RDD
• SPARK-51473 El dataframe transformado de ML mantiene una referencia al modelo
• SPARK-51340 Estimación del tamaño del modelo
• SPARK-51474 No inserte columnarToRowExec redundante para el nodo que admita la salida de columnas y filas.
• SPARK-51445 Cambiar el valor nunca cambiado var a val
• SPARK-50618 Hacer que DataFrameReader y DataStreamReader aprovechen más el analizador
• SPARK-51097 Reintroducción de las métricas de instancia de la versión de la última instantánea cargada del almacén de estado de RocksDB
• SPARK-49418 Locales de hilo de sesión compartidos
• SPARK-50096 Asigne la condición de error adecuada para _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
• SPARK-50264 Agregar métodos que faltan a DataStreamWriter
• SPARK-49434 Traslado de agregadores a sql/api
• SPARK-51451 Solución para que ExtractGenerator espere a que se resuelva UnresolvedStarWithColumns.
• SPARK-49416 Agregar interfaz DataStreamReader compartida
• SPARK-49429 Adición de la interfaz DataStreamWriter compartida
• SPARK-49282 Cree una interfaz sparkSessionBuilder compartida.
• SPARK-49415 Traslado de SQLImplicits a sql/api
• SPARK-51443 Se ha corregido singleVariantColumn en DSv2 y readStream.
• SPARK-49369 Adición de conversiones implícitas de columna
• SPARK-49417 Adición de la interfaz Shared StreamingQueryManager
• SPARK-51079 Compatibilidad con tipos de variables grandes en UDF de Pandas, createDataFrame y toPandas con Arrow
• SPARK-51277 Implementar la implementación sin argumentos en UDF de Python optimizada para Arrow
• SPARK-50601 Compatibilidad con withColumns / withColumnsRenamed en subconsultas
• SPARK-49479 Cancelar el subproceso no demonio del temporizador al detener el BarrierCoordinator
• SPARK-51379 Mover la agregación final de treeAggregate del controlador al ejecutor
• SPARK-49712 Quitar encoderFor de connect-client-jvm
• SPARK-49424 Unificar Encoders.scala
• SPARK-49574 Deshabilitar pruebas de compartimiento delta dañadas para rama principal
• SPARK-51409 Añadir clasificación de errores en la ruta de creación del registro de cambios
• SPARK-49568 Eliminación del tipo propio del Dataset
• SPARK-51433 Cambio del script de versión para liberar pyspark-client
• SPARK-51422 Eliminación del intercambio de datos JVM-Python en CrossValidator
• SPARK-51425 Adición de la API de cliente para establecer la personalizada operation_id
• SPARK-49284 Creación de una interfaz de catálogo compartida
• SPARK-50855 Compatibilidad de Spark Connect con TransformWithState en Scala
• SPARK-50694 Soporte para cambios de nombre en subconsultas
• SPARK-50880 Agregar un nuevo método visitBinaryComparison a V2ExpressionSQLBuilder
• SPARK-51282 Optimización de la transformación oneVsRestModel mediante la eliminación del intercambio de datos JVM-Python
• SPARK-51079 Compatibilidad con tipos de variables grandes en UDF de Pandas, createDataFrame y toPandas con Arrow
• SPARK-51383 Evite realizar llamadas RPC si ya se sabe que los clientes están detenidos
• SPARK-51227 Corrección de PySpark Connect _minimum_grpc_version a la versión 1.67.0
• SPARK-51362 Cambiar toJSON para utilizar NextIterator API y eliminar la dependencia de registros adyacentes.
• SPARK-51375 Suprimir SparkConnect(Execution|Session)Manager.periodicMaintenance mensajes de registro
• SPARK-50393 Introduce un TableArg común para Spark Classic y Spark Connect
• SPARK-50133 Compatibilidad con la conversión de DataFrame al argumento table en el cliente python de Spark Connect
• SPARK-49574 ExpressionEncoder realiza un seguimiento del AgnosticEncoder que lo creó
• SPARK-49422 Adición de groupByKey a sql/api
• SPARK-51381 Mostrar Session ID en Spark Connect Session la página
• SPARK-51316 Permitir lotes de Arrow en bytes en lugar de número de filas
• SPARK-50134 Compatibilidad con dataframe API para subconsultas SCALAR y EXISTS en Spark Connect
• SPARK-50392 Conversión de DataFrame al argumento table en Spark classic
• SPARK-50553 Lanzar InvalidPlanInput de plan inválido
• SPARK-51322 Mejor mensaje de error para la expresión de subconsulta en streaming
• SPARK-51281 DataFrameWriterV2 debe respetar la opción path
• SPARK-50856 Compatibilidad de Spark Connect con TransformWithStateInPandas en Python
• SPARK-51333 Desenvolver InvocationTargetException producido en invokeMethod
• SPARK-50134 Compatibilidad con DataFrame API para la unión lateral en Spark Connect
• SPARK-51083 Modificar JavaUtils para no tragar InterruptedExceptions
• SPARK-49413 Creación de una interfaz RuntimeConfig compartida (seguimiento)
• SPARK-49413 Creación de una interfaz RuntimeConfig compartida
• SPARK-50993 Mover nullDataSourceOption de QueryCompilationErrors a QueryExecutionErrors
• SPARK-51329 Agregar numFeatures para los modelos de agrupación en clústeres
• SPARK-51305 Mejorar SparkConnectPlanExecution.createObservedMetricsResponse
• SPARK-51097 Adición de métricas de las instancias del almacén de estado para la última versión del snapshot cargado en RocksDB
• SPARK-49425 Creación de un objeto DataFrameWriter compartido
• SPARK-50655 Mover la asignación relacionada con la familia de columnas virtuales a la capa de la base de datos en lugar del codificador.
• SPARK-48530 Compatibilidad con variables locales en scripting de SQL
• SPARK-51284 Corrección de ejecución de script SQL para resultados vacíos
• SPARK-49085 Eliminar el manejo especial para las funciones Protobuf de Connect
• SPARK-50881 Usa el esquema almacenado en caché siempre que sea posible en la conexión con dataframe.py
• SPARK-51275 Propagación de sesión en readwrite de Python
• SPARK-51109 CTE en la expresión de subconsulta como columna de agrupación
• SPARK-50598 Agregar parámetros para habilitar la implementación posterior de CTE recursivos
• SPARK-51202 Pasar la sesión en los escritores de Python del meta algoritmo
• SPARK-51215 Adición de una función auxiliar para invocar el modelo auxiliar attr
• SPARK-51214 No elimine apresuradamente los modelos almacenados en caché para fit_transform
• SPARK-51237 Adición de detalles de API para las nuevas API auxiliares transformWithState
• SPARK-51192 Exponer processWithoutResponseObserverForTesting en SparkConnectPlanner
• SPARK-51217 Limpieza del constructor del asistente de modelos de ML
• SPARK-51218 Evitar map/flatMap en NondeterministicExpressionCollection
• SPARK-50953 Adición de compatibilidad con rutas de acceso no literales en VariantGet
• SPARK-50132 Adición de dataFrame API para combinaciones laterales
• SPARK-51190 Corrección de TreeEnsembleModel.treeWeights
• SPARK-50945 Compatibilidad con Summarizer y SummaryBuilder en Connect
• SPARK-51142 Mejora y limpieza de protobuffers de ML
• SPARK-51139 Refinar la clase de error MLAttributeNotAllowedException
• SPARK-51080 Corrección de save/load para PowerIterationClustering
• SPARK-51100 Reemplazar envoltorios de transformadores por relaciones de atributos de modelo auxiliar
• SPARK-51091 Corrección de los parámetros predeterminados de StopWordsRemover
• SPARK-51089 Compatibilidad en la conexión
• SPARK-50954 Compatibilidad con la sobrescritura de la ruta de acceso del modelo del lado cliente para los meta algoritmos
• SPARK-50975 Soporte al conectar
• SPARK-50958 Soporte para Word2VecModel.findSynonymsArray en la conexión
• SPARK-50930 Compatibilidad PowerIterationClustering con Connect
• SPARK-51157 Añadir la anotación de Scala faltante @varargs para las APIs de funciones de Scala
• SPARK-51155 Hacer que SparkContext muestre el tiempo de ejecución total después de que se detenga
• SPARK-51143 Anclar plotly<6.0.0 y torch<2.6.0
• SPARK-50949 Introducir un modelo auxiliar para admitir StringIndexModel.from_labels_xxx
• SPARK-51131 Se produce una excepción cuando se encuentra un script SQL dentro EXECUTE IMMEDIATE del comando
• SPARK-51078 Corrección de la llamada py4j en StopWordsRemover
• SPARK-50944 Compatibilidad KolmogorovSmirnovTest con Connect
• SPARK-50602 Corrección de la transposición para mostrar un mensaje de error adecuado cuando se especifican columnas de índice no válidas
• SPARK-50943 Compatibilidad Correlation con Connect
• SPARK-50234 Mejora del mensaje de error y la prueba para transponer DataFrame API
• SPARK-50942 Compatibilidad ChiSquareTest con Connect
• SPARK-48353 Introducción al mecanismo de control de excepciones en scripting de SQL
• SPARK-51043 Registro de usuarios detallado para Spark Connect foreachBatch
• SPARK-50799 Refinar la docstring de rlike, length, octet_length, bit_length y transform
• SPARK-51015 Compatibilidad con RFormulaModel.toString en Connect
• SPARK-50843 Soporte para devolver un nuevo modelo a partir de uno existente
• SPARK-50969 Corrección GaussianMixtureModel.gaussians en la conexión
• SPARK-50899 Compatibilidad con PrefixSpan en connect
• SPARK-51060 Compatibilidad QuantileDiscretizer con Connect
• SPARK-50974 Agregar apoyo para foldCol en CrossValidator en Connect
• SPARK-50922 Compatibilidad con OneVsRest en Connect
• SPARK-50812 Adición de compatibilidad con PolynomialExpansion
• SPARK-50923 Compatibilidad con FMClassifier y FMRegressor en Connect
• SPARK-50918 Reestructuración de lectura y escritura para Pipeline
• SPARK-50938 Compatibilidad con VectorSizeHint y VectorSlicer en Connect
• SPARK-51005 Compatibilidad con VectorIndexer y ElementwiseProduct en Connect
• SPARK-51014 Compatibilidad con RFormula en la conexión
• SPARK-50941 Agregar compatibilidad con TrainValidationSplit
• SPARK-51004 Agregar compatibilidad con IndexString
• SPARK-51003 Compatibilidad con modelos LSH en Connect
• SPARK-50924 Compatibilidad con AFTSurvivalRegression e IsotonicRegression en Connect
• SPARK-50921 Compatibilidad con MultilayerPerceptronClassifier en Connect
• SPARK-50995 Compatibilidad clusterCenters con KMeans y BisectingKMeans
• SPARK-50940 Agrega compatibilidad con CrossValidator/CrossValidatorModel en la conexión
• SPARK-50929 Compatibilidad LDA con Connect
• SPARK-50925 Compatibilidad con GeneralizedLinearRegression en Connect
• SPARK-50988 Corrección de incoherencias de uid para el estimador y el modelo
• SPARK-50989 Compatibilidad con NGram, Normalizer e Interacción en la conexión
• SPARK-50937 Compatibilidad Imputer con Connect
• SPARK-51049 Aumento del umbral de E/S vectorial de S3A para la fusión de intervalos
• SPARK-50812 Compatibilidad con TargetEncoderModel en Connect
• SPARK-50920 Soporte técnico de NaiveBayes en Connect
• SPARK-50936 Compatibilidad con HashingTF, IDF y FeatureHasher en la conexión
• SPARK-50934 Compatibilidad con CountVectorizer y OneHotEncoder en Connect
• SPARK-49287 Traslado de clases de streaming a sql/api
• SPARK-50932 Compatibilidad con Bucketizer en Connect
• SPARK-50933 Compatibilidad con selectores de características en Connect
• SPARK-50931 Compatibilidad con Binarizer en la conexión
• SPARK-50935 Compatibilidad DCT con la conexión
• SPARK-50963 Compatibilidad con tokenizadores, SQLTransform y StopWordsRemover en Connect
• SPARK-50928 Compatibilidad con GaussianMixture en Connect
• SPARK-49383 Soporte de la API de Transponer DataFrame
• SPARK-50939 Compatibilidad con Word2Vec en Connect
• SPARK-49249 Añadir nuevas API relacionadas con etiquetas en Connect de vuelta a Spark Core
• SPARK-50919 Compatibilidad con LinearSVC en la conexión
• SPARK-50883 Compatibilidad con la modificación de varias columnas en el mismo comando
• SPARK-50918 Canalización de soporte técnico en conexión
• SPARK-50826 Refactorización de la forma en que se controla ALLOWED_ATTRIBUTES
• SPARK-49427 Creación de una interfaz compartida para MergeIntoWriter
• SPARK-49414 Agregar interfaz DataFrameReader compartida
• SPARK-50948 Agregar compatibilidad con StringIndexer/PCA en Connect
• SPARK-50901 Compatibilidad con Transformer VectorAssembler
• SPARK-50879 Compatibilidad con escaladores de características en Connect
• SPARK-50130 Agregar APIs de DataFrame para subconsultas escalares y "exists"
• SPARK-50075 Adición de API de DataFrame para funciones con valores de tabla
• SPARK-49426 Creación de una interfaz compartida para DataFrameWriterV2
• SPARK-50898 Compatibilidad FPGrowth con la conexión
• SPARK-50844 Hacer que el modelo se cargue mediante ServiceLoader al cargarlo
• SPARK-50884 Compatibilidad con "isLargerBetter" en Evaluador
• SPARK-50959 Capturar la excepción de JavaWrapper
• SPARK-50558 Introducción a simpleString para ExpressionSet
• SPARK-49422 Creación de una interfaz compartida para KeyValueGroupedDataset
• SPARK-50878 Compatibilidad con ALS en Connect
• SPARK-50897 Evitar la creación de instancias en ServiceLoader
• SPARK-50877 Compatibilidad con KMeans y BisectingKMeans en Connect
• SPARK-50876 Compatibilidad con los regresores de árbol en Connect
• SPARK-50874 Compatibilidad LinearRegression con la conexión
• SPARK-50869 Compatibilidad con evaluadores en ML Connect
• SPARK-50851 Parámetros de ML Express con proto.Expression.Literal
• SPARK-50825 Compatibilidad con clasificadores de árbol en ML Connect
• SPARK-50827 Plugin de soporte
• SPARK-49907 Compatibilidad con spark.ml en Connect
• SPARK-50968 Corrección del uso de Column.__new__
• SPARK-49028 Creación de una sparkSession compartida
• SPARK-49421 Creación de una interfaz RelationalGroupedDataset compartida
• SPARK-50804 to_protobuf() no debe lanzar MatchError
• SPARK-50900 Agregar VectorUDT y MatrixUDT a ProtoDataTypes
• SPARK-50579 Solucionar truncatedString
• SPARK-50875 Agregar intercalaciones RTRIM a TVF
• SPARK-49420 Adición de una interfaz compartida para DataFrameNaFunctions
• SPARK-50669 Cambiar la firma de la expresión TimestampAdd
• SPARK-46615 Compatibilidad con s.c.immutable.ArraySeq en ArrowDeserializers
• SPARK-49423 Consolidación de la observación en sql/api
• SPARK-49086 Traslado del registro de funciones de ML a SparkSessionExtensions
• SPARK-49419 Crear DataFrameStatFunctions compartidos
• SPARK-50735 El error en ExecuteResponseObserver da como resultado solicitudes de reasociación infinitas
• SPARK-50522 Compatibilidad con intercalación indeterminada
• SPARK-50893 Indicar UDT.DataType opcional
• SPARK-50685 Mejora del rendimiento de Py4J aprovechando getattr
• SPARK-50742 Quitar spark.hadoop.fs.s3a.connection.establish.timeout configuración
• SPARK-50714 Habilitación de la evolución del esquema para TransformWithState cuando se usa la codificación Avro
• SPARK-49029 Creación de una interfaz de conjunto de datos compartido
• SPARK-50263 Reemplazar por System.currentTimeMillisSystem.nanoTime
• SPARK-50525 Definir regla del optimizador InsertMapSortInRepartitionExpressions
• SPARK-50561 Mejorar la coerción de tipos y la comprobación de límites para la función SQL UNIFORM
• SPARK-50707 Permitir conversión hacia y desde char/varchar
• SPARK-49027 Uso compartido de Column API entre Clase y Connect
• SPARK-49632 Quitar la sugerencia de configuración ANSI en CANNOT_PARSE_TIMESTAMP
• SPARK-50529 Cambio del comportamiento char/varchar en la configuración
• SPARK-50600 Establecimiento analizado en caso de error de análisis
• SPARK-50789 Se deben analizar las entradas de agregaciones tipadas.
• SPARK-49025 Hacer que la implementación de columna sea independiente
• SPARK-50738 Actualizar negro a 23.12.1
• SPARK-49883 Integración de la estructura de puntos de control del almacén de estado V2 con RocksDB
• SPARK-50778 Adición de metadataColumn a DataFrame de PySpark
• SPARK-49565 Mejora de los alias de expresión generados automáticamente con operadores SQL de canalización
• SPARK-50772 Conservar los alias de la tabla después de SET, operadores EXTEND, DROP
• SPARK-50690 Corrección de discrepancias en la citación del resultado DESCRIBE TABLE de consultas de vista
• SPARK-50675 Soporte de intercalaciones a nivel de tabla y vista
• SPARK-50480 Extender CharType y VarcharType a partir de StringType
• SPARK-50715SparkSession.Builder establece las configuraciones en grupo
• SPARK-50693 Se deben analizar las entradas de TypedScalaUdf.
• SPARK-50710 Agregar soporte para la reconexión opcional del cliente a sesiones después de la finalización
• SPARK-50596 Actualización de Py4J de 0.10.9.7 a 0.10.9.8
• SPARK-50661 Agregue compatibilidad con versiones anteriores para el cliente FEB.
• SPARK-50515 Adición de la interfaz de solo lectura a SparkConf
• SPARK-50642 Corrección del esquema de estado para FlatMapGroupsWithState en spark connect cuando no hay ningún estado inicial
• SPARK-50702 Refinar la cadena de documentación de regexp_count, regexp_extract y regexp_extract_all
• SPARK-50692 Añadir soporte para RPAD pushdown
• SPARK-50699 Análisis y generación de una cadena DDL con una sesión especificada
• SPARK-50573 Agregar el identificador de esquema de estado a las filas de estado para la evolución del esquema
• SPARK-50311 Soporte de APIs para PySpark
• SPARK-50661 Corrección de Spark Connect Scala foreachBatch impl. para admitir Dataset[T].
• SPARK-50696 Optimización de la llamada de Py4J para el método de análisis DDL
• SPARK-50687 Optimizar la lógica para obtener rastros de pila para DataFrameQueryContext
• SPARK-50681 Almacenar en caché el esquema analizado para MapInXXX y ApplyInXXX
• SPARK-50578 Adición de compatibilidad con la nueva versión de metadatos de estado para TransformWithStateInPandas
• SPARK-50405 Correctamente manejar la coerción del tipo de intercalación en tipos de datos complejos.
• SPARK-50615 Insertar variante en el escaneo.
• SPARK-50599 Creación del rasgo DataEncoder que permite la codificación Avro y UnsafeRow
• SPARK-50076 Corrección de claves de registro
• SPARK-50339 Habilitación del registro de cambios para almacenar información de linaje
• SPARK-50540 Corrección del esquema de cadena para StatefulProcessorHandle
• SPARK-50544 Implementar StructType.toDDL
• SPARK-50528 Mover InvalidCommandInput al módulo común
• SPARK-50063 Adición de compatibilidad con Variant en el cliente Scala de Spark Connect
• SPARK-50310 Adición de una marca para deshabilitar DataFrameQueryContext para PySpark
• SPARK-50310 Adición de una marca para deshabilitar DataFrameQueryContext para PySpark
• SPARK-50032 Permitir el uso del nombre de intercalación completo
• SPARK-50466 Refinar el docstring de las funciones de cadena - parte 1
• SPARK-49676 Adición de compatibilidad con encadenamiento de operadores en transformWithStateInPandas API
• SPARK-50081 Compatibilidad con Codegen para XPath*(por Invoke & RuntimeReplaceable)
• SPARK-46725 Agregar función DAYNAME
• SPARK-50067 Compatibilidad de Codegen con SchemaOfCsv(by Invoke & RuntimeReplaceable)
• SPARK-49873 corrige un error posterior a la combinación en las pruebas de errores
• SPARK-50270 Se agregaron métricas de estado personalizadas para TransformWithStateInPandas
• SPARK-50381 Apoyo spark.master.rest.maxThreads
• SPARK-50427 Exponer configure_logging como API pública
• SPARK-50173 Hacer que las expresiones pandas acepten más tipos de datos
• SPARK-50169 Mejora del rendimiento de RegExpReplace
• SPARK-50238 Agregar compatibilidad con variantes en UDFs/UDTFs/UDAFs de PySpark y UDF de Python
• SPARK-50190 Quitar la dependencia directa de Numpy del histograma
• SPARK-50183 Unificar las funciones internas para la API de Pandas y el trazado de PySpark
• SPARK-50170 Mover _invoke_internal_function_over_columns a pyspark.sql.utils
• SPARK-50036 Incluir SPARK_LOG_SCHEMA en el contexto del shell de REPL
• SPARK-50141 Hacer que lpad y rpad acepten argumentos de tipo Column
• SPARK-49954 Compatibilidad de Codegen con SchemaOfJson (por Invoke & RuntimeReplaceable)
• SPARK-50098 Actualización de la versión mínima de googleapis-common-protos a la versión 1.65.0
• SPARK-50059 Comprobación de compatibilidad de API para E/S de Structured Streaming
• SPARK-50241 Reemplazar NullIntolerant Mixin por el método Expression.nullIntolerant
• SPARK-49849 Comprobación de compatibilidad de API para Structured Streaming Query Management
• SPARK-49851 Comprobación de compatibilidad de API para Protobuf
• SPARK-49850 Comprobación de compatibilidad de API para Avro
• SPARK-50039 Comprobación de compatibilidad de API para la agrupación
• SPARK-50023 Comprobación de compatibilidad de API para Functions
• SPARK-50030 Comprobación de compatibilidad de API para Window
• SPARK-50002 Comprobación de compatibilidad de API para E/S
• SPARK-49848 Comprobación de compatibilidad de API para catálogo
• SPARK-50022 Corrección MasterPage para ocultar vínculos de la interfaz de usuario de la aplicación cuando la interfaz de usuario está deshabilitada
• SPARK-50021 Corrección ApplicationPage para ocultar vínculos de la interfaz de usuario de la aplicación cuando la interfaz de usuario está deshabilitada
• SPARK-49990 Mejora del rendimiento de randStr
• SPARK-50380 ReorderAssociativeOperator debe cumplir con el contrato en ConstantFolding
• SPARK-50330 Adición de sugerencias a los nodos de ordenación y ventana
• SPARK-49609 Adición de una comprobación de compatibilidad de API entre clásico y Connect
• SPARK-49773 Excepción de Java no detectada de make_timestamp() con zona horaria incorrecta
• SPARK-49345 Asegúrese de usar la sesión de Spark en ejecución actual.
• SPARK-49368 Evite acceder directamente a clases protobuf lite.
• SPARK-50056 Compatibilidad de Codegen con ParseUrl (por Invoke & RuntimeReplaceable)
• SPARK-49119 Corrección de la incoherencia de la sintaxis show columns entre v1 y v2
• SPARK-50144 Abordar la limitación del cálculo de métricas con orígenes de streaming DSv1
• SPARK-49962 Simplificación de la jerarquía de clases AbstractStringTypes
• SPARK-50327 Resolución de funciones por factorización para ser reutilizado en el Analizador de un solo paso
• SPARK-48775 Reemplazar SQLContext por SparkSession en STS
• SPARK-50325 Resolución de alias por factorización para ser reutilizado en el Analizador de un solo paso
• SPARK-48123 Proporcionar un esquema de tabla constante para consultar registros estructurados
• SPARK-50055 Adición de la alternativa TryMakeInterval
• SPARK-49312 Mejora del mensaje de error para assertSchemaEqual
• SPARK-38912 Quitar el comentario relacionado con classmethod y property
• SPARK-50112 Permitir que el operador TransformWithState use la codificación Avro
• SPARK-50260 Refactorización y optimización de la ejecución y la administración de sesiones de Spark Connect
• SPARK-50196 Corrección del contexto de error de Python para usar un contexto adecuado
• SPARK-50167 Mejorar los mensajes de error y las importaciones de trazado de PySpark
• SPARK-50085 Hacer que lit(ndarray) con np.int8 respete el tipo de datos de numpy
• SPARK-50273 Mejora del registro para los casos de adquisición o liberación de bloqueos de RocksDB
• SPARK-50163 Corregir la liberación adicional de acquireLock de RocksDB debido al monitor de finalización
• SPARK-49770 Mejorar la gestión de archivos SST de RocksDB y corregir el problema al recargar la misma versión con la instantánea existente.
• SPARK-50232 Agregue 'protobuf==5.28.3' en dev/requirements.txt
• SPARK-50231 Hacer que la función instr acepte Column substring
• SPARK-50028 Reemplazar bloqueos globales en el agente de escucha del servidor de Spark Connect por bloqueos específicos
• SPARK-50077 Introducir un nuevo objeto de patrón para LogicalRelation para ayudar a evitar el patrón predeterminado de parámetros completos
• SPARK-50128 Adición de API de controlador de procesador con estado mediante codificadores implícitos en Scala
• SPARK-49411 Comunicar el identificador de punto de control del almacén de estado entre el controlador y los operadores con estado
• SPARK-50054 Soporte para gráficos de histogramas
• SPARK-49854 No copie bibliotecas de clústeres al clonar el administrador de artefactos
• SPARK-50071 Agregar try_make_timestamp(_ltz y _ntz) y pruebas relacionadas
• SPARK-50024 Cambiar para usar el registrador en lugar del módulo de advertencias en el cliente
• SPARK-50174 Extraer la resolución UnresolvedCatalogRelation
• SPARK-49734 Agregar seed argumento para la función shuffle
• SPARK-49943 Quitar timestamp_ntz_to_long de PythonSQLUtils
• SPARK-49945 Agregar alias para distributed_id
• SPARK-49755 Eliminar el manejo especial para las funciones avro de Connect
• SPARK-49805 Quitar funciones privadas[xxx] de function.scala
• SPARK-49929 Trazados de cuadros de soporte técnico
• SPARK-49767 Refactorización de la invocación de función interna
• SPARK-49939 Compatibilidad con Codegen para json_object_keys (por Invoke & RuntimeReplaceable)
• SPARK-49854 Clonar el administrador de artefactos durante la clonación de la sesión
• SPARK-49766 Compatibilidad con Codegen para json_array_length (por Invoke y RuntimeReplaceable)
• SPARK-49540 Unificar el uso de distributed_sequence_id
• SPARK-50046 Uso del orden estable del nodo EventTimeWatermark para calcular la marca de agua
• SPARK-50031 Adición de la TryParseUrl expresión
• SPARK-49202 Aplicar ArrayBinarySearch para histograma
• SPARK-49811 Cambiar el nombre de StringTypeAnyCollation
• SPARK-50106 Actualización del protobuf paquete de Python a la versión 5.28.3
• SPARK-49203 Agregar expresión para java.util.Arrays.binarySearch
• SPARK-50090 Refactorización de ResolveBinaryArithmetic para separar la transformación de un solo nodo
• SPARK-49103 Apoyo spark.master.rest.filters
• SPARK-49222 Borrar métodos inútiles en QueryCompilationErrors
• SPARK-50062 Compatibilidad con intercalaciones por InSet
• SPARK-50035 Agregar compatibilidad con la función explícita handleExpiredTimer del procesador stateful.
• SPARK-50050 Hacer que lit acepte str y el tipo bool numpy ndarray
• SPARK-50051 Hacer que lit funcione con un array numpy ndarray vacío
• SPARK-49857 Añadir storageLevel a la API localCheckpoint del Dataset
• SPARK-48749 Simplifica UnaryPositive y elimina sus reglas Catalyst con RuntimeReplaceable
• SPARK-50058 Extracción de las funciones de normalización del plan para utilizarlas más adelante en las pruebas del analizador de una única pasada
• SPARK-50042 Actualización a numpy versión 2 para el linter de Python
• SPARK-50052 Hacer que NumpyArrayConverter admita str ndarray vacío
• SPARK-49126 Mover la definición de configuración spark.history.ui.maxApplications a History.scala
• SPARK-50044 Refinar la cadena de documentación de varias funciones matemáticas
• SPARK-48782 Adición de compatibilidad para ejecutar procedimientos en catálogos
• SPARK-48773 Documentación de la configuración "spark.default.parallelism" mediante el marco de creación de configuraciones
• SPARK-49876 Deshacerse de bloqueos globales del servicio Spark Connect
• SPARK-48480 StreamingQueryListener no debe verse afectado por spark.interrupt()
• SPARK-49978 Mover la advertencia de desuso de SparkR al tiempo de carga del paquete
• SPARK-48549 Mejora de la función SQL sentences
• SPARK-49956 Deshabilitar ordenamientos con la expresión collect_set
• SPARK-49974 Mover resolveRelations(...) fuera de Analyzer.scala
• SPARK-49067 Mover el literal de UTF-8 a los métodos internos de la clase UrlCodec
• SPARK-49393 Error de forma predeterminada en las API del complemento de catálogo en desuso
• SPARK-49918 Usar acceso de solo lectura a conf en SparkContext cuando sea apropiado
• SPARK-49924 Mantener containsNull después del ArrayCompact reemplazo
• SPARK-49895 Mejorar el error al encontrar una coma final en la SELECT cláusula
• SPARK-49890 Extraer la preparación de df.sample a la clase principal
• SPARK-49810 Extraer la preparación de DataFrame.sort a la clase principal
• SPARK-49405 Restricción de conjuntos de caracteres en JsonOptions
• SPARK-49542 Error de evaluación de excepciones de transformación de partición
• SPARK-47172 Adición de compatibilidad con AES-GCM para el cifrado RPC
• SPARK-44914 Corrección de HadoopConfUtilsSuite después de quitar xercesImpl
• SPARK-47496 Compatibilidad con SPI de Java para el registro dinámico de dialectos JDBC
• SPARK-48961 Hacer que la nomenclatura de parámetros de PySparkException sea coherente con JVM
• SPARK-47390 Manejo de la asignación de marcas de tiempo de SQL para Postgres y MySQL
• SPARK-49824 Mejora del registro en SparkConnectStreamingQueryCache
• SPARK-49894 Refinar la representación de cadenas para las operaciones en campos de columna
• SPARK-49836 Solucionar una consulta que podría estar rota cuando se proporciona una ventana a la función de ventana/session_window.
• SPARK-49531 Compatibilidad con trazado de líneas con el backend plotly
• SPARK-48780 Hacer que los errores en NamedParametersSupport sean genéricos para manejar funciones y procedimientos
• SPARK-49026 Adición de ColumnNode a la conversión proto
• SPARK-49814 Cuando se inicia el cliente de Spark Connect, muestre el spark version de connect server
• SPARK-49246 TableCatalog#loadTable debe indicar si es para escribir
• SPARK-49749 Cambio del nivel de registro para depurar en BlockManagerInfo
• SPARK-48303 Reorganizar LogKeys
• SPARK-48112 Exposición de la sesión en SparkConnectPlanner a complementos
• SPARK-45919 Uso de Java 16 record para simplificar la definición de clase Java
• SPARK-48126 Hacer spark.log.structuredLogging.enabled efectivo
• SPARK-49656 Añadir compatibilidad con variables de estado en tipos de colección por estado de valores y opciones de lectura para flujos de cambios
• SPARK-49323 Mover MockObserver desde la carpeta de prueba de Spark Connect Server a la carpeta principal del servidor
• SPARK-49772 Quitar ColumnFamilyOptions y agregar configuraciones directamente a dbOptions en RocksDB
• SPARK-49688 Corrección de una carrera de datos entre interrupción y ejecución del plan
• SPARK-49585 Sustituir el mapa de ejecuciones en SessionHolder por un conjunto de operationID
• SPARK-49684 Minimizar la duración del bloqueo de restauración de sesión
• SPARK-48857 Restricción de conjuntos de caracteres en CSVOptions
• SPARK-48615 Mejora de rendimiento para analizar la cadena hexadecimal
• SPARK-49719 Permitir que UUID y SHUFFLE acepten enteros seed
• SPARK-49713 Hacer que la función count_min_sketch acepte argumentos numéricos
• SPARK-48623 Migraciones de registro estructurado [parte 3]
• SPARK-48541 Agregar un nuevo código de salida para ejecutores eliminados por TaskReaper
• SPARK-48627 Mejora de rendimiento para la conversión de cadena binaria a HEX_DISCRETE
• SPARK-49226 Limpieza de la generación de código UDF
• SPARK-49673 Aumente CONNECT_GRPC_ARROW_MAX_BATCH_SIZE a 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• SPARK-49307 Adición de la serialización Kryo al marco de codificador agnóstico
• SPARK-48601 Proporcione un mensaje de error más descriptivo al establecer un valor NULL para la opción JDBC.
• SPARK-42252 Agregar spark.shuffle.localDisk.file.output.buffer y dejar de usar spark.shuffle.unsafe.file.output.buffer
• SPARK-49505 Crear nuevas funciones SQL "randstr" y "uniformes" para generar cadenas o números aleatorios dentro de intervalos
• SPARK-48341 Permitir que los complementos usen QueryTest en sus pruebas
• SPARK-48374 Compatibilidad con tipos de columnas de tabla pyArrow adicionales
• SPARK-49412 Calcular todas las métricas de trazado de cuadros en un solo trabajo
• SPARK-49684 Eliminación de bloqueos globales de administradores de sesión y ejecución
• SPARK-49225 Agregar ColumnNode SQL y normalize
• SPARK-49274 Compatibilidad con codificadores basados en serialización de Java
• SPARK-49089 Mover expresiones Catalyst predefinidas al registro interno de funciones
• SPARK-48185 Corrección de que la clase de referencia simbólica no es accesible: clase sun.util.calendar.ZoneInfo
• SPARK-48037 Corrección de que SortShuffleWriter carece de métricas relacionadas con la escritura aleatoria, lo que da lugar a datos potencialmente inexactos
• SPARK-49534 Ya no se anteponen sql/hive y sql/hive-thriftserver cuando spark-hive_xxx.jar no está en el classpath
• SPARK-49502 Evitar NPE en SparkEnv.get.shuffleManager.unregisterShuffle
• SPARK-49567 Utilice classic en lugar de vanilla en la base de código de PySpark
• SPARK-49582 Mejora de la utilidad "dispatch_window_method" y docstring
• SPARK-49478 Control de métricas nulas en ConnectProgressExecutionListener
• SPARK-49525 Mejora menor de registros en el ListenerBus del agente de escucha de consultas de streaming del lado servidor
• SPARK-49544 Reemplazar el bloqueo general en SparkConnectExecutionManager por ConcurrentMap
• SPARK-49548 Reemplazar el bloqueo general en SparkConnectSessionManager por ConcurrentMap
• SPARK-49004 Uso de un registro independiente para las funciones internas de Column API
• SPARK-49443 Implemente la expresión to_variant_object y haga que las expresiones schema_of_variant impriman OBJECT para los objetos Variant
• SPARK-49595 Corrección DataFrame.unpivot/melt en el cliente Scala de Spark Connect
• SPARK-49526 Soporte para rutas de acceso de estilo Windows en ArtifactManager
• SPARK-49396 Modificación de la comprobación de nulabilidad para la expresión CaseWhen
• SPARK-49024 Adición de compatibilidad con funciones al nodo de columna
• SPARK-48985 Conectar constructores de expresiones compatibles
• SPARK-49083 Permitir que from_xml y from_json funcionen de forma nativa con esquemas json
• SPARK-48986 Agregar representación intermedia de ColumnNode
• SPARK-48960 Hace que spark-submit funcione con Spark Connect
• SPARK-49492 Se intentó reconectar en ExecutionHolder inactivo
• SPARK-47307 Añadir una configuración para dividir opcionalmente las cadenas base64 en fragmentos.
• SPARK-49451 Permitir claves duplicadas en parse_json
• SPARK-49021 Añadir compatibilidad para leer variables de estado de valor transformWithState con lector de fuente de datos de estado
• SPARK-49249 Agregar addArtifact API al Spark SQL Core
• SPARK-48693 Simplificación y unificación de toString of Invoke y StaticInvoke
• SPARK-41982 Las particiones de tipo cadena no deben tratarse como tipos numéricos
• SPARK-49216 Corrección para no registrar el contexto del mensaje con un LogEntry construido de forma explícita cuando la configuración de registro estructurado está desactivada.
• SPARK-49459 Compatibilidad con CRC32C para suma de comprobación aleatoria
• SPARK-49409 Ajuste el valor predeterminado de CONNECT_SESSION_PLAN_CACHE_SIZE
• SPARK-49164 Corrección de no NullSafeEqual en el predicado de consulta SQL en la Relación JDBC
• SPARK-48344 Ejecución de scripting de SQL (incluido Spark Connect)
• SPARK-49260 Dejar de anteponer la ruta de clases del módulo sql/core en Spark Connect Shell
• SPARK-49041 Generar un error adecuado para dropDuplicates cuando se proporciona un subset incorrecto
• SPARK-49300 Solución para la fuga de tokens de delegación de Hadoop cuando no se establece tokenRenewalInterval
• SPARK-48796 Cargar el identificador de familia de columnas desde RocksDBCheckpointMetadata para VCF al reiniciar
• SPARK-49269 Evaluar diligentemente la lista VALUES() en AstBuilder
• SPARK-49336 Limitar el nivel de anidamiento al truncar un mensaje Protobuf
• SPARK-49245 Refactorización de algunas reglas de analizador
• SPARK-48755 implementación base de transformWithState pyspark y compatibilidad con ValueState
• SPARK-48762 Introducción a clusterBy DataFrameWriter API para Python
• SPARK-48967 Mejorar el rendimiento y la huella de memoria de declaraciones "INSERT INTO ...VALUES"
• SPARK-49195 Inserción de lógica de análisis de nivel de script en SparkSubmitCommandBuilder
• SPARK-49173 Cambio del mensaje del shell de Spark Connect de @ a scala>
• SPARK-49198 Reducción de la cantidad de archivos jar necesarios para la consola de Spark Connect
• SPARK-48936 Hace que spark-shell funcione con Spark Connect
• SPARK-49201 Reimplementar gráfico hist con Spark SQL
• SPARK-49111 Mover withProjectAndFilter al objeto complementario de DataSourceV2Strategy
• SPARK-49185 Reimplementar representación gráfica usando Spark SQL
• SPARK-48761 Introducir la API de DataFrameWriter clusterBy para Scala
• SPARK-48628 Añadir métricas de memoria de montón de activación/desactivación de picos de tareas
• SPARK-48900 Añadir reason campo para todas las llamadas internas relacionadas con la cancelación de tareas o etapas
• SPARK-49076 Corregir el obsoleto logical plan name en los comentarios de AstBuilder
• SPARK-49059 Mover SessionHolder.forTesting(...) al paquete de prueba
• SPARK-48658 Las funciones de codificación y decodificación informan errores de codificación en lugar de mojibake.
• SPARK-45891 Añadir soporte para los tipos de intervalo en la especificación de Variant
• SPARK-49032 Agregar la ruta de acceso de esquema en la entrada de la tabla de metadatos y las pruebas relacionadas con el formato de metadatos de operador versión 2.
• SPARK-49009 Hacer que las API de columna y las funciones acepten enumeraciones
• SPARK-49035 Eliminar TypeVar ColumnOrName_
• SPARK-48849 Creación de OperatorStateMetadataV2 para el operador TransformWithStateExec
• SPARK-48974 Usar SparkSession.implicits en lugar de SQLContext.implicits
• SPARK-48996 Permitir literales sin formato para __and__ y __or__ de Columna
• SPARK-48928 Advertencia de registro para llamar a .unpersist() en RDD de punto de control local
• SPARK-48972 Unificar el control de cadenas literales en funciones
• SPARK-48891 Refactorizar StateSchemaCompatibilityChecker para unificar todos los formatos de esquema de estado
• SPARK-48841 Incluir collationName en el sql() de Collate
• SPARK-48944 Unificar el control de esquemas de formato JSON en Connect Server
• SPARK-48945 Simplificación de las funciones regex con lit
• SPARK-48865 Agregar función try_url_decode
• SPARK-48851 Cambiar el valor de SCHEMA_NOT_FOUND de namespace a catalog.namespace
• SPARK-48510 Corrección para la API de UDAF toColumn al ejecutar pruebas en Maven
• SPARK-45190 Hacer que from_xml admita el esquema StructType
• SPARK-48900 Agregar reason campo para cancelJobGroup y cancelJobsWithTag
• SPARK-48909 Uso de SparkSession sobre SparkContext al escribir metadatos
• SPARK-48510 Compatibilidad con la API de UDAF toColumn en Spark Connect
• SPARK-45155 Incorporación de documentos de API para el cliente JVM/Scala de Spark Connect
• SPARK-48794 Compatibilidad de df.mergeInto con Spark Connect (Scala y Python)
• SPARK-48714 Implementación DataFrame.mergeInto en PySpark
• SPARK-48726 Creación del formato de archivo StateSchemaV3 para el operador TransformWithStateExec
• SPARK-48834 Deshabilitar la entrada/salida variante para UDFs, UDTFs y UDAFs de Python durante la compilación de consultas
• SPARK-48716 Agregar jobGroupId a SparkListenerSQLExecutionStart
• SPARK-48888 Eliminar la creación de instantáneas en función del tamaño de las operaciones del registro de cambios
• SPARK-48772 Modo de lector de fuente de cambios del origen de datos de estado
• SPARK-48742 Familia de columnas virtuales para RocksDB
• SPARK-48852 Corrección de la función de recorte de cadenas en la conexión
• SPARK-48343 Introducción al intérprete de scripting de SQL
• SPARK-48118 Compatibilidad con SPARK_SQL_LEGACY_CREATE_HIVE_TABLE la variable env
• SPARK-48804 Agregar classIsLoadable y realizar verificaciones de OutputCommitter.isAssignableFrom para las configuraciones de clase del output committer
• SPARK-47577 Corregir el uso engañoso de la clave de registro TASK_ID
• SPARK-48798 Introducción spark.profile.render a la generación de perfiles basada en SparkSession
• SPARK-48686 Mejora del rendimiento de ParserUtils.unescapeSQLString
• SPARK-48611 registro de TID para el fragmento de entrada en HadoopRDD y NewHadoopRDD
• SPARK-48720 Alinear el comando ALTER TABLE ... UNSET TBLPROPERTIES ... en v1 y v2
• SPARK-48710 Uso de tipos compatibles con NumPy 2.0
• SPARK-48810 La API Session stop() debe ser idempotente.
• SPARK-48818 Simplificación de percentile funciones
• SPARK-48638 Agregar compatibilidad con ExecutionInfo para DataFrame
• SPARK-48799 Refactorización del versionado de metadatos de operador para lectura y escritura
• SPARK-46122 Establézcalo spark.sql.legacy.createHiveTableByDefault en false de forma predeterminada
• SPARK-48629 Migración del código residual al marco de registro estructurado
• SPARK-48320 Sincronizar el trait de registro más reciente y los casos de prueba de Spark OSS
• SPARK-48573 Actualización de la versión de ICU
• SPARK-48687 Añadir validación y actualización del esquema de estado en el driver en la fase de planificación de consultas con estado
• SPARK-47579 Migración de logInfo con variables al marco de registro estructurado (PARTE 1–4)
• SPARK-48713 Agregar comprobación de intervalo de índice para UnsafeRow.pointTo cuando baseObject es una matriz de bytes
• SPARK-48498 Aplicar siempre el relleno de caracteres en los predicados
• SPARK-48598 Propagación del esquema almacenado en caché en operaciones de trama de datos
• SPARK-47599 MLLib: Migración de logWarn con variables al marco de registro estructurado
• SPARK-48576 Cambie el nombre de UTF8_BINARY_LCASE a UTF8_LCASE
• SPARK-48650 Mostrar el sitio de llamada correcto desde IPython Notebook
• SPARK-48059 Marco de registro estructurado en el lado java
• SPARK-48482 dropDuplicates y dropDuplicatesWithinWatermark deben aceptar argumentos de longitud variable
• SPARK-48620 Corregir la fuga de datos brutos interna en YearMonthIntervalType y CalendarIntervalType
• SPARK-48555 Compatibilidad con el uso de columnas como parámetros para varias funciones
• SPARK-48591 Adición de una función auxiliar para simplificar Column.py
• SPARK-48459 Implementación de DataFrameQueryContext en Spark Connect
• SPARK-48610 Reestructuración: use idMap auxiliar en lugar de OP_ID_TAG
• SPARK-47923 Actualización de la versión mínima del paquete de arrow R a 10.0.0
• SPARK-48593 Corrección de la representación de cadena de la función lambda
• SPARK-46947 Retrasar la inicialización del administrador de memoria hasta que se cargue el complemento Driver
• SPARK-48220 Permitir pasar la tabla PyArrow para crearDataFrame()
• SPARK-48564 Propagación del esquema almacenado en caché en operaciones de conjunto
• SPARK-48561 Lanzar PandasNotImplementedError para funciones de trazado no admitidas
• SPARK-48513 Adición de una clase de error para la compatibilidad de esquemas de estado
• SPARK-48553 Almacenar en caché más propiedades
• SPARK-48550 Usar directamente la clase Window primaria
• SPARK-48504 Clase De ventana principal para Spark Connect y Spark classic
• SPARK-48508 Almacenamiento en caché del esquema especificado por el usuario en DataFrame.{to, mapInPandas, mapInArrow}
• SPARK-48496 Uso de instancias de patrón regex estáticas en JavaUtils
• SPARK-47578 Backport manual: migración de logWarning con variables
• SPARK-47737 Aumentar PyArrow a 10.0.0
• SPARK-48159 Ampliar la compatibilidad con cadenas intercaladas en expresiones datetime
• SPARK-48454 Usar directamente la clase DataFrame primaria
• SPARK-48438 Usar directamente la clase Column primaria
• SPARK-47597 Backport manual: migración de logInfo con variables
• SPARK-48434 Hacer uso printSchema del esquema almacenado en caché
• SPARK-46998 Desaprobación de la configuración de SQL spark.sql.legacy.allowZeroIndexInFormatString
• SPARK-46569 Eliminar ThreadLocal para SecureRandom desde JDK9
• SPARK-46455 Eliminación de la conversión de tipos redundantes
• SPARK-46270 Uso de expresiones java16 instanceof
• SPARK-46479 Uso del método de utilidad de commons-lang3 para la comprobación de la versión de Java
• SPARK-45998 Limpieza de conversiones de tipo redundantes
• SPARK-45533 Use j.l.r.Cleaner en lugar de utilizar `finalize` para RocksDBIterator/LevelDBIterator
• SPARK-45309 Eliminar todas las llamadas a SystemUtils.isJavaVersionAtLeast con JDK 9/11/17
• SPARK-48295 Activar compute.ops_on_diff_frames por defecto
• SPARK-47960 Permitir encadenar otros operadores con estado después de transformWithState
• SPARK-48367 Corrección de lint-scala para la detección de archivos scalafmt
• SPARK-48247 Usar todos los valores del diccionario para la inferencia del esquema de tipo mapa
• SPARK-48370 Punto de control y localCheckpoint en el cliente de Scala Spark Connect
• SPARK-48258 Punto de control y punto de control local en Spark Connect
• SPARK-48293 Agregar prueba para la encapsulación de interrupciones en ForeachBatchUserFuncException
• SPARK-48031 Descomponer la configuración de viewSchemaMode; agregar soporte SHOW CREATE TABLE
• SPARK-48288 Incorporación de tipo de datos de origen para la expresión de conversión de conector
• SPARK-48310 Las propiedades almacenadas en caché deben devolver copias
• SPARK-48287 Aplicar método integrado timestamp_diff
• SPARK-44444 Usar el modo SQL ANSI de forma predeterminada
• SPARK-48276 Se ha añadido lo que faltaba __repr__ para SQLExpression
• SPARK-46991 Intercambiar IllegalArgumentException por SparkIllegalArgumentException en Catalyst
• SPARK-48031 Compatibilidad con la evolución del esquema de la vista
• SPARK-48113 Permitir que los complementos se integren con Spark Connect
• SPARK-47158 Asignar nombre y sqlState a códigos de error heredados
• SPARK-47545 Compatibilidad con conjuntos de datos observe para el cliente de Scala
• SPARK-47993 Retirar Python 3.8
• SPARK-48260 Deshabilitar la coordinación del confirmador de salida en ParquetIOSuite
• SPARK-47365 Adición del método DataFrame toArrow() a PySpark
• SPARK-47963 Habilitación del registro estructurado para el ecosistema de Spark externo
• SPARK-48045 Corrección de la omisión de la etiqueta de varios agregados as_index=False
• SPARK-47719 Cambiar el valor predeterminado de timeParserPolicy a CORRECTED
• SPARK-48075 Comprobación de tipos para funciones avro de PySpark
• SPARK-48102 Monitorear la duración de las métricas en el progreso de consultas de streaming
• SPARK-47858 Refactorización del contexto de error de DataFrame
• SPARK-48052 Recuperación pyspark-connect de CI por clases primarias
• SPARK-45284 Actualizar los requisitos mínimos del sistema de SparkR a Java 17
• SPARK-47933 Clase de columna primaria para Spark Connect y classic
• SPARK-48053 SparkSession.createDataFrame debe advertir para las opciones no admitidas
• SPARK-48044 Caché DataFrame.isStreaming
• SPARK-47594 Migraciones de registros estructurados
• SPARK-47764 Limpieza de dependencias aleatorias por ShuffleCleanupMode
• SPARK-45501 Uso de la coincidencia de patrones para la comprobación y conversión de tipos
• SPARK-45515 Usar expresiones mejoradas switch para reemplazar la instrucción regular switch
• SPARK-47417 Compatibilidad con la intercalación: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• SPARK-47909 Clase DataFrame primaria para Spark Connect y Spark classic
• SPARK-47602 Core/MLLib/Resource Managers: migración de registro estructurado
• SPARK-47390 PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
• SPARK-47868 Corrección del error de límite de recursividad en SparkConnectPlanner y SparkSession
• SPARK-45802 Quitar las comprobaciones de Java que ya no son necesariasmajorVersion
• SPARK-47818 Introducir caché de plan en SparkConnectPlanner para mejorar el rendimiento de las solicitudes de análisis
• SPARK-46031 Reemplazar por !Optional.isPresent()Optional.isEmpty()
• SPARK-45659 Agregar since campo a la API de Java marcada como @Deprecated
• SPARK-45596 Use java.lang.ref.Cleaner en lugar de org.apache.spark.sql.connect.client.util.Cleaner
• SPARK-47807 Hacer que pyspark.ml sea compatible con pyspark-connect
• SPARK-45830 Refactorización StorageUtils#bufferCleaner
• SPARK-45578 Sustitución del uso de InaccessibleObjectException por trySetAccessible
• SPARK-44895 Agregar "demonio", "prioridad" para ThreadStackTrace
• SPARK-45295 Eliminar la solución alternativa de Utils.isMemberClass para JDK 8
• SPARK-47081 Soporte para el progreso de ejecución de consultas
• SPARK-45322 Usar ProcessHandle para obtener el PID directamente
• SPARK-46812 Hacer que mapInPandas/mapInArrow admitan ResourceProfile
• SPARK-47406 Controlar TIMESTAMP y DATETIME en MYSQLDialect
• SPARK-47712 Permitir que los complementos de conexión creen y procesen conjuntos de datos
• SPARK-47720 Actualización spark.speculation.multiplier a 3 y spark.speculation.quantile a 0.9
• SPARK-47665 Uso de SMALLINT para escribir ShortType en MYSQL
• SPARK-47722 Espere hasta que finalice el trabajo en segundo plano de RocksDB antes de cerrar
• SPARK-47610 Establecer siempre io.netty.tryReflectionSetAccessible=true
• SPARK-47372 Adición de compatibilidad con el codificador de estado de clave basado en análisis de intervalos para su uso con el proveedor del almacén de estado
• SPARK-44708 Migración de test_reset_index assert_eq para usar assertDataFrameEqual
• SPARK-47346 Hacer que el modo de demonio sea configurable al crear trabajos de Python Planner
• SPARK-47419 Mover log4j2-defaults.properties a common/utils
• SPARK-47380 Asegúrese en el lado del servidor de que la SparkSession sea la misma
• SPARK-47055 Actualizar MyPy 1.8.0
• SPARK-46795 Reemplazar UnsupportedOperationException por SparkUnsupportedOperationException en sql/core
• SPARK-46648 Uso zstd como compresión ORC predeterminada
• SPARK-47322 Asegurar que el manejo de la duplicación de nombres de columna withColumnsRenamed sea coherente con withColumnRenamed
• SPARK-47011 Eliminar funcionalidad obsoleta BinaryClassificationMetrics.scoreLabelsWeight
• SPARK-46332 Migración CatalogNotFoundException a la clase de error CATALOG_NOT_FOUND
• SPARK-46975 Compatibilidad con métodos de respaldo dedicados
• SPARK-47069 Introducción spark.profile.show/dump a la generación de perfiles basada en SparkSession
• SPARK-47062 Traslado de complementos de Conexión a Java para compatibilidad
• SPARK-46833 Intercalaciones: introducción a CollationFactory, que proporciona reglas de comparación y hash para intercalaciones admitidas
• SPARK-46984 Quitar pyspark.copy_func
• SPARK-46849 Ejecutar el optimizador en CREATE TABLE los valores predeterminados de columna
• SPARK-46976 Implementar DataFrameGroupBy.corr
• SPARK-46911 Añadir el operador deleteIfExists a StatefulProcessorHandleImpl
• SPARK-46955 Implementar Frame.to_stata
• SPARK-46936 Implementar Frame.to_feather
• SPARK-46655 Omitir la captura del contexto de consulta en métodos DataFrame
• SPARK-46926 Agregar convert_dtypes, infer_objects y set_axis en la lista de respaldo
• SPARK-46683 Escribir un generador de subconsultas que genere permutaciones de subconsultas para aumentar la cobertura de pruebas
• SPARK-46777 Refactorización StreamingDataSourceV2Relation de la estructura del catalizador para ser más a la par con la versión por lotes
• SPARK-46620 Introducir un mecanismo de reserva básico para los métodos de marco
• SPARK-46808 Refinar las clases de error en Python con la función de ordenación automática
• SPARK-46686 Compatibilidad básica con el generador de perfiles de UDF de Python basado en SparkSession
• SPARK-46258 Agregar RocksDBPersistenceEngine
• SPARK-46665 Eliminar assertPandasOnSparkEqual
• SPARK-46227 Pasar withSQLConf de SQLHelper a SQLConfHelper
• SPARK-40876 Ampliación de promociones de tipos en los lectores de Parquet
• SPARK-46101 Reduzca la profundidad de la pila reemplazando (string|array).size por (string|array).length
• SPARK-46170 Admitir la inserción de reglas de estrategia de planificación posterior de consultas adaptativas en SparkSessionExtensions
• SPARK-46246EXECUTE IMMEDIATE Compatibilidad con SQL
• SPARK-46466 El lector de parquet vectorizado nunca debe fusionarse mediante cambio de base para la marca de tiempo ntz.
• SPARK-46399 Añadir el estado de salida al evento Application End para utilizar con el Listener de Spark
• SPARK-45506 Adición de compatibilidad con URI de ivy a SparkConnect addArtifact
• SPARK-45597 Compatibilidad con la creación de tablas mediante un origen de datos de Python en SQL (exec DSv2)
• SPARK-46402 Adición de compatibilidad con getMessageParameters y getQueryContext
• SPARK-46213 Introducir PySparkImportError en el marco de gestión de errores
• SPARK-46226 Migración del resto RuntimeError al marco de errores de PySpark
• SPARK-45886 Mostrar la traza completa de la pila en callSite el contexto de DataFrame
• SPARK-46256 Compatibilidad con compresión paralela para ZSTD
• SPARK-46249 Requerir bloqueo de instancia para adquirir métricas de RocksDB para evitar la carrera con operaciones en segundo plano.
• SPARK-45667 Limpiar el uso de la API en desuso relacionado con IterableOnceExtensionMethods
• SPARK-46254 Eliminación de la comprobación de versiones obsoletas de Python 3.8/3.7
• SPARK-46213 Introducir PySparkImportError en el marco de gestión de errores
• SPARK-46188 Corrección del CSS de las tablas generadas del documento de Spark
• SPARK-45670 SparkSubmit no admite --total-executor-cores al implementar en K8s
• SPARK-46169 Asignación de números JIRA adecuados para los parámetros que faltan desde la DataFrame API
• SPARK-45022 Proporcionar contexto para errores de API de conjuntos de datos
• SPARK-46062 Sincronizar el indicador isStreaming entre la definición de CTE y la referencia
• SPARK-45698 Limpiar el uso de la API en desuso relacionado con Buffer
• SPARK-45136 Mejorar la compatibilidad con ClosureCleaner con Ammonite.
• SPARK-44442 Eliminación de la compatibilidad con Mesos
• SPARK-45996 Mostrar mensajes de requisitos de dependencia adecuados para Spark Connect
• SPARK-45767 Eliminar TimeStampedHashMap y su UT
• SPARK-45912 Mejora de la API XSDToSchema: cambio a la API de HDFS para la accesibilidad del almacenamiento en la nube
• SPARK-45338 Reemplazar scala.collection.JavaConverters por scala.jdk.CollectionConverters
• SPARK-45828 Eliminación del método en desuso en dsl
• SPARK-45718 Eliminar características obsoletas restantes de Pandas de Spark 3.4.0
• SPARK-45990 Actualización protobuf a la versión 4.25.1 para admitir Python 3.11
• SPARK-45941 Actualización pandas a la versión 2.1.3
• SPARK-45555 Incluye un objeto depurable para una afirmación fallida
• SPARK-45710 Asignar nombres al error _LEGACY_ERROR_TEMP_21[59,60,61,62]
• SPARK-45733 Compatibilidad con varias directivas de reintento
• SPARK-45503 Adición de Conf para establecer la compresión de RocksDB
• SPARK-45614 Asignar nombres al error _LEGACY_ERROR_TEMP_215[6,7,8]
• SPARK-45680 Sesión de lanzamiento
• SPARK-45620 Corrección de las API orientadas al usuario relacionadas con el UDTF de Python para usar camelCase
• SPARK-45634 Eliminar DataFrame.get_dtype_counts de la API de Pandas en Spark
• SPARK-44752 XML: Actualización de la documentación de Spark
• SPARK-45523 Devuelve un mensaje de error útil si UDTF devuelve None para cualquier columna que no acepta valores NULL.
• SPARK-45558 Introducción de un archivo de metadatos para el operador con estado de streaming
• SPARK-45390 Eliminar el uso de distutils
• SPARK-45517 Expansión de más constructores de excepciones para admitir parámetros del marco de error
• SPARK-45427 Adición de la configuración ssl de RPC a SSLOptions y SparkTransportConf
• SPARK-45581 Haga que SQLSTATE sea obligatorio.
• SPARK-44784 Hacer que las pruebas en SBT sean aisladas.
• SPARK-45550 Eliminación de las API en desuso de la API de Pandas en Spark
• SPARK-45415 Permitir la deshabilitación selectiva de "fallocate" en el almacén de estados de RocksDB
• SPARK-45487 Corrección de errores de SQLSTATEs y temp
• SPARK-45505 Refactorización de analyzeInPython para que sea reutilizable
• SPARK-45451 Hacer que el nivel de almacenamiento predeterminado de la caché del conjunto de datos sea configurable
• SPARK-45065 Compatibilidad con Pandas 2.1.0
• SPARK-45450 Corrección de importaciones según PEP8: pyspark.pandas y pyspark (núcleo)
• SPARK-43299 Conversión de StreamingQueryException en el cliente de Scala
• SPARK-42617 Compatibilidad isocalendar con pandas 2.0.0
• SPARK-45441 Introducción de más funciones de utilidad para PythonWorkerUtils
• SPARK-43620 Corrección de las API de Pandas depende de características no admitidas
• SPARK-45330 Actualizar ammonite a 2.5.11
• SPARK-45267 Cambie el valor predeterminado de numeric_only.
• SPARK-45303 Eliminación de la solución alternativa JDK 8/11 en KryoSerializerBenchmark
• SPARK-43433 Alinear el comportamiento con la versión más reciente de Pandas
• SPARK-45166 Limpiar rutas de código sin usar para pyarrow<4
• SPARK-44823 Actualice black a 23.9.1 y corrija la comprobación errónea.
• SPARK-45165 Eliminación inplace del parámetro de las CategoricalIndex API
• SPARK-45180 Eliminar entradas booleanas para el inclusive parámetro de Series.between
• SPARK-45164 Eliminación de API en desuso Index
• SPARK-45179 Aumento de la versión mínima de Numpy a la versión 1.21
• SPARK-45177 Quitar col_space parámetro de to_latex
• SPARK-43241MultiIndex.append no verifica la igualdad de los nombres
• SPARK-43123 Generar TypeError para DataFrame.interpolate cuando todas las columnas son de tipo objeto.
• SPARK-43295 Compatibilidad de columnas de tipo cadena para DataFrameGroupBy.sum
• SPARK-42619 Agregar show_counts parámetro para DataFrame.info
• SPARK-44863 Añadir un botón para descargar el volcado de subprocesos como archivo de texto en la interfaz de usuario de Spark
• SPARK-44713 Traslado de clases compartidas a sql/api
• SPARK-44692 Mover desencadenador(es) a sql/api
• SPARK-43563 Quite squeeze de read_csv y habilite más pruebas.
• SPARK-43476 Compatibilidad con StringMethods pandas 2.0.0 y versiones posteriores
• SPARK-43872 Compatibilidad (DataFrame|Series).plot con pandas 2.0.0 y versiones posteriores.
• SPARK-42620 Agregar inclusive parámetro para (DataFrame|Serie).between_time
• SPARK-44289 Compatibilidad indexer_between_time con pandas 2.0.0 y habilitación de más pruebas.
• SPARK-42621 Adición de un parámetro inclusivo para pd.date_range
• SPARK-43709 Eliminar closed el parámetro de ps.date_range y habilitar la prueba.
• SPARK-43568 Soporte de API Categorical para pandas 2
• SPARK-44842 Admite funciones de estadísticas para pandas 2.0.0 y habilitación de pruebas.
• SPARK-43606 Quitar Int64Index y Float64Index
• SPARK-43873 Habilitar FrameDescribeTests
• SPARK-44841 Compatibilidad value_counts con pandas 2.0.0 y versiones posteriores.
• SPARK-44686 Agregue la capacidad de crear un rowEncoder en Encoders.scala.
• SPARK-41400 Eliminación de la dependencia de Connect Client Catalyst
• SPARK-44538 Restablecer Row.jsonValue y funciones relacionadas
• SPARK-44507 Mover AnalysisException a sql/api
• SPARK-44531 Traslado de la inferencia del codificador a sql/api
• SPARK-43744 Corrección del problema de carga de clases causado por clases de usuario stubs no encontradas en el classpath del servidor
• SPARK-36612 Soporte para construir la combinación externa izquierda o construir la combinación externa derecha en la combinación hash aleatoria
• SPARK-44541 Quitar función hasRangeExprAgainstEventTimeCol inútil de UnsupportedOperationChecker
• SPARK-44059 Adición de compatibilidad con analizadores de argumentos con nombre para funciones integradas
• SPARK-44216 Hacer que assertSchemaEqual API sea pública
• SPARK-43755 Mover la ejecución fuera de SparkExecutePlanStreamHandler y a otro subproceso
• SPARK-44201 Adición de compatibilidad con el agente de escucha de streaming en Scala para Spark Connect
• SPARK-43965 Compatibilidad con UDTF de Python en Spark Connect
• SPARK-44398 Scala foreachBatch API
• SPARK-44044 Mejorar el mensaje de error para las funciones de ventana con streaming

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 17.0.

Entorno del sistema

• sistema operativo: Ubuntu 24.04.2 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2025-03-20.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)