Databricks Runtime 17.2

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 17.2, con tecnología de Apache Spark 4.0.0.

Azure Databricks publicó esta versión en septiembre de 2025.

Nuevas características y mejoras

• LIKE admite UTF8_LCASE intercalación
• st_exteriorring ahora se admite la función
• Mostrar los detalles de la inserción en y la EXPLAIN interfaz de usuario de Spark para exámenes remotos
• Declarar varias variables locales o de sesión en una sola DECLARE instrucción
• Palabra clave de compatibilidad TEMPORARY para la creación de vistas de métricas
• Compatibilidad con comandos adicionales con control de acceso específico
• Reemplazar datos de forma selectiva y atómica por INSERT REPLACE USING y INSERT REPLACE ON (GA)
• Uso de E/S nativa para LokiFileSystem.getFileStatus en S3
• Modo ANSI habilitado de forma predeterminada para pandas API en Spark
• Auto Loader deduce columnas de partición en modo singleVariantColumn

LIKE admite la intercalación UTF8_LCASE

El operador LIKE ahora admite la clasificación UTF8_LCASE, lo que permite coincidencias sin distinguir entre mayúsculas y minúsculas.

st_exteriorring ahora se admite la función

Ahora puede usar la st_exteriorring función para extraer el límite exterior de un polígono y devolverlo como una cadena de líneas. Consulte la st_exteriorring función.

Mostrar los detalles de la inserción en y la EXPLAIN interfaz de usuario de Spark para exámenes remotos

El EXPLAIN comando y la interfaz de usuario de Spark para RemoteSparkConnectScan en proceso dedicado ahora muestran predicados, agregaciones, cláusulas group by, límites y ejemplos que se insertan en el examen remoto.

Declarar varias variables locales o de sesión en una sola DECLARE instrucción

En Databricks Runtime 17.2 y versiones posteriores, puede declarar varias variables locales o de sesión del mismo tipo y valor predeterminado en una sola DECLARE instrucción. Vea y DECLARE VARIABLE (Instrucción compuesta BEGIN END).

Palabra clave de compatibilidad TEMPORARY para la creación de vistas de métricas

Ahora puede usar la TEMPORARY palabra clave al crear una vista de métrica. Las vistas de métricas temporales solo son visibles en la sesión que las creó y se quitan cuando finaliza la sesión. Consulte CREATE VIEW.

Compatibilidad con comandos adicionales con control de acceso específico

El control de acceso específico en el proceso dedicado ahora admite los FSCK REPAIR TABLE comandos y DESCRIBE DETAIL .

Reemplazar datos de forma selectiva y atómica por INSERT REPLACE USING y INSERT REPLACE ON (GA)

INSERT REPLACE USING y INSERT REPLACE ON ahora están disponibles con carácter general para Databricks Runtime 17.2. Ambos comandos SQL reemplazan parte de la tabla por el resultado de una consulta.

INSERT REPLACE USING reemplaza las filas cuando las USING columnas se comparan iguales con igualdad. INSERT REPLACE ON reemplaza las filas cuando coinciden con una condición definida por el usuario.

Consulte INSERT la referencia del lenguaje SQL y sobrescriba de forma selectiva los datos con Delta Lake.

Uso de E/S nativa para LokiFileSystem.getFileStatus en S3

LokiFileSystem.getFileStatus ahora usa la pila de E/S nativa para el tráfico de Amazon S3 y devuelve org.apache.hadoop.fs.FileStatus objetos en lugar de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

Modo ANSI habilitado de forma predeterminada para pandas API en Spark

ANSI_MODE ahora está habilitado de forma predeterminada para la API de Pandas en Spark con compute.ansi_mode_support=True, lo que garantiza la paridad de cumplimiento de ANSI con pandas nativos. La compute.fail_on_ansi_mode opción todavía se aplica si compute.ansi_mode_support se establece en False.

Auto Loader deduce columnas de partición en el modo singleVariantColumn

El cargador automático ahora deduce las columnas de partición a partir de las rutas de archivo al procesar datos como un tipo de variante semiestructurada usando la opción singleVariantColumn. Anteriormente, las columnas de partición no se detectaron automáticamente. Consulte Opciones del cargador automático.

Cambios de comportamiento

• DESCRIBE CONNECTION muestra la configuración del entorno para las conexiones JDBC.
• Opción para truncar el historial uniforme durante la migración de tablas administradas
• Sintaxis SQL para opciones de lectura delta en consultas de streaming
• Resultados correctos para split con regex vacío y límite positivo
• Corrección url_decode y try_url_decode control de errores en Photon
• Entorno de ejecución compartido para UDF de Python del catálogo de Unity
• Seguimiento de filas habilitado de forma predeterminada para las nuevas tablas
• TABLE compatibilidad de argumentos para UDTF de Python en Unity Catalog

DESCRIBE CONNECTION muestra la configuración del entorno para las conexiones JDBC.

Azure Databricks ahora incluye la configuración de entorno definida por el usuario en la salida de las DESCRIBE CONNECTION conexiones JDBC que admiten controladores personalizados y se ejecutan de forma aislada. Otros tipos de conexión permanecen sin cambios.

Opción para truncar el historial uniforme durante la migración de tablas administradas

Ahora puede truncar el historial uniforme al migrar tablas con Uniform/Respecta habilitado mediante ALTER TABLE...SET MANAGED. Esto simplifica las migraciones y reduce el tiempo de inactividad en comparación con deshabilitar y volver a habilitar Uniforme manualmente.

Sintaxis SQL para opciones de lectura delta en consultas de streaming

Ahora puede especificar opciones de lectura delta para consultas de streaming basadas en SQL mediante la WITH cláusula . Por ejemplo:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Resultados correctos para split con regex vacío y límite positivo

Azure Databricks ahora devuelve resultados correctos cuando se usa split function con una expresión regular vacía y un límite positivo. Anteriormente, la función truncaba incorrectamente la cadena restante en lugar de incluirla en el último elemento.

Corrección url_decode y try_url_decode control de errores en Photon

En Photon y try_url_decode()url_decode() ahora failOnError = false devuelven NULL cadenas codificadas por url no válidas en lugar de generar errores en la consulta.

Entorno de ejecución compartido para UDF de Python del catálogo de Unity

Azure Databricks ahora comparte el entorno de ejecución para las funciones de tabla definidas por el usuario (UDF) de Python desde el mismo propietario y sesión de Spark. Hay disponible una cláusula opcional STRICT ISOLATION para deshabilitar el uso compartido de UDF con efectos secundarios, como modificar variables de entorno o ejecutar código arbitrario.

Seguimiento de filas habilitado de forma predeterminada para las nuevas tablas

Azure Databricks ahora habilita el seguimiento de filas de forma predeterminada para todas las tablas administradas del catálogo de Unity recién creadas. Las tablas existentes no se ven afectadas y mantienen su configuración de seguimiento de filas actual.

TABLE compatibilidad de argumentos para UDTF de Python del Catálogo de Unity

Las UDF de Python del catálogo de Unity admiten TABLE argumentos, lo que permite que las funciones acepten tablas completas como parámetros de entrada, lo que permite transformaciones de datos y agregaciones más complejas en conjuntos de datos estructurados. Consulte Funciones de tabla definidas por el usuario (UDF) de Python en el catálogo de Unity. (Retroportado desde 17.3 LTS).

Actualizaciones de bibliotecas

Bibliotecas de Python actualizadas:

No se actualizaron bibliotecas de Python en esta versión.

Bibliotecas de R actualizadas:

No se actualizaron bibliotecas de R en esta versión.

Bibliotecas de Java actualizadas:

• io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5

Apache Spark

Databricks Runtime 17.2 incluye Apache Spark 4.0.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en la versión 17.1, así como las siguientes correcciones de errores adicionales y mejoras realizadas en Spark:

• SPARK-53183 Uso de Java Files.readString en lugar de o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Vuelva a introducir campos ansiConfig en messageParameters de CAST_INVALID_INPUT y CAST_OVERFLOW
• SPARK-53124 Eliminación de campos innecesarios de JsonTuple
• SPARK-53106 Adición de pruebas de evolución de esquemas para conjuntos de conexiones spark de TWS Scala
• SPARK-53201 Usar SparkFileUtils.contentEquals en lugar de Files.equal
• SPARK-53308 No quite alias en RemoveRedundantAliases que provocarían duplicados
• SPARK-53241 Soporte técnico createArray en SparkCollectionUtils
• SPARK-53239 Mejora MapSort y SortArray rendimiento a través de parallelSort
• SPARK-53184 Corrección de melt() cuando las columnas de valor mezclan cadenas y números
• SPARK-53144 Liberar efecto secundario CreateViewCommand en SparkConnectPlanner
• SPARK-53303 Use el codificador de estado vacío cuando no se proporcione el estado inicial en TWS.
• SPARK-52917 Compatibilidad de lectura para habilitar el recorrido de ida y vuelta para binarios en formato xml
• SPARK-53110 Implementación de la función time_trunc en PySpark
• SPARK-53107 Implementación de la función time_trunc en Scala
• SPARK-52146 Detección de referencias de funciones cíclicas en UDF de SQL
• SPARK-52469 Uso de la API de JEP 223 para procesar la versión de Java
• SPARK-53094 Corrección de CUBE con cláusulas contenedoras agregadas HAVING
• SPARK-51874 Agregar TypedConfigBuilder para Scala (enumeración)
• SPARK-53287 Agregar guía de migración de ANSI
• SPARK-43100 Las métricas aleatorias basadas en inserción deben deserializarse correctamente
• SPARK-53045 DESCRIBIR EXTENDED debe ser resistente a metadatos dañados
• SPARK-53114 Soporte técnico join en JavaUtils
• SPARK-53297 Corrección de la documentación de la API de canalizaciones declarativas de StreamingTable
• SPARK-53181 Habilitación de pruebas de documentos en ANSI
• SPARK-52482 Mejora del control de excepciones para leer determinados archivos zstd dañados
• SPARK-52990 Apoyo StringSubstitutor
• SPARK-51874 Agregar TypedConfigBuilder para Scala (enumeración)
• SPARK-53169 Quitar comentarios relacionados con "Set the logger level of File Appender to" de log4j2.properties
• SPARK-53080 Soporte técnico cleanDirectory en SparkFileUtils y JavaUtils
• SPARK-53045 DESCRIBIR EXTENDED debe ser resistente a metadatos dañados
• SPARK-53000 Cambiar el nombre StringUtils.scala a StringConcat.scala en el sql/api módulo
• SPARK-52952 Agregar script de desarrollo de coerción de tipos UDF de PySpark
• SPARK-52998 Varias variables dentro de declare
• SPARK-51817 Vuelva a introducir campos ansiConfig en messageParameters de CAST_INVALID_INPUT y CAST_OVERFLOW
• SPARK-52820 Captura de planes completos en archivos dorados
• SPARK-53274 Compatibilidad con la inserción de unión izquierda y derecha en JDBCScanBuilder
• SPARK-52110 Implementación de la compatibilidad con la sintaxis SQL para canalizaciones
• SPARK-52950 Habilitación del modo ANSI en DataSourceV2StrategySuite
• SPARK-52947 Corrección de la ruta de acceso de imagen en la guía de programación de canalizaciones declarativas
• SPARK-52592 Compatibilidad con la creación de un ps. Series de un ps. Serie
• SPARK-53301 Diferenciación de sugerencias de tipo de UDF de Pandas y UDF de flecha
• SPARK-53146 Liberar efecto secundario MergeIntoTable en SparkConnectPlanner
• SPARK-53166 Uso SparkExitCode.EXIT_FAILURE en el SparkPipelines objeto
• SPARK-53288 Corrección del error de aserción con el límite global de streaming
• SPARK-52394 Corrección del error de división por cero del autocorr en modo ANSI
• SPARK-51555 Adición de la función time_diff()
• SPARK-52948 Habilitar test_np_spark_compat_frame en ANSI
• SPARK-53134 Limpieza de importaciones ANSI sin usar en pruebas
• SPARK-52593 Evitar CAST_INVALID_INPUT de MultiIndex.to_seriesy Series.dotDataFrame.dot en modo ANSI
• SPARK-53291 Corrección de la nulabilidad de la columna de valor
• SPARK-53097 Liberar efecto secundario WriteOperationV2 en SparkConnectPlanner
• SPARK-53305 Compatibilidad con TimeType en createDataFrame
• SPARK-52914 Compatibilidad On-Demand Log Loading con registros graduales en History Server
• SPARK-33538 Inserción directa de predicados IN/NOT en el metastore de Hive
• SPARK-52849 Agregar stringifyException a o.a.s.util.Utils
• SPARK-52771 Corrección de la ampliación de tipos float32 en truediv/floordiv
• SPARK-52502 Información general sobre el recuento de subprocesos
• SPARK-52788 Corrección del error de conversión de valor binario en BinaryType a XML
• SPARK-53123 Soporte técnico getRootCause en SparkErrorUtils
• SPARK-53129 Mejora SparkShell de la importación java.net._ de forma predeterminada
• SPARK-53061 Soporte técnico copyFileToDirectory en SparkFileUtils
• SPARK-52683 Compatibilidad con ExternalCatalog alterTableSchema
• SPARK-52871 Combinar o.a.s.sql.catalyst.util.SparkStringUtils con o.a.s.util.SparkStringUtils
• SPARK-52817 Corrección del Like rendimiento de expresiones
• SPARK-52545 Estandarizar el escape entre comillas dobles para seguir la especificación de SQL
• SPARK-52711 Corrección de la ampliación de tipos float32 en en mul/rmul ANSI
• SPARK-52615 Reemplace File.mkdirs por Utils.createDirectory
• SPARK-52381 JsonProtocol: acepte solo subclases de SparkListenerEvent.
• SPARK-52613 Restauración de la impresión de stacktrace completo cuando la delegación de HBase/Hive DelegaciónTokenProvider alcance la excepción
• SPARK-52651 Controlar el tipo definido por el usuario en ColumnVector anidado
• SPARK-52611 Corrija la versión de SQLConf para excludeSubqueryRefsFromRemoveRedundantAliases...
• SPARK-52552 Omitir el cumplimiento de restricciones CHECK para las eliminaciones de vectores de eliminación
• Parámetro de compatibilidad -i de -I spark-shell 2.13
• SPARK-52492 Haga que InMemoryRelation.convertToColumnarIfPossible personalizable
• SPARK-52451 Liberar efecto secundario WriteOperation en SparkConnectPlanner
• SPARK-53272 Refactorización de la lógica de inserción de SPJ fuera de BatchScanExec
• SPARK-53071 Soporte técnico copyFile en SparkFileUtils
• SPARK-51415 Admitir el tipo de hora por make_timestamp()
• SPARK-51554 Adición de la función time_trunc()
• SPARK-52426 Compatibilidad con la redirección de stdout/stderr al sistema de registro
• SPARK-51834 Compatibilidad con la administración de restricciones de tabla de un extremo a otro
• SPARK-53063 Implementación y llamada a nuevas API en FileCommitProtocol en lugar de en desuso
• SPARK-52546 comprueba sparkContext si se ha detenido al ejecutar el bloque de código catch en execute(), de lo contrario, devolverá un estado incorrecto.
• SPARK-53023 Eliminación commons-io de dependencias del sql/api módulo
• SPARK-52396 El directorio raíz del artefacto debe usar tmpdir
• SPARK-53131 Mejora SparkShell de la importación java.nio.file._ de forma predeterminada
• SPARK-42322 Asignar to_LEGACY_ERROR_TEMP_2235 de nombre
• SPARK-51834 Compatibilidad con la administración de restricciones de tabla de un extremo a otro
• SPARK-52484 Omitir la aserción child.supportsColumnar del lado del controlador en ColumnarToRowExec
• SPARK-52384 Corrección del error Connect no debe tener en cuenta las opciones de JDBC.
• SPARK-52034 Adición de métodos comunes en el rasgo sparkOperation para las operaciones thriftserver
• SPARK-53031 Soporte técnico getFile en SparkFileUtils
• SPARK-52976 Corrección de la UDF de Python que no acepta la cadena intercalada como tipo de valor devuelto o parámetro de entrada (17.x)
• SPARK-52943 Habilitar arrow_cast para todos los tipos de valor de UDF de Pandas
• SPARK-53263 Compatibilidad con TimeType en df.toArrow
• SPARK-53141 Adición de API para obtener el tamaño de memoria de sobrecarga y el tamaño de memoria desactivado del perfil de recursos
• SPARK-53259 Corregir el mensaje de INVALID_UDF_EVAL_TYPE
• SPARK-53167 El iniciador de Spark isRemote también respeta el archivo de propiedades
• SPARK-53165 Agregar SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Mejora de la repetición de UTF8String
• SPARK-53170 Mejora SparkUserAppException para tener cause un parámetro
• SPARK-52989 Adición explícita de close() API a iteradores del Almacén de estado
• SPARK-53074 Evitar la agrupación en clústeres parciales en SPJ para satisfacer la distribución necesaria de un elemento secundario
• SPARK-52252 Se deben resolver codificadores ScalaUDF en subconsulta
• SPARK-53244 No almacene confs habilitados para doble ejecución y modo provisional durante la creación de vistas
• SPARK-53192 Almacenar siempre en caché un origen de datos en la caché del plan de Spark Connect
• SPARK-51813 Agregue un defaultCachedBatchKryoSerializer que no acepta valores NULL para evitar la propagación nula en defaultCachedBatch serde
• SPARK-52904 Volver a aplicar "[SC-202233][python] Habilitar convertToArrowArrayS...
• SPARK-53253 Corrección del registro de UDF de tipo SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Enumeración de los tipos deval admitidos en los nodos de flecha
• SPARK-53130 Corrección toJson del comportamiento de los tipos de cadena intercalados
• SPARK-53003 Soporte técnico strip en SparkStringUtils
• SPARK-51902 Sistema operativo de sincronización: aplicación de la restricción check en la inserción de tablas
• SPARK-52047 Generar PySparkValueError para los tipos de trazado no admitidos
• SPARK-53004 Soporte técnico abbreviate en SparkStringUtils
• SPARK-53066 Mejora de EXPLAIN la salida de la inserción de combinación de DSv2
• SPARK-30848 Eliminación de productHash de TreeNode
• SPARK-53046 Uso de Java readAllBytes en lugar de IOUtils.toByteArray
• SPARK-53206 Usar SparkFileUtils.move en lugar de com.google.common.io.Files.move
• SPARK-53066 Mejora de EXPLAIN la salida de la inserción de combinación de DSv2
• SPARK-53069 Corrección de métricas de almacén de estado incorrectas con familias de columnas virtuales
• SPARK-52904 Habilite convertToArrowArraySafely de forma predeterminada [17.x]
• Coerción del tipo de valor devuelto spark-52821 int-DecimalType> pyspark udf
• SPARK-51562 Agregar time función
• SPARK-52971 Limitar el tamaño de la cola de trabajo de Python inactiva
• SPARK-53057 Soporte técnico sizeOf en SparkFileUtils y JavaUtils
• SPARK-53040 Prohibir las referencias propias dentro de las CTE más altas en CTE recursivas
• SPARK-53104 Introducción ansi_mode_context para evitar varias comprobaciones de configuración por llamada API
• SPARK-47547 Agregue BloomFilter V2 y úselo como valor predeterminado
• SPARK-53098DeduplicateRelations no debe volver a asignar expresiones si todavía existe en ExprId la salida
• SPARK-53049 Soporte técnico toString en SparkStreamUtils
• SPARK-53062 Soporte técnico deleteQuietly en SparkFileUtils y JavaUtils
• SPARK-53070 Soporte técnico is(Not)?Empty en SparkCollectionUtils
• SPARK-53020 Los argumentos de JPMS también se deben aplicar al proceso que no sea SparkSubmit.
• SPARK-52968 Emisión de métricas de almacén de estado adicionales
• SPARK-52975 Simplificación de los nombres de campo en la combinación de inserción sql
• SPARK-52926 Se ha agregado SQLMetric para la duración de la captura de esquemas remotos.
• SPARK-53059 Arrow UDF no es necesario depender de pandas
• SPARK-52646 Evitar CAST_INVALID_INPUT de __eq__ en modo ANSI
• SPARK-52622 Evitar CAST_INVALID_INPUT de DataFrame.melt en modo ANSI
• SPARK-52985 Generar TypeError para operando numpy pandas en operadores de comparación
• SPARK-52580 Evitar CAST_INVALID_INPUT de replace en modo ANSI
• SPARK-52549 Deshabilitar las referencias automáticas de CTE recursivas desde funciones de ventana y dentro de las ordenaciones
• SPARK-52895 No agregue elementos duplicados en resolveExprsWithAggregate
• SPARK-50748 Corrección de un problema de condición de carrera que se produce cuando se interrumpen las operaciones
• SPARK-52737 Predicado de inserción y número de aplicaciones en FsHistoryProvider al enumerar aplicaciones
• SPARK-53018 ArrowStreamArrowUDFSerializer debe respetar el argumento arrow_cast
• SPARK-53013 Corrección de la UDTF de Python optimizada para flechas que no devuelve ninguna fila en la combinación lateral
• SPARK-51834 Sincronización del sistema operativo: compatibilidad con la restricción de tabla de un extremo a otro alter add/drop
• SPARK-52921 Especificar outputPartitioning para UnionExec para la misma partitoning de salida que los operadores secundarios
• SPARK-52908 Evitar que el nombre de la variable de iterador entre en conflicto con los nombres de las etiquetas de la ruta de acceso a la raíz de AST
• SPARK-52954 Coerción de tipos de valor devuelto compatible con UDF de flecha
• SPARK-52925 Devuelve el mensaje de error correcto para las referencias automáticas de delimitador en rCTEs
• SPARK-52889 Implementación de la función current_time en PySpark
• SPARK-52675 Interrumpir controladores de ML colgados en pruebas
• SPARK-52959 Compatibilidad con UDT en UDT de Python optimizado para flechas UDTF
• SPARK-52962 BroadcastExchangeExec no debe restablecer las métricas
• SPARK-52956 Conservar los metadatos de alias al contraer proyectos
• SPARK-52890 Implementación de las funciones de to_time y try_to_time en PySpark
• SPARK-52888 Implementación de la función make_time en PySpark
• SPARK-52892 Compatibilidad con TIME en las funciones hour, minute y second en PySpark
• SPARK-52837 Compatibilidad con TimeType en pyspark
• SPARK-52023 Corrección de daños en los datos/devolución de segfault Option[Product] desde udaf
• SPARK-52955 Cambiar los tipos devueltos de WindowResolution.resolveOrder y WindowResolution.resolveFrame a WindowExpression
• SPARK-52166 Adición de compatibilidad con PipelineEvents
• SPARK-51834 Corrección: quitar válido de toDDL
• SPARK-52735 Corrección de las condiciones de error que faltan para las UDF de SQL
• SPARK-51834 Sincronizar el soporte de OSS de extremo a extremo para crear/reemplazar tabla con restricción
• SPARK-51834 Sincronización de llamadas resueltas de actualización del sistema operativo ResolvedIdentifier
• SPARK-52929 Compatibilidad con el conector MySQL y SQLServer para la inserción de DSv2 Join
• SPARK-52448 Adición de Struct Expression.Literal simplificado
• SPARK-52882 Implementación de la función current_time en Scala
• SPARK-52905 UDF de flecha para la ventana
• SPARK-52876 Corrección de buffer un error tipográfico en body en ChunkFetchSuccess.toString
• SPARK-52883 Implementación de las funciones de to_time y try_to_time en Scala
• SPARK-52751 No valide diligentemente el nombre de columna en dataframe['col_name']
• SPARK-52791 Corrección del error al deducir un UDT con un primer elemento NULL
• SPARK-52686Union solo se debe resolver si no hay duplicados
• SPARK-52881 Implementación de la función make_time en Scala
• SPARK-52919 Corrección de la inserción de combinación de DSv2 para usar la columna con alias anterior
• SPARK-52866 Adición de compatibilidad con try_to_date
• SPARK-52846 Agregue una métrica en JDBCRDD durante cuánto tiempo se tarda en capturar el conjunto de resultados.
• SPARK-52859 Adición del rasgo SparkSystemUtils
• SPARK-52823 Compatibilidad con la inserción de combinación DSv2 para el conector de Oracle
• SPARK-52165 Configuración del scaffolding de compilación para el proyecto de canalizaciones
• SPARK-52869 Adición de la validación FrameLessOffsetWindowFunction para validarResolvedWindowExpression para su reutilización en el analizador de un solo paso
• SPARK-52885 Implementación de las funciones hour, minute y second en Scala para el tipo TIME
• SPARK-52903 Recorte de alias que no son de nivel superior antes de la resolución LCA
• SPARK-52832 Corrección de las comillas del identificador de dialecto JDBC
• SPARK-52870 Nombres de variable de comillas correctos en la FOR instrucción
• SPARK-52859 Agregar SparkSystemUtils rasgo
• SPARK-52900 Uso SparkStringUtils.stringToSeq en FsHistoryProvider
• SPARK-52809 No contenga referencias de lector e iterador para todas las particiones de los agentes de escucha de finalización de tareas para la actualización de métricas
• SPARK-52815 Mejora SparkClassUtils del soporte técnico getAllInterfaces
• SPARK-52795 Incluir runId en los registros del almacén de estado
• SPARK-52779 Literal TimeType de soporte técnico en Connect
• SPARK-52899 Corrección de la prueba QueryExecutionErrorsSuite para registrar H2Dialect de nuevo
• SPARK-52862 Corrección de la comprobación de nulabilidad de Decimal('NaN')
• SPARK-52214 UDF de flecha para la agregación
• SPARK-52787 Reorganización del directorio de ejecución de streaming en torno al entorno de ejecución y las áreas de punto de control
• SPARK-51564 Análisis de hora en el formato de reloj de 12 horas
• SPARK-52859 Agregar SparkSystemUtils rasgo
• SPARK-51562 Agregar time función
• SPARK-52850 Omitir las conversiones de llamadas si la función de identidad
• SPARK-52863 Limpieza de rutas de acceso de código para versiones anteriores de Pandas
• SPARK-52516 No contenga la referencia anterior del iterador después de avanzar al siguiente archivo en ParquetPartitionReaderFactory
• SPARK-52848 Evitar la conversión a Double en la conversión de TIME/TIMESTAMP a DECIMAL
• SPARK-52770 Tipo de soporte técnico TIME en connect proto
• SPARK-52842 Nuevas funcionalidades y correcciones de errores para el analizador de paso único
• SPARK-52620 Compatibilidad con la conversión de TIME a DECIMAL
• SPARK-52783 Refactorización de la lógica de validación de windowFunction de checkAnalysis para su reutilización en el analizador de paso único
• SPARK-51695 Sincronizar OSS crear/reemplazar/modificar tabla para restricción única a través de DSv2
• SPARK-51695 Restricción de eliminación de OSS de sincronización mediante DSv2
• SPARK-52824 Clasificación de errores de CheckpointFileManager
• SPARK-52829 Corrección de LocalDataToArrowConversion.convert para controlar las filas vacías correctamente
• SPARK-52811 Optimizar ArrowTableToRowsConversion.convert para mejorar su rendimiento
• SPARK-52796 Optimizar LocalDataToArrowConversion.convert para mejorar su rendimiento
• SPARK-51695 Cambios del analizador de restricciones Alter Table Alter Table de sincronización del sistema operativo
• SPARK-52619 Convertir TimeType en IntegralType
• SPARK-52187 Introducción a la inserción de unión para DSv2
• SPARK-52782 Devolver NULL desde +/- en datetime con NULL
• SPARK-51695 Introducción de cambios del analizador para las restricciones table (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications debe ser positivo
• SPARK-52776 No dividir el campo comm en ProcfsMetricsGetter
• SPARK-52793 Soporte técnico isUnix en o.a.s.util.Utils
• SPARK-52792 Quitar commons-lang3 dependencia de network-common
• SPARK-52797 Usar Utils.isWindows en lugar de volver a evaluar en PythonWorkerFactory
• SPARK-52784 Agregar la conversión timeZoneAware en WindowFrameTypeCoercion.createBoundaryCast
• SPARK-52725 Retrasar la inicialización del administrador de perfiles de recursos hasta que se cargue el complemento
• SPARK-52565 Exigir la resolución ordinal antes de otras expresiones de criterio de ordenación
• SPARK-52740 Corrección de NPE en HDFSBackedStateStoreProvider que accede a StateStoreConf.sqlConf cuando la versión del formato de punto de control es >=2
• SPARK-52673 Adición del control grpc RetryInfo a las directivas de reintento de Spark Connect
• SPARK-52724 Mejora del control de errores de OOM de combinación de difusión con compatibilidad con sugerencias de SHUFFLE_MERGE
• SPARK-52781 Corrección de errores tipográficos de dtyeps en internal.py
• SPARK-52730 Almacenar la versión subyacente del controlador y la base de datos en JDBCRDD
• SPARK-52727 Refactorización de la resolución de ventanas para reutilizarla en el analizador de paso único
• SPARK-52695 Compatibilidad de escritura de tipo definido por el usuario para el formato de archivo xml
• SPARK-52722 Desuso de la clase JdbcRDD
• SPARK-51695 Introducción de cambios del analizador para las restricciones table (CHECK, PK, FK)
• SPARK-52763 Resta de TIEMPO de soporte técnico
• SPARK-52768 Corrección del error tipográfico "mover" en pandas/series.py
• SPARK-52730 Almacenar la versión subyacente del controlador y la base de datos en JDBCRDD
• SPARK-52694 Agregar o.a.s.sql.Encoders#udtAPI
• SPARK-52720 Corrección de la ampliación de tipos float32 en en add/radd ANSI
• SPARK-52723 Validación del nombre de columna del lado servidor
• SPARK-52760 Corrección de la ampliación de tipos float32 en en sub/rsub ANSI
• SPARK-52738 Compatibilidad con la agregación del tipo TIME con un UDAF cuando el búfer subyacente es un UnsafeRow
• SPARK-52704 Simplificación de las interoperaciones entre SQLConf y las opciones de formato de archivo en TextBasedFileFormats
• SPARK-52706 Corrección de incoherencias y refactorización de tipos primitivos en el analizador
• SPARK-52718 Corrección de la ampliación de tipos float32 en en rmod/mod ANSI
• SPARK-52736 Corrección de errores tipográficos "mover" en pyspark/pandas/generic.py

Compatibilidad con controladores ODBC/JDBC de Azure Databricks

Azure Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

• Sistema operativo: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2025-03-20.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)