Databricks Runtime 10.5 (EoS)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 10.5, con tecnología de Apache Spark 3.2.1. Databricks publicó esta versión en mayo de 2022.

Nuevas características y mejoras

• SQL: Nuevas funciones to_number y try_to_number
• SQL: nueva funcióntry_sum
• SQL: actualizar a las funciones ceil, ceiling y floor
• SQL: nuevas funciones de agregado regr_avgx y regr_avgy
• SQL: actualizar a las funciones contains, startswith y endswith
• SQL: nueva funciónarray_size
• Catálogo de Unity: la salida de LIST de SQL quita la columna is_directory y agrega el carácter / final de las rutas de acceso de directorio (versión preliminar pública).
• Auto Loader: nueva función CLOUD_FILES_STATE de SQL
• Cargador automático: la compatibilidad con notificaciones de archivos ahora está disponible
• Delta Lake: nueva opción maxRecordsPerFile para los registros máximos escritos en un único archivo
• Entrada en desuso de Koalas
• Nueva columna _metadata para todos los formatos de archivo
• Prueba de la canalización con Databricks Runtime 10.5

SQL: Nuevas funcionesto_number y try_to_number

La función to_number y la función try_to_number permiten convertir representaciones de caracteres de números en varios formatos a DECIMAL.

SQL: nueva funcióntry_sum

A diferencia de sum, la try_sum función de agregado devuelve NULL en lugar de un error cuando se produce un desbordamiento.

SQL: actualización a las funciones ceil, ceiling y floor

La ceil función, ceiling la función y floor la función ahora admiten un segundo argumento opcional para especificar una escala de destino.

SQL: nuevas funciones de agregado regr_avgx y regr_avgy

La nueva regr_avgx función de agregado y regr_avgy la función de agregado admiten regresiones lineales.

SQL: actualización a las funciones contains, startswith y endswith

La contains función, startswith la función y endswith la función ahora admiten tipos de datos binarios como entrada además de cadenas.

SQL: nueva funciónarray_size

La nueva array_size función calcula el tamaño de una matriz.

Catálogo de Unity: la salida de LIST de SQL quita la columna is_directory y agrega el carácter / final de las rutas de acceso de directorio (versión preliminar pública).

La salida de la instrucción SQL LIST para enumerar las rutas de acceso reguladas por el catálogo Unity ha cambiado. Ya no se muestra la columna is_directory. En su lugar, las rutas de acceso que representan directorios ahora terminan con una barra diagonal final (/) para las columnas path y name. Este cambio es por coherencia con la salida del comando dbutils.fs.ls.

Auto Loader: nueva función CLOUD_FILES_STATE de SQL

Puede usar la nueva función CLOUD_FILES_STATE para consultar el estado interno de un flujo de Auto Loader; ver Consultar archivos detectados por Auto Loader.

Cargador automático: la compatibilidad con notificaciones de archivos ahora está disponible

La compatibilidad con notificaciones de archivos para ¿Qué es el cargador automático? en Google Cloud ya está disponible con carácter general.

Delta Lake: nueva opción maxRecordsPerFile para los registros máximos escritos en un único archivo

Al usar las API de dataframe para escribir en una tabla Delta, puede usar la opción maxRecordsPerFile para especificar el número máximo de registros que se van a escribir en un único archivo. Especificar un valor de cero o un valor negativo no representa ningún límite. Consulte Configuración de Delta Lake para controlar el tamaño del archivo de datos.

Entrada en desuso de Koalas

Koalas está ahora en desuso. Koalas proporciona las API de Pandas sobre Apache Spark. Koalas ha sido una contribución de la comunidad y ha estado disponible como API de pandas en Spark a partir de Apache Spark 3.2. Koalas sigue preinstalado para Databricks Runtime 10.5, pero Koalas ya no estará preinstalado a partir de la siguiente versión de Databricks Runtime.

Para más información sobre las API de pandas en Spark, consulte:

• API de Pandas en Spark en la documentación de Azure Databricks
• API de Pandas en Spark en la documentación de Apache Spark
• Migración de Koalas a la API de pandas en Spark en la documentación de Apache Spark

Nueva columna _metadata para todos los formatos de archivo

Puede obtener información de metadatos para los archivos de entrada con la columna _metadata. La columna _metadata está oculta. Esta columna está disponible para todos los formatos de archivo de entrada. Para incluir la columna _metadata en un DataFrame devuelto, debe hacer referencia explícita a esta columna en la consulta. Consulte Columna de metadatos de archivo.

Prueba de la canalización con Databricks Runtime 10.5

Databricks Runtime 10.5 es ahora la versión compatible preview para las canalizaciones declarativas de Spark de Lakeflow. Para probar la canalización con Databricks Runtime 10.5, establezca la configuración channel en preview en la configuración de la canalización.

Corrección de errores

• Se ha corregido la presentación de los resultados de métricas numUpdatedRows y numCopiedRows para las operaciones de actualización en tablas Delta que tienen habilitada la captura de datos modificados (CDC).

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • plotly: de 5.5.0 a 5.6.0
• Bibliotecas de R actualizadas:
  • base: de 4.1.2 a 4.1.3
  • caret: de 6.0-90 a 6.0-91
  • cluster: de 2.1.2 a 2.1.3
  • commonmark: de 1.7 a 1.8.0
  • compiler: de 4.1.2 a 4.1.3
  • crayon: de 1.5.0 a 1.5.1
  • datasets: de 4.1.2 a 4.1.3
  • desc: de 1.4.0 a 1.4.1
  • fansi: de 1.0.2 a 1.0.3
  • glue: de 1.6.1 a 1.6.2
  • graphics: de 4.1.2 a 4.1.3
  • grDevices: de 4.1.2 a 4.1.3
  • grid: de 4.1.2 a 4.1.3
  • knitr: de 1.37 a 1.38
  • MASS: de 7.3-55 a 7.3-56
  • Matrix: de 1.4-0 a 1.4-1
  • methods: de 4.1.2 a 4.1.3
  • mgcv: de 1.8-39 a 1.8-40
  • nlme: de 3.1-155 a 3.1-157
  • openssl: de 1.4.6 a 2.0.0
  • parallel: de 4.1.2 a 4.1.3
  • plyr: de 1.8.6 a 1.8.7
  • processx: de 3.5.2 a 3.5.3
  • r2d3: de 0.2.5 a 0.2.6
  • Rcpp: de 1.0.8 a 1.0.8.3
  • rlang: de 1.0.1 a 1.0.2
  • rmarkdown: de 2.11 a 2.13
  • RSQLite: de 2.2.10 a 2.2.11
  • sass: de 0.4.0 a 0.4.1
  • splines: de 4.1.2 a 4.1.3
  • stats: de 4.1.2 a 4.1.3
  • stats4: de 4.1.2 a 4.1.3
  • tcltk: de 4.1.2 a 4.1.3
  • tools: de 4.1.2 a 4.1.3
  • utils: de 4.1.2 a 4.1.3
  • uuid: de 1.0-3 a 1.0-4
  • waldo: de 0.3.1 a 0.4.0
  • withr: de 2.4.3 a 2.5.0
  • xfun: de 0.29 a 0.30
• Bibliotecas de Java actualizadas:
  • com.h2database.h2: de 1.4.195 a 2.1.210
  • org.apache.hadoop.hadoop-client-api: de 3.3.1-databricks a 3.3.2-databricks
  • org.apache.hadoop.hadoop-client-runtime: de 3.3.1 a 3.3.2
  • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Apache Spark

Databricks Runtime 10.5 incluye Apache Spark 3.2.1. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 10.4 LTS (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• [SPARK-38354] [SC-97886] Reversión de "[SQL] Agregar métrica de sondeos hash para la combinación de hash aleatoria"
• [SPARK-38484] [ SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrumentar el módulo SQL de PySpark con un registrador de uso general
• [SPARK-38333] [SQL] La expresión PlanExpression debe omitir la función addExprTree en el ejecutor.
• [SPARK-38646] [PYTHON][10.x] Extracción de un rasgo para las funciones de Python
• [SPARK-38674] [PHOTON] Se ha agregado una métrica a PhotonSubqueryBroadcastExec.
• [SPARK-38787] [SS] Se ha reemplazado el valor encontrado con un elemento distinto de NULL en la lista restante para la clave y se han quitado los elementos NULL restantes de los valores del almacén keyWithIndexToValue para las combinaciones de flujo a flujo.
• [SPARK-38446] [Core] Se ha corregido el interbloqueo entre ExecutorClassLoader y FileDownloadCallback causado por Log4j.
• [SPARK-38705] [SQL] Uso del identificador de función en el comando create y drop function
• [SPARK-38684] [SS] Se ha solucionado el problema de corrección en la combinación externa de flujo a flujo con el proveedor del almacén de estado de RocksDB.
• [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase no encuentra la fila de desplazamiento cuya entrada no es NULL.
• [SPARK-38204] [SS] Se utiliza StatefulOpClusteredDistribution para los operadores con estado respetando la compatibilidad con versiones anteriores.
• [SPARK-38616] [SQL] Se realiza un seguimiento del texto de la consulta SQL en el nodo de árbol de Catalyst.
• [SPARK-38600] [SQL] Se ha incluido unit en la cadena SQL deTIMESTAMPADD/DIFF.
• [SPARK-34805] [SQL] Propagación de los metadatos de las columnas anidadas en alias
• [SPARK-38535] [SQL] Se ha agregado la enumeración datetimeUnit y se utiliza en TIMESTAMPADD/DIFF.
• [SPARK-38415] [SQL] Se ha actualizado el tipo del resultado de histogram_numeric(x, y) para que x == el tipo de entrada.
• [SPARK-38148] [SQL] No se agrega la eliminación de particiones dinámicas si existe la eliminación de particiones estáticas.
• [SPARK-37527] [SQL] Se han compilado COVAR_POP, COVAR_SAMP y CORR en H2Dialet.
• [SPARK-38510] [SQL] Se reintenta ClassSymbol.selfType para solucionar las referencias cíclicas.
• [SPARK-38509] [SQL] Se ha anulado el registro de las funciones TIMESTAMPADD/DIFF y se ha quitado DATE_ADD/DIFF.
• [SPARK-38504] [SQL] No se puede leer TimestampNTZ como TimestampLTZ.
• [SPARK-38526] [SQL] Se ha corregido el nombre engañoso del alias de función para RuntimeReplaceable.
• [SPARK-38335] [SQL] Implementación de la compatibilidad del analizador con valores de columna DEFAULT
• [SPARK-38593] [SS] Transporte de la métrica del número de eventos tardíos eliminados en SessionWindowStateStoreSaveExec
• [SPARK-38549] [SS] Se ha agregado numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec.
• [SPARK-38583] [SQL] Se ha restaurado el comportamiento de to_timestamp que permite tipos numéricos.
• [SPARK-38481] [SQL] Se ha reemplazado la excepción de desbordamiento de Java de TIMESTAMPADD por la excepción de Spark.
• [SPARK-37753] [SQL] Se ha ajustado la lógica para disminuir la combinación hash de difusión en DynamicJoinSelection.
• [SPARK-37582] [ SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH debe admitir tipos binarios y de cadena.
• [SPARK-38345] [SQL] Se presenta la función ARRAY_SIZE de SQL.
• [SPARK-38385] [SQL] Mejora de los mensajes de error de instrucción vacía y <EOF> en ParseException
• [SPARK-37614] [SQL] Compatibilidad con la función de agregado ANSI: regr_avgx y regr_avgy
• [SPARK-38560] [SQL] Si Sum, Count o Any vienen acompañados de distinct, no se puede realizar una inserción de agregado.
• [SPARK-38360] [SQL][ss][PYTHON] Introduce una exists función para TreeNode eliminar patrones de código duplicados
• [SPARK-38385] [SQL] Mejorar los mensajes de error de los casos de "entrada no coincidente" de ANTLR
• [SPARK-38240] [SQL] Se ha mejorado RuntimeReplaceable y se ha agregado una guía para agregar nuevas funciones.
• [SPARK-38542] [SQL] UnsafeHashedRelation debe serializar numKeys.
• [SPARK-38521] [SQL] Se ha cambiado partitionOverwriteMode de cadena a variable en Scala.
• [SPARK-38558] [SQL] Se han quitado conversiones innecesarias entre IntegerType e IntDecimal.
• [SPARK-38489] [SQL] Aggregate.groupOnly admite expresiones plegables.
• [SPARK-38410] [SQL] Compatibilidad con la especificación del número de partición inicial para el reequilibrio
• [SPARK-38107] [SQL] Uso de clases de error en los errores de compilación de las UDF de Python y pandas
• [SPARK-38354] [SQL] Se ha agregado una métrica de sondeos hash para la combinación de hash aleatoria.
• [SPARK-38112] [SQL] Uso de clases de error en los errores de ejecución del control de tipos date y timestamp
• [SPARK-38361] [SQL] Se ha agregado el Factory Method getConnection a JDBCDialect.
• [SPARK-37865] [SQL] Se ha solucionado el error de corrección de la desduplicación de la unión.
• [SPARK-38298] [SQL][tests] Fix DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite en modo ANSI
• [SPARK-38407] [SQL] Conversión ANSI: se ha suavizado la limitación de la conversión de tipos complejos que no son NULL.
• [SPARK-38352] [SQL] Corrección de DataFrameAggregateSuite, DataFrameSetOperationsSuite y DataFrameWindowFunctionsSuite en modo ANSI
• [SPARK-38054] [SQL] Se admiten espacios de nombres de lista en el dialecto de MySQL de JDBC v2.
• [SPARK-37960] [SQL] Nuevo marco para representar expresiones de catalyst en las API de DS v2
• [SPARK-38103] [SQL] Migración del análisis de los errores de transformación al nuevo marco de errores
• [SPARK-38519] [SQL] La excepción de inicio de AQE debe respetar SparkFatalException.
• [SPARK-38528] [SQL] Iteración diligente sobre una secuencia de agregado al crear la lista de proyectos en ExtractGenerator
• [SPARK-38320] [SS] Se ha corregido el tiempo de espera de flatMapGroupsWithState del lote con datos para la clave.
• [SPARK-38442] [SQL] Corrección de ConstantFoldingSuite, ColumnExpressionSuite/DataFrameSuite y AdaptiveQueryExecSuite en modo ANSI
• [SPARK-38268] [SQL] Se ha ocultado el campo "failOnError" en el método toString de Abs y CheckOverflow.
• [SPARK-37949] [SQL] Mejora de la estimación de las estadísticas de reequilibrio
• [SPARK-38450] [SQL] Corrección de HiveQuerySuite, PushFoldableIntoBranchesSuite y TransposeWindowSuite en modo ANSI
• [SPARK-38501] [SQL] Corrección de los errores de prueba de thriftserver en modo ANSI
• [SPARK-37895] [SQL] Filtrado de la columna de inserción con columnas entre comillas
• [SPARK-38449] [SQL] Se evita llamar a createTable cuando ignoreIfExists=true y la tabla existe.
• [SPARK-38406] [SQL] Mejora del rendimiento de ShufflePartitionsUtil y createSkewPartitionSpecs
• [SPARK-37947] [SQL] Se extrae el generador de la expresión GeneratorOuter contenida en un operador Generate.
• [SPARK-38309] [CORE] Corrección de las métricas de percentil shuffleTotalReads y shuffleTotalBlocks de SHS
• [SPARK-38412] [SS] Corrección de la secuencia intercambiada de from y to en StateSchemaCompatibilityChecker
• [SPARK-38267] [CORE][sql][SS] Reemplazar coincidencias de patrón en expresiones booleanas con instrucciones condicionales
• [SPARK-38104] [SQL] Migración del análisis de los errores de ventana al nuevo marco de errores
• [SPARK-38434] [SQL] Se ha corregido la semántica del método CheckAnalysis.getDataTypesAreCompatibleFn.
• [SPARK-38033] [SS] No se puede iniciar el procesamiento de SS porque com...
• [SPARK-38378] [SQL] Refactorización de la definición de gramática de ANTLR en archivos analizadores y lexer independientes
• [SPARK-37475] [SQL] Se ha agregado el parámetro de escala a las funciones floor y ceil.
• [SPARK-38411] [CORE] Uso de UTF-8 cuando doMergeApplicationListingInternal lee los registros de eventos
• [SPARK-36553] [ML] KMeans evita calcular las estadísticas auxiliares para un valor de K grande.
• [SPARK-38393] [SQL] Se ha limpiado el uso obsoleto de GenSeq/GenMap.
• [SPARK-38389] [SQL] Se han agregado los alias DATEDIFF() y DATE_DIFF() para TIMESTAMPDIFF().
• [SPARK-33206] [CORE][3.2] Corrección del cálculo de la ponderación de la memoria caché de índices aleatorios para archivos de índice pequeños
• [SPARK-38353] [PYTHON] Instrumentación de los métodos magic enter y exit para la API de Pandas en Spark
• [SPARK-38323] [SQL][streaming] Admitir los metadatos de archivo ocultos en streaming
• [SPARK-38138] [SQL] Se han materializado las consultas secundarias del plan de consultas.
• [SPARK-38094] Habilitación de los nombres de columna de esquema coincidentes por identificadores de campo
• [SPARK-37923] [SQL] Generación de transformaciones de partición para BucketSpec dentro del analizador
• [SPARK-38363] [SQL] Se evita el error en tiempo de ejecución en Dataset.summary() y Dataset.describe() cuando el modo ANSI está activado.
• [SPARK-38284] [SQL] Se ha agregado la función TIMESTAMPDIFF().
• [SPARK-38251] [SQL] Se ha cambiado Cast.toString como "cast" en lugar de "ansi_cast" en modo ANSI.
• [SPARK-38314] [SQL] Se ha corregido el error de lectura de archivos Parquet después de escribir los metadatos de archivo ocultos.

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.5.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.3
• Delta Lake: 1.2.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 28-03-2022.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)