Databricks Runtime 6.5 (EoS)

Databricks publicó esta versión en abril de 2020.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 6.5, con tecnología de Apache Spark.

Nuevas características

Las métricas de operación para todas las escrituras, actualizaciones y eliminaciones de una tabla Delta ahora se muestran en el historial de tablas

Ahora puede ver las métricas de operación (por ejemplo, el número de archivos y filas modificadas) para todas las escrituras, actualizaciones y eliminaciones en una tabla Delta en el historial de la tabla. La generación de estas métricas está habilitada de manera predeterminada. Para ver el historial, ejecute:

DESCRIBE HISTORY deltaTableName

Limitación del volumen de datos procesados en microlotes de streaming de Delta Lake

Al procesar datos de Delta Lake mediante Structured Streaming, ahora puede establecer la opción maxBytesPerTrigger para limitar el volumen de datos procesados en cada microlote. Esto establece un "máximo flexible", lo que significa que un lote procesa aproximadamente esta cantidad de datos y puede procesar más que el límite.

Si usa la instrucción Trigger.Once para el streaming, se omite esta opción. Además, si usa esta opción junto con maxFilesPerTrigger, el microlote procesa los datos hasta que se alcanza el límite maxFilesPerTrigger o maxBytesPerTrigger.

Mejoras

Conector de Snowflake actualizado a la versión 2.5.9

El conector actualizado promueve el controlador JDBC de Snowflake a la versión 3.12.0.

Se ha actualizado Java a 1.8.0_242

Esta versión introduce nuevas comprobaciones en los certificados de anclaje de confianza, asegurándose de que los anclajes de confianza son certificados de CA y contienen las extensiones adecuadas. Los certificados de ancla de confianza deben incluir una extensión de Restricciones Básicas, con el campo ca configurado en true. Además, si incluyen una extensión de Uso de clave, se debe establecer el bit keyCertSign.

Si usa certificados de anclaje de veracidad autofirmados, se pueden iniciar las siguientes excepciones introducidas por las nuevas comprobaciones:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Para seguir usando certificados de anclaje de confianza autofirmados, tiene dos opciones para abordar las excepciones mencionadas.

• Establezca la propiedad jdk.security.allowNonCaAnchor del sistema Java, introducida con Java 1.9.0_242, en true, para restaurar el comportamiento anterior. Puede usar las instrucciones spark.driver.extraJavaOptions y spark.executor.extraJavaOptions para establecer esta propiedad del sistema en controladores y ejecutores de Spark, respectivamente.

• Incluya una extensión de Restricciones básicas, con el campo ca establecido en true para los certificados de anclaje de veracidad. Si los certificados de anclaje de veracidad incluyen una extensión de Uso de clave, establezca el bit keyCertSign.

  Si usa Java Keytool para generar pares de claves públicas y privadas, establezca -ext BasicConstraints=ca:true al generar certificados de ancla de confianza. Si los certificados de anclaje de veracidad incluyen una extensión de Uso de claves, establezca el bit -ext KeyUsage=...,keyCertSign de keyCertSign al generar certificados de anclaje de veracidad.

Bibliotecas de R actualizadas

Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.

En desuso

• El paquete boto está en desuso y se quitará en una versión principal futura de Databricks Runtime. Azure Databricks recomienda usar el paquete boto3 en su lugar.
• Los siguientes paquetes de R se quitarán en una versión principal futura de Databricks Runtime:
  • abind
  • bitops
  • automóvil
  • datosDelCoche
  • doMC
  • Gbm
  • H₂O
  • más pequeño/a
  • lme4
  • mapproj
  • mapas
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • río
  • Sp
  • DispersoM
  • statmod
  • cremallera

Azure Databricks recomienda usar el código siguiente para instalar y cargar paquetes de R que no están instalados por Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Spark de Apache

Databricks Runtime 6.5 incluye Apache Spark 2.4.5. En esta versión, se incluyen todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 6.4 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-27099] [SQL] Agregar 'xxhash64' para aplicar hash a columnas arbitrarias a Long
• [SPARK-26151] [SQL] Devolución de resultados parciales de registros CSV incorrectos
• [SPARK-30927] [SS] StreamingQueryManager debe evitar mantener referencia a un StreamingQuery terminado
• [SPARK-22590] Copia de sparkContext.localproperties en el subproceso secundario BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame debe usar la LocalRelation
• [SPARK-30556] [SQL] Restablece el estado cambiado en SQLExecution withThreadLocalCaptured
• [SPARK-30763] [SQL] Corregir java.lang.IndexOutOfBoundsException No hay grupo 1 para regexp_extract
• [SPARK-30806] [SQL] Evalúa una vez por grupo en UnboundedWindowFunctionFrame
• [SPARK-30731] Actualizar la opción Mkdocs en desuso
• [SPARK-30857] [SQL] Corrección de truncamientos de marcas de tiempo antes de la época en horas y días
• [SPARK-30798] Scope Session.active en QueryExecution
• [SPARK-30793] [SQL] Corrección de truncamientos de marcas de tiempo antes de la época en minutos y segundos
• [SPARK-30826] [SQL] Se respeta el caso de referencia para la instrucción StringStartsWith insertada en Parquet
• [SPARK-30797] [SQL] Establecimiento de permisos de usuario, grupo u otro tipo, en las entradas de ACL al configurar ACL en la tabla de truncamiento
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop debe controlar columnas duplicadas
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill debe controlar columnas duplicadas
• [SPARK-30310] [CORE] Resolución de casos de coincidencia ausentes en SparkUncaughtExceptionHandler y pruebas agregadas
• [SPARK-30512] Se ha agregado un grupo de bucles de eventos de jefe dedicado

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 6.5.

Entorno del sistema

• Sistema operativo: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: Versión R 3.6.3 (29-02-2020)
• Delta Lake: 0.5.0

En esta sección:

• Bibliotecas de Python instaladas
• Bibliotecas de R instaladas
• Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN de Microsoft en 2020-02-26.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)