Databricks Runtime 7.0 (EoS)

Databricks publicó esta versión en junio de 2020.

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 7.0, con tecnología de Apache Spark 3.0.

Nuevas características

Databricks Runtime 7.0 incluye las siguientes características nuevas:

• Scala 2.12

  Databricks Runtime 7.0 actualiza Scala de 2.11.12 a 2.12.10. La lista de cambios entre Scala 2.12 y 2.11 se encuentra en las notas de la versión de Scala 2.12.0.

• Auto Loader (Versión preliminar pública), publicado en Databricks Runtime 6.4, se ha mejorado en Databricks Runtime 7.0

  Auto Loader proporciona una manera más eficaz de procesar nuevos archivos de datos de forma incremental a medida que llegan a un almacén de blobs en la nube durante ETL. Se trata de una mejora con respecto a Structured Streaming basado en archivos, que identifica los nuevos archivos enumerando repetidamente el directorio en la nube y haciendo un seguimiento de los archivos que se han visto, y puede ser muy ineficaz a medida que crece el directorio. El cargador automático también es más cómodo y eficaz que el streaming estructurado basado en notificaciones de archivos, lo que requiere que configure manualmente los servicios de notificación de archivos en la nube y no le permita rellenar los archivos existentes. Para obtener más información, consulte ¿Qué es el cargador automático?.

  En Databricks Runtime 7.0 ya no es necesario solicitar una imagen de Databricks Runtime personalizada para usar Auto Loader.

• COPY INTO (Versión preliminar pública), que permite cargar datos en Delta Lake con reintentos idempotentes, se ha mejorado en Databricks Runtime 7.0

  Publicado como Versión preliminar pública en Databricks Runtime 6.4, el comando SQL COPY INTO permite cargar datos en Delta Lake con reintentos idempotentes. Para cargar datos en Delta Lake hoy en día, debe usar las API de DataFrame de Apache Spark. Si hay errores durante las cargas, debe controlarlos de forma eficaz. El nuevo comando COPY INTO proporciona una interfaz declarativa conocida, para cargar datos en SQL. El comando realiza un seguimiento de los archivos cargados previamente, y el usuario lo vuelve a ejecutar de forma segura en caso de errores. Para obtener más información, consulte COPY INTO.

Mejoras

• El conector de Azure Synapse (anteriormente SQL Data Warehouse) admite la instrucción COPY.

  La principal ventaja de COPY es que los usuarios con menos privilegios pueden escribir datos en Azure Synapse sin necesidad de permisos CONTROL estrictos en Azure Synapse.

• El comando magic %matplotlib inline ya no es necesario para mostrar objetos de Matplolibalineados en las celdas del cuaderno. Siempre se muestran alineados de manera predeterminada.

• Las figuras de Matplolib ahora se representan con transparent=False, para que los fondos especificados por el usuario no se pierdan. Este comportamiento puede invalidarse estableciendo la configuración spark.databricks.workspace.matplotlib.transparent true de Spark.

• Al ejecutar trabajos de producción de Structured Streaming en clústeres en modo de simultaneidad alta, los reinicios de un trabajo producirían errores ocasionalmente, ya que el trabajo que se estaba ejecutando anteriormente no se terminó correctamente. Databricks Runtime 6.3 introdujo la capacidad de establecer la configuración spark.sql.streaming.stopActiveRunOnRestart true de SQL en el clúster, para asegurarse de que se detiene la ejecución anterior. Esta configuración se establece de manera predeterminada en Databricks Runtime 7.0.

Cambios importantes en la biblioteca

Paquetes de Python

Paquetes importantes de Python actualizados:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Paquetes de Python quitados:

• boto (utilice boto3)
• pycurl

Paquetes de R

Paquetes de R agregados:

• escoba
• más alto
• isoband
• tejido
• Formato Markdown
• modelr
• ejemplo reproducible
• rmarkdown
• rvest
• selectr
• tidyverse
• tinytex
• xfun

Paquetes de R quitados:

• abind
• bitops
• automóvil
• datosDelCoche
• doMC
• Gbm
• H₂O
• más pequeño/a
• lme4
• mapproj
• Mapas
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• río
• Sp
• DispersoM
• statmod
• cremallera

Bibliotecas de Java y Scala

• La versión de Apache Hive usada para controlar funciones definidas por el usuario de Hive y Hive SerDes se ha actualizado a la versión 2.3.
• Anteriormente, los archivos jar de Azure Storage y Key Vault se empaquetaban como parte de Databricks Runtime, lo que impedía usar versiones diferentes de esas bibliotecas asociadas a clústeres. Las clases en com.microsoft.azure.storage y com.microsoft.azure.keyvault ya no están en la ruta de acceso de clase en Databricks Runtime. Si depende de cualquiera de esas rutas de acceso de clase, ahora debe asociar Azure Storage SDK o Azure Key Vault SDK a los clústeres.

Cambios de comportamiento

En esta sección se enumeran los cambios de comportamiento de Databricks Runtime 6.6 a Databricks Runtime 7.0. Debe tener en cuenta estos cambios a medida que migra cargas de trabajo de versiones anteriores de Databricks Runtime a Databricks Runtime 7.0 y posteriores.

Cambios de comportamiento en Spark

Como Databricks Runtime 7.0 es el primer Databricks Runtime basado en Spark 3.0, hay muchos cambios que debe tener en cuenta al migrar cargas de trabajo desde Databricks Runtime 5.5 LTS o 6.x, que se basan en Spark 2.4. Estos cambios se enumeran en la sección "Cambios de comportamiento" de cada área funcional, en la sección de Apache Spark de este artículo de notas de la versión:

• Cambios de comportamiento para Spark Core, Spark SQL y Structured Streaming
• Cambios de comportamiento para MLlib
• Cambios de comportamiento para SparkR

Otros cambios de comportamiento

• La actualización a Scala 2.12 implica los siguientes cambios:

  • La serialización de celdas de paquetes se controla de forma diferente. En el ejemplo siguiente se muestra el cambio de comportamiento y cómo controlarlo.

    Si se ejecuta foo.bar.MyObjectInPackageCell.run() como se define en la siguiente celda de paquetes, se desencadenará el error java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Para evitar este error, puede encapsular MyObjectInPackageCell dentro de una clase serializable.

  • Algunos casos que usan DataStreamWriter.foreachBatch requerirán una actualización del código fuente. Este cambio se debe al hecho de que Scala 2.12 tiene conversión automática de expresiones lambda a tipos SAM y puede provocar ambigüedad.

    Por ejemplo, el código de Scala siguiente no se puede compilar:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Para corregir el error de compilación, cambie foreachBatch { (df, id) => myFunc(df, id) } a foreachBatch(myFunc _) o use la API de Java explícitamente: foreachBatch(new VoidFunction2 ...).

• Dado que la versión de Apache Hive que se usa para controlar las funciones definidas por el usuario de Hive y Hive SerDes se actualiza a la versión 2.3, se requieren dos cambios:
  • La interfaz de SerDe Hive se reemplaza por una clase AbstractSerDeabstracta . Para cualquier implementación personalizada de Hive SerDe es necesario migrar a AbstractSerDe.
  • Establecer spark.sql.hive.metastore.jars en builtin implica que se usará el cliente de metastore de Hive 2.3 para acceder a los metastores de Databricks Runtime 7.0.x. Si necesita acceder a los metastores externos basados en Hive 1.2, establezca spark.sql.hive.metastore.jars en la carpeta que contiene los archivos jar de Hive 1.2.

Desusos y eliminaciones

• El índice de omisión de datos quedó en desuso a partir de Databricks Runtime 4.3 y se eliminó en Databricks Runtime 7.0. Se recomienda usar tablas Delta en su lugar, que ofrecen funcionalidades mejoradas de omisión de datos.
• En Databricks Runtime 7.0, la versión subyacente de Apache Spark usa Scala 2.12. Dado que las bibliotecas compiladas en Scala 2.11 pueden deshabilitar los clústeres de Databricks Runtime 7.0 de formas inesperadas, los clústeres que ejecutan Databricks Runtime 7.0 y posteriores no instalan bibliotecas configuradas para instalarse en todos los clústeres. La pestaña Libraries (Bibliotecas) del clúster muestra un estado Skipped y un mensaje de desuso que explica los cambios en el control de bibliotecas. Pero si tiene un clúster que se creó en una versión anterior de Databricks Runtime, antes de que se publicara en el área de trabajo la versión 3.20 de la plataforma Azure Databricks, y ahora edita ese clúster para usar Databricks Runtime 7.0, todas las bibliotecas configuradas para instalarse en todos los clústeres se instalarán en ese clúster. En este caso, los archivos JAR incompatibles de las bibliotecas instaladas pueden hacer que el clúster se deshabilite. La solución alternativa es clonar el clúster o crear uno nuevo.

Apache Spark

Databricks Runtime 7.0 incluye Apache Spark 3.0.

En esta sección:

• Core, Spark SQL, Structured Streaming
• MLlib
• SparkR
• En desuso
• Problemas conocidos

Core, Spark SQL, Structured Streaming

Aspectos destacados

• (Project Hydrogen) Programador compatible con acelerador (SPARK-24615)
• Ejecución de consultas adaptables (SPARK-31412)
• Eliminación dinámica de particiones (SPARK-11150)
• API UDF de Pandas rediseñada con sugerencias de tipo (SPARK-28264)
• UI de Structured Streaming (SPARK-29543)
• API del complemento de catálogo (SPARK-31121)
• Mejor compatibilidad de SQL ANSI

Mejoras de rendimiento

• Ejecución de consultas adaptables (SPARK-31412)
  • Marco básico (SPARK-23128)
  • Ajuste posterior del número de partición aleatorio (SPARK-28177)
  • Reutilización de subconsulta dinámica (SPARK-28753)
  • Lector aleatorio local (SPARK-28560)
  • Optimización de la combinación de sesgos (SPARK-29544)
  • Optimización de la lectura de bloques aleatorios contiguos (SPARK-9853)
• Eliminación dinámica de particiones (SPARK-11150)
• Otras reglas del optimizador
  • Regla ReuseSubquery (SPARK-27279)
  • Regla PushDownLeftSemiAntiJoin (SPARK-19712)
  • Regla PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Regla ReplaceNullWithFalse (SPARK-25860)
  • Regla Eliminar ordenaciones sin límite en la subconsulta de combinación/agregación (SPARK-29343)
  • Regla PruneHiveTablePartitions (SPARK-15616)
  • Eliminar campos anidados innecesarios de Generate (SPARK-27707)
  • Regla RewriteNonCorrelatedExists (SPARK-29800)
• Minimizar los costes de sincronización de caché de tablas (SPARK-26917), (SPARK-26617) (SPARK-26548)
• Dividir el código de agregación en funciones pequeñas (SPARK-21870)
• Agregue procesamiento por lotes en los comandos INSERT y ALTER TABLE ADD PARTITION (SPARK-29938)

Mejoras de extensibilidad

• API del complemento de catálogo (SPARK-31121)
• Refactorización de API de origen de datos V2 (SPARK-25390)
• Compatibilidad con la metastore de Hive 3.0 y 3.1 (SPARK-27970), (SPARK-24360)
• Extensión de la interfaz del complemento Spark al controlador (SPARK-29396)
• Extensión del sistema de métricas de Spark con métricas definidas por el usuario mediante complementos de ejecutor (SPARK-28091)
• API de desarrolladores para la compatibilidad ampliada con el procesamiento de columnas (SPARK-27396)
• Migración de origen integrada mediante DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Permita FunctionInjection en SparkExtensions (SPARK-25560)
• Permite que el Agregador se registre como UDAF (SPARK-27296)

Mejoras del conector

• Eliminación de columnas mediante expresiones no deterministas (SPARK-29768)
• Compatibilidad con spark.sql.statistics.fallBackToHdfs en tablas de origen de datos (SPARK-25474)
• Permita la eliminación de particiones con filtros de subconsulta en el origen de archivo (SPARK-26893)
• Evite la delegación de subconsultas en filtros de origen de datos (SPARK-25482)
• Carga recursiva de datos desde orígenes de archivos (SPARK-27990)
• Parquet/ORC
  • Delegación de predicados disyuntivos (SPARK-27699)
  • Generalizar la eliminación de columnas anidadas (SPARK-25603) y su activación de manera predeterminada (SPARK-29805)
  • Solo Parquet
    • Aplicación de predicado parquet para campos anidados (SPARK-17636)
  • Solo ORC
    • Compatibilidad con el esquema de combinación para ORC (SPARK-11412)
    • Eliminar esquemas anidados para ORC (SPARK-27034)
    • Reducción de complejidad de la conversión de predicados para ORC (SPARK-27105, SPARK-28108)
    • Actualización de Apache ORC a 1.5.9 (SPARK-30695)
• CSV
  • Compatibilidad con delegación de filtros en el origen de datos de CSV (SPARK-30323)
• Hive SerDe
  • No hay inferencia de esquema al leer la tabla serde de Hive con el origen de datos nativo (SPARK-27119)
  • Los comandos CTAS de Hive deben usar el origen de datos si es convertible (SPARK-25271)
  • Uso del origen de datos nativo para optimizar la inserción de tablas de Hive con particiones (SPARK-28573)
• Apache Kafka
  • Adición de compatibilidad con encabezados Kafka (SPARK-23539)
  • Adición de compatibilidad con tokens de delegación de Kafka (SPARK-25501)
  • Introducción de una nueva opción al origen de Kafka: desplazamiento por marca de tiempo (inicio/final) (SPARK-26848)
  • Compatibilidad con la opción minPartitions en origen por lotes de Kafka y origen de streaming v1 (SPARK-30656)
  • Actualización de Kafka a la versión 2.4.1 (SPARK-31126)
• Nuevos orígenes de datos integrados
  • Nuevos orígenes de datos de archivos binarios integrados (SPARK-25348)
  • Nuevos orígenes de datos por lotes no operativos (SPARK-26550) y receptor de streaming no operativo (SPARK-26649)

Mejoras de las características

• [Hydrogen] Programador compatible con acelerador (SPARK-24615)
• Introducción a un conjunto completo de Sugerencias de combinación (SPARK-27225)
• Agregar sugerencia PARTITION BY para consultas SQL (SPARK-28746)
• Control de metadatos en un servidor Thrift (SPARK-28426)
• Adición de funciones de orden superior a la API de Scala (SPARK-27297)
• Compatibilidad con la recopilación de todo simple en el contexto de la tarea de barrera (SPARK-30667)
• Las UDF de Hive admiten el tipo UDT (SPARK-28158)
• Compatibilidad con los operadores DELETE/UPDATE/MERGE en Catalyst (SPARK-28351, SPARK-28892, SPARK-28893)
• Implementación de DataFrame.tail (SPARK-30185)
• Nuevas funciones integradas
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • cualquiera, cada, algunos (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extract (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • entradas_del_mapa (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • versión (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Mejoras en las funciones integradas existentes
  • Mejoras de las operaciones o funciones integradas de fecha y hora (SPARK-31415)
  • Modo de FAILFAST compatible para from_json (SPARK-25243)
  • array_sort agrega un nuevo parámetro de comparador (SPARK-29020)
  • El filtro ahora puede tomar el índice como entrada, así como el elemento (SPARK-28962)

Mejoras de compatibilidad de SQL

• Cambio al calendario gregoriano proléptico (SPARK-26651)
• Construir la propia definición del patrón de fecha y hora de Spark (SPARK-31408)
• Introducción de la directiva de asignación de almacén ANSI para la inserción de tablas (SPARK-28495)
• Seguir la regla de asignación de almacén ANSI, en la inserción de tablas, de manera predeterminada (SPARK-28885)
• Agregar un patrón spark.sql.ansi.enabled de SQLConf (SPARK-28989)
• Compatibilidad con la cláusula de filtro SQL ANSI para la expresión de agregado (SPARK-27986)
• Compatibilidad con la función OVERLAY de SQL ANSI (SPARK-28077)
• Compatibilidad con comentarios de ANSI anidados entre corchetes (SPARK-28880)
• Excepción en el desbordamiento para enteros (SPARK-26218)
• Comprobación de desbordamiento para operaciones aritméticas de intervalo (SPARK-30341)
• Excepción cuando la cadena no válida se convierte al tipo numérico (SPARK-30292)
• Asegurar que el comportamiento de desbordamiento al multiplicar y dividir intervalos sea consistente con otras operaciones (SPARK-30919)
• Agregar alias de tipo ANSI para datos char y decimal (SPARK-29941)
• El analizador SQL define palabras clave reservadas compatibles con ANSI (SPARK-26215)
• Prohibición de palabras clave reservadas como identificadores cuando el modo ANSI está encendido (SPARK-26976)
• Compatibilidad con la sintaxis LIKE ... ESCAPE de SQL ANSI (SPARK-28083)
• Compatibilidad con la sintaxis Boolean-Predicate (booleano-predicado) de SQL ANSI (SPARK-27924)
• Mejor compatibilidad con el procesamiento de subconsulta correlacionada (SPARK-18455)

Mejoras de supervisión y depuración

• UI nueva de Structured Streaming (SPARK-29543)
• SHS: permita que se reviertan los registros de eventos para ejecutar aplicaciones de streaming (SPARK-28594)
• Agregue una API que permita a un usuario definir y observar métricas arbitrarias en consultas por lotes y streaming (SPARK-29345)
• Instrumentación para el seguimiento del tiempo de planificación por consulta (SPARK-26129)
• Coloque las métricas básicas de orden aleatorio en el operador de intercambio SQL (SPARK-26139)
• La instrucción SQL se muestra en SQL Tab en lugar de en callsite (SPARK-27045)
• Adición de información sobre herramientas a SparkUI (SPARK-29449)
• Mejora del rendimiento simultáneo del Historial del servidor (SPARK-29043)
• comando EXPLAIN FORMATTED (SPARK-27395)
• Compatibilidad con el volcado de planes truncados y el código generado en un archivo (SPARK-26023)
• Mejora del marco de descripción para describir la salida de una consulta (SPARK-26982)
• Agregación del comando SHOW VIEWS (SPARK-31113)
• Mejora de los mensajes de error del analizador de SQL (SPARK-27901)
• Compatibilidad con la supervisión de Prometheus de forma nativa (SPARK-29429)

Mejoras de PySpark

• UDF de Pandas rediseñados con sugerencias de tipo (SPARK-28264)
• Canalización de UDF de Pandas (SPARK-26412)
• Compatibilidad con StructType como argumentos y tipos de valor devuelto para la UDF escalar de Pandas (SPARK-27240)
• Compatibilidad con DataFrame Cogroup mediante UDF de Pandas (SPARK-27463)
• Agregación de mapInPandas para permitir un iterador de DataFrames (SPARK-28198)
• Algunas funciones SQL deben tomar también nombres de columna (SPARK-26979)
• Hacer que las excepciones SQL de PySpark se parezcan más a las de Python (SPARK-31849)

Mejoras en la documentación y la cobertura de pruebas

• Crear una referencia SQL (SPARK-28588)
• Creación de una guía de usuario para WebUI (SPARK-28372)
• Creación de una página para la documentación de la configuración SQL (SPARK-30510)
• Agregar información de versión para la configuración de Spark (SPARK-30839)
• Pruebas de regresión de puertos de PostgreSQL (SPARK-27763)
• Cobertura de pruebas de servidores de Thrift (SPARK-28608)
• Cobertura de pruebas de UDF (UDF de Python, UDF de Pandas, UDF de Scala) (SPARK-27921)

Otros cambios importantes

• Actualización de ejecución integrada de Hive de 1.2.1 a 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Uso de la dependencia de Apache Hive 2.3 de manera predeterminada (SPARK-30034)
• GA Scala 2.12 y eliminación de la versión 2.11 (SPARK-26132)
• Mejora de la lógica para los ejecutores de tiempo de espera en la asignación dinámica (SPARK-20286)
• Bloques RDD persistentes en disco, servidos por el servicio de orden aleatorio y omitidos para la asignación dinámica (SPARK-27677)
• Adquisición de nuevos ejecutores para evitar el bloqueo debido a la lista de bloqueados (SPARK-22148)
• Permitir el uso compartido de asignadores de grupo de memoria de Netty (SPARK-24920)
• Corrección del interbloqueo entre TaskMemoryManager y UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Introducción de las API de AdmissionControl para StructuredStreaming (SPARK-30669)
• Mejora del rendimiento de la página principal del historial de Spark (SPARK-25973)
• Acelere y aligere la agregación de métricas en el agente de escucha SQL (SPARK-29562)
• Evite la red cuando se capturan bloques aleatorios desde el mismo host (SPARK-27651)
• Mejora de la lista de archivos para DistributedFileSystem (SPARK-27801)

Cambios de comportamiento para Spark Core, Spark SQL y Structured Streaming

Las siguientes guías de migración enumeran los cambios de comportamiento entre Apache Spark 2.4 y 3.0. Estos cambios pueden requerir actualizaciones de los trabajos que se han estado ejecutando en versiones anteriores de Databricks Runtime:

• Guía de migración: Spark Core
• Guía de migración: SQL, DataSets y DataFrame
• Guía de migración: Structured Streaming
• Guía de migración: PySpark (Python en Spark)

Los siguientes cambios de comportamiento no se tratan en estas guías de migración:

• En Spark 3.0 se ha quitado la clase org.apache.spark.sql.streaming.ProcessingTime en desuso. En su lugar, use org.apache.spark.sql.streaming.Trigger.ProcessingTime. Del mismo modo, se ha quitado org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger en favor de Trigger.Continuous, y org.apache.spark.sql.execution.streaming.OneTimeTrigger se ha ocultado en favor de Trigger.Once. (SPARK-28199)
• En Databricks Runtime 7.0, al leer una tabla de Hive SerDe, Spark no permite de manera predeterminada leer archivos en un subdirectorio que no sea una partición de tabla. Para habilitarlo, establezca la configuración spark.databricks.io.hive.scanNonpartitionedDirectory.enabled en true. Esto no afecta a los lectores de tablas nativas de Spark ni a los lectores de archivos.

MLlib

Aspectos destacados

• Se ha agregado compatibilidad con varias columnas a Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) y PySpark QuantileDiscretizer (SPARK-22796)
• Compatibilidad con la transformación de la característica basada en árbol (SPARK-13677)
• Se han agregado dos nuevos evaluadores MultilabelClassificationEvaluator (SPARK-16692) y RankingEvaluator (SPARK-28045)
• Se agregó compatibilidad con pesos de ejemplo en DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) y GaussianMixture (SPARK-30102)
• Se ha agregado la API de R para PowerIterationClustering (SPARK-19827)
• Se ha agregado el agente de escucha de Spark ML, para realizar el seguimiento del estado de la canalización ML (SPARK-23674)
• Se agregó el ajuste con un conjunto de validación a árboles impulsados por gradiente en Python (SPARK-24333)
• Se ha agregado el transformador RobustScaler (SPARK-28399)
• Se han agregado clasificadores y regresores de Factorization Machines (SPARK-29224)
• Se agregaron Gaussian Naive Bayes (SPARK-16872) y Complement Naive Bayes (SPARK-29942)
• Paridad de función ML entre Scala y Python (SPARK-28958)
• predictRaw se hace público en todos los Modelos de clasificación. predictProbability se hace público en todos los Modelos de clasificación excepto LinearSVCModel (SPARK-30358)

Cambios de comportamiento para MLlib

Las siguientes guías de migración enumeran los cambios de comportamiento entre Apache Spark 2.4 y 3.0. Estos cambios pueden requerir actualizaciones de los trabajos que se han estado ejecutando en versiones anteriores de Databricks Runtime:

• Guía de migración: MLlib (Machine Learning)

Los siguientes cambios de comportamiento no se tratan en la guía de migración:

• En Spark 3.0, una regresión logística multiclase en Pyspark ahora devolverá (correctamente) LogisticRegressionSummary, no la subclase BinaryLogisticRegressionSummary. De todos modos, los métodos adicionales expuestos por BinaryLogisticRegressionSummary no funcionarán en este caso. (SPARK-31681)
• En Spark 3.0, los mixins de pyspark.ml.param.shared.Has* ya no proporcionan ningún método Setter set*(self, value). En su lugar, use la instrucción self.set(self.*, value) correspondiente. Consulte SPARK-29093 para más detalles. (SPARK-29093)

SparkR

• Optimización de flechas en la interoperabilidad de SparkR (SPARK-26759)
• Mejora del rendimiento mediante R vectorizado gapply(), dapply(), createDataFrame, collect()
• "Ejecución diligente" para el shell de R, IDE (SPARK-24572)
• API de R para la agrupación en clústeres de iteración de energía (SPARK-19827)

Cambios de comportamiento en SparkR

Las siguientes guías de migración enumeran los cambios de comportamiento entre Apache Spark 2.4 y 3.0. Estos cambios pueden requerir actualizaciones de los trabajos que se han estado ejecutando en versiones anteriores de Databricks Runtime:

• Guía de migración: SparkR (R en Spark)

En desuso

• Compatibilidad con Python 2 en desuso (SPARK-27884)
• Compatibilidad con R < 3.4 en desuso (SPARK-26014)

Problemas conocidos

• El análisis del día del año mediante la letra de patrón 'D' devuelve el resultado incorrecto si falta el campo año. Esto puede ocurrir en funciones SQL como to_timestamp, que analiza la cadena datetime como valores de datetime (fecha y hora) mediante una cadena de patrón. (SPARK-31939)
• Las subconsultas internas de combinación, de ventana o de funciones agregadas pueden dar lugar a resultados incorrectos, si las claves tienen valores -0.0 y 0.0. (SPARK-31958)
• Una consulta de ventana puede producir un error inesperado de autocombinación ambigua. (SPARK-31956)
• Es posible que las consultas de streaming con el operador dropDuplicates no puedan reiniciarse con el punto de control escrito por Spark 2.x. (SPARK-31990)

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 7.0.

Entorno del sistema

• Sistema operativo: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: Versión R 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 22-04-2020.

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)