Databricks Runtime 6.5 (EoS)

O Databricks lançou essa versão em abril de 2020.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 6.5 da plataforma Apache Spark.

Novos recursos

As métricas de operação para todas as gravações, atualizações e exclusões em uma tabela Delta agora são mostradas no histórico de tabelas

Agora você pode ver métricas de operação (por exemplo, número de arquivos e linhas alterados) para todas as gravações, atualizações e exclusões em uma tabela Delta no histórico da tabela. A geração dessas métricas está habilitada por padrão. Você pode ver o histórico executando:

DESCRIBE HISTORY deltaTableName

Limitar a taxa de dados processados em micro-lotes de streaming do Delta Lake

Ao processar dados do Delta Lake usando o Fluxo estruturado, agora é possível definir a opção maxBytesPerTrigger para limitar a taxa de dados processados em cada micro-lote. Isso define um "máximo flexível", o que significa que um lote processa aproximadamente essa quantidade de dados e pode processar mais do que o limite.

Se você usar Trigger.Once para o streaming, essa opção será ignorada. Além disso, se você usar essa opção em conjunto com maxFilesPerTrigger, o micro-lote processará dados até que o limite maxFilesPerTrigger ou maxBytesPerTrigger seja atingido.

Aprimoramentos

O conector Snowflake foi atualizado para a versão 2.5.9

O conector atualizado promove o driver JDBC do Snowflake para a versão 3.12.0.

Atualização do Java para 1.8.0_242

Esta versão apresenta novas verificações em certificados de âncora de confiança para garantir que elas sejam certificados de autoridade de certificação e que contenham extensões adequadas. Os certificados de âncora de confiança devem incluir uma extensão de Restrições Básicas com o campo ca definido como true. Além disso, se eles incluírem uma extensão de Uso de Chave, o bit keyCertSign deverá ser definido.

Se você usar certificados de âncora de confiança autoassinados, poderá atingir as seguintes exceções introduzidas pelas novas verificações:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Para continuar usando certificados de âncora de confiança autoassinados, você tem duas opções para resolver as exceções acima:

• Defina a propriedade do sistema jdk.security.allowNonCaAnchor do Java introduzida com Java 1.9.0 _242 para true para restaurar o comportamento anterior. Você pode usar spark.driver.extraJavaOptions e spark.executor.extraJavaOptions para definir essa propriedade do sistema para o driver e executores do Spark, respectivamente.

• Inclua uma extensão de Restrições Básicas com o campo ca definido como true em seus certificados de âncora de confiança. Se os certificados de âncora de confiança incluírem uma extensão de Uso de Chave, defina o bit keyCertSign.

  Se você usar o Keytool do Java para gerar pares de chaves pública/privada, defina -ext BasicConstraints=ca:true ao gerar certificados de âncora de confiança. Se os certificados de âncora de confiança incluírem uma extensão de Uso de Chave, defina o bit keyCertSign como -ext KeyUsage=...,keyCertSign ao gerar certificados de âncora de confiança.

Atualização das bibliotecas do R

Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Desativações

• O pacote boto foi preterido e será removido em uma próxima versão principal do Databricks Runtime. Em seu lugar, o Azure Databricks recomenda que você use boto3.
• Os seguintes pacotes do R foram preteridos e serão removidos em uma próxima versão principal do Databricks Runtime:
  • abind
  • bitops
  • carro
  • dadosDoCarro
  • doMC
  • Gbm
  • H₂O
  • menor
  • lme4
  • mapproj
  • mapas
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • rio
  • São Paulo
  • Esparso
  • statmod
  • zíper

O Azure Databricks recomenda o uso do código a seguir para instalar e carregar pacotes do R que não sejam instalados pelo Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

O Databricks Runtime 6.5 inclui o Apache Spark 2.4.5. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.4 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-27099] [SQL] Adicionar 'xxhash64' para transformar colunas arbitrárias em hash Long
• [SPARK-26151] [SQL] Retorna resultados parciais para registros CSV inválidos
• [SPARK-30927] [SS] O StreamingQueryManager deve evitar manter a referência a StreamingQuery terminada
• [SPARK-22590] Copia sparkContext.localproperties para a thread filha em BroadcastExchangeExec.executionContext
• [SPARK-30671] O emptyDataFrame deve usar um LocalRelation
• [SPARK-30556] [SQL] Redefine o status alterado em SQLExecution withThreadLocalCaptured
• [SPARK-30763] [SQL] Corrige o java.lang.IndexOutOfBoundsException Nenhum grupo 1 para regexp_extract
• [SPARK-30806] [SQL] Avalia uma vez por grupo em UnboundedWindowFunctionFrame
• [SPARK-30731] Atualiza a opção Mkdocs preterida
• [SPARK-30857] [SQL] Corrige truncamentos de carimbos de data/hora antes da época para horas e dias
• [SPARK-30798] Estabelece o escopo Session.active em QueryExecution
• [SPARK-30793] [SQL] Corrige truncamentos de carimbo de data/hora antes da época para minutos e segundos
• [SPARK-30826] [SQL] Respeita o caso de referência em StringStartsWith ao enviar por push para o parquet
• [SPARK-30797] [SQL] Define a permissão de usuário/grupo/outras para entradas de ACL ao configurar ACLs em truncate table
• [SPARK-30065] [SQL] O DataFrameNaFunctions.drop deve tratar colunas duplicadas
• [SPARK-29890] [SQL] O DataFrameNaFunctions.fill deve tratar colunas duplicadas
• [SPARK-30310] [CORE] Resolve caso de correspondência ausente em SparkUncaughtExceptionHandler e testes adicionados
• [SPARK-30512] Adicionado um boss event loop group dedicado

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 6.5.

Ambiente do sistema

• Sistema operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R versão 3.6.3 (29-02-2020)
• Delta Lake: 0.5.0

Nesta seção:

• Bibliotecas Python instaladas
• Bibliotecas R instaladas
• Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.11)

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do (instantâneo do Microsoft CRAN em 26/02/2020).

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)