Tempo de execução do Databricks 6.5 (EoS)

A Databricks lançou esta versão em abril de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.5, desenvolvido pelo Apache Spark.

Novas funcionalidades

Métricas de operação para todas as gravações, atualizações e exclusões numa tabela Delta são agora mostradas no histórico da tabela Delta.

Agora você pode ver métricas de operação (por exemplo, número de arquivos e linhas alterados) para todas as gravações, atualizações e exclusões em uma tabela Delta no histórico da tabela. A geração dessas métricas é habilitada por padrão. Você pode ver o histórico ao executar:

DESCRIBE HISTORY deltaTableName

Limitar a taxa dos dados processados em microlotes de streaming do Delta Lake

Ao processar dados do Delta Lake usando o Structured Streaming, agora você pode definir a opção maxBytesPerTrigger para limitar a quantidade de dados processados em cada microlote. Isso define um "soft max", o que significa que um lote processa aproximadamente essa quantidade de dados e pode processar mais do que o limite.

Se você usar Trigger.Once para seu streaming, essa opção será ignorada. Além disso, se o utilizador usar essa opção em conjunto com maxFilesPerTrigger, o micro-lote processará dados até que o limite de maxFilesPerTrigger ou maxBytesPerTrigger seja atingido.

Melhorias

Conector Snowflake atualizado para 2.5.9

O conector atualizado promove o driver JDBC Snowflake para 3.12.0.

Java atualizado para 1.8.0_242

Esta versão introduz novas verificações em certificados de âncora de confiança para garantir que as âncoras de confiança sejam certificados de CA e contenham extensões adequadas. Os certificados de âncora de confiança devem incluir uma extensão de Restrições Básicas com o ca campo definido como true. Além disso, se incluírem uma extensão de uso de chave, o bit keyCertSign deve ser ativado.

Se usar certificados de âncora de confiança autoassinados, poderá enfrentar as seguintes exceções introduzidas pelas novas verificações:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Para continuar usando certificados de âncora de confiança autoassinados, você tem duas opções para resolver as exceções acima:

• Defina a propriedade jdk.security.allowNonCaAnchor do sistema Java introduzida com o Java 1.9.0_242 para true restaurar o comportamento anterior. Você pode usar spark.driver.extraJavaOptions e spark.executor.extraJavaOptions para definir essa propriedade do sistema para o driver e os executores do Spark, respectivamente.

• Inclua uma extensão de Restrições Básicas com o campo ca definido como true nos seus certificados de autoridade de confiança. Se os seus certificados de âncora de confiança incluírem uma extensão de Utilização da Chave, defina o bit keyCertSign.

  Se você usar Java Keytool para gerar pares de chaves pública/privada, defina -ext BasicConstraints=ca:true ao gerar certificados de âncora de confiança. Se seus certificados de âncora de confiança incluírem uma extensão de Uso de Chave, defina o bit -ext KeyUsage=...,keyCertSign keyCertSign ao gerar certificados de âncora de confiança.

Bibliotecas R atualizadas

Melhoradas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.

Preterições

• O boto pacote foi preterido e será removido em uma próxima versão principal do Databricks Runtime. O Azure Databricks recomenda que você use boto3 em vez disso.
• Os seguintes pacotes R serão removidos em uma próxima versão principal do Databricks Runtime:
  • Abind
  • Bitops
  • carro
  • dadosDoCarro
  • doMC
  • GBM
  • H₂O
  • mais pequeno
  • LME4
  • Mapproj
  • mapas
  • Ferramentas de mapa
  • Modelos Matriciais
  • Minqa
  • MVTnorm
  • NLOPTR
  • OpenXLSX
  • pbkrtest
  • pkgGatinho
  • Quantreg
  • R.métodosS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • Rio
  • SP
  • SparseM
  • Statmod
  • ZIP

O Azure Databricks recomenda usar o seguinte código para instalar e carregar pacotes R que não são instalados pelo Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

O Databricks Runtime 6.5 inclui o Apache Spark 2.4.5. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.4 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-27099] [SQL] Adicionar 'xxhash64' para hashing de colunas arbitrárias em Long
• [SPARK-26151] [SQL] Retornar resultados parciais para registos CSV defeituosos
• [SPARK-30927] [SS] StreamingQueryManager deve evitar manter referência a StreamingQuery encerrado
• [SPARK-22590] Copie sparkContext.localproperties para a thread filha no contexto de execução (BroadcastExchangeExec.executionContext)
• [SPARK-30671] emptyDataFrame deve usar um LocalRelation
• [SPARK-30556] [SQL] Restaurar o status que foi alterado em SQLExecution withThreadLocalCaptured
• [SPARK-30763] [SQL] Corrigir o erro java.lang.IndexOutOfBoundsException: Nenhum grupo 1 para regexp_extract
• [SPARK-30806] [SQL] Avalie uma vez por grupo em UnboundedWindowFunctionFrame
• [SPARK-30731] Atualizar opção preterida do Mkdocs
• [SPARK-30857] [SQL] Corrigir truncamentos de carimbos de data/hora antes da época Unix para horas e dias
• [SPARK-30798] Escopo Session.ativo em QueryExecution
• [SPARK-30793] [SQL] Corrigir truncamentos de carimbos de data/hora antes da época Unix para minutos e segundos
• [FAÍSCA-30826] [SQL] Respeite o caso de referência em StringStartsWith empurrado para baixo para parquet
• [FAÍSCA-30797] [SQL] Definir permissão de usuário/grupo/outra tradição para entradas de ACL ao configurar ACLs em tabela truncada
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop deve lidar com colunas duplicadas
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill deve lidar com colunas duplicadas
• [SPARK-30310] [CORE] Resolver caso não correspondido em SparkUncaughtExceptionHandler e adicionar testes
• [SPARK-30512] Adicionado um grupo de loop de eventos supervisor dedicado

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.5.

Ambiente do sistema

• Sistema Operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Escala: 2.11.12
• Píton: 3.7.3
• R: R versão 3.6.3 (2020-02-29)
• Lago Delta: 0.5.0

Nesta secção:

• Bibliotecas Python instaladas
• Bibliotecas R instaladas
• Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-02-26.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)