Databricks Runtime 10.2 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.2 e o Databricks Runtime 10.2 Photon, da plataforma Apache Spark 3.2.0. A Databricks lançou essa versão em dezembro de 2021. O Photon está em Visualização Pública.

Novos recursos e aprimoramentos

• Usar arquivos no Repos com a transmissão do Spark
• Utilitários do Databricks adicionam um comando de montagem de atualização
• O Delta Lake dá suporte à renomeação de colunas (visualização pública)
• O histórico de tabelas do Delta Lake adiciona informações de versão do Databricks Runtime
• Os Utilitários do Databricks adicionam informações de tempo de modificação mais recentes quando os diretórios são listados
• O Spark SQL adiciona uma função approx_top_k para retornar os principais itens e suas contagens
• Trigger.AvailableNow agora está disponível no Python, bem como no Scala
• O Carregador Automático já dá suporte à evolução de esquema para o Avro (versão prévia pública)

Usar arquivos no Repos com a transmissão do Spark

Agora você pode acessar Arquivos no Repos a partir da transmissão do Spark.

Utilitários do Databricks adicionam um comando de montagem de atualização

O novo comando dbutils.fs.updateMount é semelhante a dbutils.fs.mount, mas esse comando novo atualiza um ponto de montagem existente em vez de criar um novo. Confira, comando updateMount (dbutils.fs.updateMount).

O Delta Lake dá suporte à renomeação de colunas (visualização pública)

Agora, o Delta Lake dá suporte à renomeação de coluna. Para renomear a coluna de uma tabela Delta, você deve atualizar a versão da tabela Delta e, em seguida, definir o modo de mapeamento de coluna como mapeamento de nomes. Confira Renomear e remover colunas usando o mapeamento de colunas do Delta Lake.

O histórico de tabelas do Delta Lake adiciona informações de versão do Databricks Runtime

Agora quando uma gravação é feita em uma tabela Delta, as informações sobre a versão do Databricks Runtime que fez a gravação também são registradas. Para obter as informações sobre a versão, execute o comando DESCRIBE HISTORY na tabela e, em seguida, confira a coluna engineInfo na saída. Ver DESCRIBE HISTORY e trabalhar com o histórico de tabelas do Delta Lake.

Os Utilitários do Databricks adicionam informações de tempo de modificação mais recentes quando os diretórios são listados

O comando dbutils.fs.ls para listar o conteúdo de um diretório agora outputs um campo modificationTime. Esse campo contém o tempo de modificação mais recente de cada arquivo ou diretório listado. Confira ls command (dbutils.fs.ls).

O Spark SQL adiciona uma função approx_top_k para retornar os principais itens e suas contagens

A nova função approx_top_k retorna os valores de item que ocorrem com mais frequência, juntamente as suas contagens aproximadas, para a expressão especificada. Alguns exemplos incluem:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

O resultado da execução dos exemplos é:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Consulte approx_top_k a função de agregação.

Trigger.AvailableNow agora está disponível no Python, bem como no Scala

Essa alteração dá suporte às consultas Trigger.AvailableNow de streaming de origem Delta no Python, bem como ao Scala. O Databricks Runtime 10.1 introduziu suporte para esse gatilho no Scala. Atualmente, o Databricks Runtime 10.2 também dá suporte a esse gatilho no Python. Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

O Carregador Automático já dá suporte à evolução do esquema para a Avro (versão prévia pública)

Confira Configurar a inferência e a evolução de esquema no Carregador Automático.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • filelock de 3.3.1 para 3.4.0
  • plotly de 5.3.0 para 5.3.1
• Bibliotecas do R atualizadas:
  • base de 4.1.1 para 4.1.2
  • compiler de 4.1.1 para 4.1.2
  • datasets de 4.1.1 para 4.1.2
  • graphics de 4.1.1 para 4.1.2
  • grDevices de 4.1.1 para 4.1.2
  • grid de 4.1.1 para 4.1.2
  • métodos de 4.1.1 para 4.1.2
  • parallel de 4.1.1 para 4.1.2
  • Rserve de 1.8-8 para 1.8-10
  • splines de 4.1.1 para 4.1.2
  • stats de 4.1.1 para 4.1.2
  • stats4 de 4.1.1 a 4.1.2
  • tcltk de 4.1.1 para 4.1.2
  • tools de 4.1.1 para 4.1.2
  • utils de 4.1.1 para 4.1.2
  • backports de 1.2.1 para 1.4.0
  • broom de 0.7.9 para 0.7.10
  • CLI de 3.0.1 para 3.1.0
  • cpp11 de 0.4.0 para 0.4.1
  • crayon de 1.4.1 para 1.4.2
  • credentials de 1.3.1 para 1.3.2
  • future de 1.22.1 para 1.23.0
  • gert de 1.4.1 para 1.4.3
  • glmnet de 4.1-2 para 4.1-3
  • glue de 1.4.2 para 1.5.0
  • memoise de 2.0.0 para 2.0.1
  • parallelly de 1.28.1 para 1.29.0
  • readr de 2.0.2 para 2.1.0
  • sessioninfo de 1.1.1 para 1.2.1
  • stringi de 1.7.5 para 1.7.6
  • tibble de 3.1.5 para 3.1.6
  • tinytex de 0.34 para 0.35
  • tzdb de 0.1.2 para 0.2.0
  • usethis de 2.1.2 para 2.1.3
  • uuid de 0.1-4 para 1.0-3
  • vroom de 1.5.5 para 1.5.6
  • xfun de 0.27 para 0.28
• Bibliotecas do Java atualizadas:
  • com.fasterxml.jackson de 2.12.2 para 2.12.3
  • io.airlift.aircompressor de 0.19 para 0.21
  • io.netty.netty-all de 4.1.63.Final para 4.1.68.Final
  • joda-time.joda-time de 2.10.5 para 2.10.10
  • org.apache.commons.commons-compress de 1.20 para 1.21
  • org.apache.orc de 1.6.10 para 1.6.12
  • org.eclipse.jetty de 9.4.40.v20210413 para 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 de 1.0 para 1.2
  • org.scalanlp.breeze_2.12 de 1.0 para 1.2
  • org.org.typelevel.algebra_2.12 de 2.0.0 para 2.0.1
  • org.typelevel.cats-kernel_2.12 de 2.0.0 para 2.0.1

Apache Spark

O Databricks Runtime 10.2 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 10.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() resulta em um val lento
• [SPARK-37468] [SQL] Dar suporte a intervalos ANSI e TimestampNTZ para UnionEstimation
• [SPARK-37464] [SQL] SCHEMA e DATABASE devem ser simplesmente aliases de NAMESPACE
• [SPARK-37452] [SQL] Char e Varchar quebram a compatibilidade com versões anteriores entre v3.1 e v2
• [SPARK-36861] [SQL] Usar yyyy-MM-dd como o padrão de data na descoberta da partição
• [SPARK-37456] [SQL] CREATE NAMESPACE deve qualificar o local para o comando v2
• [SPARK-37357] [SQL] Adicionar um pequeno fator de partição para rebalancear partições
• [SPARK-37446] [SQL] Use reflexão para getWithoutRegisterFns para permitir diferentes versões do Hive para criação
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION deve lidar com locais vazios consistentemente nos comandos v1 e v2
• [SPARK-36357] [SQL] Dar suporte a aplicação de carimbo de data/hora sem fuso horário para orc
• [SPARK-36346] [SQL] Dar suporte ao tipo TimestampNTZ na origem do arquivo Orc
• [SPARK-36646] [SQL] enviar grupo por Push por coluna de partição para agregação
• [SPARK-34960] [SQL] Agregar o envio por push para ORC
• [SPARK-37386] [SQL] Simplificar o OptimizeSkewedJoin para não executar o avaliador de custo
• [SPARK-36073] [SQL] Correções e melhorias de EquivalentExpressions
• [SPARK-35352] [SQL] Adicionar code-gen para a junção de mesclagem de classificação externa completa
• [SPARK-37292] [SQL] Remove a junção externa se ela tiver apenas DISTINCT no lado transmitido com alias
• [SPARK-37371] [SQL] UnionExec deve dar suporte ao colunar se todos os filhos derem suporte ao colunar
• [SPARK-36645] [SQL] Agregar envio por push (mín/máx/contagem) para Parquet
• [SPARK-37379] [SQL] Adicionar a remoção de padrão de árvore à regra CTESubstitution
• [SPARK-37332] [SQL] Permitir intervalos ANSI emALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] otimizar caminho de gravação no provedor de armazenamento de estado de RocksDB
• [SPARK-37304] [SQL] Permitir intervalos ANSI em v2ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST Converter entre intervalos ANSI e IntegralType
• [SPARK-37289] [SQL] Remover função partitionSchemaOption
• [SPARK-37270] [SQL] Corrigir push dobrável em ramificações CaseWhen se elsevalue estiver vazio
• [SPARK-35345] [SQL] Adicionar testes de Parquet a BloomFilterBenchmark
• [SPARK-37341] [SQL] Evitar buffer desnecessário e copiar na junção de mesclagem de classificação externa completa
• [SPARK-37266] [SQL] O texto de exibição só pode ser SELECT consultas
• [SPARK-37288] [PYTHON] [3.2] Um Backport desde a atualização da anotação
• [SPARK-37262] [SQL] Não registrar agregações e agrupamentos vazios no JDBCScan
• [SPARK-37283] [SQL] Não tente armazenar uma tabela V1 que contenha intervalos ANSI no formato compatível com Hive
• [SPARK-37221] [SQL] A API do tipo collect no SparkPlan deve dar suporte à saída colunar
• [SPARK-37202] [SQL] Usar AnalysisContext para rastrear funções referenciadas temp
• [Spark-37023] [CORE] Evite buscar o status de mesclagem quando shuffleMergeEnabled for false para um shuffleDependency durante a nova tentativa
• [SPARK-37307] [CORE] Não obtenha conexão JDBC para partições vazias
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions suporta otimizar nó não raiz
• [SPARK-36799] [SQL] Passar nome de queryExecution na CLI
• [SPARK-37261] [SQL] Permitir a adição de partições com intervalos ANSI em DSv2
• [SPARK-37203] [SQL] Corrigir NotSerializableException ao observar com TypedImperativeAggregate
• [SPARK-37199] [SQL] Adicionar campo determinístico a QueryPlan
• [Spark-37253] [PYTHON] try_simplify_traceback não deve falhar quando tb_frame.f_lineno for Nenhum
• [SPARK-37214] [SQL] Falha na análise de consulta anteriormente com identificadores inválidos
• [SPARK-37240] [SQL] Tratar intervalos ANSI porColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Usar expressões para filtrar partições do Hive no lado do cliente
• [SPARK-32940] [SQL] Coletar, o primeiro e o último devem ser funções de agregação determinísticas
• [SPARK-37231] [SQL] Gravações/leituras dinâmicas de partições de intervalo ANSI
• [SPARK-37038] [SQL] Enviar por Push de exemplo DSV2
• [SPARK-36665] [SQL] Adicionar mais simplificações de operador NOT
• [SPARK-37150] [SQL] Migrar DESCRIBE NAMESPACE para usar o comando V2 por padrão
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale falhou ao retornar nulo
• [SPARK-37212] [SQL] Melhorar a implementação de envio por push agregado.
• [SPARK-37190] [SQL] Melhorar as mensagens de erro para Converter sob o modo ANSI
• [SPARK-37161] [SQL] RowToColumnConverter dá suporte a AnsiIntervalType
• [SPARK-37160] [SQL] Adicionar uma configuração para desabilitar opcionalmente o preenchimento para o tipo de caractere
• [SPARK-36554] [SQL][python] Expor expressão make_date em functions.scala
• [SPARK-37200] [SQL] Dar suporte a remoção de índice para a fonte de dados V2
• [SPARK-37179] [SQL] modo ANSI: Adicionar uma configuração para permitir a conversão entre Datetime e Numeric
• [SPARK-37168] [SQL] Melhorar as mensagens de erro para funções e operadores SQL no modo ANSI
• [SPARK-36935] [SQL] Estender ParquetSchemaConverter para a computação do nível de definição e de repetição de Parquet
• [SPARK-37066] [SQL] Melhorar a mensagem de erro para mostrar o caminho do arquivo quando falhou ao ler o próximo arquivo
• [SPARK-32567] [SQL] Adicionar code-gen para a associação hash aleatorizada exterior completa
• [SPARK-37176] [SQL] Sincronizar a lógica de identificador de exceção do método JsonInferSchema#infer com o método JacksonParser#parse
• [SPARK-37149] [SQL] Melhorar as mensagens de erro para exceções de estouro aritmético no modo ANSI
• [SPARK-37136] [SQL] Remover o código da função de compilação do hive, mas não implementar no SPARK
• [SPARK-16280][SPARK-37082] [SQL] Implementa função de agregação histogram_numeric que dá suporte à agregação parcial.
• [SPARK-36975] [SQL] Corrigir as métricas das chamadas do cliente hive no HiveClientImpl

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo do Microsoft CRAN em 30/11/2021.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)