Tempo de execução do Databricks 10.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.2 e o Databricks Runtime 10.2 Photon, com tecnologia Apache Spark 3.2.0. A Databricks lançou esta versão em dezembro de 2021. Photon está em Pré-visualização Pública.

Novos recursos e melhorias

• Usar arquivos em repositórios com o Spark Streaming
• Databricks Utilities adiciona um comando update mount
• Delta Lake suporta renomeação de colunas (Visualização pública)
• O histórico da tabela Delta Lake adiciona informações de versão do Databricks Runtime
• Databricks Utilities adiciona as informações de tempo de modificação mais recentes quando os diretórios são listados
• O Spark SQL adiciona uma approx_top_k função para retornar os principais itens e suas contagens
• Trigger.AvailableNow agora disponível em Python e Scala
• O Auto Loader agora suporta a evolução do esquema para Avro (Public Preview)

Utilizar ficheiros em repositórios com o Spark Streaming

Agora tu podes acessar Arquivos no Repos a partir de Spark Streaming.

Databricks Utilities adiciona um comando update mount

O novo dbutils.fs.updateMount comando é semelhante ao dbutils.fs.mount, mas este novo comando atualiza um ponto de montagem existente em vez de criar um novo. Consulte o comando updateMount (dbutils.fs.updateMount).

Delta Lake suporta modificação de nomes de colunas (Visualização pública)

Delta Lake agora suporta a renomeação de colunas. Para renomear a coluna de uma tabela Delta, você deve atualizar a versão da tabela Delta e, em seguida, definir o modo de mapeamento de coluna como mapeamento de nomes. ** Consulte Renomear e remover colunas utilizando o mapeamento de colunas no Delta Lake.

O histórico da tabela Delta Lake adiciona informações de versão do Databricks Runtime

Quando uma gravação agora é feita em uma tabela Delta, as informações sobre a versão do Databricks Runtime que fez a gravação também são registradas. Para obter as informações de versão, execute o DESCRIBE HISTORY comando na tabela e, em seguida, veja a engineInfo coluna na saída. Consulte DESCRIBE HISTORY e sobre como trabalhar com o histórico da tabela Delta Lake.

Databricks Utilities adiciona as informações de tempo de modificação mais recentes quando os diretórios são listados

O dbutils.fs.ls comando para listar o conteúdo de um diretório agora gera um modificationTime campo. Este campo contém o tempo de modificação mais recente para cada arquivo ou diretório listado. Consulte o comando ls (dbutils.fs.ls).

O Spark SQL adiciona uma approx_top_k função para retornar os principais itens e suas contagens

A nova approx_top_k função retorna os valores de item que ocorrem com mais freqüência, juntamente com suas contagens aproximadas, para a expressão especificada. Eis alguns exemplos:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

O resultado da execução de qualquer um dos exemplos é:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Consulte a função agregada approx_top_k.

Trigger.AvailableNow agora disponível em Python e Scala

Essa alteração suporta as consultas Trigger.AvailableNow de streaming de origem Delta em Python e Scala. O Databricks Runtime 10.1 introduziu suporte para esse gatilho no Scala. O Databricks Runtime 10.2 agora também suporta esse gatilho em Python. Consulte a cobertura de Trigger.AvailableNow em O que é Auto Loader?.

O Auto Loader agora suporta a evolução do esquema para Avro (Pré-visualização pública)

Consulte Configurar inferência e evolução de esquema no Auto Loader.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock da versão 3.3.1 à versão 3.4.0
  • Atualização do pacote Plotly da versão 5.3.0 para a versão 5.3.1
• Bibliotecas R atualizadas:
  • base de 4.1.1 a 4.1.2
  • compilador de 4.1.1 a 4.1.2
  • conjuntos de dados de 4.1.1 a 4.1.2
  • gráficos de 4.1.1 a 4.1.2
  • grDevices de 4.1.1 a 4.1.2
  • grelha de 4.1.1 a 4.1.2
  • Métodos de 4.1.1 a 4.1.2
  • paralelo de 4.1.1 a 4.1.2
  • Rserve de 1.8-8 a 1.8-10
  • splines de 4.1.1 a 4.1.2
  • Estatísticas de 4.1.1 a 4.1.2
  • stats4 de 4.1.1 a 4.1.2
  • tcltk de 4.1.1 a 4.1.2
  • Ferramentas de 4.1.1 a 4.1.2
  • utils de 4.1.1 a 4.1.2
  • retrocompatibilidades de 1.2.1 a 1.4.0
  • broom de 0.7.9 para 0.7.10
  • CLI de 3.0.1 a 3.1.0
  • cpp11 de 0.4.0 para 0.4.1
  • giz de cera de 1.4.1 a 1.4.2
  • Credenciais de 1.3.1 a 1.3.2
  • futuro de 1.22.1 a 1.23.0
  • gert de 1.4.1 para 1.4.3
  • glmnet de 4.1-2 a 4.1-3
  • cola de 1.4.2 a 1.5.0
  • memoise de 2.0.0 a 2.0.1
  • paralelamente de 1.28.1 a 1.29.0
  • Atualização de Readr de 2.0.2 para 2.1.0
  • sessioninfo de 1.1.1 a 1.2.1
  • stringi de 1.7.5 a 1.7.6
  • Tibble de 3.1.5 a 3.1.6
  • tinytex de 0,34 a 0,35
  • tzdb de 0.1.2 a 0.2.0
  • Atualização do usethis de 2.1.2 para 2.1.3
  • uuid de 0.1-4 para 1.0-3
  • vroom de 1.5.5 a 1.5.6
  • xfun de 0,27 a 0,28
• Bibliotecas Java atualizadas:
  • com.fasterxml.jackson de 2.12.2 a 2.12.3
  • io.airlift.aircompressor de 0,19 a 0,21
  • io.netty.netty-all de 4.1.63.Final a 4.1.68.Final
  • joda-time.joda-time de 2.10.5 a 2.10.10
  • org.apache.commons.commons-compress de 1.20 a 1.21
  • org.apache.orc de 1.6.10 a 1.6.12
  • org.eclipse.jetty de 9.4.40.v20210413 a 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 de 1.0 a 1.2
  • org.scalanlp.breeze_2.12 de 1.0 a 1.2
  • org.org.typelevel.algebra_2.12 de 2.0.0 a 2.0.1
  • org.typelevel.cats-kernel_2.12 de 2.0.0 para 2.0.1

Faísca Apache

O Databricks Runtime 10.2 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-37447] [SQL] Cachear o resultado de LogicalPlan.isStreaming() num val preguiçoso
• [SPARK-37468] [SQL] Suporta intervalos ANSI e TimestampNTZ para UnionEstimation
• [SPARK-37464] [SQL] SCHEMA e DATABASE devem ser simplesmente aliases de NAMESPACE
• [SPARK-37452] [SQL] Char e Varchar quebram a compatibilidade com versões anteriores entre v3.1 e v2
• [SPARK-36861] [SQL] Use yyyy-MM-dd como padrão de data na descoberta de partições
• [SPARK-37456] [SQL] CREATE NAMESPACE deve especificar a localização para o comando v2
• [SPARK-37357] [SQL] Adicionar fator de partição pequeno para reequilibrar partições
• [SPARK-37446] [SQL] Use reflexão para a função getWithoutRegisterFns para permitir diferentes versões do Hive para compilação
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION deve lidar com a localização vazia de forma consistente nos comandos v1 e v2
• [SPARK-36357] [SQL] Suportar eliminação de Timestamp sem fuso horário para ORC
• [SPARK-36346] [SQL] Suporte ao tipo TimestampNTZ na origem do arquivo Orc
• [SPARK-36646] [SQL] Empurre para baixo grupo por coluna de partição para agregação
• [SPARK-34960] [SQL] Otimização de agregação para ORC
• [SPARK-37386] [SQL] Simplifique o OptimizeSkewedJoin para não executar o avaliador de custos
• [SPARK-36073] [SQL] Correções e melhorias nas EquivalentExpressions
• [SPARK-35352] [SQL] Adicionar geração de código para junção de mesclagem de classificação externa completa
• [SPARK-37292] [SQL] Remove a junção externa se ela tiver apenas DISTINCT no lado transmitido com alias
• [SPARK-37371] [SQL] UnionExec deve suportar o formato colunar se todos os subprocessos suportarem o formato colunar
• [SPARK-36645] [SQL] Empurre para baixo o agregado (Mín./Máx./Contagem) para Parquet
• [SPARK-37379] [SQL] Adicionar poda de padrão de árvore à regra CTESubstitution
• [SPARK-37332] [SQL] Permitir intervalos ANSI em ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Otimizar caminho de gravação no provedor de armazenamento de estado RocksDB
• [SPARK-37304] [SQL] Permitir intervalos ANSI na v2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST entre intervalos ANSI e IntegralType
• [SPARK-37289] [SQL] Remover função partitionSchemaOption
• [SPARK-37270] [SQL] Corrigir a inserção de elementos dobráveis nas ramificações da função CaseWhen se elseValue estiver vazio
• [SPARK-35345] [SQL] Adicionar testes de Parquet ao BloomFilterBenchmark
• [SPARK-37341] [SQL] Evite buffer desnecessário e copie na junção de mesclagem de classificação externa completa
• [SPARK-37266] [SQL] O texto da vista só pode ser SELECT consultas
• [SPARK-37288] [PYTHON][3.2] Retroportação após atualização da anotação
• [SPARK-37262] [SQL] Não registre agregados vazios e agrupe por no JDBCScan
• [SPARK-37283] [SQL] Não tente armazenar uma tabela V1 que contenha intervalos ANSI no formato compatível com Hive
• [SPARK-37221] [SQL] A API collect-like no SparkPlan deve suportar saída colunar
• [SPARK-37202] [SQL] Use AnalysisContext para monitorizar funções temporárias referidas
• [SPARK-37023] [CORE] Evite buscar o status de mesclagem quando shuffleMergeEnabled for false para um shuffleDependency durante a nova tentativa
• [SPARK-37307] [CORE] Não obtenha conexão JDBC para partições vazias
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions suporta otimizar nó não-raiz
• [SPARK-36799] [SQL] Passar nome de execução da consulta na CLI
• [SPARK-37261] [SQL] Permite adicionar partições com intervalos ANSI no DSv2
• [SPARK-37203] [SQL] Corrigir NotSerializableException ao observar com TypedImperativeAggregate
• [SPARK-37199] [SQL] Adicionar campo determinístico ao QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback não deve falhar quando tb_frame.f_lineno é Nenhum
• [SPARK-37214] [SQL] Falha na análise de consulta anterior com identificadores inválidos
• [SPARK-37240] [SQL] Manipular intervalos ANSI por ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Use expressões para filtrar partições do Hive no lado do cliente
• [SPARK-32940] [SQL] Recolher, primeiro e último devem ser funções agregadas determinísticas
• [SPARK-37231] [SQL] Gravações/leituras dinâmicas de partições de intervalo ANSI
• [SPARK-37038] [SQL] DSV2 Amostra Pushdown
• [SPARK-36665] [SQL] Adicionar mais simplificações de operador NOT
• [SPARK-37150] [SQL] Migrar DESCRIBE NAMESPACE para usar o comando V2 por padrão
• [SPARK-37196] [SQL] HiveDecimal falha ao aplicar enforcePrecisionScale retorna null
• [SPARK-37212] [SQL] Melhorar a implementação de pushdown agregado.
• [SPARK-37190] [SQL] Melhorar mensagens de erro para Cast no modo ANSI
• [SPARK-37161] [SQL] RowToColumnConverter suporta AnsiIntervalType
• [SPARK-37160] [SQL] Adicionar uma configuração para desativar opcionalmente o preenchimento para o tipo char
• [SPARK-36554] [SQL][python] Expor a expressão make_date em functions.scala
• [SPARK-37200] [SQL] Suporte para eliminar índice na Fonte de Dados V2
• [SPARK-37179] [SQL] Modo ANSI: adicione uma configuração para permitir a conversão entre Data/hora e Numérico
• [SPARK-37168] [SQL] Melhorar mensagens de erro para funções e operadores SQL no modo ANSI
• [SPARK-36935] [SQL] Estenda o ParquetSchemaConverter para calcular a repetição do Parquet e o nível de definição
• [SPARK-37066] [SQL] Melhorar a mensagem de erro para mostrar o caminho do arquivo quando não foi possível ler o próximo arquivo
• [SPARK-32567] [SQL] Adicionar geração de código para junção de hash externa embaralhada completa
• [SPARK-37176] [SQL] Sincronizar a lógica de tratamento de exceções do método JsonInferSchema#infer com o método JacksonParser#parse
• [SPARK-37149] [SQL] Melhorar mensagens de erro para exceções de estouro aritmético no modo ANSI
• [SPARK-37136] [SQL] Remova o código sobre a função buildin do hive, mas não implemente no spark
• [SPARK-16280][SPARK-37082] [SQL] Implementa histogram_numeric função de agregação que suporta agregação parcial.
• [SPARK-36975] [SQL] Corrija as métricas das chamadas do cliente hive no HiveClientImpl

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Escala: 2.12.14
• Píton: 3.8.10
• R: 4.1.2
• Lago Delta: 1.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do CRAN da Microsoft em 30 de novembro de 2021.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)