Partilhar via

Atualizações de manutenção do Databricks Runtime

Este artigo lista atualizações de manutenção para versões suportadas do Databricks Runtime. Para adicionar uma atualização de manutenção a um cluster existente, reinicie o cluster. Para obter as atualizações de manutenção em versões não suportadas do Databricks Runtime, consulte Atualizações de manutenção para o Databricks Runtime (arquivado).

Note

Os lançamentos são feitos de forma faseada. Sua conta do Azure Databricks pode não ser atualizada por alguns dias após a data de lançamento inicial.

Lançamentos do Databricks Runtime

Atualizações de manutenção por versão:

Databricks Runtime 17.3 LTS

Consulte Databricks Runtime 17.3 LTS.

  • 9 de dezembro de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.13 de 1.3.5 a 1.3.6
    • [SPARK-50906][SQL] Corrigir a verificação de nulidade do Avro para campos de struct reordenados
    • [SPARK-54180][SQL] Sobrepor o toString do BinaryFileFormat
    • [SPARK-54427][SQL] Permitir que o ColumnarRow chame copy com tipos variantes
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • [SPARK-52762][SDP] Adicionar mensagem PipelineAnalysisContext para suportar a análise de pipeline durante a execução da consulta Spark Connect
    • [SPARK-54156][PROTOBUF] Classificar erros para falhas de conversão do ProtobufOptions
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54015][PYTHON] Relaxar o requisito do Py4J para py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] O parser variante XML deve voltar para string em caso de erros de análise decimal.
    • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Adicionar uma vez ao Defineflow Proto
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • [SPARK-53729][PYTHON][CONNECT] Corrija a serialização de pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Correção para SparkUnsupportedOperationException Não foi encontrado um codificador do tipo T, ao usar a classe Parameterized
    • [SPARK-53973][Avro] Classificar erros para falha de fundição booleana AvroOptions
    • [SPARK-53794][SS] Adicionar opção para limitar exclusões por operação de manutenção associada ao provedor de estado rocksdb
    • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
    • [SPARK-53972][SS] Corrigir consulta de streaming recenteRegressão de progresso no pyspark clássico
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 17.2

Consulte Databricks Runtime 17.2.

  • 9 de dezembro de 2025
    • Tabelas Delta particionadas terão colunas de partição materializadas em ficheiros de parquet de dados daqui para a frente. Isto permite uma melhor sinergia com a forma como as tabelas Iceberg e UniForm são tratadas, e aumenta a compatibilidade com leitores externos não-Delta.
    • [SPARK-54427][SQL] Permitir que o ColumnarRow chame copy com tipos variantes
    • [SPARK-54180][SQL] Sobrescrever o toString do BinaryFileFormat
    • [SPARK-50906][SQL] Corrigir a verificação de anulabilidade do Avro para campos de struct reordenados
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • [SPARK-54099][SQL] O parser variante XML deve voltar para string em caso de erros de análise decimal.
    • [SPARK-54015][PYTHON] Relaxar o requisito do Py4J para py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k utilizando o Apache DataSketches
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • [SPARK-53973][Avro] Classificar erros para falha de fundição booleana AvroOptions
    • [SPARK-53972][SS] Corrigir consulta de streaming recenteRegressão de progresso no pyspark clássico
    • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Atualizações de segurança do sistema operacional.
  • Outubro 8, 2025
    • [SPARK-53555] Correção: O SparkML-connect não consegue carregar o modelo guardado pelo SparkML (modo legado)
    • [SPARK-53598][SQL] Verifique a existência de numParts antes de ler a propriedade de tabela grande
    • [SPARK-53625][SS] Propagar colunas de metadados através de projeções para resolver a incompatibilidade ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Corrija vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
    • [SPARK-53574] Corrigir o AnalysisContext a ser eliminado durante a resolução do plano aninhado
    • [SPARK-53623][SQL] melhorar a leitura das propriedades de uma tabela grande ...
    • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado da lista for concluído
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2025
    • Corrigido um problema que podia fazer com que o Auto Loader travasse indefinidamente.
    • [SPARK-53362] [ML] [CONNECT] Corrigir erro do carregador local IDFModel
    • [SPARK-53382][SQL] Corrigir bug rCTE com recursão malformada
    • Correção de teste instável retroportada para [SPARK-53345]
    • [SPARK-49872][CORE] Remover a limitação de comprimento de cadeia JSON jackson
    • [SPARK-53423] [SQL] Mova todas as tags relacionadas ao resolvedor de passagem única para ResolverTag
    • [SPARK-53431][PYTHON] Corrija Python UDTF com argumentos de tabela nomeados na API DataFrame
    • [SPARK-53336] [ML] [CONNECT] Redefinir MLCache.totalMLCacheSizeBytes quando MLCache.clear() é chamado
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitar interrupção duplicada
    • [SPARK-53470][SQL] As expressões ExtractValue devem sempre fazer verificação de tipo
    • Seleção específica de [SPARK-53389] Melhorias para a API Pandas no Spark conforme ANSI
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 17.1

Consulte Databricks Runtime 17.1.

  • 9 de dezembro de 2025
    • Tabelas Delta particionadas terão colunas de partição materializadas em ficheiros parquet de dados a partir de agora. Isto permite uma melhor sinergia com a forma como as tabelas Iceberg e UniForm são tratadas, e aumenta a compatibilidade com leitores externos não-Delta.
    • [SPARK-54180][SQL] Sobrescrever o toString do BinaryFileFormat
    • [SPARK-50906][SQL] Corrigir a verificação de anulabilidade no Avro para campos de estrutura reordenados
    • [SPARK-54427][SQL] Permitir que o ColumnarRow chame copy com tipos variantes
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54015][PYTHON] Relaxar o requisito do Py4J para py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k utilizando o Apache DataSketches
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54099][SQL] O parser variante XML deve voltar para string em caso de erros de análise decimal.
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • [SPARK-53972][SS] Corrigir consulta de streaming recenteRegressão de progresso no pyspark clássico
    • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
    • [SPARK-53973][Avro] Classificar erros para falha de fundição booleana AvroOptions
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • [SPARK-53574] Corrigir o AnalysisContext a ser eliminado durante a resolução do plano aninhado
    • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado da lista for concluído
    • [SPARK-53568][CONNECT][PYTHON] Corrija vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
    • [SPARK-53625][SS] Propagar colunas de metadados através de projeções para resolver a incompatibilidade ApplyCharTypePadding
    • [SPARK-53598][SQL] Verifique a existência de numParts antes de ler a propriedade de tabela grande
    • [SPARK-53623][SQL] melhorar a leitura das propriedades de uma tabela grande ...
    • [SPARK-53555] Correção: O SparkML-connect não consegue carregar o modelo guardado pelo SparkML (modo legado)
    • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
    • Atualizações de segurança do sistema operacional.
  • Setembro 16, 2025
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Corrigido um problema que podia fazer com que o Auto Loader travasse indefinidamente.
    • [SPARK-53362] [ML] [CONNECT] Corrigir erro do carregador local IDFModel
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitar interrupção duplicada
    • [SPARK-53382][SQL] Corrigir bug rCTE com recursão malformada
    • [SPARK-53431][PYTHON] Corrija Python UDTF com argumentos de tabela nomeados na API DataFrame
    • [SPARK-53336] [ML] [CONNECT] Redefinir MLCache.totalMLCacheSizeBytes quando MLCache.clear() é chamado
    • [SPARK-49872][CORE] Remover a limitação de comprimento de cadeia JSON jackson
    • Atualizações de segurança do sistema operacional.
  • 25 de agosto de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5
    • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceções para ler certos arquivos zstd corrompidos
    • [SPARK-53192][CONNECT] Sempre armazene em cache uma fonte de dados no cache do plano do Spark Connect
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • [SPARK-52833][SQL] Correção VariantBuilder.appendFloat
    • [SPARK-52961][PYTHON] Corrija UDTF Python otimizado para seta com eval de 0 arg na junção lateral
    • [SPARK-51505][SQL] Sempre mostrar métricas de número de partição vazias em AQEShuffleReadExec
    • [SPARK-52753][SQL] Tornar o binário parseDataType compatível com versões anteriores
    • [SPARK-52842][SQL] Nova funcionalidade e correções de bugs para o analisador de uma única etapa
    • [SPARK-52960][SQL] Mostrar cadeia de caracteres de subárvore em LogicalQueryStage toString
    • [SPARK-53054][CONNECT] Corrija a conexão. Comportamento de formato padrão DataFrameReader
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 17.0

Consulte Databricks Runtime 17.0.

  • 9 de dezembro de 2025
    • Tabelas Delta particionadas terão colunas de partição materializadas em ficheiros de parquet de dados daqui para a frente. Isto permite uma melhor sinergia com a forma como as tabelas Iceberg e UniForm são tratadas, e aumenta a compatibilidade com leitores externos não-Delta.
    • Tanto para o conector Snowflake quanto para a Snowflake Lakehouse Federation, TIMESTAMP_NTZ (carimbo de data/hora sem fuso horário) os literais não são mais transferidos para o Snowflake. Essa alteração evita falhas de consulta causadas por manipulação de carimbo de data/hora incompatível e melhora a confiabilidade das consultas afetadas.
    • [SPARK-54427][SQL] Permitir que o ColumnarRow chame copy com tipos variantes
    • [SPARK-54180][SQL] Sobrepor o toString do BinaryFileFormat
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54099][SQL] O parser variante XML deve voltar para string em caso de erros de análise decimal.
    • [SPARK-54015][PYTHON] Relaxar o requisito do Py4J para py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
    • [SPARK-53972][SS] Corrigir consulta de streaming recenteRegressão de progresso no pyspark clássico
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • [SPARK-53598][SQL] Verifique a existência de numParts antes de ler a propriedade de tabela grande
    • [SPARK-53568][CONNECT][PYTHON] Corrija vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
    • [SPARK-53574] Corrigir o AnalysisContext a ser eliminado durante a resolução do plano aninhado
    • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado da lista for concluído
    • [SPARK-53623][SQL] melhorar a leitura das propriedades de uma tabela grande ...
    • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
    • Atualizações de segurança do sistema operacional.
  • Setembro 16, 2025
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Corrigido um problema que podia fazer com que o Auto Loader travasse indefinidamente.
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitar interrupção duplicada
    • [SPARK-53336] [ML] [CONNECT] Redefinir MLCache.totalMLCacheSizeBytes quando MLCache.clear() é chamado
    • [SPARK-49872][CORE] Remover a limitação de comprimento de cadeia JSON jackson
    • [SPARK-53431][PYTHON] Corrija Python UDTF com argumentos de tabela nomeados na API DataFrame
    • [SPARK-53382][SQL] Corrigir bug rCTE com recursão malformada
    • Atualizações de segurança do sistema operacional.
  • 26 de agosto de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5
    • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceções para ler certos arquivos zstd corrompidos
    • [SPARK-53192][CONNECT] Sempre armazene em cache uma fonte de dados no cache do plano do Spark Connect
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • [SPARK-51505][SQL] Sempre mostrar métricas de número de partição vazias em AQEShuffleReadExec
    • [SPARK-53054][CONNECT] Corrija a conexão. Comportamento de formato padrão DataFrameReader
    • [SPARK-52961][PYTHON] Corrija UDTF Python otimizado para seta com eval de 0 arg na junção lateral
    • [SPARK-52833][SQL] Correção VariantBuilder.appendFloat
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • [SPARK-51889][PYTHON][SS] Corrija um bug para MapState clear() em Python TWS
    • [SPARK-52753][SQL] Tornar o binário parseDataType compatível com versões anteriores
    • [SPARK-49428][SQL] Move Connect Scala Client do conector para o SQL
    • Atualizações de segurança do sistema operacional.
  • Julho 15, 2025
    • Corrigido um problema de perda de dados não determinístico ao usar o Spark Structured Streaming para transmitir dados do Pulsar.
    • [SPARK-52430][SQL] Corrigir bug com nulabilidade da Union em rCTEs
    • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
    • [SPARK-52579][PYTHON] Configurar dump de traceback periódico para trabalhadores Python
    • [SPARK-52450] Melhorar o desempenho do esquema deepcopy
    • [SPARK-52599][PYTHON] Suporte para o despejo periódico de traceback nos trabalhadores do lado do servidor principal
    • [SPARK-52553][SS] Corrigir NumberFormatException ao ler o changelog v1
    • Atualizações de segurança do sistema operacional.
  • Maio 28, 2025
    • Bibliotecas Python atualizadas:
      • google-auth de 2.40.0 a 2.40.1
      • mlflow-skinny de 2.22.0 a 3.0.0
      • OpenTelemetry-API de 1.32.1 a 1.33.0
      • OpenTelemetry-SDK de 1.32.1 a 1.33.0
      • OpenTelemetria-Semântica-Convenções de 0,53b1 a 0,54b0
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.13 de 1.3.0 a 1.3.3
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • Corrija a limitação de que a cloud_files_state função TVF não pode ser usada para ler o estado no nível de arquivo de tabelas de streaming entre pipelines
    • Corrige problemas de autorização do Catálogo Unity para consultas em exibições temporárias.
    • Sinalizador invertido em 17.0.1, implementado o flag SAFE em todos os workspaces na versão 17.0.0
    • Suporte ao Delta Sharing para usar o cache de E/S do Spark Parquet para consultas que usam URLs pré-assinadas (disponível a partir da versão 17.0.1).
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • O conector Teradata agora passará um TMODE=ANSI para o driver por padrão. Isso significa que todas as comparações de strings feitas via Lakehouse Federation serão sensíveis a maiúsculas e minúsculas.
    • [SPARK-51921][SS][PYTHON] Use o tipo long para a duração do TTL em milissegundos em transformWithState
    • [SPARK-52259][ML][CONNECT] Corrigir compatibilidade binária da classe Param
    • [SPARK-52195][PYTHON][SS] Corrigir o problema de eliminação da coluna de estado inicial para Python TWS
    • [SPARK-52057] [ML] [CONNECT] Recolher mensagens de aviso sobre o limite de tamanho de árvore para o cliente
    • [SPARK-52051] [ML] [CONNECT] Ativar resumo do modelo quando o controlo de memória está ativado
    • [SPARK-51606][CONNECT] Adicione SPARK_IDENT_STRING ao parar o servidor Spark Connect
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar a SQLConf dinamicamente
    • [SPARK-52232][SQL] Corrija consultas não determinísticas para produzir resultados diferentes em cada etapa
    • [SPARK-52013] [CONNECT] [ML] Remover SparkConnectClient.ml_caches
    • [SPARK-52353][SQL] Corrigir bug com restrições erradas em LogicalRDDs fazendo referência a iterações anteriores no UnionLoop
    • [SPARK-52130] [ML] [CONNECT] Refine a mensagem de erro e oculte a configuração interna do spark
    • [SPARK-52470][ML][CONNECT] Descarregamento do resumo do modelo de suporte
    • [SPARK-51935][SQL] Corrija o comportamento preguiçoso dos iteradores no df.collect() interpretado
    • [SPARK-52482][SQL][CORE] Suporte ZStandard para leitor de fonte de dados de arquivo
    • [SPARK-52159][SQL] Realizar corretamente a verificação da existência de tabelas para os dialetos JDBC
    • [FAÍSCA-52010] Não gerar documentação de API para classes internas
    • [SPARK-52049] Corrigir o erro de que os atributos XML não podem ser analisados como Variant
    • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar em cache um DataFrame
    • [SPARK-52229][ML][CONNECT] Melhorar a estimativa do tamanho do modelo
    • [SPARK-50815][PYTHON] Corrigir dados locais variantes para conversão com Arrow
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
    • [SPARK-51981][SS] Adicionar JobTags a queryStartedEvent
    • [CORRIGIR REVERSÃO][Spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Habilitar a substituição do limite de nível de recursão na sintaxe
    • [SPARK-52101][SQL] Desativar o Forçamento em Linha para rCTEs
    • [SPARK-52099][SQL] Habilitar a substituição do limite de linha de recursão adicionando um LIMIT operador
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 16.4 LTS

Consulte Databricks Runtime 16.4 LTS.

  • 9 de dezembro de 2025
    • Tabelas Delta particionadas terão colunas de partição materializadas em ficheiros de dados no formato parquet daqui em diante. Isto permite uma melhor sinergia com a forma como as tabelas Iceberg e UniForm são tratadas, e aumenta a compatibilidade com leitores externos não-Delta.
    • Tanto para o conector Snowflake quanto para a Snowflake Lakehouse Federation, TIMESTAMP_NTZ (carimbo de data/hora sem fuso horário) os literais não são mais transferidos para o Snowflake. Essa alteração evita falhas de consulta causadas por manipulação de carimbo de data/hora incompatível e melhora a confiabilidade das consultas afetadas.
    • [SPARK-54427][SQL] Permitir que o ColumnarRow chame copy com tipos variantes
    • [SPARK-54180][SQL] Sobrepor o toString do BinaryFileFormat
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54099][SQL] O parser variante XML deve voltar para string em caso de erros de análise decimal.
    • [SPARK-54015][PYTHON] Relaxar o requisito do Py4J para py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54156][PROTOBUF] Classificar erros para falhas de conversão do ProtobufOptions
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • Bibliotecas R atualizadas:
      • seta de 16.1.0 para 21.0.0
    • [SPARK-53973][Avro] Classificar erros para falha de fundição booleana AvroOptions
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • [SPARK-53568][CONNECT][PYTHON] Corrija vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
    • [SPARK-53574] Corrigir o AnalysisContext a ser eliminado durante a resolução do plano aninhado
    • [SPARK-53623][SQL] melhorar a leitura das propriedades de uma tabela grande ...
    • [SPARK-53598][SQL] Verifique a existência de numParts antes de ler a propriedade de tabela grande
    • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado da lista for concluído
    • Atualizações de segurança do sistema operacional.
  • Setembro 16, 2025
    • O conector Snowflake agora usa a INFORMATION_SCHEMA tabela em vez do SHOW SCHEMAS comando para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Corrigido um problema que podia fazer com que o Auto Loader travasse indefinidamente.
    • Corrige um erro transitório no Auto Loader que pode fazer com que os trabalhos falhem
    • [SPARK-49872][CORE] Remover a limitação de comprimento de cadeia JSON jackson
    • [SPARK-51821][CORE] Call interrupt() sem segurar uninterruptibleLock para evitar possíveis impasses
    • Atualizações de segurança do sistema operacional.
  • 26 de agosto de 2025
    • Bibliotecas Java atualizadas:
      • (Scala 2.12 apenas) io.delta.delta-sharing-client_2.12 de 1.2.7 a 1.2.8
      • (Apenas Scala 2.13) io.delta.delta-sharing-client_2.13 de 1.2.7 a 1.2.8
    • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceções para ler certos arquivos zstd corrompidos
    • [SPARK-53192][CONNECT] Sempre armazene em cache uma fonte de dados no cache do plano do Spark Connect
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • [SPARK-51011][CORE] Adicionar log para saber se uma tarefa será interrompida quando morta
    • [SPARK-52833][SQL] Correção VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Sempre mostrar métricas de número de partição vazias em AQEShuffleReadExec
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • [SPARK-52753][SQL] Tornar o binário parseDataType compatível com versões anteriores
    • Atualizações de segurança do sistema operacional.
  • Julho 15, 2025
    • Corrigido um problema de perda de dados não determinístico ao usar o Spark Structured Streaming para transmitir dados do Pulsar.
    • [SPARK-52579][PYTHON] Configurar dump de traceback periódico para trabalhadores Python
    • [SPARK-52553][SS] Corrigir NumberFormatException ao ler o changelog v1
    • [SPARK-52450] Melhorar o desempenho do esquema deepcopy
    • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
    • [SPARK-52599][PYTHON] Suporte para o despejo periódico de traceback nos trabalhadores do lado do servidor principal
    • Atualizações de segurança do sistema operacional.
  • 1 de julho de 2025
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar a SQLConf dinamicamente
    • [SPARK-52482][SQL][CORE] Suporte ZStandard para leitor de fonte de dados de arquivo
    • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar em cache um DataFrame
    • Atualizações de segurança do sistema operacional.
  • Junho 17, 2025
    • Corrigida a limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado das tabelas de streaming a nível de arquivo entre pipelines.
    • Corrigidos problemas de autorização do Catálogo Unity para consultas em exibições temporárias.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
    • Atualizações de segurança do sistema operacional.
  • 3 de junho de 2025
    • [SPARK-52195][PYTHON][SS] Corrigir o problema de eliminação da coluna de estado inicial para Python TWS
    • [SPARK-52159][SQL] Realizar corretamente a verificação da existência de tabelas para os dialetos JDBC
    • Correções de bugs diversos.
  • Maio 7, 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.13 de 1.2.3 a 1.2.7
      • org.apache.avro.avro de 1.11.3 a 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
    • A sessão de streaming clonada será usada dentro da função do utilizador foreachBatch em Clusters Partilhados/Serverless. Isso está alinhado com o comportamento no modo clássico (Clusters atribuídos).
    • A sessão de streaming clonada será usada dentro da função do utilizador foreachBatch em Clusters Partilhados/Serverless. Isso está alinhado com o comportamento no modo clássico (Clusters atribuídos).
    • Antes dessa alteração, os espaços em branco e guias iniciais em caminhos na expressão eram ignorados quando o Photon estava desativado. Por exemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') não seria eficaz na extração do valor de "key". No entanto, os usuários poderão extrair essas chaves agora.
    • [SPARK-51935][SQL] Corrija o comportamento preguiçoso dos iteradores no df.collect() interpretado
    • [SPARK-51921][SS][PYTHON] Use o tipo long para a duração do TTL em milissegundos em transformWithState
    • [SPARK-51940][SS] Adicionar interface para gerenciar metadados de ponto de verificação de streaming
    • [SPARK-52049] Corrigir o erro de que os atributos XML não podem ser analisados como Variant
    • [SPARK-51904][SS] Removendo a limpeza assíncrona de metadados para StateSchemaV3 e ignorando arquivos que não são em lote ao listar arquivos OperatorMetadata
    • [SPARK-51869][SS] Criar classificação para erros do usuário em UDFs para Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Corrija um bug para MapState clear() em Python TWS
    • [SPARK-51922] [SS] Corrigir UTFDataFormatException lançada por StateStoreChangelogReaderFactory para v1
    • [SPARK-51848][SQL] Corrigir a análise de registos XML com esquema definido de arrays/structs/map de Variant
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 16.2

Consulte Databricks Runtime 16.2 (EoS).

  • 14 de agosto de 2025
    • [SPARK-51011][CORE] Adicionar log para saber se uma tarefa será interrompida quando morta
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • Atualizações de segurança do sistema operacional.
  • Julho 15, 2025
    • Corrigido um problema de perda de dados não determinístico ao usar o Spark Structured Streaming para transmitir dados do Pulsar.
    • [SPARK-52553][SS] Corrigir NumberFormatException ao ler o changelog v1
    • Atualizações de segurança do sistema operacional.
  • 1 de julho de 2025
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar a SQLConf dinamicamente
    • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar em cache um DataFrame
    • [SPARK-52482][SQL][CORE] Suporte ZStandard para leitor de fonte de dados de arquivo
    • Atualizações de segurança do sistema operacional.
  • Junho 17, 2025
    • Corrigida a limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado das tabelas de streaming a nível de arquivo entre pipelines.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
    • Atualizações de segurança do sistema operacional.
  • 3 de junho de 2025
    • Bibliotecas Python atualizadas:
      • Criptografia de 41.0.7, 41.0.7, 42.0.5 a 42.0.5
      • embalagem de 24.0, 24.1 até 24.1
      • platformdirs de 3.10.0, 4.2.2 a 3.10.0
      • pyparsing de 3.0.9 e 3.1.1 para 3.0.9
      • Adicionado autocommand 2.2.2
      • Adicionado backports.tarfile versão 1.2.0
      • adicionado importlib_resources 6.4.0
      • Inflect adicionado 7.3.1
      • Adicionado jaraco.context 5.3.0
      • Adicionado jaraco.functools 4.0.1
      • Foi adicionado o jaraco.text 3.12.1
      • Adicionado mais-itertools 10.3.0
      • Adicionado pip 24.2
      • Adicionado setuptools 74.0.0
      • Adicionado tomli 2.0.1
      • Atualização para typeguard 4.3.0
      • Foi adicionado wcwidth 0.2.5
      • Adicionada roda 0.43.0
      • Removido distro 1.9.0
      • Removido distro-info 1.7+build1
      • Removido python-apt 2.7.7+ubuntu4
    • [SPARK-52159][SQL] Realizar corretamente a verificação da existência de tabelas para os dialetos JDBC
    • [SPARK-52195][PYTHON][SS] Corrigir o problema de eliminação da coluna de estado inicial para Python TWS
    • Atualizações de segurança do sistema operacional.
  • Maio 20, 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.12 de 1.2.6 a 1.2.7
      • org.apache.avro.avro de 1.11.3 a 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
    • A sessão de streaming clonada será usada dentro da função do utilizador foreachBatch em Clusters Partilhados/Serverless. Isso está alinhado com o comportamento no modo clássico (Clusters atribuídos).
    • A sessão de streaming clonada será usada dentro da função do utilizador foreachBatch em Clusters Partilhados/Serverless. Isso está alinhado com o comportamento no modo clássico (Clusters atribuídos).
    • Antes dessa alteração, os espaços em branco e guias iniciais em caminhos na expressão eram ignorados quando o Photon estava desativado. Por exemplo, select variant_get(parse_json('{"key": "value"}'), '$[' key']') não seria eficaz na extração do valor de "key". No entanto, os usuários poderão extrair essas chaves agora.
    • [SPARK-51935][SQL] Corrija o comportamento preguiçoso dos iteradores no df.collect() interpretado
    • [SPARK-51921][SS][PYTHON] Use o tipo long para a duração do TTL em milissegundos em transformWithState
    • Atualizações de segurança do sistema operacional.
  • 22 de abril de 2025
    • [SPARK-51717][SS][RocksDB] Corrigir a corrupção por incompatibilidade de SST que pode ocorrer no segundo instantâneo criado para uma nova consulta
    • Reverter "[SPARK-47895][SQL] agrupar por alias deve ser idempotente" nas versões 15.4, 16.0, 16.1, 16.2 e 16.3
    • Atualizações de segurança do sistema operacional.

  • 9 de abril de 2025

    • Bibliotecas Java atualizadas:
      • Removido io.starburst.openjson.openjson 1.8-e.12
      • Removido io.starburst.openx.data.json-serde 1.3.9-e.12
      • Removido io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] grupo por alias deve ser idempotente
    • [SPARK-51505][SQL] Registrar métricas do número de partições vazias no coalesce AQE
    • [SPARK-51624][SQL] Propagar os metadados de GetStructField em CreateNamedStruct.dataType
    • [SPARK-51589][SQL] Corrigir pequeno bug ao não verificar funções agregadas em |>SELECT
    • Atualizações de segurança do sistema operacional.

  • 11 de março de 2025

    • Databricks Runtime 14.3 LTS e versões superiores incluem uma correção para um problema que causou incompatibilidades binárias com o código que instanciou uma classe SparkListenerApplicationEnd e foi compilado contra o Apache Spark. Esta incompatibilidade resultou da fusão do SPARK-46399 no Apache Spark. Essa mesclagem incluiu uma alteração que adicionou um argumento padrão ao construtor SparkListenerApplicationEnd. Para restaurar a compatibilidade binária, essa correção adiciona um único construtor de argumento para a classe SparkListenerApplicationEnd.
    • Reverter "[SPARK-48273][SQL] Corrigir reescrita atrasada de PlanWithUnresolvedIdentifier"
    • [SPARK-50985][SS] Classify Kafka Timestamp Offsets erro de incompatibilidade em vez de afirmar e lançar erro para servidor ausente em KafkaTokenProvider
    • [SPARK-51065][SQL] Não permitir esquema não anulável quando a codificação Avro é usada para TransformWithState
    • [SPARK-51237][SS] Adicione detalhes da API para novas APIs auxiliares transformWithState conforme necessário
    • [SPARK-51222][SQL] Otimizar ReplaceCurrentLike
    • [SPARK-51351][SS] Não materialize a saída no Python worker para TWS
    • [SPARK-51084][SQL] Atribua a classe de erro apropriada para negativeScaleNotAllowedError
    • [SPARK-51249][SS] Corrigindo a codificação NoPrefixKeyStateEncoder e Avro para usar o número correto de bytes de versão
    • Atualizações de segurança do sistema operacional.

  • 5 de fevereiro de 2025

    • Esta versão inclui uma correção para um problema que afeta a conversão de determinados tipos de dados ao serializar colunas de dados XML resgatadas. Os tipos de dados afetados são datas, carimbos de data/hora do tipo não NTZ e decimais quando o prefersDecimal está ativado. Para saber mais sobre a coluna de dados resgatados, consulte O que é a coluna de dados resgatados?.
    • [SPARK-50770][SS] Removendo o escopo de pacote das APIs do operador transformWithState
    • Atualizações de segurança do sistema operacional.

Databricks Tempo de execução 15.4 LTS

Consulte Databricks Runtime 15.4 LTS.

  • 9 de dezembro de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.12 de 1.1.7 a 1.1.9
    • [SPARK-54427][SQL] Permitir que o ColumnarRow chame copy com tipos variantes
    • [SPARK-52579][PYTHON] Configurar dump de traceback periódico para trabalhadores Python
    • [SPARK-54180][SQL] Sobrepor o toString do BinaryFileFormat
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • Bibliotecas R atualizadas:
      • seta de 14.0.0.2 para 21.0.0
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Os critérios de fotonização de varredura são atualizados para permitir a fotonização de varredura quando é necessária a verificação de checksum.
      Determinar se a verificação do checksum é necessária agora vem da configuração do hadoop em vez da SQLConf.
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • [SPARK-53568][CONNECT][PYTHON] Corrija vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
    • [SPARK-53574] Corrigir o AnalysisContext a ser eliminado durante a resolução do plano aninhado
    • Correções de bugs diversos.
  • Setembro 16, 2025
    • O conector Snowflake agora usa a INFORMATION_SCHEMA tabela em vez do SHOW SCHEMAS comando para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.
    • [SPARK-50870][SQL] Adicionar o fuso horário ao converter para timestamp em V2ScanRelationPushDown
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Corrigido um problema que podia fazer com que o Auto Loader travasse indefinidamente.
    • Corrige um erro transitório no Auto Loader que pode fazer com que os trabalhos falhem
    • [SPARK-51821][CORE] Call interrupt() sem segurar uninterruptibleLock para evitar possíveis impasses
    • [SPARK-49872][CORE] Remover a limitação de comprimento de cadeia JSON jackson
    • Atualizações de segurança do sistema operacional.
  • 26 de agosto de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.12 de 1.1.6 a 1.1.7
    • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceções para ler certos arquivos zstd corrompidos
    • [SPARK-53192][CONNECT] Sempre armazene em cache uma fonte de dados no cache do plano do Spark Connect
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • [SPARK-51011][CORE] Adicionar log para saber se uma tarefa será interrompida quando morta
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • Atualizações de segurança do sistema operacional.

  • Julho 21, 2025

    • Para computação habilitada para Photon ou que usa CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

  • Julho 15, 2025

    • Corrigido um problema de perda de dados não determinístico ao usar o Spark Structured Streaming para transmitir dados do Pulsar.
    • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
  • 1 de julho de 2025
    • Bibliotecas Java atualizadas:
      • org.mlflow.mlflow-spark_2.12 de 2.9.1 a 2.11.3
      • Removido com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Removido org.slf4j.slf4j-simple 1.7.25
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar a SQLConf dinamicamente
    • [SPARK-52482][SQL][CORE] Suporte ZStandard para leitor de fonte de dados de arquivo
    • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar em cache um DataFrame
    • Atualizações de segurança do sistema operacional.
  • Junho 17, 2025
    • Corrigida a limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado das tabelas de streaming a nível de arquivo entre pipelines.
    • [SPARK-49646][SQL] corrigir a descorrelação de subconsultas para operações de união/conjunto quando parentOuterReferences contém referências não cobertas em collectedChildOuterReferences
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
  • 3 de junho de 2025
    • Bibliotecas Python atualizadas:
      • Criptografia de 3.4.8, 41.0.3 a 41.0.3
      • filelock de 3.13.4, 3.15.4 para 3.13.4
      • importlib-metadata de 4.6.4 e 6.0.0 para 6.0.0
      • platformdirs da versão 3.10.0, 3.11.0 para a versão 3.10.0
      • pyparsing de 2.4.7, 3.0.9 a 3.0.9
      • zipp de 1.0.0, 3.11.0 a 3.11.0
      • Adicionado pip 23.2.1
      • Adicionado setuptools 68.0.0
      • Foi adicionado wcwidth 0.2.5
      • Adicionada roda 0.38.4
      • Distro 1.7.0 removido
      • Removido distro-info 1.1 + ubuntu0.2
      • Removido python-apt 2.4.0+ubuntu4
    • Bibliotecas Java atualizadas:
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-nativas para 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-native para 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives para 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-nativos para 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 para 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 a 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 para 1.6.2
    • [SPARK-52159][SQL] Realizar corretamente a verificação da existência de tabelas para os dialetos JDBC
    • Atualizações de segurança do sistema operacional.
  • Maio 20, 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.12 de 1.1.5 a 1.1.6
    • A sessão de streaming clonada será usada dentro da função do utilizador foreachBatch em Clusters Partilhados/Serverless. Isso está alinhado com o comportamento no modo clássico (Clusters atribuídos).
    • Antes dessa alteração, os espaços em branco e guias iniciais em caminhos na expressão eram ignorados quando o Photon estava desativado. Por exemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') não seria eficaz na extração do valor de "key". No entanto, os usuários poderão extrair essas chaves agora.
    • [SPARK-51935][SQL] Corrija o comportamento preguiçoso dos iteradores no df.collect() interpretado
    • Atualizações de segurança do sistema operacional.
  • 22 de abril de 2025
    • Bibliotecas Java atualizadas:
      • org.apache.avro.avro de 1.11.3 a 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
    • Reverter "[SPARK-47895][SQL] agrupar por alias deve ser idempotente" nas versões 15.4, 16.0, 16.1, 16.2 e 16.3
    • [SPARK-50682][SQL] Alias interno deve ser canonicalizado
    • Atualizações de segurança do sistema operacional.
  • 9 de abril de 2025
    • (Mudança de comportamento) Para aplicar patches de segurança críticos, a versão padrão do Python é atualizada para Python 3.11.11 do Python 3.11.0rc1. Esta atualização pode afetar algumas cargas de trabalho em execução no Databricks Runtime 15.4 LTS, como cargas de trabalho que usam a serialização Python para armazenar e restaurar o estado entre execuções ou cargas de trabalho que fixam na versão 3.11.0 do Python.
    • Bibliotecas Java atualizadas:
      • Removido io.starburst.openjson.openjson 1.8-e.12
      • Removido io.starburst.openx.data.json-serde 1.3.9-e.12
      • Removido io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] grupo por alias deve ser idempotente
    • [SPARK-51624][SQL] Propagar os metadados de GetStructField em CreateNamedStruct.dataType
    • Atualizações de segurança do sistema operacional.
  • 31 de março de 2025
    • Para computação não habilitada para Photon, databricks-feature-engineering é atualizado para 0.8.0. Para computação habilitada para Photon, databricks-feature-engineering permanece em 0.6.0.

  • 11 de março de 2025

    • Databricks Runtime 14.3 LTS e versões superiores incluem uma correção para um problema que causou incompatibilidades binárias com o código que instanciou uma classe SparkListenerApplicationEnd e foi compilado contra o Apache Spark. Esta incompatibilidade resultou da fusão do SPARK-46399 no Apache Spark. Essa mesclagem incluiu uma alteração que adicionou um argumento padrão ao construtor SparkListenerApplicationEnd. Para restaurar a compatibilidade binária, essa correção adiciona um único construtor de argumento para a classe SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Classify Kafka Timestamp Offsets erro de incompatibilidade em vez de afirmar e lançar erro para servidor ausente em KafkaTokenProvider
    • [SPARK-50791][SQL] Corrigir NPE no tratamento de erros do State Store
    • [SPARK-50310][PYTHON] Melhorar o desempenho da coluna quando o DQC está desativado
    • [SPARK-51222][SQL] Otimizar ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Pequena melhoria no log para o ListenerBus de Consulta de Streaming do lado do servidor
    • [SPARK-51084][SQL] Atribua a classe de erro apropriada para negativeScaleNotAllowedError
    • Atualizações de segurança do sistema operacional.

  • Fevereiro 11, 2025

    • Esta versão inclui uma correção para um problema que afeta a conversão de determinados tipos de dados ao serializar colunas de dados XML resgatadas. Os tipos de dados afetados são datas, carimbos de data/hora do tipo não NTZ e decimais quando o prefersDecimal está ativado. Para saber mais sobre a coluna de dados resgatados, consulte O que é a coluna de dados resgatados?.
    • [SPARK-50492][SS] Corrija java.util.NoSuchElementException quando a coluna de hora do evento é descartada após dropDuplicatesWithinWatermark
    • Atualizações de segurança do sistema operacional.
    • Para computação não habilitada para Photon, mlflow-skinny é atualizado para 2.19.0. Para computação compatível com Photon, mlflow-skinny permanece em 2.13.1.
  • 10 de dezembro de 2024
    • A declaração USE CATALOG apoia agora a cláusula IDENTIFIER. Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.
    • Esta versão inclui uma correção para um problema que pode fazer com que a chave primária numa tabela Delta seja descartada em determinados casos extremos relacionados a compactação automática em segundo plano.
    • Com esta versão, o tamanho do cache usado por um SSD em um nó de computação Databricks expande-se dinamicamente até alcançar o tamanho inicial do SSD e diminui quando necessário, até o limite de spark.databricks.io.cache.maxDiskUsage. Consulte Otimizar o desempenho com cache no Azure Databricks.
    • O pacote pyodbc é atualizado da versão 4.0.38 para a versão 4.0.39. Esta alteração é necessária porque um bug foi encontrado na versão 4.0.38 e essa versão foi removida do PyPI.
    • [SPARK-50329][SQL] corrigir InSet$toString
    • [SPARK-47435][SQL] Corrige problema de overflow do MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Adicionar suporte para expressão IDENTIFIER na SETCATALOG instrução
    • [SPARK-50426][PYTHON] Evite a pesquisa de fontes de dados Python estáticas ao usar fontes de dados incorporadas ou Java
    • [SPARK-48863][SQL] Corrija ClassCastException ao analisar JSON com "spark.sql.json.enablePartialResults" ativado
    • [SPARK-50310][PYTHON] Adicionar um sinalizador para desativar DataFrameQueryContext para PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Corrija a comunicação incorreta de erros fatais como exceções não detetadas em SparkUncaughtExceptionHandler
    • Atualizações de segurança do sistema operacional.
  • 26 de novembro de 2024
    • Com esta versão, agora você pode consultar a função vector_search usando query_text para entrada de texto ou query_vector para incorporar entrada.
    • Agora você pode definir um tempo limite para consultas do Spark Connect usando a propriedade de configuração do Spark spark.databricks.execution.timeout. Para notebooks executados em computação sem servidor, o valor padrão é 9000 (segundos). Os trabalhos executados na computação sem servidor e na computação com modo de acesso padrão não têm um tempo limite, a menos que essa propriedade de configuração esteja definida. Uma execução que dura mais do que o tempo limite especificado resulta em um erro de QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Corrigir identificador parametrizado em uma subconsulta
    • [SPARK-49615] [ML] Fazer com que a validação de esquema do conjunto de dados de todos os transformadores de características de ML esteja em conformidade com a configuração "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET deve preservar a ordenação de dados
    • Atualizações de segurança do sistema operacional.
  • 5 de novembro de 2024
    • (Mudança de rutura) No Databricks Runtime 15.4 LTS e superior, a manipulação de expressões regulares no Photon é atualizada para corresponder ao comportamento do tratamento de expressões regulares do Apache Spark. Anteriormente, as funções de expressão regular executadas pelo Photon, como split() e regexp_extract(), aceitavam algumas expressões regulares rejeitadas pelo analisador Spark. Para manter a consistência com o Apache Spark, as consultas Photon agora falharão para expressões regulares que o Spark considera não válidas. Devido a essa alteração, você poderá ver erros se o código do Spark incluir expressões regulares inválidas. Por exemplo, a expressão split(str_col, '{'), que contém uma chave não correspondente e foi anteriormente aceita por Photon, agora não funciona. Para corrigir essa expressão, você pode escapar do caractere de chave: split(str_col, '\\{'). O comportamento de Photon e Spark também diferiu na correspondência de expressões regulares de caracteres não-ASCII. Isso também é atualizado para que o Photon corresponda ao comportamento do Apache Spark.
    • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [SPARK-49867][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
    • [SPARK-49863][SQL] Corrija NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [SPARK-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo a fluxo (correção de exatidão)
    • [SPARK-49905] Use ShuffleOrigin dedicado para operador com estado para evitar que o shuffle seja modificado pelo AQE
    • [SPARK-46632][SQL] Corrija a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [SPARK-49443][SQL][PYTHON] Implementar a expressão to_variant_object e garantir que expressões de schema_of_variant imprimam OBJECT para objetos variante
    • [SPARK-49615] Correção: Para que a validação do esquema da coluna de ML esteja em conformidade com a configuração do Sparkspark.sql.caseSensitive.
  • Outubro 22, 2024
    • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [SPARK-49867][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
    • [SPARK-49863][SQL] Corrija NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [SPARK-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo a fluxo (correção de exatidão)
    • [SPARK-49905] Use ShuffleOrigin dedicado para operador com estado para evitar que o shuffle seja modificado pelo AQE
    • [SPARK-46632][SQL] Corrija a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [SPARK-49443][SQL][PYTHON] Implementar a expressão to_variant_object e garantir que expressões de schema_of_variant imprimam OBJECT para objetos variante
    • [SPARK-49615] Correção: Para que a validação do esquema da coluna de ML esteja em conformidade com a configuração do Sparkspark.sql.caseSensitive.
  • 10 de outubro de 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
    • [SPARK-49688][CONNECT] Corrigir uma corrida de dados entre o plano de interrupção e execução
    • [BACKPORT] [SPARK-49474][SS] Classificar a Classe de Erro para erro de função FlatMapGroupsWithState
    • [SPARK-49460][SQL] Acompanhamento: corrigir um risco potencial de NPE
  • 25 de setembro de 2024
    • [SPARK-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [SPARK-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Tentativa de reanexação em ExecutionHolder inativo
    • [SPARK-49458][CONNECT][PYTHON] Forneça ID de sessão do lado do servidor via ReattachExecute
    • [SPARK-49017][SQL] A instrução Insert falha quando vários parâmetros estão sendo usados
    • [SPARK-49451] Permitir chaves duplicadas no parse_json.
    • Correções de bugs diversos.
  • 17 de setembro de 2024
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor suportando colunas de entrada aninhadas
    • [SPARK-49409][CONNECT] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Suporte para caminhos ao estilo Windows no ArtifactManager
    • Reverter "[SPARK-48482][PYTHON] dropDuplicates e dropDuplicatesWIthinWatermark devem aceitar argumentos de comprimento variável"
    • [SPARK-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [SPARK-49366][CONNECT] Tratar o nó União como folha na resolução da coluna do dataframe
    • [SPARK-49018][SQL] Corrigir approx_count_distinct não está funcionando corretamente com o agrupamento
    • [SPARK-49460][SQL] Remover cleanupResource() de EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [SPARK-49336][CONNECT] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
  • 29 de agosto de 2024
    • A saída de uma instrução SHOW CREATE TABLE agora inclui quaisquer filtros de linha ou máscaras de coluna definidas numa vista materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtros de linha e máscaras de coluna.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações de streaming.
    • [SPARK-48941][SPARK-48970] Correções de gravador/leitor de backport ML
    • [SPARK-49074][SQL] Corrigir variante com df.cache()
    • [SPARK-49263][CONNECT] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [SPARK-48955][SQL] Incluir alterações do ArrayCompact na versão 15.4
    • [SPARK-48937][SQL] Adicionar suporte de agrupamento para expressões de cadeia de caracteres StringToMap
    • [SPARK-48929] Corrigir erro interno de visão e limpar o contexto de exceção do analisador
    • [SPARK-49125][SQL] Permitir nomes de colunas duplicados na escrita CSV
    • [SPARK-48934][SS] Tipos de data/hora do Python convertidos incorretamente para definir o timeout em applyInPandasWithState
    • [SPARK-48843] Evite ciclo infinito com parâmetros de ligação
    • [SPARK-48981] Corrigir o método simpleString de StringType no PySpark para agrupamentos
    • [SPARK-49065][SQL] Rebasing em formatadores/analisadores legados deve suportar fusos horários que não sejam o padrão da JVM
    • [SPARK-48896][SPARK-48909][SPARK-48883] Retroportar correções para o escritor spark ML
    • [SPARK-48725][SQL] Integrar CollationAwareUTF8String.lowerCaseCodePoints em expressões de texto
    • [SPARK-48978][SQL] Implemente o caminho rápido ASCII no suporte de agrupamento para UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Truncar a mensagem para registro em log
    • [SPARK-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erro
    • [SPARK-48977][SQL] Otimizar a pesquisa de strings dentro do contexto de agrupamento UTF8_LCASE
    • [SPARK-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [SPARK-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • [SPARK-48954] try_mod() substitui try_remainder()
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.3 LTS

Consulte Databricks Runtime 14.3 LTS.

  • 9 de dezembro de 2025
    • [SPARK-52579][PYTHON] Configurar dump de traceback periódico para trabalhadores Python
    • [SPARK-54180][SQL] Sobrescrever o toString do BinaryFileFormat
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • Bibliotecas R atualizadas:
      • seta de 12.0.1 para 21.0.0
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • [SPARK-53568][CONNECT][PYTHON] Corrija vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
    • [SPARK-53574] Corrigir o AnalysisContext a ser eliminado durante a resolução do plano aninhado
    • Correções de bugs diversos.
  • Setembro 16, 2025
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Corrigido um problema que podia fazer com que o Auto Loader travasse indefinidamente.
    • [SPARK-49872][CORE] Remover a limitação de comprimento de cadeia JSON jackson
    • Atualizações de segurança do sistema operacional.
  • 26 de agosto de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.12 de 1.1.6 a 1.1.7
    • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceções para ler certos arquivos zstd corrompidos
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • Atualizações de segurança do sistema operacional.
  • Julho 15, 2025
    • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
    • Correções de bugs diversos.
  • 1 de julho de 2025
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • Suporte à descompressão ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e texto.)
    • [SPARK-52521][SQL] Right#replacement não deve acessar SQLConf dinamicamente
    • [SPARK-52482][SQL][CORE] Suporte ZStandard para leitor de fonte de dados de arquivo
    • Atualizações de segurança do sistema operacional.
  • Junho 17, 2025
    • Corrigida a limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado das tabelas de streaming a nível de arquivo entre pipelines.
    • [SPARK-49646][SQL] corrigir a descorrelação de subconsultas para operações de união/conjunto quando parentOuterReferences contém referências não cobertas em collectedChildOuterReferences
  • 3 de junho de 2025
    • Bibliotecas Python atualizadas:
      • Criptografia de 3.4.8, 39.0.1 a 39.0.1
      • platformdirs da versão 2.5.2 e 2.6.2 para a versão 2.5.2
      • pyparsing de 2.4.7, 3.0.9 a 3.0.9
      • Adicionado pip 22.3.1
      • Adicionado setuptools 65.6.3
      • Adicionado tomli 2.0.1
      • Foi adicionado wcwidth 0.2.5
      • Adicionada roda 0.38.4
      • Distro 1.7.0 removido
      • Removido distro-info 1.1 + ubuntu0.2
      • Removido python-apt 2.4.0+ubuntu4
    • Bibliotecas Java atualizadas:
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-nativas para 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-native para 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives para 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-nativos para 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 para 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 a 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
    • [SPARK-52159][SQL] Realizar corretamente a verificação da existência de tabelas para os dialetos JDBC
    • Atualizações de segurança do sistema operacional.
  • Maio 20, 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-client_2.12 de 1.1.5 a 1.1.6
    • [SPARK-51935][SQL] Corrija o comportamento preguiçoso dos iteradores no df.collect() interpretado
    • Atualizações de segurança do sistema operacional.
  • 22 de abril de 2025
    • Atualizações de segurança do sistema operacional.

  • 9 de abril de 2025

    • [Mudança de comportamento] As operações de vácuo agora executam verificações do protocolo Writer semelhantes a outras operações, evitando limpezas inesperadas em tabelas com recursos mais recentes quando executadas a partir de versões DBR mais antigas incompatíveis.
    • [SPARK-51624][SQL] Propagar os metadados de GetStructField em CreateNamedStruct.dataType
    • Atualizações de segurança do sistema operacional.

  • 11 de março de 2025

    • Databricks Runtime 14.3 LTS e versões superiores incluem uma correção para um problema que causou incompatibilidades binárias com o código que instanciou uma classe SparkListenerApplicationEnd e foi compilado contra o Apache Spark. Esta incompatibilidade resultou da fusão do SPARK-46399 no Apache Spark. Essa mesclagem incluiu uma alteração que adicionou um argumento padrão ao construtor SparkListenerApplicationEnd. Para restaurar a compatibilidade binária, essa correção adiciona um único construtor de argumento para a classe SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Corrigir NPE no tratamento de erros do State Store
    • [SPARK-50705][SQL] Tornar QueryPlan sem bloqueio
    • [SPARK-49525][SS][CONNECT] Pequena melhoria no log para o ListenerBus de Consulta de Streaming do lado do servidor
    • Atualizações de segurança do sistema operacional.

  • Fevereiro 11, 2025

    • Esta versão inclui uma correção para um problema que afeta a conversão de determinados tipos de dados ao serializar colunas de dados XML resgatadas. Os tipos de dados afetados são datas, carimbos de data/hora do tipo não NTZ e decimais quando o prefersDecimal está ativado. Para saber mais sobre a coluna de dados resgatados, consulte O que é a coluna de dados resgatados?.
    • [SPARK-50492][SS] Corrija java.util.NoSuchElementException quando a coluna de hora do evento é descartada após dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Atribua a classe de erro apropriada para negativeScaleNotAllowedError
    • Atualizações de segurança do sistema operacional.
  • 10 de dezembro de 2024
    • Esta versão inclui uma correção para um problema que pode fazer com que a chave primária numa tabela Delta seja descartada em determinados casos extremos relacionados a compactação automática em segundo plano.
    • [SPARK-50329][SQL] corrigir InSet$toString
    • Atualizações de segurança do sistema operacional.
  • 26 de novembro de 2024
    • [SPARK-49615] [ML] Fazer com que a validação de esquema do conjunto de dados de todos os transformadores de características de ML esteja em conformidade com a configuração "spark.sql.caseSensitive".
    • Atualizações de segurança do sistema operacional.
  • 5 de novembro de 2024
    • [SPARK-48843] Evite ciclo infinito com parâmetros de ligação
    • [SPARK-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo a fluxo (correção de exatidão)
    • [SPARK-49863][SQL] Corrija NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [BACKPORT] [SPARK-49326][SS] Classificar a classe de erro para o erro da função do utilizador do forech sink
    • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [SPARK-46632][SQL] Corrija a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [SPARK-49905] Use ShuffleOrigin dedicado para operador com estado para evitar que o shuffle seja modificado pelo AQE
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • [SPARK-48843] Evite ciclo infinito com parâmetros de ligação
    • [SPARK-49863][SQL] Corrija NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [SPARK-49905] Use ShuffleOrigin dedicado para operador com estado para evitar que o shuffle seja modificado pelo AQE
    • [SPARK-46632][SQL] Corrija a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [BACKPORT] [SPARK-49326][SS] Classificar a classe de erro para o erro da função do utilizador do forech sink
    • [SPARK-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo a fluxo (correção de exatidão)
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • [BACKPORT] [SPARK-49474][SS] Classificar a Classe de Erro para erro de função FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
    • [SPARK-49688][CONNECT] Corrigir uma corrida de dados entre o plano de interrupção e execução
  • 25 de setembro de 2024
    • [SPARK-48810][CONNECT] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
    • [SPARK-48719][SQL] Corrija o bug de cálculo de 'RegrS...
    • [SPARK-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [SPARK-49492][CONNECT] Tentativa de reanexação em ExecutionHolder inativo
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [SPARK-49336][CONNECT] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
    • [SPARK-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor suportando colunas de entrada aninhadas
    • [SPARK-49526][CONNECT] Suporte a caminhos estilo Windows no ArtifactManager
    • [SPARK-49409][CONNECT] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Tratar o nó União como folha na resolução da coluna do dataframe
  • 29 de agosto de 2024
    • [SPARK-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erro
    • [SPARK-48862][PYTHON][CONNECT] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
    • [SPARK-49263][CONNECT] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
  • 14 de agosto de 2024
    • [SPARK-48941][SPARK-48970] Correções de gravador/leitor de backport ML
    • [SPARK-48706][PYTHON] Python UDF em funções de ordem superior não deve gerar erro interno
    • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [SPARK-48597][SQL] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [SPARK-49065][SQL] Rebasing em formatadores/analisadores legados deve suportar fusos horários que não sejam o padrão da JVM
    • [SPARK-48934][SS] Tipos de data/hora do Python convertidos incorretamente para definir o timeout em applyInPandasWithState
  • 1 de agosto de 2024
    • Esta versão inclui uma correção de bug para as ColumnVector classes e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou dados incorretos retornados quando uma instância de uma dessas classes continha valores null.
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações de streaming.
    • A saída de uma instrução SHOW CREATE TABLE agora inclui quaisquer filtros de linha ou máscaras de coluna definidas numa vista materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtros de linha e máscaras de coluna.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações de streaming.
    • A saída de uma instrução SHOW CREATE TABLE agora inclui quaisquer filtros de linha ou máscaras de coluna definidas numa vista materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtros de linha e máscaras de coluna.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Retroportar correções para o escritor spark ML
    • [SPARK-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [SPARK-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • [SPARK-48047][SQL] Reduza a pressão de memória de tags TreeNode vazias
    • [SPARK-48544][SQL] Reduzir a pressão de memória de conjuntos vazios de nós de árvore (TreeNode BitSets)
    • [SPARK-46957][CORE] Descomissionar arquivos shuffle migrados deve poder ser limpos pelo executor
    • [SPARK-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • [SPARK-47202][PYTHON] Corrigir erro de ortografia que está a causar problemas com datetimes utilizando tzinfo
    • [SPARK-47713][SQL][CONNECT] Corrigir uma falha de associação automática
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Mudança de comportamento) DataFrames armazenados em cache em fontes de tabela Delta serão invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • O Snowflake JDBC Driver é atualizado para a versão 3.16.1.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Para ignorar partições inválidas ao ler dados, as fontes de dados baseadas em arquivo, como Parquet, ORC, CSV ou JSON, podem definir a opção de fonte de dados ignoreInvalidPartitionPaths como true. Por exemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Você também pode usar a configuração SQL `spark.sql.files.ignoreInvalidPartitionPaths`. No entanto, a opção de fonte de dados tem precedência sobre a configuração SQL. Essa configuração é falsa por padrão.
    • [SPARK-48648][PYTHON][CONNECT] Faça SparkConnectClient.tags corretamente threadlocal
    • [SPARK-48445][SQL] Não inline UDFs com crianças caras
    • [SPARK-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra o conjunto de dados de streaming
    • [SPARK-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [SPARK-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [SPARK-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [SPARK-48273][SQL] Corrigir reescrita tardia de PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Atualize o CommonExpressionRef quando necessário
    • [SPARK-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [SPARK-48292][CORE] Reverter [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o ficheiro cometido não é consistente com o estado da tarefa
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • applyInPandasWithState() está disponível em computação com modo de acesso padrão.
    • Corrige um bug em que a otimização da janela de ordenação usando Photon TopK lidava incorretamente com partições que contêm structs.
    • [SPARK-48310][PYTHON][CONNECT] As propriedades armazenadas em cache devem retornar cópias
    • [SPARK-48276][PYTHON][CONNECT] Adicione o método ausente __repr__ para SQLExpression
    • [SPARK-48294][SQL] Manipular minúsculas em nestedTypeMissingElementTypeError
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • (Mudança de comportamento) dbutils.widgets.getAll() agora suporta obter todos os valores de widgets num caderno.
    • Corrigido um bug na função try_divide() em que entradas contendo decimais resultavam em exceções inesperadas.
    • [SPARK-48056][CONNECT][PYTHON] Execute novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial for recebida
    • [SPARK-48146][SQL] Corrigir função de agregação na asserção de expressão 'With' filha
    • [SPARK-47986][CONNECT][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
    • [SPARK-48180][SQL] Melhorar o erro quando a chamada UDTF com TABLE arg esquece de colocar parênteses em torno de várias expressões PARTITION/ORDER BY
    • [SPARK-48016][SQL] Corrigir um bug na função try_divide quando com decimais
    • [SPARK-48197][SQL] Evite erro de declaração para função lambda inválida
    • [SPARK-47994][SQL] Corrigir erro relacionado ao push down do filtro da coluna CASE WHEN no SQL Server
    • [SPARK-48173][SQL] CheckAnalysis deve ver todo o plano de consulta
    • [SPARK-48105][SS] Correção da condição de corrida entre o descarregamento do armazenamento de estado e a criação de instantâneos
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • (Mudança de comportamento) applyInPandas e mapInPandas os tipos UDF agora são suportados na computação em modo de acesso partilhado executando o Databricks Runtime 14.3 LTS e posteriores.
    • [SPARK-47739][SQL] Registrar o tipo avro lógico
    • [SPARK-47941] [SS] [Connect] Propagar erros de inicialização do processo ForeachBatch aos utilizadores no PySpark
    • [SPARK-48010][SQL] Evite chamadas repetidas para conf.resolver em resolveExpression
    • [SPARK-48044][PYTHON][CONECTOR] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Verificação de sanidade para referência LCA não resolvida
    • [SPARK-47543][CONNECT][PYTHON] Inferindo dict como Mapype do Pandas DataFrame para permitir a criação de DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Usar retorno de chamada assíncrono para limpeza de execução
    • [SPARK-47764][CORE][SQL] Limpeza de dependências aleatórias com base em ShuffleCleanupMode
    • [SPARK-48018][SS] Corrigir groupId nulo que causa erro de parâmetro ausente ao lançar a exceção KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Corrigir bug agregado em RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Ignorar etiquetas de linha encontradas no CDATA
    • [SPARK-47895][SQL] grupo por todos deve ser idempotente
    • [SPARK-47973][CORE] Registrar o local da chamada no SparkContext.stop() e posteriormente no SparkContext.assertNotStopped()
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • [SPARK-47543][CONNECT][PYTHON] Inferindo dict como MapType do Pandas DataFrame para permitir a criação do DataFrame
    • [SPARK-47694][CONNECT] Torne o tamanho máximo da mensagem configurável no lado do cliente
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Valide o nome da coluna com o esquema armazenado em cache
    • [SPARK-47862][PYTHON][CONNECT]Corrigir a geração de arquivos proto
    • Reverter "[SPARK-47543][CONNECT][PYTHON] Inferindo dict como MapType a partir do Pandas DataFrame para permitir a criação do DataFrame"
    • [SPARK-47704][SQL] A análise JSON falha com "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults está habilitado
    • [SPARK-47812][CONNECT] Suporte à serialização do SparkSession para o trabalhador ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduzir a cache de planos no SparkConnectPlanner para melhorar o desempenho de pedidos de Análise
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • (Mudança de comportamento) Para garantir um comportamento consistente entre os tipos de computação, as UDFs do PySpark na computação com modo de acesso padrão agora correspondem ao comportamento das UDFs em clusters sem isolamento e atribuídos. Esta atualização inclui as seguintes alterações que podem quebrar o código existente:
      • UDFs com um tipo de retorno string não convertem mais implicitamente valores nãostring em valores string. Anteriormente, UDFs com um tipo de retorno de str envolviam o valor de retorno com uma função str(), independentemente do tipo de dados real do valor retornado.
      • UDFs com timestamp tipos de retorno já não aplicam implicitamente uma conversão para timestamp com timezone.
      • As configurações de cluster do Spark já não se aplicam spark.databricks.sql.externalUDF.* às UDFs do PySpark na computação com modo de acesso padrão.
      • A configuração spark.databricks.safespark.externalUDF.plan.limit do cluster Spark não afeta mais as UDFs do PySpark, removendo a limitação de Pré-visualização Pública de 5 UDFs por consulta para as UDFs de PySpark.
      • A configuração do cluster Spark spark.databricks.safespark.sandbox.size.default.mib não se aplica mais às UDFs do PySpark na computação com o modo de acesso padrão. Em vez disso, a memória disponível no sistema é usada. Para limitar a memória de UDFs PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit com um valor mínimo de 100m.
    • O tipo de dados TimestampNTZ agora é suportado como coluna de aglomeração com aglomeração líquida. Veja Utilizar clustering líquido para tabelas.
    • [SPARK-47511][SQL] Canonicalizar expressões 'With' atribuindo novamente os IDs
    • [SPARK-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [SPARK-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [SPARK-47638][PS][CONNECT] Ignorar validação de nome de coluna no PS
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [SPARK-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [SPARK-47176][SQL] Tem uma função auxiliar ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passe o identificador da tabela para a execução de varredura da fonte de dados em linha para a estratégia V2.
    • [SPARK-47044][SQL] Adicionar consulta executada para fontes de dados externas JDBC para explicitar a saída
    • [SPARK-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [SPARK-47070] Corrigir a agregação inválida após reescrever a subconsulta
    • [SPARK-47121][CORE] Evite RejectedExecutionExceptions durante o shutdown do StandaloneSchedulerBackend
    • Reverta "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [SPARK-47125][SQL] Devolve null se o Univocity nunca desencadear a análise
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier deve incluir outras expressões na árvore de expressões
    • [SPARK-47129][CONNECT][SQL] Faça ResolveRelations o plano de conexão de cache corretamente
    • [SPARK-47241][SQL] Corrigir problemas de ordem de regra para ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protocolo para Client-Side Listener
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem num comando MERGE pode resultar na métrica de operação "numSourceRows" indicando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o utilizador tenha privilégios de SELECT e "MODIFICAR" em QUALQUER FICHEIRO.
    • [SPARK-47071][SQL] Incorporar a expressão "With" se contiver uma expressão especial
    • [SPARK-47059][SQL] Anexar contexto de erro para o comando ALTER COLUMN v1
    • [SPARK-46993][SQL] Corrigir dobramento constante para variáveis de sessão
    • Atualizações de segurança do sistema operacional.
  • 3 de janeiro de 2024
    • [SPARK-46933] Adicione a métrica de tempo de execução de consultas aos conectores que utilizam JDBCRDD.
    • [SPARK-46763] Corrigir falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • [SPARK-46954] XML: Encapsular InputStreamReader com BufferedReader.
    • [SPARK-46655] Ignorar a captura de contexto de consulta em DataFrame métodos.
    • [SPARK-44815] Cache df.schema para evitar RPC adicional.
    • [SPARK-46952] XML: Limite o tamanho do registo corrompido.
    • [SPARK-46794] Remover subconsultas de restrições LogicalRDD.
    • [SPARK-46736] retenha o campo de mensagem vazio no conector protobuf.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio anterior depois de tentar novamente o estágio ancestral indeterminado, conforme indicado pela soma de verificação.
    • [FAÍSCA-46414] Use prependBaseUri para renderizar importações de JavaScript.
    • [FAÍSCA-46383] Reduza o uso da memória heap do driver reduzindo a duração de TaskInfo.accumulables().
    • [SPARK-46861] Evite o impasse no DAGScheduler.
    • [SPARK-46954] XML: Otimize a consulta de indexação de esquema.
    • [SPARK-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [SPARK-46644] Alterar as funções de adição e mesclagem no SQLMetric para usar isZero.
    • [FAÍSCA-46731] Gerencie a instância do provedor de armazenamento de estado por fonte de dados de estado - leitor.
    • [SPARK-46677] Corrigir dataframe["*"] a resolução.
    • [FAÍSCA-46610] Criar tabela deve gerar exceção quando não houver valor para uma chave nas opções.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [SPARK-45433] Correção da inferência do esquema CSV/JSON quando os formatos de data/hora não correspondem ao formato especificado para timestamps.
    • [SPARK-46930] Adicionar suporte para um prefixo personalizado para campos de tipo união no Avro.
    • [FAÍSCA-46227] Retroportar para 14.3.
    • [SPARK-46822] Respeitar spark.sql.legacy.charVarcharAsString ao converter o tipo jdbc para o tipo catalyst no jdbc.
    • Atualizações de segurança do sistema operacional.

Databricks Tempo de execução 13.3 LTS

Consulte Databricks Runtime 13.3 LTS.

  • 9 de dezembro de 2025
    • [SPARK-54180][SQL] Sobrepor o toString do BinaryFileFormat
    • [SPARK-52579][PYTHON] Configurar dump de traceback periódico para trabalhadores Python
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • [SPARK-54047][PYTHON] Usar um erro diferencial quando o tempo limite para encerrar por inatividade ocorre
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • Bibliotecas R atualizadas:
      • seta de versão de 10.0.1 a 21.0.0
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • Atualizações de segurança do sistema operacional.
  • Setembro 24, 2025
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Atualizações de segurança do sistema operacional.
  • 26 de agosto de 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-spark_2.12 de 0.7.12 a 0.7.13
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • Atualizações de segurança do sistema operacional.

  • Julho 15, 2025

    • Atualizações de segurança do sistema operacional.

  • 1 de julho de 2025

    • Atualizações de segurança do sistema operacional.
  • Junho 17, 2025
    • Corrigida a limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado das tabelas de streaming a nível de arquivo entre pipelines.
    • Atualizações de segurança do sistema operacional.
  • 3 de junho de 2025
    • Bibliotecas Python atualizadas:
      • Criptografia das versões 3.4.8 e 37.0.1 até 37.0.1
      • platformdirs da versão 2.5.2 e 2.6.2 para a versão 2.5.2
      • pyparsing de 2.4.7, 3.0.9 a 3.0.9
      • Adicionado pip 22.2.2
      • Setuptools 63.4.1 foi adicionado
      • Adicionado tomli 2.0.1
      • Foi adicionado wcwidth 0.2.5
      • Roda adicionada 0.37.1
      • Distro 1.7.0 removido
      • Removido distro-info 1.1 + ubuntu0.2
      • Removido python-apt 2.4.0+ubuntu4
    • Bibliotecas Java atualizadas:
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-nativas para 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-native para 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives para 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-nativos para 1.1
      • io.netty.netty-transport-native-epoll de 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 a 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
      • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 a 4.1.87.Final, 4.1.87.Final
      • org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.8.4
      • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.8.4
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.1
    • [SPARK-52159][SQL] Realizar corretamente a verificação da existência de tabelas para os dialetos JDBC
    • Atualizações de segurança do sistema operacional.
  • Maio 20, 2025
    • Bibliotecas Java atualizadas:
      • io.delta.delta-sharing-spark_2.12 de 0.7.11 até 0.7.12
    • Atualizações de segurança do sistema operacional.
  • 22 de abril de 2025
    • [Mudança de comportamento] As operações de vácuo agora executam verificações do protocolo Writer semelhantes a outras operações, evitando limpezas inesperadas em tabelas com recursos mais recentes quando executadas a partir de versões DBR mais antigas incompatíveis.
    • Atualizações de segurança do sistema operacional.
  • 9 de abril de 2025
    • [SPARK-51624][SQL] Propagar os metadados de GetStructField em CreateNamedStruct.dataType
    • Atualizações de segurança do sistema operacional.
  • 11 de março de 2025
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 11, 2025
    • [SPARK-50492][SS] Corrija java.util.NoSuchElementException quando a coluna de hora do evento é descartada após dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Trate decimal(x, 0) da mesma forma que IntegralType em PromoteStrings
    • Atualizações de segurança do sistema operacional.
  • 10 de dezembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 26 de novembro de 2024
    • [SPARK-49615] [ML] Fazer com que a validação de esquema do conjunto de dados de todos os transformadores de características de ML esteja em conformidade com a configuração "spark.sql.caseSensitive".
    • Atualizações de segurança do sistema operacional.
  • 5 de novembro de 2024
    • [SPARK-48843] Evite ciclo infinito com parâmetros de ligação
    • [BACKPORT] [SPARK-49326][SS] Classificar a classe de erro para o erro da função do utilizador do forech sink
    • [SPARK-49905] Use ShuffleOrigin dedicado para operador com estado para evitar que o shuffle seja modificado pelo AQE
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • [SPARK-48843] Evite ciclo infinito com parâmetros de ligação
    • [BACKPORT] [SPARK-49326][SS] Classificar a classe de erro para o erro da função do utilizador do forech sink
    • [SPARK-49905] Use ShuffleOrigin dedicado para operador com estado para evitar que o shuffle seja modificado pelo AQE
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
  • 25 de setembro de 2024
    • [SPARK-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • [SPARK-48719][SQL] Corrija o bug de cálculo do RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
    • [SPARK-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [SPARK-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [SPARK-49526][CONNECT] Suporte a caminhos estilo Windows no ArtifactManager
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor suportando colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
  • 14 de agosto de 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [SPARK-49065][SQL] Rebasing em formatadores/analisadores legados deve suportar fusos horários que não sejam o padrão da JVM
    • [SPARK-48597][SQL] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
  • 1 de agosto de 2024
    • Esta versão inclui uma correção de bug para as ColumnVector classes e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou dados incorretos retornados quando uma instância de uma dessas classes continha valores null.
    • [SPARK-47202][PYTHON] Corrigir erro de ortografia que está a causar problemas com datetimes utilizando tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Retroportar correções para o escritor spark ML
    • [SPARK-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Mudança de comportamento) DataFrames armazenados em cache em fontes de tabela Delta serão invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • [SPARK-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [SPARK-48292][CORE] Reverter [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o ficheiro cometido não é consistente com o estado da tarefa
    • [SPARK-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [SPARK-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra o conjunto de dados de streaming
    • [SPARK-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [SPARK-48273][SQL] Corrigir reescrita tardia de PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Não inline UDFs com crianças caras
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • [SPARK-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • (Mudança de comportamento) dbutils.widgets.getAll() agora suporta obter todos os valores de widgets num caderno.
    • [SPARK-48105][SS] Correção da condição de corrida entre o descarregamento do armazenamento de estado e a criação de instantâneos
    • [SPARK-47994][SQL] Corrigir erro relacionado ao push down do filtro da coluna CASE WHEN no SQL Server
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [SPARK-47956][SQL] Verificação de sanidade para referência LCA não resolvida
    • [SPARK-46822][SQL] Respeitar spark.sql.legacy.charVarcharAsString ao converter o tipo jdbc para o tipo catalyst no jdbc
    • [SPARK-47895][SQL] grupo por todos deve ser idempotente
    • [SPARK-48018][SS] Corrigir groupId nulo que causa erro de parâmetro ausente ao lançar a exceção KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Registrar o local da chamada no SparkContext.stop() e posteriormente no SparkContext.assertNotStopped()
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • [SPARK-44653][SQL] Uniões de DataFrame não triviais não devem quebrar o cache
    • Correções de bugs diversos.
  • 11 de abril de 2024
    • [SPARK-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [SPARK-47385] Corrigidos os codificadores de tupla com entradas Option.
    • [SPARK-38708][SQL] Atualize o Hive Metastore Client para o 3.1.3 para Hive 3.1
    • [SPARK-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • [SPARK-47368][SQL] Remover a verificação de configuração inferTimestampNTZ em ParquetRowConverter
    • [SPARK-44252][SS] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
    • [SPARK-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [SPARK-47300][SQL] quoteIfNeeded deve citar identificadores que começem com dígitos
    • [SPARK-47305][SQL] Corrija o PruneFilters para marcar corretamente o sinalizador isStreaming de LocalRelation quando o plano tiver tanto processamento em lote como em streaming.
    • [SPARK-47070] Corrigir a agregação inválida após reescrever a subconsulta
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [SPARK-47145][SQL] Passe o identificador da tabela para a execução de varredura da fonte de dados em linha para a estratégia V2.
    • [SPARK-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [SPARK-47176][SQL] Tem uma função auxiliar ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Adicionar consulta executada para fontes de dados externas JDBC para explicitar a saída
    • [SPARK-47125][SQL] Devolve null se o Univocity nunca desencadear a análise
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem num comando MERGE pode resultar na métrica de operação "numSourceRows" indicando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o utilizador tenha privilégios de SELECT e "MODIFICAR" em QUALQUER FICHEIRO.
    • Atualizações de segurança do sistema operacional.
  • 8 de fevereiro de 2024
    • Consultas de alterações de feed de dados (CDF) em vistas materializadas do Catálogo Unity não são suportadas, e tentar executar uma consulta CDF com uma vista materializada do Catálogo Unity resulta num erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em tabelas CDC não AUTO no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e anteriores.
    • [SPARK-46794] Remover subconsultas de restrições LogicalRDD.
    • [SPARK-46933] Adicione a métrica de tempo de execução de consultas aos conectores que utilizam JDBCRDD.
    • [FAÍSCA-45582] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída.
    • [SPARK-46396] A inferência de timestamp não deve lançar exceção.
    • [SPARK-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46610] Criar tabela deve gerar exceção quando não houver valor para uma chave nas opções.
    • [SPARK-46383] Reduza o uso de heap do driver diminuindo a vida útil de TaskInfo.accumulables().
    • [SPARK-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [SPARK-46763] Corrigir falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O nó shuffle do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o sinalizador causedBroadcastJoinBuildOOM=true quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [SPARK-46058] Adicionar sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46173] Ignorar a chamada de trimAll durante o processamento de datas.
    • [FAÍSCA-46370] Corrigir erro ao consultar a partir da tabela depois de alterar os valores padrão da coluna.
    • [FAÍSCA-46370] Corrigir erro ao consultar a partir da tabela depois de alterar os valores padrão da coluna.
    • [FAÍSCA-46370] Corrigir erro ao consultar a partir da tabela depois de alterar os valores padrão da coluna.
    • [SPARK-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Suporte para senha de chave para chaves JKS para SSL RPC.
    • [SPARK-46602] Propagar allowExisting na criação da vista quando a vista/tabela não existir.
    • [SPARK-46249] Requer bloqueio de instância para adquirir métricas do RocksDB a fim de evitar condições de corrida com operações em segundo plano.
    • [FAÍSCA-46417] Não falhe ao utilizar hive.getTable e throwException for false.
    • [SPARK-46538] Corrigir o problema de referência de coluna ambígua no ALSModel.transform.
    • [SPARK-46478] Reverter SPARK-43049 para usar Oracle varchar(255) para cadeia.
    • [SPARK-46250] Estabilizar test_parity_listener.
    • [SPARK-46394] Corrigir problemas no spark.catalog.listDatabases() em os esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema está definido como true.
    • [FAÍSCA-46056] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [SPARK-46466] O leitor vetorizado de parquet não deve nunca rebasear o timestamp ntz.
  • 14 de dezembro de 2023
    • Corrigido um problema em que os sublinhados precedidos por barra em operações getColumns originadas de clientes JDBC ou ODBC eram tratados incorretamente e interpretados como curingas.
    • [SPARK-45920] grupo por ordinal deve ser idempotente.
    • [FAÍSCA-44582] Ignore o iterador no SMJ se ele foi limpo.
    • [SPARK-45433] Correção da inferência do esquema CSV/JSON quando os formatos de data/hora não correspondem ao formato especificado para timestamps.
    • [SPARK-45655] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • O conector faísca-floco de neve é atualizado para 2.12.0.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [SPARK-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45892] Refatorar a validação do plano do otimizador para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45730] Melhoradas as restrições de tempo para ReloadingX509TrustManagerSuite.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.
  • 10 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • Foram alteradas as consultas de feeds de dados nas tabelas de streaming e nas vistas materializadas do Catálogo Unity para exibir mensagens de erro.
    • [SPARK-45545]SparkTransportConf herda SSLOptions após a criação.
    • [SPARK-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExec.
    • [SPARK-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [SPARK-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [SPARK-44219] Adicionadas validações extra por regra para reformulações de otimização.
    • [FAÍSCA-45543] Corrigida uma questão onde InferWindowGroupLimit causava um conflito caso as outras funções de janela não utilizassem o mesmo quadro de janela que as funções tipo classificação.
    • Atualizações de segurança do sistema operacional.
  • 23 de outubro de 2023
    • [SPARK-45256] Corrigido um problema em que DurationWriter falhava ao escrever mais valores do que a capacidade inicial.
    • [FAÍSCA-45419] Evite reutilizar rocksdb sst ficheiros numa instância diferente rocksdb removendo entradas no mapa de versões de ficheiros de versões maiores.
    • [SPARK-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência do Snowflake-jdbc atualizada de 3.13.29 para 3.13.33.
    • A array_insert função é baseada em 1 para índices positivos e negativos, enquanto antes, era baseada em 0 para índices negativos. Ele agora insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.
    • Corrigido um problema relacionado a não ignorar arquivos corrompidos quando ignoreCorruptFiles é ativado durante a inferência de esquema CSV com o Auto Loader.
    • Reverter "[SPARK-42946]."
    • [SPARK-42205] Atualizado o protocolo JSON para remover o registo de acumuláveis em eventos de início de uma tarefa ou de um estágio.
    • [FAÍSCA-45178] Recurso alternativo para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o envoltório.
    • [FAÍSCA-45316] Adicione novos parâmetros ignoreCorruptFiles e ignoreMissingFiles para HadoopRDD e NewHadoopRDD.
    • [SPARK-44740] Corrigidos os valores de metadados para Artefatos.
    • [SPARK-45360] Configuração do construtor de sessão inicializada do Spark a partir de SPARK_REMOTE.
    • [SPARK-44551] Comentários editados para sincronizar com software de código aberto (OSS).
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita sinalizadores que diferenciam maiúsculas de minúsculas ao mesclar o esquema.
    • [FAÍSCA-44658]ShuffleStatus.getMapStatus agora retorna None em vez de Some(null).
    • [FAÍSCA-44840] Feito array_insert() com base em 1 para índices negativos.
  • 14 de setembro de 2023
    • [SPARK-44873] Adicionado suporte para alter view com colunas aninhadas no cliente Hive.
    • [FAÍSCA-44878] Desativou-se o limite estrito para o gestor de escrita para evitar a exceção de inserção ao completar o cache.
  • 30 de agosto de 2023
    • O comando dbutils cp (dbutils.fs.cp) foi otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem levar até 100 vezes menos, dependendo do tamanho do arquivo. O recurso está disponível em todas as nuvens e sistemas de arquivos acessíveis no Databricks, inclusive para volumes de catálogo Unity e montagens DBFS.
    • [FAÍSCA-44455] Citar identificadores com acentos graves no resultado SHOW CREATE TABLE.
    • [FAÍSCA-44763] Corrigido um problema que mostrava uma cadeia de caracteres como um duplo na aritmética binária com intervalo.
    • [SPARK-44871] Comportamento corrigido percentile_disc.
    • [SPARK-44714] Reduza a restrição da resolução de LCA em relação a consultas.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44505] Adicionada substituição para suporte colunar no Scan for DSv2.
    • [SPARK-44479] Corrigida a conversão de protobuf a partir de um tipo de struct vazio.
    • [FAÍSCA-44718] Alinhar ColumnVector padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [SPARK-42941] Adicionado suporte para StreamingQueryListener em Python.
    • [SPARK-44558] Exporte o nível de log do Spark Connect no PySpark.
    • [FAÍSCA-44464] Corrigiu applyInPandasWithStatePythonRunner para linhas de saída que têm Null como valor da primeira coluna.
    • [SPARK-44643] Corrigido Row.__repr__ quando o campo é uma linha vazia.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 12.2 LTS

Consulte Databricks Runtime 12.2 LTS.

  • 9 de dezembro de 2025
    • Atualizações de segurança do sistema operacional.
  • 18 de novembro de 2025
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2025
    • Bibliotecas R atualizadas:
      • seta de 10.0.0 para 21.0.0
    • Atualizações de segurança do sistema operacional.
  • Outubro 21, 2025
    • Python atualizado de 2.7.18 para 2.7.18.1
    • Atualizações de segurança do sistema operacional.
  • Outubro 7, 2025
    • Atualizações de segurança do sistema operacional.
  • Setembro 24, 2025
    • Atualizações de segurança do sistema operacional.
  • 9 de setembro de 2025
    • Atualizações de segurança do sistema operacional.
  • 26 de agosto de 2025
    • Atualizações de segurança do sistema operacional.
  • 14 de agosto de 2025
    • Atualizações de segurança do sistema operacional.
  • Julho 29, 2025
    • Atualizações de segurança do sistema operacional.
  • Julho 15, 2025
    • Atualizações de segurança do sistema operacional.
  • 1 de julho de 2025
    • Atualizações de segurança do sistema operacional.
  • Junho 17, 2025
    • Atualizações de segurança do sistema operacional.
  • 3 de junho de 2025
    • Bibliotecas Python atualizadas:
      • certifi de 2019.11.28, 2021.10.8 a 2021.10.8
      • chardet da versão 3.0.4, depois 4.0.0 até 4.0.0
      • IDNA de 2.8, 3.3 para 3.3
      • Pedidos de 2.22.0, 2.27.1 a 2.27.1
      • seis de 1.14.0, 1.16.0 a 1.16.0
      • urllib3 de 1.25.8, 1.26.9 para 1.26.9
      • Foi adicionado o pip 21.2.4
      • Adicionado setuptools 61.2.0
      • Adicionado tomli 1.2.2
      • Foi adicionado wcwidth 0.2.5
      • Roda adicionada 0.37.0
      • Distribuição 1.4.0 removida
      • Removido distro-info 0.23+ubuntu1.1
      • Removido python-apt 2.0.1+ubuntu0.20.4.1
    • Bibliotecas Java atualizadas:
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.1
    • Atualizações de segurança do sistema operacional.
  • Maio 20, 2025
    • [SPARK-42655][SQL] Erro de referência de coluna ambígua incorreta
    • Atualizações de segurança do sistema operacional.
  • 22 de abril de 2025
    • [Mudança de comportamento] As operações de vácuo agora executam verificações do protocolo Writer semelhantes a outras operações, evitando limpezas inesperadas em tabelas com recursos mais recentes quando executadas a partir de versões DBR mais antigas incompatíveis.
    • Atualizações de segurança do sistema operacional.
  • 9 de abril de 2025
    • Atualizações de segurança do sistema operacional.

  • 11 de março de 2025

    • Atualizações de segurança do sistema operacional.

  • 10 de dezembro de 2024

    • Atualizações de segurança do sistema operacional.

  • 26 de novembro de 2024

    • Correções de bugs diversos.

  • 10 de outubro de 2024

    • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields

  • 25 de setembro de 2024

    • [SPARK-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [SPARK-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • Correções de bugs diversos.

  • 17 de setembro de 2024

    • Atualizações de segurança do sistema operacional.

  • 29 de agosto de 2024

    • Correções de bugs diversos.

  • 14 de agosto de 2024

    • [SPARK-48941][SPARK-48970] Correções de gravador/leitor de backport ML
    • [SPARK-49065][SQL] Rebasing em formatadores/analisadores legados deve suportar fusos horários que não sejam o padrão da JVM
    • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [SPARK-48597][SQL] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [SPARK-48463][ML] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.

  • 1 de agosto de 2024

  • 1 de agosto de 2024

    • Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 12.2 LTS é atualizada de 3.9.5 para 3.9.19.

  • Julho 11, 2024

    • (Mudança de comportamento) DataFrames armazenados em cache em fontes de tabela Delta serão invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • [SPARK-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra o conjunto de dados de streaming
    • [SPARK-47070] Corrigir a agregação inválida após reescrever a subconsulta
    • [SPARK-42741][SQL] Não desembrulhe conversões na comparação binária quando o literal for nulo
    • [SPARK-48445][SQL] Não inline UDFs com crianças caras
    • [SPARK-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [SPARK-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • Atualizações de segurança do sistema operacional.

  • 17 de junho de 2024

    • [SPARK-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • Correções de bugs diversos.

  • 21 de maio de 2024

    • [SPARK-48105][SS] Correção da condição de corrida entre o descarregamento do armazenamento de estado e a criação de instantâneos
    • Atualizações de segurança do sistema operacional.

  • 9 de maio de 2024

    • [SPARK-44251][SQL] Definir nulo corretamente na chave de junção coalescida na união externa completa USING
    • [SPARK-47973][CORE] Registrar o local da chamada no SparkContext.stop() e posteriormente no SparkContext.assertNotStopped()
    • [SPARK-47956][SQL] Verificação de sanidade para referência LCA não resolvida
    • [SPARK-48018][SS] Corrigir groupId nulo que causa erro de parâmetro ausente ao lançar a exceção KafkaException.couldNotReadOffsetRange
    • Atualizações de segurança do sistema operacional.

  • 25 de abril de 2024

    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2024

    • Atualizações de segurança do sistema operacional.

  • 1 de abril de 2024

    • [SPARK-47305][SQL] Corrija o PruneFilters para marcar corretamente o sinalizador isStreaming de LocalRelation quando o plano tiver tanto processamento em lote como em streaming.
    • [SPARK-44252][SS] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
    • [SPARK-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [SPARK-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • Atualizações de segurança do sistema operacional.

  • Março 14, 2024

    • [SPARK-47176][SQL] Tem uma função auxiliar ResolveAllExpressionsUpWithPruning
    • Reverta "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [SPARK-47125][SQL] Devolve null se o Univocity nunca desencadear a análise
    • [SPARK-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • Atualizações de segurança do sistema operacional.

  • 29 de fevereiro de 2024

    • Corrigido um problema em que o uso de uma coleção local como origem num comando MERGE pode resultar na métrica de operação "numSourceRows" indicando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o utilizador tenha privilégios de SELECT e "MODIFICAR" em QUALQUER FICHEIRO.
    • [SPARK-45582][SS] Assegure-se de que a instância de armazenamento não seja usada após a chamada de commit na agregação de fluxo no modo de saída
    • Atualizações de segurança do sistema operacional.

  • Fevereiro 13, 2024

    • [SPARK-46861] Evite o impasse no DAGScheduler.
    • [SPARK-46794] Remover subconsultas de restrições LogicalRDD.
    • Atualizações de segurança do sistema operacional.

  • 31 de janeiro de 2024

    • [SPARK-46763] Corrigir falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Atualizações de segurança do sistema operacional.

  • 25 de dezembro de 2023

    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [SPARK-39440] Adicionar uma opção de configuração para desativar a cronologia de eventos.
    • [SPARK-46132] Suporte para senha de chave para chaves JKS para SSL RPC.
    • [SPARK-46394] Corrigir problemas no spark.catalog.listDatabases() em os esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema está definido como true.
    • [FAÍSCA-46417] Não falhe ao utilizar hive.getTable e throwException for false.
    • [SPARK-43067] Corrija a localização do ficheiro de recursos da classe de erro no conector Kafka.
    • [SPARK-46249] Requer bloqueio de instância para adquirir métricas do RocksDB a fim de evitar condições de corrida com operações em segundo plano.
    • [SPARK-46602] Propagar allowExisting na criação da vista quando a vista/tabela não existir.
    • [SPARK-46058] Adicionar sinalizador separado para privateKeyPassword.
    • [SPARK-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [SPARK-46538] Corrigir o problema de referência de coluna ambígua no ALSModel.transform.
    • [SPARK-42852] Reverter as alterações relacionadas a NamedLambdaVariable em EquivalentExpressions.

  • 14 de dezembro de 2023

    • Corrigido um problema em que os sublinhados precedidos por barra em operações getColumns originadas de clientes JDBC ou ODBC eram tratados incorretamente e interpretados como curingas.
    • [FAÍSCA-44582] Ignore o iterador no SMJ se ele foi limpo.
    • [SPARK-45920] grupo por ordinal deve ser idempotente.
    • [SPARK-45655] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • Atualizações de segurança do sistema operacional.

  • 29 de novembro de 2023

    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que caracteres de sublinhado escapados nas operações getColumns originadas de clientes de JDBC ou ODBC eram interpretados erroneamente como curingas.
    • [FAÍSCA-42205] Removidos os acumuláveis de registo em Stage e Task em eventos de início.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [SPARK-43718] Corrigida a anulabilidade para chaves em USING uniões.
    • [SPARK-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-43973] A interface de utilizador de streaming estruturado agora exibe consultas falhadas corretamente.
    • [FAÍSCA-45730] Melhoradas as restrições de tempo para ReloadingX509TrustManagerSuite.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.

  • 14 de novembro de 2023

    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [SPARK-45545]SparkTransportConf herda SSLOptions após a criação.
    • [SPARK-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [SPARK-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExec.
    • [SPARK-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430]FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [SPARK-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • Atualizações de segurança do sistema operacional.

  • 24 de outubro de 2023

    • [SPARK-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.

  • 13 de outubro de 2023

    • Dependência do Snowflake-jdbc atualizada de 3.13.29 para 3.13.33.
    • [SPARK-42553] Assegure pelo menos uma unidade de tempo após o intervalo.
    • [FAÍSCA-45346] A inferência do esquema Parquet respeita o sinalizador sensível a maiúsculas e minúsculas ao mesclar o esquema.
    • [FAÍSCA-45178] Recurso alternativo para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o envoltório.
    • [FAÍSCA-45084]StateOperatorProgress para usar um número de partição aleatório preciso e adequado.

  • 12 de setembro de 2023

    • [SPARK-44873] Adicionado suporte para alter view com colunas aninhadas no cliente Hive.
    • [FAÍSCA-44718] Alinhar ColumnVector padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [FAÍSCA-43799] Adicionada opção binária do descritor à API do PySpark Protobuf .
    • Correções diversas.

  • 30 de agosto de 2023

    • [SPARK-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [SPARK-44871][11.3-13.0] Comportamento fixo percentile_disc .
    • [SPARK-44714] Facilitou a restrição da resolução de LCA em relação a consultas.
    • Atualizações de segurança do sistema operacional.

  • 15 de agosto de 2023

    • [SPARK-44504] A tarefa de manutenção limpa os provedores carregados em caso de erro ao parar.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para que as linhas de saída tenham Null como valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.

  • 29 de julho de 2023

    • Corrigido um problema em que dbutils.fs.ls() retornava INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando era chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199]CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.

  • 24 de julho de 2023

    • [FAÍSCA-44337] Corrigido um problema em que qualquer campo definido como Any.getDefaultInstance causava erros de análise.
    • [SPARK-44136] Corrigido um problema em que StateManager seria materializado num executor em vez de no driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.

  • 23 de junho de 2023

    • Atualizações de segurança do sistema operacional.

  • 15 de junho de 2023

    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779]ParseToDate agora carrega EvalMode na linha de execução principal.
    • [SPARK-43156][SPARK-43098] Teste de erro de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.

  • 2 de junho de 2023

    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com Apache Iceberg e o Apache Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Evitar reutilizar o arquivo SST para a mesma versão do armazenamento de estado RocksDB para evitar o erro de desajuste de ID.
    • [SPARK-43413][11.3-13.0] Corrigida a anulabilidade de IN subconsultaListQuery.
    • [SPARK-43522] Corrigida a criação do nome de coluna de struct com o índice de um array.
    • [SPARK-43541] Propagar todas as Project tags ao resolver expressões e colunas ausentes.
    • [SPARK-43527] Corrigido catalog.listCatalogs no PySpark.
    • [SPARK-43123] Os metadados de campo interno já não vazam para catálogos.
    • [SPARK-43340] Corrigido o campo de rastreamento de erros ausente nos registos de eventos.
    • [SPARK-42444]DataFrame.drop agora lida com colunas duplicadas corretamente.
    • [SPARK-42937]PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [SPARK-43286] Atualizado o modo CBC para gerar vetores de inicialização aleatórios.
    • [SPARK-43378] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.

  • 17 de maio de 2023

    • As varreduras de Parquet agora são resistentes a erros de falta de memória (OOMs) ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Metadados de arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em tentativas de reexecução da tarefa como uma última medida de segurança.
    • Se um arquivo Avro foi lido apenas com a opção failOnUnknownFields ou com o Auto Loader no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a opção rescuedDataColumn.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e deixa de resgatar os tipos Integer, Short e Byte se um desses tipos de dados for fornecido, mas o ficheiro Avro sugerir um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar datas corrompidas.
      • Impede a leitura de tipos Decimal com menor precisão.
    • [SPARK-43172] Expõe host e token do cliente Spark connect.
    • [SPARK-43293]__qualified_access_only é ignorado em colunas normais.
    • [SPARK-43098] Corrigido o bug de corretude COUNT quando a subconsulta escalar é agrupada pela cláusula.
    • [SPARK-43085] Suporte para atribuição de coluna DEFAULT a nomes de tabelas com múltiplas partes.
    • [SPARK-43190]ListQuery.childOutput é agora consistente com o resultado secundário.
    • [SPARK-43192] Removida a validação do charset do agente do utilizador.
    • Atualizações de segurança do sistema operacional.

  • 25 de abril de 2023

    • Se um arquivo Parquet fosse lido apenas com a opção failOnUnknownFields ou com o Auto Loader no modo de evolução do esquema failOnNewColumns, as colunas que tivessem tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a opção rescuedDataColumn.
    • O Auto Loader agora lê corretamente e não resgata mais os tipos Integer, Short e Byte se um desses tipos de dados for fornecido. O arquivo Parquet indica um dos outros dois tipos. Quando a coluna de dados resgatada estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem salvas mesmo que fossem legíveis.
    • [SPARK-43009] Parametrizado sql() com Any constantes
    • [FAÍSCA-42406] Encerrar campos recursivos do Protobuf soltando o campo
    • [SPARK-43038] Suporte o modo CBC por aes_encrypt()/aes_decrypt()
    • [FAÍSCA-42971] Alterar para imprimir workdir se appDirs for nulo quando o trabalhador manipular WorkDirCleanup evento
    • [SPARK-43018] Corrigir erro para INSERT comandos com literais de carimbo de data/hora
    • Atualizações de segurança do sistema operacional.

  • 11 de abril de 2023

    • Ofereça suporte a formatos de origem de dados legados no comando SYNC.
    • Corrige um problema no comportamento do %autoreload em notebooks fora de um repositório.
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928] Torna resolvePersistentFunction sincronizado.
    • [SPARK-42936] Corrige o problema de LCan quando a cláusula pode ser resolvida diretamente por sua agregação filha.
    • [SPARK-42967] Corrige quando uma tarefa é iniciada após o cancelamento da fase.
    • Atualizações de segurança do sistema operacional.

  • 29 de março de 2023

    • O Databricks SQL agora oferece suporte à especificação de valores padrão para colunas de tabelas Delta Lake, no momento da criação da tabela ou depois. Os comandos subsequentes INSERT, UPDATE, DELETEe MERGE podem referir-se ao valor padrão de qualquer coluna usando a palavra-chave explícita DEFAULT . Além disso, se qualquer atribuição de INSERT tiver uma lista explícita de menos colunas do que a tabela de destino, os valores padrão da coluna correspondente serão substituídos pelas colunas restantes (ou NULL se nenhum padrão for especificado).

      Por exemplo:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • O Auto Loader agora inicia pelo menos uma limpeza síncrona de logs do RocksDB para fluxos de Trigger.AvailableNow, a fim de garantir que o ponto de verificação possa ser limpo regularmente para fluxos do Auto Loader em execução rápida. Isso pode fazer com que alguns fluxos demorem mais tempo antes de serem desligados, mas economizará custos de armazenamento e melhorará a experiência do Auto Loader em execuções futuras.

    • Agora você pode modificar uma tabela Delta para adicionar suporte aos recursos da tabela usando DeltaTable.addFeatureSupport(feature_name).

    • [SPARK-42794] Aumentar o lockAcquireTimeoutMs para 2 minutos para aquisição do state store do RocksDB no streaming de estrutura

    • [FAÍSCA-42521] Adicionar NULLs para INSERTs com listas especificadas pelo utilizador de menos colunas do que a tabela de destino

    • [SPARK-42702][SPARK-42623] Suporte a consulta parametrizada em subconsulta e CTE

    • [SPARK-42668] Capturar exceção ao tentar fechar o fluxo compactado no encerramento do HDFSStateStoreProvider.

    • [SPARK-42403] JsonProtocol deve manipular cadeias de caracteres JSON nulas

  • 8 de março de 2023

    • A mensagem de erro "Falha ao inicializar a configuração" foi melhorada para fornecer mais contexto para o cliente.
    • Há uma alteração de terminologia para adicionar recursos a uma tabela Delta usando a propriedade da tabela. A sintaxe preferida é agora 'delta.feature.featureName'='supported' em vez de 'delta.feature.featureName'='enabled'. Para compatibilidade com versões anteriores, o uso 'delta.feature.featureName'='enabled' ainda funciona e continuará a funcionar.
    • A partir desta versão, é possível criar/substituir uma tabela com uma propriedade de tabela adicional delta.ignoreProtocolDefaults para ignorar configurações do Spark relacionadas com o protocolo, que incluem as versões padrão de leitor e gravador e os recursos de tabela suportados por padrão.
    • [SPARK-42070] Mude o valor padrão do argumento da função Mask de -1 para NULL
    • [SPARK-41793] Resultado incorreto para molduras de janelas definidas por uma cláusula de intervalo em décimos significativos
    • [FAÍSCA-42484] Melhor mensagem de erro do UnsafeRowUtils
    • [SPARK-42516] Sempre capture a configuração de fuso horário da sessão ao criar visualizações
    • [SPARK-42635] Corrigir a expressão TimestampAdd.
    • [SPARK-42622] Substituição desativada em valores
    • [SPARK-42534] Corrigir cláusula de limite do DB2Dialect
    • [FAÍSCA-42121] Adicionar funções embutidas de valor de tabela posexplode, posexplode_outer, json_tuple e stack
    • [FAÍSCA-42045] Modo ANSI SQL: Round/Bround deve retornar um erro em estouro inteiro minúsculo/pequeno/significativo
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

  • 9 de abril de 2025
    • Atualizações de segurança do sistema operacional.
  • 11 de março de 2025
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 11, 2025
    • Atualizações de segurança do sistema operacional.
  • 10 de dezembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 26 de novembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 5 de novembro de 2024
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de setembro de 2024
    • [SPARK-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • Atualizações de segurança do sistema operacional.
  • 6 de setembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • [SPARK-49065][SQL] Rebasing em formatadores/analisadores legados deve suportar fusos horários que não sejam o padrão da JVM
  • 14 de agosto de 2024
  • 1 de agosto de 2024
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • [SPARK-48105][SS] Correção da condição de corrida entre o descarregamento do armazenamento de estado e a criação de instantâneos
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [SPARK-47973][CORE] Registrar o local da chamada no SparkContext.stop() e posteriormente no SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Definir nulo corretamente na chave de junção coalescida na união externa completa USING
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • Correções de bugs diversos.
  • 11 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • Reverta "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem num comando MERGE pode resultar na métrica de operação "numSourceRows" indicando o dobro do número correto de linhas.
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [SPARK-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [SPARK-46058] Adicionar sinalizador separado para privateKeyPassword.
    • [SPARK-39440] Adicionar uma opção de configuração para desativar a cronologia de eventos.
    • [SPARK-46132] Suporte para senha de chave para chaves JKS para SSL RPC.
  • 14 de dezembro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [SPARK-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45730] Melhoradas as restrições de tempo para ReloadingX509TrustManagerSuite.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [SPARK-45545]SparkTransportConf herda SSLOptions após a criação.
    • [SPARK-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [SPARK-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [SPARK-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExec.
    • [SPARK-45541] Adicionado SSLFactory.
    • [SPARK-42205] Removidos os acumuláveis de registo nos eventos de início de fase e tarefa.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [SPARK-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • [SPARK-43098] Corrija o bug de exatidão do COUNT quando a subconsulta escalar tem uma cláusula GROUP BY.
    • [SPARK-43156][SPARK-43098] Ampliar o teste de contagem de erros em subconsultas escalares com decorrelateInnerQuery desligado.
    • [SPARK-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados recuperados em JSON para evitar UnknownFieldException.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-37520] Adicionar as funções string startswith() e endswith()
    • [SPARK-43413] Corrigida a nulabilidade da subconsulta IN.
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [SPARK-42967] Corrigir SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [SPARK-42484] Melhoria na mensagem de erro para UnsafeRowUtils.
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabelas JDBC são agora EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Corrigiu-se um problema na análise de JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não foi definido ou estava definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um arquivo pode ser duplicado no mesmo microlote quando allowOverwrites está ativado
    • [SPARK-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Correções diversas.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem interna do Auto Loader no ADLS. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [SPARK-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [SPARK-40089] Corrigir a ordenação para alguns tipos decimais
    • [SPARK-39887] RemoveRedundantAliases deve manter aliases que tornam as saídas dos nós de projeção únicas
  • 6 de setembro de 2022
    • [SPARK-40235] Utilizar trava interruptível em vez de síncrono em Executor.updateDependencies()
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com os parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvar o Bucketizer.
    • [SPARK-40079] Adicionar validação de inputCols do Imputer para o caso de entrada vazia
  • 24 de agosto de 2022
    • [SPARK-39666] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
    • [SPARK-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [SPARK-39689] Suporte para 2 caracteres lineSep na fonte de dados CSV
    • [FAÍSCA-39575] Adicionado ByteBuffer#rewind depois de ByteBuffer#get em AvroDeserializer.
    • [SPARK-37392] Corrigido o erro de desempenho no otimizador catalítico.
    • Atualizações de segurança do sistema operacional.
  • 13 de julho de 2022
    • [FAÍSCA-39419]ArraySort lança uma exceção quando o comparador retorna null.
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 15 de junho de 2022
    • [SPARK-39283] Resolver o impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 de junho de 2022
    • [SPARK-34554] Implemente o copy() método em ColumnarMap.
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrigido um potencial vazamento de memória embutido no Auto Loader.
    • Atualize a versão do AWS SDK de 1.11.655 para 1.11.678.
    • [SPARK-38918] O corte de colunas aninhadas deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-39084] Corrigir df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 6 de abril de 2022
    • [SPARK-38631] Usa implementação baseada em Java para descompactação em Utils.unpack.
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • Alterado o diretório de trabalho atual dos notebooks em clusters de Alta Concurrência com controle de acesso a tabelas ou passagem de credenciais ativado para o diretório pessoal do usuário. Anteriormente, o diretório ativo era /databricks/driver.
    • [FAÍSCA-38437] Serialização leniente de datetime a partir da fonte de dados
    • [SPARK-38180] Permitir expressões up-cast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [SPARK-27442] Removido um campo de verificação ao ler ou gravar dados num parquet.
  • 14 de março de 2022
    • [SPARK-38236] Os caminhos de arquivo absolutos especificados no CREATE/ALTER TABLE são tratados como relativos
    • [SPARK-34069] Interrompe o thread da tarefa se a propriedade local estiver definida como verdadeiro.
  • 23 de fevereiro de 2022
    • [SPARK-37859] As tabelas SQL criadas com JDBC no Spark 3.1 não são legíveis no Spark 3.2.
  • 8 de fevereiro de 2022
    • [SPARK-27442] Removido um campo de verificação ao ler ou gravar dados num parquet.
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigimos um problema em que transações simultâneas em tabelas Delta podiam ser realizadas numa ordem que não seja serializável em determinadas condições raras.
    • Corrigido um problema em que o comando OPTIMIZE podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Pequenas correções e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um problema que poderia levar a que os fluxos de Streaming Estruturado falhassem com um ArrayIndexOutOfBoundsException.
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou impedir que as modificações em sparkContext.hadoopConfiguration surtissem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 20 de outubro de 2021
    • Conector BigQuery atualizado de 0.18.1 para 0.22.2. Isso adiciona suporte para o tipo BigNumeric.
  • Last updated on