Atualizações de manutenção do Databricks Runtime

Este artigo lista as atualizações de manutenção para versões do Databricks Runtime com suporte. Para adicionar uma atualização de manutenção a um cluster existente, reinicie o cluster. Para obter as atualizações de manutenção em versões sem suporte do Databricks Runtime, consulte Atualizações de manutenção para Databricks Runtime (arquivado).

Versões do Databricks Runtime

Atualizações de manutenção por versão:

• Databricks Runtime 17.3 LTS
• Databricks Runtime 17.2
• Databricks Runtime 17.1
• Databricks Runtime 17.0
• Databricks Runtime 16.4 LTS
• Databricks Runtime 16.2
• Databricks Runtime 15.4 LTS
• Databricks Runtime 14.3 LTS
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 17.3 LTS

Consulte o Databricks Runtime 17.3 LTS.

• 9 de dezembro de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.5 a 1.3.6
  • [SPARK-50906][SQL] Corrigir a checagem de nulidade do Avro para campos de struct reordenados
  • [SPARK-54180][SQL] Substituir o toString de BinaryFileFormat
  • [SPARK-54427][SQL] Permitir que ColumnarRow chame copy com tipos variantes
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • [SPARK-52762][SDP] Adicionar mensagem PipelineAnalysisContext para dar suporte à análise de pipeline durante a execução da consulta do Spark Connect
  • [SPARK-54156][PROTOBUF] Classificar erros para falha de conversão do ProtobufOptions
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54015][PYTHON] Relaxe o requisito Py4J para py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54099][SQL] O analisador de variante XML deve voltar à cadeia de caracteres em erros de análise decimais
  • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Adicionar uma vez ao Defineflow Proto
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
  • [SPARK-46679][SQL] Correção para SparkUnsupportedOperationException Não encontrado um codificador do tipo T, ao usar a classe Parameterized
  • [SPARK-53973][Avro] Classificar erros para falha de conversão booliana do AvroOptions
  • [SPARK-53794][SS] Adicionar opção para limitar exclusões por operação de manutenção associada ao provedor de estado rocksdb
  • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
  • [SPARK-53972][SS] Corrigir regressão recente do progresso da consulta de streaming no pyspark clássico
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 17.2

Consulte Databricks Runtime 17.2.

• 9 de dezembro de 2025
  • As tabelas Delta particionadas terão colunas de partição materializadas em arquivos de dados Parquet a partir de agora. Isso permite uma melhor sinergia com a maneira como as tabelas Iceberg e UniForm são tratadas e aumenta a compatibilidade com leitores externos não Delta.
  • [SPARK-54427][SQL] Permitir que ColumnarRow chame copy com tipos variantes
  • [SPARK-54180][SQL] Sobrescrever o toString de BinaryFileFormat
  • [SPARK-50906][SQL] Correção da verificação de nulidade do Avro para campos de struct reordenados
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • [SPARK-54099][SQL] O analisador de variante XML deve voltar à cadeia de caracteres em erros de análise decimais
  • [SPARK-54015][PYTHON] Relaxe o requisito Py4J para py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-52515]Approx_top_k com o uso de Apache DataSketches
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • [SPARK-53973][Avro] Classificar erros para falha de conversão booliana do AvroOptions
  • [SPARK-53972][SS] Corrigir regressão recente do progresso da consulta de streaming no pyspark clássico
  • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 8 de outubro de 2025
  • [SPARK-53555] Correção: o SparkML-connect não pode carregar o modelo do SparkML salvo (modo legado)
  • [SPARK-53598][SQL] Verifique a existência de numParts antes de acessar a propriedade de uma grande tabela
  • [SPARK-53625][SS] Propagar colunas de metadados por meio de projeções para resolver a incompatibilidade de ApplyCharTypePadding
  • [SPARK-53568][CONNECT][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • [SPARK-53574] Corrigir AnalysisContext sendo apagado durante a resolução de plano aninhado
  • [SPARK-53623][SQL] melhorar a leitura de grandes propriedades da tabela...
  • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
  • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado de lista for concluído
  • Atualizações de segurança do sistema operacional.

• 10 de setembro de 2025
  • Correção de um problema que poderia fazer com que o Carregador Automático travasse indefinidamente.
  • [SPARK-53362] [ML] [CONNECT] Corrigir bug do carregador local IDFModel
  • [SPARK-53382][SQL] Corrigir bug rCTE com recursão malformada
  • Correção de backport para teste instável referente a [SPARK-53345]
  • [SPARK-49872][CORE] Remover limitação de comprimento da cadeia de caracteres JSON jackson
  • [SPARK-53423] [SQL] Mova todas as tags relacionadas ao resolvedor de single-pass para ResolverTag
  • [SPARK-53431][PYTHON] Correção de UDTF do Python com argumentos de tabela nomeados na API DataFrame
  • [SPARK-53336] [ML] [CONNECT] Redefinir MLCache.totalMLCacheSizeBytes quando MLCache.clear() for chamado
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitar interrupção duplicada
  • [SPARK-53470][SQL] Expressões ExtractValue sempre devem fazer verificação de tipo
  • Seleção específica de [SPARK-53389] Melhorias para a API do Pandas no Spark de acordo com ANSI
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 17.1

Consulte o Databricks Runtime 17.1.

• 9 de dezembro de 2025
  • As tabelas Delta particionadas terão colunas de partição materializadas em arquivos parquet de dados daqui para frente. Isso permite uma melhor sinergia com a maneira como as tabelas Iceberg e UniForm são tratadas e aumenta a compatibilidade com leitores externos não Delta.
  • [SPARK-54180][SQL] Sobrescrever o toString do BinaryFileFormat
  • [SPARK-50906][SQL] Correção da verificação de nulidade do Avro para campos de struct reordenados
  • [SPARK-54427][SQL] Permitir que ColumnarRow chame copy com tipos variantes
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54015][PYTHON] Relaxe o requisito Py4J para py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-52515]Approx_top_k com o uso de Apache DataSketches
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54099][SQL] O analisador de variante XML deve voltar à cadeia de caracteres em erros de análise decimais
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • [SPARK-53972][SS] Corrigir regressão recente do progresso da consulta de streaming no pyspark clássico
  • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
  • [SPARK-53973][Avro] Classificar erros para falha de conversão booliana do AvroOptions
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • [SPARK-53574] Corrigir AnalysisContext sendo apagado durante a resolução de plano aninhado
  • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado de lista for concluído
  • [SPARK-53568][CONNECT][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • [SPARK-53625][SS] Propagar colunas de metadados por meio de projeções para resolver a incompatibilidade de ApplyCharTypePadding
  • [SPARK-53598][SQL] Verifique a existência de numParts antes de acessar a propriedade de uma grande tabela
  • [SPARK-53623][SQL] melhorar a leitura de grandes propriedades da tabela...
  • [SPARK-53555] Correção: o SparkML-connect não pode carregar o modelo do SparkML salvo (modo legado)
  • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
  • Atualizações de segurança do sistema operacional.

• 16 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Correção de um problema que poderia fazer com que o Carregador Automático travasse indefinidamente.
  • [SPARK-53362] [ML] [CONNECT] Corrigir bug do carregador local IDFModel
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitar interrupção duplicada
  • [SPARK-53382][SQL] Corrigir bug rCTE com recursão malformada
  • [SPARK-53431][PYTHON] Correção de UDTF do Python com argumentos de tabela nomeados na API DataFrame
  • [SPARK-53336] [ML] [CONNECT] Redefinir MLCache.totalMLCacheSizeBytes quando MLCache.clear() for chamado
  • [SPARK-49872][CORE] Remover limitação de comprimento da cadeia de caracteres JSON jackson
  • Atualizações de segurança do sistema operacional.

• 25 de agosto de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5
  • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceção para ler determinados arquivos zstd corrompidos
  • [SPARK-53192][CONNECT] Sempre armazenar em cache um DataSource no Cache de Planos do Spark Connect
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • [SPARK-52833][SQL] Correção VariantBuilder.appendFloat
  • [SPARK-52961][PYTHON] Corrigir UDTF do Python com otimização de seta com valor de 0 arg na junção lateral
  • [SPARK-51505][SQL] Sempre mostrar métricas de número de partição vazias no AQEShuffleReadExec
  • [SPARK-52753][SQL] Tornar o binário parseDataType compatível com versões anteriores
  • [SPARK-52842][SQL] Nova funcionalidade e bugfixes para o analisador de passagem única
  • [SPARK-52960][SQL] Mostrar cadeia de caracteres de subárvore em LogicalQueryStage toString
  • [SPARK-53054][CONNECT] Corrija a conexão. Comportamento de formato padrão do DataFrameReader
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 17.0

Confira Databricks Runtime 17.0.

• 9 de dezembro de 2025
  • As tabelas Delta particionadas terão colunas de partição materializadas em arquivos parquet de dados daqui para frente. Isso permite uma melhor sinergia com a maneira como as tabelas Iceberg e UniForm são tratadas e aumenta a compatibilidade com leitores externos não Delta.
  • Para o conector Snowflake e a Federação Snowflake Lakehouse, TIMESTAMP_NTZ literais (carimbo de data/hora sem fuso horário) não são mais empurrados para Snowflake. Essa alteração impede falhas de consulta causadas pelo tratamento incompatível de timestamp e melhora a confiabilidade das consultas afetadas.
  • [SPARK-54427][SQL] Permitir que ColumnarRow chame copy com tipos variantes
  • [SPARK-54180][SQL] Substituir o toString de BinaryFileFormat
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54099][SQL] O analisador de variante XML deve voltar à cadeia de caracteres em erros de análise decimais
  • [SPARK-54015][PYTHON] Relaxe o requisito Py4J para py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • [SPARK-53908][CONNECT] Corrigir observações no Spark Connect com cache de plano
  • [SPARK-53972][SS] Corrigir regressão recente do progresso da consulta de streaming no pyspark clássico
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • [SPARK-53598][SQL] Verifique a existência de numParts antes de acessar a propriedade de uma grande tabela
  • [SPARK-53568][CONNECT][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • [SPARK-53574] Corrigir AnalysisContext sendo apagado durante a resolução de plano aninhado
  • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado de lista for concluído
  • [SPARK-53623][SQL] melhorar a leitura de grandes propriedades da tabela...
  • [SPARK-53729][PYTHON][CONNECT] Corrigir serialização de pyspark.sql.connect.window.WindowSpec
  • Atualizações de segurança do sistema operacional.

• 16 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Correção de um problema que poderia fazer com que o Carregador Automático travasse indefinidamente.
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible deve evitar interrupção duplicada
  • [SPARK-53336] [ML] [CONNECT] Redefinir MLCache.totalMLCacheSizeBytes quando MLCache.clear() for chamado
  • [SPARK-49872][CORE] Remover limitação de comprimento da cadeia de caracteres JSON jackson
  • [SPARK-53431][PYTHON] Correção de UDTF do Python com argumentos de tabela nomeados na API DataFrame
  • [SPARK-53382][SQL] Corrigir bug rCTE com recursão malformada
  • Atualizações de segurança do sistema operacional.

• 26 de agosto de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5
  • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceção para ler determinados arquivos zstd corrompidos
  • [SPARK-53192][CONNECT] Sempre armazenar em cache um DataSource no Cache de Planos do Spark Connect
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • [SPARK-51505][SQL] Sempre mostrar métricas de número de partição vazias no AQEShuffleReadExec
  • [SPARK-53054][CONNECT] Corrija a conexão. Comportamento de formato padrão do DataFrameReader
  • [SPARK-52961][PYTHON] Corrigir UDTF do Python com otimização de seta com valor de 0 arg na junção lateral
  • [SPARK-52833][SQL] Correção VariantBuilder.appendFloat
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • [SPARK-51889][PYTHON][SS] Corrigir um bug para MapState clear() no Python TWS
  • [SPARK-52753][SQL] Tornar o binário parseDataType compatível com versões anteriores
  • [SPARK-49428][SQL] Mover o cliente Connect Scala do Conector para o SQL
  • Atualizações de segurança do sistema operacional.

• 15 de julho de 2025
  • Correção de um problema de perda de dados não determinístico ao usar o Streaming Estruturado do Spark para transmitir dados do Pulsar.
  • [SPARK-52430][SQL] Corrigir bug com nullabilidade da união em rCTEs
  • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
  • [SPARK-52579][PYTHON] Definir despejo de rastreio periódico para trabalhadores do Python
  • [SPARK-52450] Melhorar o desempenho da cópia profunda do esquema
  • [SPARK-52599][PYTHON] Suporte a registro de rastreamento periódico em trabalhadores do lado do driver
  • [SPARK-52553][SS] Corrigir NumberFormatException ao ler o registro de mudanças v1
  • Atualizações de segurança do sistema operacional.

• 28 de maio de 2025
  • Bibliotecas do Python atualizadas:
    • google-auth de 2.40.0 para 2.40.1
    • mlflow-skinny de 2.22.0 para 3.0.0
    • opentelemetry-api de 1.32.1 para 1.33.0
    • opentelemetry-sdk de 1.32.1 para 1.33.0
    • opentelemetry-semantic-conventions de 0.53b1 a 0.54b0
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.3.0 a 1.3.3
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • Corrigir a limitação de que a função cloud_files_state TVF não pode ser usada para ler o estado em nível de arquivo de tabelas de streaming entre pipelines
  • Corrige problemas de autorização do Unity Catalog para consultas em visualizações temporárias.
  • Sinalizador invertido na versão 17.0.1, sinalizador SAFE implementado para todos os espaços de trabalho na versão 17.0.0
  • Suporte do Delta Sharing para usar o cache de E/S do Spark Parquet para consultas que usam URLs pré-assinadas (disponíveis a partir da versão 17.0.1).
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • O conector Teradata agora passará um TMODE=ANSI para o driver por padrão. Isso significa que todas as comparações de cadeias de caracteres feitas por meio do Lakehouse Federation diferenciarão maiúsculas de minúsculas.
  • [SPARK-51921][SS][PYTHON] Usar tipo longo para duração de TTL em milissegundos em transformWithState
  • [SPARK-52259][ML][CONNECT] Corrigir compatibilidade binária da classe Param
  • [SPARK-52195][PYTHON][SS] Corrige problema inicial de perda de coluna de estado para Python TWS
  • [SPARK-52057] [ML] [CONNECT] Coletar mensagens de aviso de limite de tamanho da árvore para o cliente
  • [SPARK-52051] [ML] [CONNECT] Habilitar resumo do modelo quando o controle de memória estiver habilitado
  • [SPARK-51606][CONNECT] Adicionar SPARK_IDENT_STRING ao parar o servidor Spark Connect
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar SQLConf dinamicamente
  • [SPARK-52232][SQL] Corrigir consultas não determinísticas para produzir resultados diferentes em cada etapa
  • [SPARK-52013] [CONNECT] [ML] Remover SparkConnectClient.ml_caches
  • [SPARK-52353][SQL] Corrigir bug com restrições incorretas em LogicalRDDs referenciando iterações anteriores no UnionLoop
  • [SPARK-52130] [ML] [CONNECT] Refinar mensagem de erro e ocultar a configuração interna do Spark
  • [SPARK-52470][ML][CONNECT] Descarregamento de resumo do modelo de suporte
  • [SPARK-51935][SQL] Corrigir comportamento lento de iteradores em df.collect() interpretado
  • [SPARK-52482][SQL][CORE] Suporte do ZStandard para leitor de fonte de dados de arquivo
  • [SPARK-52159][SQL] Lidar corretamente com a verificação da existência da tabela para dialetos JDBC
  • [SPARK-52010] Não gerar documentos de API para classes internas
  • [SPARK-52049] Corrigir o bug de que os atributos XML não podem ser analisados como Variant
  • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar DataFrame em cache
  • [SPARK-52229][ML][CONNECT] Melhorar a estimativa de tamanho do modelo
  • [SPARK-50815][PYTHON] Corrigir a Conversão de Dados Locais Variant para Arrow
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
  • [SPARK-51981][SS] Adicionar JobTags a queryStartedEvent
  • [FIX REVERT][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] Habilitar a substituição do limite do nível de recursão na sintaxe
  • [SPARK-52101][SQL] Desabilitar o forçamento embutido para rCTEs
  • [SPARK-52099][SQL] Habilitar a substituição do limite de linha de recursão adicionando um LIMIT operador
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 16.4 LTS

Confira Databricks Runtime 16.4 LTS.

• 9 de dezembro de 2025
  • As tabelas Delta particionadas terão colunas de partição materializadas em arquivos de dados Parquet a partir de agora. Isso permite uma melhor sinergia com a maneira como as tabelas Iceberg e UniForm são tratadas e aumenta a compatibilidade com leitores externos não Delta.
  • Para o conector Snowflake e a Federação Snowflake Lakehouse, TIMESTAMP_NTZ literais (carimbo de data/hora sem fuso horário) não são mais empurrados para Snowflake. Essa alteração impede falhas de consulta causadas pelo tratamento incompatível de timestamp e melhora a confiabilidade das consultas afetadas.
  • [SPARK-54427][SQL] Permitir que ColumnarRow chame copy com tipos variantes
  • [SPARK-54180][SQL] Sobrescrever o toString de BinaryFileFormat
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54099][SQL] O analisador de variante XML deve voltar à cadeia de caracteres em erros de análise decimais
  • [SPARK-54015][PYTHON] Relaxe o requisito Py4J para py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54156][PROTOBUF] Classificar erros para falha de conversão do ProtobufOptions
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • Bibliotecas R atualizadas:
    • seta de 16.1.0 a 21.0.0
  • [SPARK-53973][Avro] Classificar erros para falha de conversão booliana do AvroOptions
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • [SPARK-53568][CONNECT][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • [SPARK-53574] Corrigir AnalysisContext sendo apagado durante a resolução de plano aninhado
  • [SPARK-53623][SQL] melhorar a leitura de grandes propriedades da tabela...
  • [SPARK-53598][SQL] Verifique a existência de numParts antes de acessar a propriedade de uma grande tabela
  • [SPARK-53549][SS] Sempre feche o alocador de seta quando o processo de solicitação de estado de lista for concluído
  • Atualizações de segurança do sistema operacional.

• 16 de setembro de 2025
  • O conector Snowflake agora usa a INFORMATION_SCHEMA tabela em vez do SHOW SCHEMAS comando para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Correção de um problema que poderia fazer com que o Carregador Automático travasse indefinidamente.
  • Corrige um erro transitório no Carregador Automático que pode fazer com que os trabalhos falhem
  • [SPARK-49872][CORE] Remover limitação de comprimento da cadeia de caracteres JSON jackson
  • [SPARK-51821][CORE] Chamar interrupt() sem segurar uninterruptibleLock para evitar possível deadlock
  • Atualizações de segurança do sistema operacional.

• 26 de agosto de 2025
  • Bibliotecas Java atualizadas:
    • (Somente Scala 2.12) io.delta.delta-sharing-client_2.12 de 1.2.7 a 1.2.8
    • (Somente Scala 2.13) io.delta.delta-sharing-client_2.13 de 1.2.7 a 1.2.8
  • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceção para ler determinados arquivos zstd corrompidos
  • [SPARK-53192][CONNECT] Sempre armazenar em cache um DataSource no Cache de Planos do Spark Connect
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • [SPARK-51011][CORE] Adicionar registro em log para indicar se uma tarefa será interrompida quando terminada
  • [SPARK-52833][SQL] Correção VariantBuilder.appendFloat
  • [SPARK-51505][SQL] Sempre mostrar métricas de número de partição vazias no AQEShuffleReadExec
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • [SPARK-52753][SQL] Tornar o binário parseDataType compatível com versões anteriores
  • Atualizações de segurança do sistema operacional.

• 15 de julho de 2025
  • Correção de um problema de perda de dados não determinístico ao usar o Streaming Estruturado do Spark para transmitir dados do Pulsar.
  • [SPARK-52579][PYTHON] Definir despejo de rastreio periódico para trabalhadores do Python
  • [SPARK-52553][SS] Corrigir NumberFormatException ao ler o registro de mudanças v1
  • [SPARK-52450] Melhorar o desempenho da cópia profunda do esquema
  • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
  • [SPARK-52599][PYTHON] Suporte a registro de rastreamento periódico em trabalhadores do lado do driver
  • Atualizações de segurança do sistema operacional.

• 1 de julho de 2025
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar SQLConf dinamicamente
  • [SPARK-52482][SQL][CORE] Suporte do ZStandard para leitor de fonte de dados de arquivo
  • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar DataFrame em cache
  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2025
  • Correção da limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado de tabelas de streaming no nível do arquivo entre pipelines.
  • Correção de problemas de autorização no Unity Catalog para consultas em visualizações temporárias.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
  • Atualizações de segurança do sistema operacional.

• 3 de junho de 2025
  • [SPARK-52195][PYTHON][SS] Corrige problema inicial de perda de coluna de estado para Python TWS
  • [SPARK-52159][SQL] Lidar corretamente com a verificação da existência da tabela para dialetos JDBC
  • Diversas correções de bugs.

• 7 de maio de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.13 de 1.2.3 a 1.2.7
    • org.apache.avro.avro de 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
  • A sessão clonada de streaming será usada dentro da função de usuário foreachBatch em Clusters compartilhados/sem servidor. Isso se alinha com o comportamento no clássico (Clusters atribuídos).
  • A sessão clonada de streaming será usada dentro da função de usuário foreachBatch em Clusters compartilhados/sem servidor. Isso se alinha com o comportamento no clássico (Clusters atribuídos).
  • Antes dessa alteração, os espaços em branco à esquerda e as guias em caminhos na expressão variant_get estavam sendo ignorados com o Photon desabilitado. Por exemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') não seria eficaz na extração do valor de "key". No entanto, os usuários poderão extrair essas chaves agora.
  • [SPARK-51935][SQL] Corrigir comportamento lento de iteradores em df.collect() interpretado
  • [SPARK-51921][SS][PYTHON] Usar tipo longo para duração de TTL em milissegundos em transformWithState
  • [SPARK-51940][SS] Adicionar interface para gerenciar metadados de ponto de verificação de streaming
  • [SPARK-52049] Corrigir o bug de que os atributos XML não podem ser analisados como Variant
  • [SPARK-51904][SS] Removendo a remoção de metadados assíncrona para StateSchemaV3 e ignorando arquivos não relacionados a lotes ao listar arquivos OperatorMetadata
  • [SPARK-51869][SS] Criar classificação para erros de usuário em UDFs para Scala TransformWithState
  • [SPARK-51889][PYTHON][SS] Corrigir um bug para MapState clear() no Python TWS
  • SPARK-51922 [SS] Corrigir UTFDataFormatException lançada por StateStoreChangelogReaderFactory para v1
  • [SPARK-51848][SQL] Correção da análise de registros XML com esquema definido de matriz/estruturas/mapa de Variant
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 16.2

Consulte o Databricks Runtime 16.2 (EoS).

• 14 de agosto de 2025
  • [SPARK-51011][CORE] Adicionar registro em log para indicar se uma tarefa será interrompida quando terminada
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 15 de julho de 2025
  • Correção de um problema de perda de dados não determinístico ao usar o Streaming Estruturado do Spark para transmitir dados do Pulsar.
  • [SPARK-52553][SS] Corrigir NumberFormatException ao ler o registro de mudanças v1
  • Atualizações de segurança do sistema operacional.

• 1 de julho de 2025
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar SQLConf dinamicamente
  • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar DataFrame em cache
  • [SPARK-52482][SQL][CORE] Suporte do ZStandard para leitor de fonte de dados de arquivo
  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2025
  • Correção da limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado de tabelas de streaming no nível do arquivo entre pipelines.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
  • Atualizações de segurança do sistema operacional.

• 3 de junho de 2025
  • Bibliotecas do Python atualizadas:
    • criptografia de 41.0.7, 41.0.7, 42.0.5 para 42.0.5
    • embalagem de 24.0, 24.1 para 24.1
    • platformdirs de 3.10.0, 4.2.2 para 3.10.0
    • pyparsing de 3.0.9, 3.1.1 para 3.0.9
    • Adição do autocomando 2.2.2
    • Adicionado backports.tarfile 1.2.0
    • Adicionado importlib_resources 6.4.0
    • Adicionado o inflect 7.3.1
    • Adicionado jaraco.context 5.3.0
    • Adicionado jaraco.functools 4.0.1
    • Adicionado jaraco.text 3.12.1
    • Adicionado more-itertools 10.3.0
    • Adicionado pip 24.2
    • Adicionado o setuptools 74.0.0
    • Adicionado tomli 2.0.1
    • Adicionado typeguard 4.3.0
    • Adicionado wcwidth 0.2.5
    • Adicionado wheel 0.43.0
    • Removida distribuição 1.9.0
    • Removido distro-info 1.7+build1
    • Removido python-apt 2.7.7+ubuntu4
  • [SPARK-52159][SQL] Lidar corretamente com a verificação da existência da tabela para dialetos JDBC
  • [SPARK-52195][PYTHON][SS] Corrige problema inicial de perda de coluna de estado para Python TWS
  • Atualizações de segurança do sistema operacional.

• 20 de maio de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.2.6 a 1.2.7
    • org.apache.avro.avro de 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
  • A sessão clonada de streaming será usada dentro da função de usuário foreachBatch em Clusters compartilhados/sem servidor. Isso se alinha com o comportamento no clássico (Clusters atribuídos).
  • A sessão clonada de streaming será usada dentro da função de usuário foreachBatch em Clusters compartilhados/sem servidor. Isso se alinha com o comportamento no clássico (Clusters atribuídos).
  • Antes dessa alteração, os espaços em branco à esquerda e as guias em caminhos na expressão variant_get estavam sendo ignorados com o Photon desabilitado. Por exemplo, select variant_get(parse_json('{"key": "value"}'), '$[' key']') não seria eficaz na extração do valor de "key". No entanto, os usuários poderão extrair essas chaves agora.
  • [SPARK-51935][SQL] Corrigir comportamento lento de iteradores em df.collect() interpretado
  • [SPARK-51921][SS][PYTHON] Usar tipo longo para duração de TTL em milissegundos em transformWithState
  • Atualizações de segurança do sistema operacional.

• 22 de abril de 2025
  • [SPARK-51717][SS][RocksDB] Corrigir a incompatibilidade de SST com corrupção que pode acontecer para o segundo instantâneo criado para uma nova consulta
  • Reverter o grupo "[SPARK-47895][SQL] por alias deve ser idempotente" em 15.4, 16.0, 16.1, 16.2 e 16.3
  • Atualizações de segurança do sistema operacional.

• 9 de abril de 2025

  • Bibliotecas Java atualizadas:
    • Remoção de io.starburst.openjson.openjson 1.8-e.12
    • Remoção de io.starburst.openx.data.json-serde 1.3.9-e.12
    • Remoção de io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] O agrupamento por alias deve ser idempotente
  • [SPARK-51505][SQL] Registrar em log métricas de número de partição vazias no AQE coalesce
  • [SPARK-51624][SQL] Propagar metadados de GetStructField em CreateNamedStruct.dataType
  • [SPARK-51589][SQL] Correção de pequeno bug que falha ao verificar funções de agregação em |>SELECT
  • Atualizações de segurança do sistema operacional.

• 11 de março de 2025

  • O Databricks Runtime 14.3 LTS e posterior inclui uma correção para um problema que causava incompatibilidades binárias com o código que instanciava uma classe SparkListenerApplicationEnd e era compilado no Apache Spark. Essa incompatibilidade resultou da mesclagem do SPARK-46399 ao Apache Spark. Essa mesclagem incluiu uma alteração que adicionou um argumento padrão ao SparkListenerApplicationEnd construtor. Para restaurar a compatibilidade binária, essa correção adiciona um único construtor de argumento à SparkListenerApplicationEnd classe.
  • Reversão de “[SPARK-48273][SQL] Corrigir reescrita tardia de PlanWithUnresolvedIdentifier”
  • [SPARK-50985][SS] Classificar erro de incompatibilidade de deslocamentos de carimbo de data/hora Kafka em vez de declarar e gerar erro para o servidor ausente no KafkaTokenProvider
  • [SPARK-51065][SQL] Não permitir esquema não anulável quando a codificação do Avro é usada para TransformWithState
  • [SPARK-51237][SS] Adicionar detalhes da API para novas APIs auxiliares transformWithState conforme necessário
  • [SPARK-51222][SQL] Otimizar ReplaceCurrentLike
  • [SPARK-51351][SS] Não materializar a saída no trabalho do Python para o TWS
  • [SPARK-51084][SQL] Atribuir classe de erro apropriada para negativeScaleNotAllowedError
  • [SPARK-51249][SS] Corrigindo a codificação NoPrefixKeyStateEncoder e Avro para usar o número correto de bytes de versão
  • Atualizações de segurança do sistema operacional.

• 5 de fevereiro de 2025

  • Esta versão inclui uma correção para um problema que afeta a conversão de determinados tipos de dados ao serializar colunas de dados XML resgatadas. Os tipos de dados afetados são datas, carimbos de data/hora que não são NTZ e decimais quando prefersDecimal estiver habilitado. Para saber mais sobre a coluna de dados resgatada, consulte Qual é a coluna de dados resgatada?.
  • [SPARK-50770][SS] Remover o escopo do pacote das APIs do operador transformWithState
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 15.4 LTS

Veja Databricks Runtime 15.4 LTS.

• 9 de dezembro de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.1.7 a 1.1.9
  • [SPARK-54427][SQL] Permitir que ColumnarRow chame copy com tipos variantes
  • [SPARK-52579][PYTHON] Definir despejo de rastreio periódico para trabalhadores do Python
  • [SPARK-54180][SQL] Sobrescrever o toString de BinaryFileFormat
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • Bibliotecas R atualizadas:
    • seta de 14.0.0.2 para 21.0.0
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Os critérios de fotonização de digitalização são atualizados para permitir a fotonização de digitalização quando a verificação de checksum é necessária.
    A determinação de se a verificação de checksum é necessária agora vem da configuração do hadoop ao invés do SQLConf.
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • [SPARK-53568][CONNECT][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • [SPARK-53574] Corrigir AnalysisContext sendo apagado durante a resolução de plano aninhado
  • Diversas correções de bugs.

• 16 de setembro de 2025
  • O conector Snowflake agora usa a INFORMATION_SCHEMA tabela em vez do SHOW SCHEMAS comando para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.
  • [SPARK-50870][SQL] Adicionar o fuso horário ao converter para timestamp no V2ScanRelationPushDown
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Correção de um problema que poderia fazer com que o Carregador Automático travasse indefinidamente.
  • Corrige um erro transitório no Carregador Automático que pode fazer com que os trabalhos falhem
  • [SPARK-51821][CORE] Chamar interrupt() sem segurar uninterruptibleLock para evitar possível deadlock
  • [SPARK-49872][CORE] Remover limitação de comprimento da cadeia de caracteres JSON jackson
  • Atualizações de segurança do sistema operacional.

• 26 de agosto de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.1.6 a 1.1.7
  • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceção para ler determinados arquivos zstd corrompidos
  • [SPARK-53192][CONNECT] Sempre armazenar em cache um DataSource no Cache de Planos do Spark Connect
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • [SPARK-51011][CORE] Adicionar registro em log para indicar se uma tarefa será interrompida quando terminada
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 21 de julho de 2025

  • Para computação habilitada para o Photon ou que usa a CPU baseada em Arm64, mlflow-skinny é atualizada para 2.19.0, ray é atualizada para 2.37.0 e databricks-feature-engineering é atualizada para 0.8.0.

• 15 de julho de 2025

  • Correção de um problema de perda de dados não determinístico ao usar o Streaming Estruturado do Spark para transmitir dados do Pulsar.
  • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe

• 1 de julho de 2025
  • Bibliotecas Java atualizadas:
    • org.mlflow.mlflow-spark_2.12 de 2.9.1 para 2.11.3
    • Removido com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
    • Removido org.slf4j.slf4j-simple 1.7.25
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement não deve acessar SQLConf dinamicamente
  • [SPARK-52482][SQL][CORE] Suporte do ZStandard para leitor de fonte de dados de arquivo
  • [SPARK-52312][SQL] Ignorar V2WriteCommand ao armazenar DataFrame em cache
  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2025
  • Correção da limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado de tabelas de streaming no nível do arquivo entre pipelines.
  • [SPARK-49646][SQL] corrige a decorrelação de subconsultas para operações union/set quando parentOuterReferences tem referências não abordadas em collectedChildOuterReferences
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano

• 3 de junho de 2025
  • Bibliotecas do Python atualizadas:
    • criptografia de 3.4.8, 41.0.3 para 41.0.3
    • filelock de 3.13.4, 3.15.4 para 3.13.4
    • importlib-metadata de 4.6.4, 6.0.0 para 6.0.0
    • platformdirs de 3.10.0, 3.11.0 para 3.10.0
    • pyparsing de 2.4.7, 3.0.9 para 3.0.9
    • zipp de 1.0.0, 3.11.0 para 3.11.0
    • Adicionado pip 23.2.1
    • Adicionado o setuptools 68.0.0
    • Adicionado wcwidth 0.2.5
    • Roda adicionada 0.38.4
    • Removida distribuição 1.7.0
    • Removido distro-info 1.1+ubuntu0.2
    • Removido python-apt 2.4.0+ubuntu4
  • Bibliotecas Java atualizadas:
    • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives para 1.1, 1.1
    • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives para 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives para 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives para 1.1
    • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 para 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 para 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 para 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 1.9.2
    • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider do 1.6.2-linux-x86_64 ao 1.6.2
  • [SPARK-52159][SQL] Lidar corretamente com a verificação da existência da tabela para dialetos JDBC
  • Atualizações de segurança do sistema operacional.

• 20 de maio de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.1.5 a 1.1.6
  • A sessão clonada de streaming será usada dentro da função de usuário foreachBatch em Clusters compartilhados/sem servidor. Isso se alinha com o comportamento no clássico (Clusters atribuídos).
  • Antes dessa alteração, os espaços em branco à esquerda e as guias em caminhos na expressão variant_get estavam sendo ignorados com o Photon desabilitado. Por exemplo, select variant_get(parse_json('{"key": "value"}'), '$['key']') não seria eficaz na extração do valor de "key". No entanto, os usuários poderão extrair essas chaves agora.
  • [SPARK-51935][SQL] Corrigir comportamento lento de iteradores em df.collect() interpretado
  • Atualizações de segurança do sistema operacional.

• 22 de abril de 2025
  • Bibliotecas Java atualizadas:
    • org.apache.avro.avro de 1.11.3 a 1.11.4
    • org.apache.avro.avro-ipc de 1.11.3 a 1.11.4
    • org.apache.avro.avro-mapred de 1.11.3 a 1.11.4
  • Reverter o grupo "[SPARK-47895][SQL] por alias deve ser idempotente" em 15.4, 16.0, 16.1, 16.2 e 16.3
  • [SPARK-50682][SQL] O alias interno deve ser canonizado
  • Atualizações de segurança do sistema operacional.

• 9 de abril de 2025
  • (Alteração comportamental) Para aplicar patches de segurança críticos, a versão padrão do Python é atualizada para o Python 3.11.11 do Python 3.11.0rc1. Essa atualização pode afetar algumas cargas de trabalho em execução no Databricks Runtime 15.4 LTS, como cargas de trabalho que usam a serialização do Python para armazenar e restaurar o estado entre execuções ou cargas de trabalho que fixam a versão 3.11.0 do Python.
  • Bibliotecas Java atualizadas:
    • Remoção de io.starburst.openjson.openjson 1.8-e.12
    • Remoção de io.starburst.openx.data.json-serde 1.3.9-e.12
    • Remoção de io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] O agrupamento por alias deve ser idempotente
  • [SPARK-51624][SQL] Propagar metadados de GetStructField em CreateNamedStruct.dataType
  • Atualizações de segurança do sistema operacional.

• 31 de março de 2025
  • Para computação não habilitada para o Photon, databricks-feature-engineering é atualizado para 0.8.0. Para computação com Photon, databricks-feature-engineering permanece em 0.6.0.

• 11 de março de 2025

  • O Databricks Runtime 14.3 LTS e posterior inclui uma correção para um problema que causava incompatibilidades binárias com o código que instanciava uma classe SparkListenerApplicationEnd e era compilado no Apache Spark. Essa incompatibilidade resultou da mesclagem do SPARK-46399 ao Apache Spark. Essa mesclagem incluiu uma alteração que adicionou um argumento padrão ao SparkListenerApplicationEnd construtor. Para restaurar a compatibilidade binária, essa correção adiciona um único construtor de argumento à SparkListenerApplicationEnd classe.
  • [SPARK-50985][SS] Classificar erro de incompatibilidade de deslocamentos de carimbo de data/hora Kafka em vez de declarar e gerar erro para o servidor ausente no KafkaTokenProvider
  • [SPARK-50791][SQL] Corrige o NPE no tratamento de erros do Repositório de Estado
  • [SPARK-50310][PYTHON] Melhorar o desempenho da coluna quando o DQC estiver desabilitado
  • [SPARK-51222][SQL] Otimizar ReplaceCurrentLike
  • [SPARK-49525][SS][CONNECT] Aprimoramento do log secundário no ouvinte do ListenerBus do Server Side Streaming
  • [SPARK-51084][SQL] Atribuir classe de erro apropriada para negativeScaleNotAllowedError
  • Atualizações de segurança do sistema operacional.

• 11 de fevereiro de 2025

  • Esta versão inclui uma correção para um problema que afeta a conversão de determinados tipos de dados ao serializar colunas de dados XML resgatadas. Os tipos de dados afetados são datas, carimbos de data/hora que não são NTZ e decimais quando prefersDecimal estiver habilitado. Para saber mais sobre a coluna de dados resgatada, consulte Qual é a coluna de dados resgatada?.
  • [SPARK-50492][SS] Corrigir java.util.NoSuchElementException quando a coluna de tempo de evento é removida após usar dropDuplicatesWithinWatermark
  • Atualizações de segurança do sistema operacional.
  • Para a computação não habilitada para Photon, mlflow-skinny é atualizado para a 2.19.0. Para a computação habilitada para Photon, mlflow-skinny permanece em 2.13.1.

• 10 de dezembro de 2024
  • A instrução USE CATALOG agora suporta a cláusula IDENTIFIER. Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.
  • Esta versão inclui uma correção para um problema que pode fazer com que a chave primária em uma tabela Delta seja descartada em determinados casos extremos relacionados à compactação automática em segundo plano.
  • Com esta versão, o tamanho do cache utilizado por um SSD em um nó de computação do Databricks se expande dinamicamente até igualar ao tamanho inicial do SSD e diminui quando necessário, até o limite spark.databricks.io.cache.maxDiskUsage. Consulte Otimizar o desempenho com cache no Azure Databricks.
  • O pacote pyodbc é atualizado da versão 4.0.38 para a versão 4.0.39. Essa alteração é necessária porque um bug foi encontrado na versão 4.0.38 e essa versão foi removida do PyPI.
  • [SPARK-50329][SQL] Corrigir InSet$toString
  • [SPARK-47435][SQL] Corrigir o problema de estouro de UNSIGNED TINYINT no MySQL
  • [SPARK-49757][SQL] Suporte para expressão IDENTIFIER em SETCATALOG instrução
  • [SPARK-50426][PYTHON] Evite pesquisas estáticas da fonte de dados do Python ao usar fontes de dados internas ou Java
  • [SPARK-48863][SQL] Corrigir ClassCastException ao analisar JSON com "spark.sql.json.enablePartialResults" habilitado
  • [SPARK-50310][PYTHON] Adicione um sinalizador para desabilitar DataFrameQueryContext para PySpark
  • [15.3-15.4] [SPARK-50034][CORE] Corrigir o erro de relatório dos Erros Fatais como Exceções não Capturadas em SparkUncaughtExceptionHandler
  • Atualizações de segurança do sistema operacional.
• 26 de novembro de 2024
  • Com esta versão, agora você pode consultar a função vector_search usando query_text para entrada de texto ou query_vector para inserir entrada.
  • Agora você pode definir um tempo limite para consultas do Spark Connect usando a propriedade de configuração do Spark spark.databricks.execution.timeout. Para notebooks em execução na computação sem servidor, o valor padrão é 9000 (segundos). Trabalhos em execução na computação sem servidor e computação com modo de acesso padrão não têm tempo limite, a menos que essa propriedade de configuração esteja definida. Uma execução que dura mais do que o tempo limite especificado resulta em um erro de QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-50322][SQL] Correção do identificador parametrizado em uma subconsulta
  • [SPARK-49615] [ML] Deixar toda a validação de esquema do conjunto de dados de transformadores de recurso em conformidade com a configuração "spark.sql.caseSensitive".
  • [SPARK-50124][SQL] LIMIT/OFFSET deve preservar a ordenação de dados
  • Atualizações de segurança do sistema operacional.

• 5 de novembro de 2024
  • (Alteração significativa) No Databricks Runtime 15.4 LTS e posteriores, o tratamento de expressões regulares no Photon é atualizado para corresponder ao comportamento do tratamento de expressões regulares do Apache Spark. Anteriormente, as funções de expressão regular executadas pelo Photon, como split() e regexp_extract(), aceitavam algumas expressões regulares rejeitadas pelo analisador spark. Para manter a consistência com o Apache Spark, as consultas do Photon agora falharão para expressões regulares que o Spark considera não válidas. Devido a essa alteração, você poderá ver erros se o código do Spark incluir expressões regulares inválidas. Por exemplo, a expressão split(str_col, '{'), que contém uma chave não correspondente e foi aceita anteriormente pelo Photon, agora falha. Para corrigir essa expressão, você pode escapar o caractere de chave: split(str_col, '\\{'). O comportamento de Photon e Spark também difere para algumas correspondências de expressões regulares de caracteres não ASCII. Isso também é atualizado para que o Photon corresponda ao comportamento do Apache Spark.
  • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com uma saída filho
  • [SPARK-49867][SQL] Melhorar a mensagem de erro quando o índice estiver fora dos limites ao chamar GetColumnByOrdinal
  • [SPARK-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a nulidade de structs aninhados
  • [SPARK-49829] Revisar a otimização da adição de entrada ao armazenamento de estado na junção de fluxo e fluxo (ajuste da correção)
  • [SPARK-49905] Usar ShuffleOrigin dedicado no operador com estado para evitar que o embaralhamento seja modificado do AQE
  • [SPARK-46632][SQL] Corrigir a eliminação de subexpressão quando as expressões ternárias equivalentes tiverem filhos diferentes
  • [SPARK-49443][SQL][PYTHON] Implemente a expressão to_variant_object e faça com que as expressões schema_of_variant exibam OBJECT para Variant Objects
  • [SPARK-49615] Correção de bug: fazer com que a validação do esquema de coluna ML esteja em conformidade com a configuração do spark.sql.caseSensitiveSpark.

• 22 de outubro de 2024
  • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com uma saída filho
  • [SPARK-49867][SQL] Melhorar a mensagem de erro quando o índice estiver fora dos limites ao chamar GetColumnByOrdinal
  • [SPARK-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a nulidade de structs aninhados
  • [SPARK-49829] Revisar a otimização da adição de entrada ao armazenamento de estado na junção de fluxo e fluxo (ajuste da correção)
  • [SPARK-49905] Usar ShuffleOrigin dedicado no operador com estado para evitar que o embaralhamento seja modificado do AQE
  • [SPARK-46632][SQL] Corrigir a eliminação de subexpressão quando as expressões ternárias equivalentes tiverem filhos diferentes
  • [SPARK-49443][SQL][PYTHON] Implemente a expressão to_variant_object e faça com que as expressões schema_of_variant exibam OBJECT para Variant Objects
  • [SPARK-49615] Correção de bug: fazer com que a validação do esquema de coluna ML esteja em conformidade com a configuração do spark.sql.caseSensitiveSpark.
• 10 de outubro de 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao podar GetArrayStructFields
  • [SPARK-49688][CONNECT] Corrigir uma corrida de dados entre o plano de interrupção e de execução
  • [BACKPORT] [SPARK-49474][SS] Classificar o erro da função de usuário em FlatMapGroupsWithState
  • [SPARK-49460][SQL] Acompanhamento: corrigir o risco potencial de NPE
• 25 de setembro de 2024
  • [SPARK-49628][SQL] ConstantFolding deve copiar expressão com estado antes de avaliar
  • [SPARK-49000][SQL] Corrigir "select count(distinct 1) from t" onde t é uma tabela vazia, expandindo RewriteDistinctAggregates.
  • [SPARK-49492][CONNECT] Tentativa de reanexação no ExecutionHolder inativo
  • [SPARK-49458][CONNECT][PYTHON] Fornecer ID de sessão pelo lado do servidor via ReattachExecute
  • [SPARK-49017][SQL] A instrução Insert falha quando vários parâmetros estão sendo usados
  • [SPARK-49451] Permitir chaves duplicadas em parse_json.
  • Diversas correções de bugs.
• 17 de setembro de 2024
  • [SPARK-48463][ML] Permitir que Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor deem suporte a colunas de entrada aninhadas
  • [SPARK-49409][CONNECT] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Suporte para caminhos no formato Windows no ArtifactManager
  • Reverter “[SPARK-48482][PYTHON] dropDuplicates e dropDuplicatesWIthinWatermark devem aceitar argumentos de comprimento variável”
  • [SPARK-43242][CORE] Corrigir o lançamento do "Tipo inesperado de BlockId" no diagnóstico de corrupção de ordem aleatória
  • [SPARK-49366][CONNECT] Tratar o nó de União como folha na resolução da coluna do dataframe
  • [SPARK-49018][SQL] Corrigir approx_count_distinct que não está funcionando corretamente com ordenação
  • [SPARK-49460][SQL] Remover cleanupResource() de EmptyRelationExec
  • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular nulo corretamente
  • [SPARK-49336][CONNECT] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
• 29 de agosto de 2024
  • A saída de uma instrução SHOW CREATE TABLE agora inclui todos os filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou em uma tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte filtros de linha e máscaras de coluna.
  • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote do Kafka agora têm as mesmas limitações impostas que as documentadas para o Streaming Estruturado. Consulte Limitações de streaming.
  • [SPARK-48941][SPARK-48970] Correções do gravador/leitor de ML do backport
  • [SPARK-49074][SQL] Corrigir variante com df.cache()
  • [SPARK-49263][CONNECT] Cliente python do Spark Connect: lidar consistentemente com opções de leitor de dataframe booliano
  • [SPARK-48955][SQL] Incluir alterações arrayCompact na versão 15.4
  • [SPARK-48937][SQL] Adicionar suporte de ordenação para expressões de cadeia de caracteres StringToMap
  • [SPARK-48929] Corrigir o erro interno do modo de exibição e limpar o contexto de exceção do analisador
  • [SPARK-49125][SQL] Permitir nomes de coluna duplicados na gravação do CSV
  • [SPARK-48934][SS] Tipos de datetime do Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
  • [SPARK-48843] Impedir o loop infinito com BindParameters
  • [SPARK-48981] Corrigiro método simpleString do StringType no pyspark para ordenações
  • [SPARK-49065][SQL] A troca de base nos formatadores/analisadores herdados devem dar suporte aos fusos horários padrão que não são JVM
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correções do gravador do Spark ML do Backport
  • [SPARK-48725][SQL] Integrar CollationAwareUTF8String.lowerCaseCodePoints em expressões de strings
  • [SPARK-48978][SQL] Implementar o caminho rápido ASCII no suporte de ordenação para UTF8_LCASE
  • [SPARK-49047][PYTHON][CONNECT] Truncar a mensagem para registro em log
  • [SPARK-49146][SS] Mover os erros de declaração relacionados à falta de marca d'água nas consultas de streaming no modo de acréscimo na estrutura de erros
  • [SPARK-48977][SQL] Otimizar a pesquisa da cadeia de caracteres na ordenação UTF8_LCASE
  • [SPARK-48889][SS] testStream para descarregar repositórios de estado antes de terminar
  • [SPARK-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
  • [SPARK-48954] try_mod() substitui try_remainder()
  • Atualizações de segurança do sistema operacional.

Azure Databricks Runtime 14.3 LTS

Consulte Databricks Runtime 14.3 LTS.

• 9 de dezembro de 2025
  • [SPARK-52579][PYTHON] Definir despejo de rastreio periódico para trabalhadores do Python
  • [SPARK-54180][SQL] Substituir o toString de BinaryFileFormat
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54078][SS] Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • Bibliotecas R atualizadas:
    • seta de 12.0.1 a 21.0.0
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • [SPARK-53568][CONNECT][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • [SPARK-53574] Corrigir AnalysisContext sendo apagado durante a resolução de plano aninhado
  • Diversas correções de bugs.

• 16 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Correção de um problema que poderia fazer com que o Carregador Automático travasse indefinidamente.
  • [SPARK-49872][CORE] Remover limitação de comprimento da cadeia de caracteres JSON jackson
  • Atualizações de segurança do sistema operacional.

• 26 de agosto de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.1.6 a 1.1.7
  • [SPARK-52482][SQL][CORE] Melhorar o tratamento de exceção para ler determinados arquivos zstd corrompidos
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 15 de julho de 2025
  • [SPARK-52503][SQL][CONNECT] Correção drop quando a coluna de entrada não existe
  • Diversas correções de bugs.

• 1 de julho de 2025
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • Suporte à descompactação do ZStandard para leitores de fonte de dados de arquivo (json, csv, xml e text.)
  • [SPARK-52521][SQL] Right#replacement não deve acessar SQLConf dinamicamente
  • [SPARK-52482][SQL][CORE] Suporte do ZStandard para leitor de fonte de dados de arquivo
  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2025
  • Correção da limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado de tabelas de streaming no nível do arquivo entre pipelines.
  • [SPARK-49646][SQL] corrige a decorrelação de subconsultas para operações union/set quando parentOuterReferences tem referências não abordadas em collectedChildOuterReferences

• 3 de junho de 2025
  • Bibliotecas do Python atualizadas:
    • criptografia de 3.4.8, 39.0.1 para 39.0.1
    • platformdirs de 2.5.2, 2.6.2 para 2.5.2
    • pyparsing de 2.4.7, 3.0.9 para 3.0.9
    • Adicionado pip 22.3.1
    • Adicionado o setuptools 65.6.3
    • Adicionado tomli 2.0.1
    • Adicionado wcwidth 0.2.5
    • Roda adicionada 0.38.4
    • Removida distribuição 1.7.0
    • Removido distro-info 1.1+ubuntu0.2
    • Removido python-apt 2.4.0+ubuntu4
  • Bibliotecas Java atualizadas:
    • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives para 1.1, 1.1
    • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives para 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives para 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives para 1.1
    • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 para 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 para 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 para 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 1.9.2
    • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.1
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference deve manter a ID do plano
  • [SPARK-52159][SQL] Lidar corretamente com a verificação da existência da tabela para dialetos JDBC
  • Atualizações de segurança do sistema operacional.

• 20 de maio de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-client_2.12 de 1.1.5 a 1.1.6
  • [SPARK-51935][SQL] Corrigir comportamento lento de iteradores em df.collect() interpretado
  • Atualizações de segurança do sistema operacional.

• 22 de abril de 2025
  • Atualizações de segurança do sistema operacional.

• 9 de abril de 2025

  • [Alteração de comportamento] As operações de vácuo agora executam verificações de protocolo de gravador semelhantes a outras operações, impedindo limpezas inesperadas em tabelas com recursos mais recentes quando executadas em versões anteriores incompatíveis do DBR.
  • [SPARK-51624][SQL] Propagar metadados de GetStructField em CreateNamedStruct.dataType
  • Atualizações de segurança do sistema operacional.

• 11 de março de 2025

  • O Databricks Runtime 14.3 LTS e posterior inclui uma correção para um problema que causava incompatibilidades binárias com o código que instanciava uma classe SparkListenerApplicationEnd e era compilado no Apache Spark. Essa incompatibilidade resultou da mesclagem do SPARK-46399 ao Apache Spark. Essa mesclagem incluiu uma alteração que adicionou um argumento padrão ao SparkListenerApplicationEnd construtor. Para restaurar a compatibilidade binária, essa correção adiciona um único construtor de argumento à SparkListenerApplicationEnd classe.
  • [SPARK-50791][SQL] Corrige o NPE no tratamento de erros do Repositório de Estado
  • [SPARK-50705][SQL] Tornar QueryPlan sem bloqueio
  • [SPARK-49525][SS][CONNECT] Aprimoramento do log secundário no ouvinte do ListenerBus do Server Side Streaming
  • Atualizações de segurança do sistema operacional.

• 11 de fevereiro de 2025

  • Esta versão inclui uma correção para um problema que afeta a conversão de determinados tipos de dados ao serializar colunas de dados XML resgatadas. Os tipos de dados afetados são datas, carimbos de data/hora que não são NTZ e decimais quando prefersDecimal estiver habilitado. Para saber mais sobre a coluna de dados resgatada, consulte Qual é a coluna de dados resgatada?.
  • [SPARK-50492][SS] Corrigir java.util.NoSuchElementException quando a coluna de tempo de evento é removida após usar dropDuplicatesWithinWatermark
  • [SPARK-51084][SQL] Atribuir classe de erro apropriada para negativeScaleNotAllowedError
  • Atualizações de segurança do sistema operacional.

• 10 de dezembro de 2024
  • Esta versão inclui uma correção para um problema que pode fazer com que a chave primária em uma tabela Delta seja descartada em determinados casos extremos relacionados à compactação automática em segundo plano.
  • [SPARK-50329][SQL] Corrigir InSet$toString
  • Atualizações de segurança do sistema operacional.
• 26 de novembro de 2024
  • [SPARK-49615] [ML] Deixar toda a validação de esquema do conjunto de dados de transformadores de recurso em conformidade com a configuração "spark.sql.caseSensitive".
  • Atualizações de segurança do sistema operacional.
• 5 de novembro de 2024
  • [SPARK-48843] Impedir o loop infinito com BindParameters
  • [SPARK-49829] Revisar a otimização da adição de entrada ao armazenamento de estado na junção de fluxo e fluxo (ajuste da correção)
  • [SPARK-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a nulidade de structs aninhados
  • [BACKPORT] [SPARK-49326][SS] Classificar a classe de Erro para erro de função de usuário no coletor Foreach
  • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com uma saída filho
  • [SPARK-46632][SQL] Corrigir a eliminação de subexpressão quando as expressões ternárias equivalentes tiverem filhos diferentes
  • [SPARK-49905] Usar ShuffleOrigin dedicado no operador com estado para evitar que o embaralhamento seja modificado do AQE
  • Atualizações de segurança do sistema operacional.
• 22 de outubro de 2024
  • [SPARK-48843] Impedir o loop infinito com BindParameters
  • [SPARK-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a nulidade de structs aninhados
  • [SPARK-49905] Usar ShuffleOrigin dedicado no operador com estado para evitar que o embaralhamento seja modificado do AQE
  • [SPARK-46632][SQL] Corrigir a eliminação de subexpressão quando as expressões ternárias equivalentes tiverem filhos diferentes
  • [SPARK-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com uma saída filho
  • [BACKPORT] [SPARK-49326][SS] Classificar a classe de Erro para erro de função de usuário no coletor Foreach
  • [SPARK-49829] Revisar a otimização da adição de entrada ao armazenamento de estado na junção de fluxo e fluxo (ajuste da correção)
  • Atualizações de segurança do sistema operacional.
• 10 de outubro de 2024
  • [BACKPORT] [SPARK-49474][SS] Classificar o erro da função de usuário em FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao podar GetArrayStructFields
  • [SPARK-49688][CONNECT] Corrigir uma corrida de dados entre o plano de interrupção e de execução
• 25 de setembro de 2024
  • [SPARK-48810][CONNECT] A API de parada de sessão() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
  • [SPARK-48719][SQL] Corrigir o bug de cálculo de 'RegrS...
  • [SPARK-49000][SQL] Corrigir "select count(distinct 1) from t" onde t é uma tabela vazia, expandindo RewriteDistinctAggregates.
  • [SPARK-49628][SQL] ConstantFolding deve copiar expressão com estado antes de avaliar
  • [SPARK-49492][CONNECT] Tentativa de reanexação no ExecutionHolder inativo
  • Atualizações de segurança do sistema operacional.
• 17 de setembro de 2024
  • [SPARK-49336][CONNECT] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
  • [SPARK-43242][CORE] Corrigir o lançamento do "Tipo inesperado de BlockId" no diagnóstico de corrupção de ordem aleatória
  • [SPARK-48463][ML] Permitir que Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor deem suporte a colunas de entrada aninhadas
  • [SPARK-49526][CONNECT] Compatibilidade com caminhos no estilo Windows no ArtifactManager
  • [SPARK-49409][CONNECT] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49366][CONNECT] Tratar o nó de União como folha na resolução da coluna do dataframe
• 29 de agosto de 2024
  • [SPARK-49146][SS] Mover os erros de declaração relacionados à falta de marca d'água nas consultas de streaming no modo de acréscimo na estrutura de erros
  • [SPARK-48862][PYTHON][CONNECT] Evite chamar _proto_to_string quando o nível de INFORMAÇÕES não estiver habilitado
  • [SPARK-49263][CONNECT] Cliente python do Spark Connect: lidar consistentemente com opções de leitor de dataframe booliano
• 14 de agosto de 2024
  • [SPARK-48941][SPARK-48970] Correções do gravador/leitor de ML do backport
  • [SPARK-48706][PYTHON] O Python UDF em funções de ordem superior não deve gerar erro interno
  • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular nulo corretamente
  • [SPARK-48597][SQL] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
  • [SPARK-49065][SQL] A troca de base nos formatadores/analisadores herdados devem dar suporte aos fusos horários padrão que não são JVM
  • [SPARK-48934][SS] Tipos de datetime do Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
• 1 de agosto de 2024
  • Esta versão inclui uma correção de bug para as classes ColumnVector e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou um dado incorreto retornado quando uma instância de uma dessas classes continha valores null.
  • Na computação sem servidor para notebooks e trabalhos, o modo SQL ANSI é habilitado por padrão. Consulte os parâmetros de configuração do Spark com suporte.
  • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote do Kafka agora têm as mesmas limitações impostas que as documentadas para o Streaming Estruturado. Consulte Limitações de streaming.
  • A saída de uma instrução SHOW CREATE TABLE agora inclui todos os filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou em uma tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte filtros de linha e máscaras de coluna.
  • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote do Kafka agora têm as mesmas limitações impostas que as documentadas para o Streaming Estruturado. Consulte Limitações de streaming.
  • A saída de uma instrução SHOW CREATE TABLE agora inclui todos os filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou em uma tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte filtros de linha e máscaras de coluna.
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correções do gravador do Spark ML do Backport
  • [SPARK-48889][SS] testStream para descarregar repositórios de estado antes de terminar
  • [SPARK-48705][PYTHON] Usar explicitamente worker_main quando ele iniciar com o pyspark
  • [SPARK-48047][SQL] Reduzir a pressão de memória dos rótulos TreeNode vazios
  • [SPARK-48544][SQL] Reduzir a pressão de memória dos BitSets TreeNode vazios
  • [SPARK-46957][CORE] Desativar os arquivos de ordem aleatória migrados deve ser capaz de limpar do executor
  • [SPARK-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
  • [SPARK-47202][PYTHON] Corrigir erros de digitação que afetam datas e horários com o tzinfo
  • [SPARK-47713][SQL][CONNECT] Corrigir uma falha de auto-junção
  • Atualizações de segurança do sistema operacional.
• 11 de julho de 2024
  • (Alteração de comportamento) Os DataFrames armazenados em cache em fontes de tabela Delta já serão invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
  • O Driver JDBC do Snowflake foi atualizado para a versão 3.16.1.
  • Esta versão inclui uma correção para um problema que impediu a exibição correta da guia Ambiente de Interface do Usuário do Spark durante a execução nos Serviços de Contêiner do Databricks.
  • Na computação sem servidor para notebooks e trabalhos, o modo SQL ANSI é habilitado por padrão. Consulte os parâmetros de configuração do Spark com suporte.
  • Para ignorar partições inválidas ao ler dados, fontes de dados baseadas em arquivo, como Parquet, ORC, CSV ou JSON, podem definir a opção de fonte de dados ignoreInvalidPartitionPaths como true. Por exemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(…). Também é possível usar a configuração do SQL spark.sql.files.ignoreInvalidPartitionPaths. No entanto, a opção de fonte de dados tem precedência sobre a configuração do SQL. Essa configuração é false por padrão.
  • [SPARK-48648][PYTHON][CONNECT] Tornar o SparkConnectClient.tags threadlocal corretamente
  • [SPARK-48445][SQL] Não coloque UDFs em linha com filhos caros
  • [SPARK-48481][SQL][SS] Não aplique OptimizeOneRowPlan ao conjunto de dados de streaming
  • [SPARK-48383][SS] Gerar melhor erro para as partições incompatíveis na opção startOffset no Kafka
  • [SPARK-48503][SQL] Corrigir subconsultas escalares inválidas com o agrupamento em colunas não equivalentes, que foram permitidas de modo incorreto
  • [SPARK-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhados não selecionados no esquema
  • [SPARK-48273][SQL] Corrigir reescrita tardia de PlanWithUnresolvedIdentifier
  • [SPARK-48252][SQL] Atualizar CommonExpressionRef quando necessário
  • [SPARK-48475][PYTHON] Otimização de _get_jvm_function no PySpark.
  • [SPARK-48292][CORE] Reverter [SPARK-39195][SQL] O Spark OutputCommitCoordinator deve anular o estágio quando o arquivo confirmado não for consistente com o status da tarefa
  • Atualizações de segurança do sistema operacional.
• 17 de junho de 2024
  • applyInPandasWithState() está disponível no ambiente de computação com o modo de acesso padrão.
  • Corrige um bug em que a otimização da janela de classificação usando o Photon TopK manipulava incorretamente partições com structs.
  • [SPARK-48310][PYTHON][CONNECT] As propriedades armazenadas em cache devem retornar cópias
  • [SPARK-48276][PYTHON][CONNECT] Adicione o método ausente __repr__ para SQLExpression
  • [SPARK-48294][SQL] Gerenciar o uso de letras minúsculas em nestedTypeMissingElementTypeError
  • Atualizações de segurança do sistema operacional.
• 21 de maio de 2024
  • (Alteração de comportamento) dbutils.widgets.getAll() agora há suporte para obter todos os valores de widget em um notebook.
  • Correção de um bug na função try_divide() em que entradas contendo decimais resultaram em exceções inesperadas.
  • [SPARK-48056][CONNECT][PYTHON] Execute novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial tiver sido recebida
  • [SPARK-48146][SQL] Corrigir a função de agregação na declaração filho da expressão WITH
  • [SPARK-47986][CONNECT][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-48180][SQL] Melhorar o erro quando a chamada UDTF com o argumento TABLE esquece os parênteses em torno de várias expressões PARTITION/ORDER BY
  • [SPARK-48016][SQL] Corrigir um bug na função try_divide quando tiver decimais
  • [SPARK-48197][SQL] Evite o erro de declaração para a função lambda inválida
  • [SPARK-47994][SQL] Corrigir um bug com o pushdown do filtro de coluna CASE WHEN no SQLServer
  • [SPARK-48173][SQL] CheckAnalysis deve ver todo o plano de consulta
  • [SPARK-48105][SS] Corrigir a condição de corrida entre o descarregamento do repositório de estado e o instantâneo
  • Atualizações de segurança do sistema operacional.

• 09 de maio de 2024
  • (Alteração de comportamento) os tipos de UDF applyInPandas e mapInPandas agora têm suporte na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 LTS e superior.
  • [SPARK-47739][SQL] Registrar o tipo de avro lógico
  • [SPARK-47941] [SS] [Connect] Propagar os erros de inicialização de trabalho ForeachBatch aos usuários do PySpark
  • [SPARK-48010][SQL] Evite chamadas repetidas para conf.resolver em resolveExpression
  • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
  • [SPARK-47956][SQL] Verificação de consistência para referência LCA não resolvida
  • [SPARK-47543][CONNECT][PYTHON] Inferir o dict como Mapype do DataFrame do Pandas para permitir a criação do DataFrame
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] Usar o retorno de chamada assíncrono para limpeza de execução
  • [SPARK-47764][CORE][SQL] Limpar dependências de embaralhamento com base em ShuffleCleanupMode
  • [SPARK-48018][SS] Corrigir groupId nulo causando erro de parâmetro ausente ao lançar KafkaException.couldNotReadOffsetRange
  • [SPARK-47839][SQL] Corrigir bug de agregação em RewriteWithExpression
  • [SPARK-47371] [SQL] XML: ignorar tags de linha encontradas na CDATA
  • [SPARK-47895][SQL] agrupar por todos deve ser idempotente
  • [SPARK-47973][CORE] Registrar site de chamada no SparkContext.stop() e posterior no SparkContext.assertNotStopped()
  • Atualizações de segurança do sistema operacional.

• 25 de abril de 2024
  • [SPARK-47543][CONNECT] [PYTHON] Inferir dict como MapType do DataFrame do Pandas para permitir a criação do DataFrame
  • [SPARK-47694][CONNECT] Torne o tamanho máximo da mensagem configurável no lado do cliente
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Valide o nome da coluna com o esquema armazenado em cache
  • [SPARK-47862][PYTHON] [CONNECT]Corrigir a geração dos arquivos proto
  • Reverter “[SPARK-47543][CONNECT][PYTHON] Inferir dict como MapType do DataFrame do Pandas para permitir a criação do DataFrame”
  • [SPARK-47704][SQL] A análise JSON falha com "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults está habilitado
  • [SPARK-47812][CONNECT] Suporte à Serialização do SparkSession para a função de trabalho ForEachBatch
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduza o cache de planos no SparkConnectPlanner para melhorar o desempenho das solicitações de Análise
  • [SPARK-47828][CONNECT] [PYTHON] DataFrameWriterV2.overwrite falha com o plano inválido
  • Atualizações de segurança do sistema operacional.
• 11 de abril de 2024
  • (Alteração de comportamento) Para garantir um comportamento consistente entre tipos de computação, as UDFs do PySpark na computação com o modo de acesso padrão agora correspondem ao comportamento de UDFs em clusters sem isolamento e atribuídos. Esta atualização inclui as seguintes alterações que podem interromper o código existente:
    • Os UDFs com um tipo de retorno string não convertem mais implicitamente valores não string em valores string. Anteriormente, os UDFs com um tipo de retorno str encapsulavam o valor de retorno com uma função str(), independentemente do tipo de dados real do valor retornado.
    • Os UDFs com tipos de retorno timestamp não aplicam mais implicitamente uma conversão para timestamp com timezone.
    • As configurações do cluster Spark spark.databricks.sql.externalUDF.* não se aplicam mais a UDFs do PySpark na computação com modo de acesso padrão.
    • A configuração spark.databricks.safespark.externalUDF.plan.limit do cluster do Spark não afeta mais as UDFs do PySpark, removendo a limitação da Visualização Pública de 5 UDFs por consulta para as UDFs do PySpark.
    • A configuração do cluster Spark spark.databricks.safespark.sandbox.size.default.mib não se aplica mais às UDFs do PySpark na computação com o modo de acesso padrão. Em vez disso, é usada a memória disponível no sistema. Para limitar a memória dos UDFs do PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit com um valor mínimo de 100m.
  • Agora, o tipo de dados TimestampNTZ possui suporte como uma coluna de agrupamento com agrupamento líquido. Consulte Usar clustering líquido para tabelas.
  • [SPARK-47511][SQL] Canonizar as expressões WITH reatribuindo as IDs
  • [SPARK-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
  • [SPARK-46990][SQL] Corrigir o carregamento de arquivos Avro vazios gerados por hubs de eventos
  • [SPARK-47638][PS][CONNECT] Ignorar validação de nome de coluna no PS
  • Atualizações de segurança do sistema operacional.
• 14 de março de 2024
  • [SPARK-47135][SS] Implementar classes de erro para exceções de perda de dados do Kafka
  • [SPARK-47176][SQL] Criar uma função auxiliar de ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Transmitir o identificador da tabela na execução da verificação da fonte de dados da linha para a estratégia V2.
  • [SPARK-47044][SQL] Adicionar uma consulta executada para fontes de dados externas JDBC para explicar a saída
  • [SPARK-47167][SQL] Adicionar classe concreta para relação anônima JDBC
  • [SPARK-47070] Corrigir agregação inválida após reescrita de subconsulta
  • [SPARK-47121][CORE] Evitar RejectedExecutionExceptions durante o desligamento do StandaloneSchedulerBackend
  • Reverter “[SPARK-46861][CORE] Evitar Deadlock no DAGScheduler”
  • [SPARK-47125][SQL] Retornar nulo se Univocity nunca disparar a análise
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier deve incluir outras expressões na árvore de expressão
  • [SPARK-47129][CONNECT][SQL] Fazer com que o cache ResolveRelations conecte-se ao plano corretamente
  • [SPARK-47241][SQL] Corrigir problemas de ordem de regra para ExtractGenerator
  • [SPARK-47035][SS][CONNECT] Protocolo do ouvinte do lado do cliente
  • Atualizações de segurança do sistema operacional.
• 29 de fevereiro de 2024
  • Foi corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE podia resultar na métrica de operação numSourceRows informando o dobro do número correto de linhas.
  • Agora, a criação de um esquema com um local definido exige que o usuário tenha privilégios SELECT e MODIFY em ANY FILE.
  • [SPARK-47071][SQL] Embutir a expressão WITH se ela contiver uma expressão especial
  • [SPARK-47059][SQL] Anexar contexto de erro para o comando ALTER COLUMN v1
  • [SPARK-46993][SQL] Corrigir a dobragem constante das variáveis de sessão
  • Atualizações de segurança do sistema operacional.
• 3 de janeiro de 2024
  • [SPARK-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
  • [SPARK-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
  • [SPARK-46954] XML: Encapsular InputStreamReader com BufferedReader.
  • [SPARK-46655] Ignorar a captura de contexto da consulta nos métodos DataFrame.
  • [SPARK-44815] Armazenar df.schema em cache para evitar chamadas RPC extras.
  • [SPARK-46952] XML: limitar o tamanho do registro corrompido.
  • [SPARK-46794] Remover as subconsultas das restrições LogicalRDD.
  • [SPARK-46736] retenha o campo de mensagem vazio no conector protobuf.
  • [SPARK-45182] Ignorar a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pelo pai, conforme determinado pela soma da verificação.
  • [SPARK-46414] Use prependBaseUri para renderizar importações javascript.
  • [SPARK-46383] Reduzir o uso de heap do driver reduzindo o tempo de vida do TaskInfo.accumulables().
  • [SPARK-46861] Evitar o deadlock no DAGScheduler.
  • [SPARK-46954] XML: otimizar a consulta do índice de esquema.
  • [SPARK-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
  • [SPARK-46644] Altere adicionar e mesclar no SQLMetric para usar isZero.
  • [SPARK-46731] Gerenciar a instância do provedor de armazenamento de estado por fonte de dados de estado - leitor.
  • [SPARK-46677] Correção da resolução dataframe["*"].
  • [SPARK-46610] Criar tabela deve gerar exceção se nenhum valor para uma chave for especificado nas opções.
  • [SPARK-46941] Não é possível inserir o nó de limite do grupo de janelas para a computação top-k se ele contiver SizeBasedWindowFunction.
  • [SPARK-45433] Corrija a inferência de esquema CSV/JSON quando os timestamps não correspondem ao formato de timestamp especificado.
  • [SPARK-46930] Adicione suporte para um prefixo personalizado para campos de tipo Union no Avro.
  • [SPARK-46227] Retroportar para 14.3.
  • [SPARK-46822] Respeitar spark.sql.legacy.charVarcharAsString ao converter o tipo jdbc para o tipo de catalisador no jdbc.
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 13.3 LTS

Confira Databricks Runtime 13.3 LTS.

• 9 de dezembro de 2025
  • [SPARK-54180][SQL] Sobrescrever o toString de BinaryFileFormat
  • [SPARK-52579][PYTHON] Definir despejo de rastreio periódico para trabalhadores do Python
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • [SPARK-54047][PYTHON] Use um erro de diferença quando atingir o tempo limite de inatividade para encerramento
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • Bibliotecas R atualizadas:
    • seta de 10.0.1 a 21.0.0
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 24 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 26 de agosto de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.7.12 a 0.7.13
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 15 de julho de 2025

  • Atualizações de segurança do sistema operacional.

• 1º de julho de 2025

  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2025
  • Correção da limitação de que a função com valor de tabela cloud_files_state (TVF) não pode ser usada para ler o estado de tabelas de streaming no nível do arquivo entre pipelines.
  • Atualizações de segurança do sistema operacional.

• 3 de junho de 2025
  • Bibliotecas do Python atualizadas:
    • criptografia de 3.4.8, 37.0.1 para 37.0.1
    • platformdirs de 2.5.2, 2.6.2 para 2.5.2
    • pyparsing de 2.4.7, 3.0.9 para 3.0.9
    • Adicionado pip 22.2.2
    • Adicionado o setuptools 63.4.1
    • Adicionado tomli 2.0.1
    • Adicionado wcwidth 0.2.5
    • Roda adicionada 0.37.1
    • Removida distribuição 1.7.0
    • Removido distro-info 1.1+ubuntu0.2
    • Removido python-apt 2.4.0+ubuntu4
  • Bibliotecas Java atualizadas:
    • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives para 1.1, 1.1
    • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives para 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives para 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives para 1.1
    • io.netty.netty-transport-native-epoll de 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 para 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 para 4.1.87.Final, 4.1.87.Final
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.8.4
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.8.4
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.1
  • [SPARK-52159][SQL] Lidar corretamente com a verificação da existência da tabela para dialetos JDBC
  • Atualizações de segurança do sistema operacional.

• 20 de maio de 2025
  • Bibliotecas Java atualizadas:
    • io.delta.delta-sharing-spark_2.12 de 0.7.11 para 0.7.12
  • Atualizações de segurança do sistema operacional.

• 22 de abril de 2025
  • [Alteração de comportamento] As operações de vácuo agora executam verificações de protocolo de gravador semelhantes a outras operações, impedindo limpezas inesperadas em tabelas com recursos mais recentes quando executadas em versões anteriores incompatíveis do DBR.
  • Atualizações de segurança do sistema operacional.

• 9 de abril de 2025
  • [SPARK-51624][SQL] Propagar metadados de GetStructField em CreateNamedStruct.dataType
  • Atualizações de segurança do sistema operacional.

• 11 de março de 2025
  • Atualizações de segurança do sistema operacional.

• 11 de fevereiro de 2025
  • [SPARK-50492][SS] Corrigir java.util.NoSuchElementException quando a coluna de tempo de evento é removida após usar dropDuplicatesWithinWatermark
  • [SPARK-45915][SQL] Tratar decimal(x, 0) o mesmo que IntegralType em PromoteStrings
  • Atualizações de segurança do sistema operacional.

• 10 de dezembro de 2024
  • Atualizações de segurança do sistema operacional.
• 26 de novembro de 2024
  • [SPARK-49615] [ML] Deixar toda a validação de esquema do conjunto de dados de transformadores de recurso em conformidade com a configuração "spark.sql.caseSensitive".
  • Atualizações de segurança do sistema operacional.
• 5 de novembro de 2024
  • [SPARK-48843] Impedir o loop infinito com BindParameters
  • [BACKPORT] [SPARK-49326][SS] Classificar a classe de Erro para erro de função de usuário no coletor Foreach
  • [SPARK-49905] Usar ShuffleOrigin dedicado no operador com estado para evitar que o embaralhamento seja modificado do AQE
  • Atualizações de segurança do sistema operacional.
• 22 de outubro de 2024
  • [SPARK-48843] Impedir o loop infinito com BindParameters
  • [BACKPORT] [SPARK-49326][SS] Classificar a classe de Erro para erro de função de usuário no coletor Foreach
  • [SPARK-49905] Usar ShuffleOrigin dedicado no operador com estado para evitar que o embaralhamento seja modificado do AQE
  • Atualizações de segurança do sistema operacional.
• 10 de outubro de 2024
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao podar GetArrayStructFields
• 25 de setembro de 2024
  • [SPARK-46601] [CORE] Corrigir erro de log no handleStatusMessage
  • [SPARK-48719][SQL] Corrigir o bug de cálculo de RegrSlope &RegrIntercept quando o primeiro parâmetro for nulo
  • [SPARK-43242][CORE] Corrigir o lançamento do "Tipo inesperado de BlockId" no diagnóstico de corrupção de ordem aleatória
  • [SPARK-49000][SQL] Corrigir "select count(distinct 1) from t" onde t é uma tabela vazia, expandindo RewriteDistinctAggregates.
  • Atualizações de segurança do sistema operacional.
• 17 de setembro de 2024
  • [SPARK-49526][CONNECT] Compatibilidade com caminhos no estilo Windows no ArtifactManager
  • [SPARK-48463][ML] Permitir que Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor deem suporte a colunas de entrada aninhadas
  • Atualizações de segurança do sistema operacional.
• 29 de agosto de 2024
• 14 de agosto de 2024
  • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular nulo corretamente
  • [SPARK-49065][SQL] A troca de base nos formatadores/analisadores herdados devem dar suporte aos fusos horários padrão que não são JVM
  • [SPARK-48597][SQL] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
• 1 de agosto de 2024
  • Esta versão inclui uma correção de bug para as classes ColumnVector e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou um dado incorreto retornado quando uma instância de uma dessas classes continha valores null.
  • [SPARK-47202][PYTHON] Corrigir erros de digitação que afetam datas e horários com o tzinfo
  • [SPARK-48896][SPARK-48909][SPARK-48883] Correções do gravador do Spark ML do Backport
  • [SPARK-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
  • Atualizações de segurança do sistema operacional.
• 11 de julho de 2024
  • (Alteração de comportamento) Os DataFrames armazenados em cache em fontes de tabela Delta já serão invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
  • Esta versão inclui uma correção para um problema que impediu a exibição correta da guia Ambiente de Interface do Usuário do Spark durante a execução nos Serviços de Contêiner do Databricks.
  • [SPARK-48383][SS] Gerar melhor erro para as partições incompatíveis na opção startOffset no Kafka
  • [SPARK-48292][CORE] Reverter [SPARK-39195][SQL] O Spark OutputCommitCoordinator deve anular o estágio quando o arquivo confirmado não for consistente com o status da tarefa
  • [SPARK-48503][SQL] Corrigir subconsultas escalares inválidas com o agrupamento em colunas não equivalentes, que foram permitidas de modo incorreto
  • [SPARK-48481][SQL][SS] Não aplique OptimizeOneRowPlan ao conjunto de dados de streaming
  • [SPARK-48475][PYTHON] Otimização de _get_jvm_function no PySpark.
  • [SPARK-48273][SQL] Corrigir reescrita tardia de PlanWithUnresolvedIdentifier
  • [SPARK-48445][SQL] Não coloque UDFs em linha com filhos caros
  • Atualizações de segurança do sistema operacional.
• 17 de junho de 2024
  • [SPARK-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
  • Atualizações de segurança do sistema operacional.
• 21 de maio de 2024
  • (Alteração de comportamento) dbutils.widgets.getAll() agora há suporte para obter todos os valores de widget em um notebook.
  • [SPARK-48105][SS] Corrigir a condição de corrida entre o descarregamento do repositório de estado e o instantâneo
  • [SPARK-47994][SQL] Corrigir um bug com o pushdown do filtro de coluna CASE WHEN no SQLServer
  • Atualizações de segurança do sistema operacional.
• 09 de maio de 2024
  • [SPARK-47956][SQL] Verificação de consistência para referência LCA não resolvida
  • [SPARK-46822][SQL] Respeitar spark.sql.legacy.charVarcharAsString ao converter o tipo jdbc no tipo de catalisador no jdbc
  • [SPARK-47895][SQL] agrupar por todos deve ser idempotente
  • [SPARK-48018][SS] Corrigir groupId nulo causando erro de parâmetro ausente ao lançar KafkaException.couldNotReadOffsetRange
  • [SPARK-47973][CORE] Registrar site de chamada no SparkContext.stop() e posterior no SparkContext.assertNotStopped()
  • Atualizações de segurança do sistema operacional.
• 25 de abril de 2024
  • [SPARK-44653][SQL] Uniões de DataFrame não triviais não devem interromper o cache
  • Diversas correções de bugs.
• 11 de abril de 2024
  • [SPARK-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
  • Atualizações de segurança do sistema operacional.
• 1º de abril de 2024
  • [SPARK-47385] Corrigir codificadores de tuplas com entradas de Opção.
  • [SPARK-38708][SQL] Atualizar o Cliente Metastore do Hive para o 3.1.3 para Hive 3.1
  • [SPARK-47200][SS] Classe de erro do erro da função de usuário do coletor de lote Foreach
  • [SPARK-47368][SQL] Remover a verificação da configuração inferTimestampNTZ no ParquetRowConverter
  • [SPARK-44252][SS] Defina uma nova classe de erro e aplique-se ao caso em que o estado de carregamento do DFS falha
  • [SPARK-47135][SS] Implementar classes de erro para exceções de perda de dados do Kafka
  • [SPARK-47300][SQL] quoteIfNeeded deve citar identificadores que começam com dígitos
  • [SPARK-47305][SQL] Corrigir o PruneFilters para marcar corretamente o sinalizador isStreaming do LocalRelation quando o plano tiver lote e streaming
  • [SPARK-47070] Corrigir agregação inválida após reescrita de subconsulta
  • Atualizações de segurança do sistema operacional.
• 14 de março de 2024
  • [SPARK-47145][SQL] Transmitir o identificador da tabela na execução da verificação da fonte de dados da linha para a estratégia V2.
  • [SPARK-47167][SQL] Adicionar classe concreta para relação anônima JDBC
  • [SPARK-47176][SQL] Criar uma função auxiliar de ResolveAllExpressionsUpWithPruning
  • [SPARK-47044][SQL] Adicionar uma consulta executada para fontes de dados externas JDBC para explicar a saída
  • [SPARK-47125][SQL] Retornar nulo se Univocity nunca disparar a análise
  • Atualizações de segurança do sistema operacional.
• 29 de fevereiro de 2024
  • Foi corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE podia resultar na métrica de operação numSourceRows informando o dobro do número correto de linhas.
  • Agora, a criação de um esquema com um local definido exige que o usuário tenha privilégios SELECT e MODIFY em ANY FILE.
  • Atualizações de segurança do sistema operacional.
• 08 de fevereiro de 2024
  • Não há suporte para as consultas de feed dos dados alterados (CDF) nas exibições materializadas do Catálogo do Unity e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo do Unity retorna um erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em tabelas CDC não-AUTO no Databricks Runtime 14.1 e posterior. Não há suporte para consultas CDF com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e versões anteriores.
  • [SPARK-46794] Remover as subconsultas das restrições LogicalRDD.
  • [SPARK-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
  • [SPARK-45582] Verificar se a instância do repositório não é usada após chamar a confirmação na agregação de streaming do modo de saída.
  • [SPARK-46396] A inferência de timestamp não deve lançar exceção.
  • [SPARK-46861] Evitar o deadlock no DAGScheduler.
  • [SPARK-46941] Não é possível inserir o nó de limite do grupo de janelas para a computação top-k se ele contiver SizeBasedWindowFunction.
  • Atualizações de segurança do sistema operacional.
• 31 de janeiro de 2024
  • [SPARK-46610] Criar tabela deve gerar exceção se nenhum valor para uma chave for especificado nas opções.
  • [SPARK-46383] Reduzir o uso de heap do driver reduzindo o tempo de vida de TaskInfo.accumulables().
  • [SPARK-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
  • [SPARK-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
  • [SPARK-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
  • Atualizações de segurança do sistema operacional.
• 17 de janeiro de 2024
  • O nó shuffle do plano explicativo retornado por uma consulta do Photon é atualizado para adicionar o sinalizador causedBroadcastJoinBuildOOM=true quando ocorre um erro de falta de memória durante a operação de ordem aleatória que faz parte de uma junção de transmissão.
  • Para evitar maior latência ao se comunicar pelo TLSv1.3, essa versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
  • [SPARK-46058] Adicione um sinalizador separado para privateKeyPassword.
  • [SPARK-46173] Ignorar a chamada trimAll durante a análise de data.
  • [SPARK-46370] Corrigir o bug ao consultar a tabela depois de alterar os padrões de coluna.
  • [SPARK-46370] Corrigir o bug ao consultar a tabela depois de alterar os padrões de coluna.
  • [SPARK-46370] Corrigir o bug ao consultar a tabela depois de alterar os padrões de coluna.
  • [SPARK-46609] Evite a explosão exponencial em PartitioningPreservingUnaryExecNode.
  • [SPARK-46132] Suporte à senha da chave para as chaves JKS de SSL da RPC.
  • [SPARK-46602] Propaga allowExisting na criação da exibição quando a exibição/tabela não existir.
  • [SPARK-46249] Exige bloqueio de instância para adquirir métricas do RocksDB, a fim de evitar conflitos com operações em segundo plano.
  • [SPARK-46417] Não gerar uma falha ao chamar hive.getTable quando throwException for falso.
  • [SPARK-46538] Corrija o problema de referência de coluna ambígua em ALSModel.transform.
  • [SPARK-46478] Reverter SPARK-43049 para usar o oracle varchar(255) na cadeia de caracteres.
  • [SPARK-46250] Estabilizar test_parity_listener.
  • [SPARK-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
  • [SPARK-46056] Correção do NPE de leitura vetorizada do Parquet com valor padrão byteArrayDecimalType.
  • [SPARK-46145] spark.catalog.listTables não gera exceção quando a tabela ou exibição não é encontrada.
  • [SPARK-46466] O leitor do Parquet vetorizado nunca deve refazer a base para o ntz do registro de data/hora.
• 14 de dezembro de 2023
  • Um problema em que os sublinhados com escape nas operações getColumns provenientes dos clientes JDBC ou ODBC eram tratados incorretamente e interpretados como curingas foi corrigido.
  • [SPARK-45920] “group by ordinal” deve ser idempotente.
  • [SPARK-44582] Ignora o iterador no SMJ se ele tiver sido limpo.
  • [SPARK-45433] Corrija a inferência de esquema CSV/JSON quando os timestamps não correspondem ao formato de timestamp especificado.
  • [SPARK-45655] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
  • Atualizações de segurança do sistema operacional.
• 29 de novembro de 2023
  • Instalou um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
  • O conector Spark-Snowflake foi atualizado para 2.12.0.
  • [SPARK-44846] Expressões de agrupamento complexas removidas após RemoveRedundantAggregates.
  • [SPARK-45544] Suporte integrado de SSL em TransportContext.
  • [SPARK-45892] Validação do plano do otimizador de refatoração para desconectar validateSchemaOutput e validateExprIdUniqueness.
  • [SPARK-45730] Restrições de tempo aprimoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Transformação de objetos UDF em ml.functions lentos.
  • Atualizações de segurança do sistema operacional.
• 10 de novembro de 2023
  • Os filtros de partição nas consultas de streaming do Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
  • Consultas de feed dos dados alteradas nas tabelas de streaming do Catálogo do Unity e exibições materializadas para exibir mensagens de erro.
  • [SPARK-45545]SparkTransportConf herda SSLOptions na criação.
  • [SPARK-45584] Correção de uma falha da execução de subconsulta com TakeOrderedAndProjectExec.
  • [SPARK-45427] As configurações de RPC SSL foram adicionadas a SSLOptions e SparkTransportConf.
  • [SPARK-45541] Adição de SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction não falha mais quando IGNORE NULLS e offset > rowCount.
  • [SPARK-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
  • [SPARK-44219] As validações extras por regra das regravações de otimização foram adicionadas.
  • [SPARK-45543] Correção de um problema em que InferWindowGroupLimit causava um problema se as outras funções de janela não tivessem o mesmo quadro de janela que as funções semelhantes a uma classificação.
  • Atualizações de segurança do sistema operacional.
• 23 de outubro de 2023
  • [SPARK-45256] Correção de um problema em que DurationWriter falhava ao gravar mais valores do que a capacidade inicial.
  • [SPARK-45419] Evite a reutilização de arquivos rocksdb sst em uma instância rocksdb diferente por meio da remoção das entradas de mapa de versão de arquivo de versões maiores.
  • [SPARK-45426] Adicionado suporte para ReloadingX509TrustManager.
  • Correções diversas.
• 13 de outubro de 2023
  • A dependência snowflake-jdbc foi atualizada de 3.13.29 para a 3.13.33.
  • A função array_insert é baseada em 1 para índices positivos e negativos, mas antes ela era baseada em 0 para índices negativos. Agora ela insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.
  • Corrigido um problema em que não ignora arquivos corrompidos quando ignoreCorruptFiles estiver habilitado durante a inferência de esquema CSV com o Carregador Automático.
  • Reverter "[SPARK-42946]."
  • [SPARK-42205] Atualizado o protocolo JSON para remover o registro em log de acumuladores em uma tarefa ou eventos de início de estágio.
  • [SPARK-45178] Fallback para executar um lote único no Trigger.AvailableNow com fontes sem suporte em vez de usar o wrapper.
  • [SPARK-45316] Adicionar novos parâmetros ignoreCorruptFiles e ignoreMissingFiles para HadoopRDD e NewHadoopRDD.
  • [SPARK-44740] Os valores dos metadados para Artifacts foram corrigidos.
  • [SPARK-45360] Configuração do construtor de sessão do Spark inicializada a partir de SPARK_REMOTE.
  • [SPARK-44551] Comentários editados para sincronizar com o OSS.
  • [SPARK-45346][SQL] Agora, a inferência de esquema Parquet respeita os sinalizadores que diferenciam maiúsculas de minúsculas ao mesclar o esquema.
  • [SPARK-44658]ShuffleStatus.getMapStatus agora retorna None em vez de Some(null).
  • [SPARK-44840] Tornou o array_insert() baseado em 1 para índices negativos.
• 14 de setembro de 2023
  • [SPARK-44873] Suporte adicionado para alter view com colunas aninhadas no cliente Hive.
  • [SPARK-44878] Desativação do limite estrito do gerenciador de gravação do RocksDB para evitar a exceção de inserção no cache concluído.
• 30 de agosto de 2023
  • O comando dbutils cp (dbutils.fs.cp) foi otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem levar até 100 vezes menos tempo, dependendo do tamanho do arquivo. O recurso está disponível em todas as nuvens e sistemas de arquivos acessíveis no Databricks, incluindo nos volumes de Catálogo do Unity e montagens DBFS.
  • [SPARK-44455] Colocação de identificadores entre acentos graves no resultado SHOW CREATE TABLE.
  • [SPARK-44763] Corrigido um problema que mostrava uma cadeia de caracteres como um duplo em aritmética binária com intervalo.
  • [SPARK-44871] Comportamento corrigido percentile_disc .
  • [SPARK-44714] Facilidade de restrição da resolução LCA na relação às consultas.
  • [SPARK-44818] A disputa para interromper a tarefa pendente emitida antes de taskThread ser inicializado foi corrigida.
  • [SPARK-44505] Substituição adicionada para suporte colunar na Verificação de DSv2.
  • [SPARK-44479] Conversão corrigida de protobuf de um tipo struct vazio.
  • [SPARK-44718] Correspondência do padrão de configuração do modo de memória ColumnVector com o valor de configuração OffHeapMemoryMode.
  • [SPARK-42941] Adicionado suporte para StreamingQueryListener o Python.
  • [SPARK-44558] Exporte o nível de log do Spark Connect do PySpark.
  • [SPARK-44464]applyInPandasWithStatePythonRunner corrigido para linhas de saída que têm Nulo como o valor da primeira coluna.
  • [SPARK-44643] Corrigido Row.__repr__ quando o campo é uma linha vazia.
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 12.2 LTS

Veja Databricks Runtime 12.2 LTS.

• 9 de dezembro de 2025
  • Atualizações de segurança do sistema operacional.

• 18 de novembro de 2025
  • Atualizações de segurança do sistema operacional.

• 4 de novembro de 2025
  • Bibliotecas R atualizadas:
    • seta indicando de 10.0.0 a 21.0.0
  • Atualizações de segurança do sistema operacional.

• 21 de outubro de 2025
  • Python atualizado da versão 2.7.18 para 2.7.18.1
  • Atualizações de segurança do sistema operacional.

• 7 de outubro de 2025
  • Atualizações de segurança do sistema operacional.

• 24 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 9 de setembro de 2025
  • Atualizações de segurança do sistema operacional.

• 26 de agosto de 2025
  • Atualizações de segurança do sistema operacional.

• 14 de agosto de 2025
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 15 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 1 de julho de 2025
  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2025
  • Atualizações de segurança do sistema operacional.

• 3 de junho de 2025
  • Bibliotecas do Python atualizadas:
    • certificado de 2019.11.28, 2021.10.8 para 2021.10.8
    • chardet de 3.0.4, 4.0.0 para 4.0.0
    • idna de 2.8, 3.3 para 3.3
    • solicitações de 2.22.0, 2.27.1 a 2.27.1
    • six de 1.14.0, 1.16.0 para 1.16.0
    • urllib3 de 1.25.8, 1.26.9 para 1.26.9
    • Adicionado pip 21.2.4
    • Adicionado o setuptools 61.2.0
    • Adicionado tomli 1.2.2
    • Adicionado wcwidth 0.2.5
    • Adicionado wheel 0.37.0
    • Removida distribuição 1.4.0
    • Removido distro-info 0.23+ubuntu1.1
    • Removido python-apt 2.0.1+ubuntu0.20.4.1
  • Bibliotecas Java atualizadas:
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.1
  • Atualizações de segurança do sistema operacional.

• 20 de maio de 2025
  • [SPARK-42655][SQL] Erro de referência de coluna ambígua incorreto
  • Atualizações de segurança do sistema operacional.

• 22 de abril de 2025
  • [Alteração de comportamento] As operações de vácuo agora executam verificações de protocolo de gravador semelhantes a outras operações, impedindo limpezas inesperadas em tabelas com recursos mais recentes quando executadas em versões anteriores incompatíveis do DBR.
  • Atualizações de segurança do sistema operacional.

• 9 de abril de 2025
  • Atualizações de segurança do sistema operacional.

• 11 de março de 2025

  • Atualizações de segurança do sistema operacional.

• 10 de dezembro de 2024

  • Atualizações de segurança do sistema operacional.

• 26 de novembro de 2024

  • Diversas correções de bugs.

• 10 de outubro de 2024

  • [SPARK-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao podar GetArrayStructFields

• 25 de setembro de 2024

  • [SPARK-49000][SQL] Corrigir "select count(distinct 1) from t" onde t é uma tabela vazia, expandindo RewriteDistinctAggregates.
  • [SPARK-46601] [CORE] Corrigir erro de log no handleStatusMessage
  • Diversas correções de bugs.

• 17 de setembro de 2024

  • Atualizações de segurança do sistema operacional.

• 29 de agosto de 2024

  • Diversas correções de bugs.

• 14 de agosto de 2024

  • [SPARK-48941][SPARK-48970] Correções do gravador/leitor de ML do backport
  • [SPARK-49065][SQL] A troca de base nos formatadores/analisadores herdados devem dar suporte aos fusos horários padrão que não são JVM
  • [SPARK-49056][SQL] ErrorClassesJsonReader não pode manipular nulo corretamente
  • [SPARK-48597][SQL] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
  • [SPARK-48463][ML] Tornar StringIndexer compatível com colunas de entrada aninhadas
  • Atualizações de segurança do sistema operacional.

• 1º de agosto de 2024

  • [SPARK-48896][SPARK-48909][SPARK-48883] Correções do gravador do Spark ML do Backport

• 1º de agosto de 2024

  • Para aplicar os patches de segurança necessários, a versão do Python no Databricks Runtime 12.2 LTS é atualizada de 3.9.5 para 3.9.19.

• 11 de julho de 2024

  • (Alteração de comportamento) Os DataFrames armazenados em cache em fontes de tabela Delta já serão invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
  • [SPARK-48481][SQL][SS] Não aplique OptimizeOneRowPlan ao conjunto de dados de streaming
  • [SPARK-47070] Corrigir agregação inválida após reescrita de subconsulta
  • [SPARK-42741][SQL] Não desencapsular conversões em comparação binária quando o literal for nulo
  • [SPARK-48445][SQL] Não coloque UDFs em linha com filhos caros
  • [SPARK-48503][SQL] Corrigir subconsultas escalares inválidas com o agrupamento em colunas não equivalentes, que foram permitidas de modo incorreto
  • [SPARK-48383][SS] Gerar melhor erro para as partições incompatíveis na opção startOffset no Kafka
  • Atualizações de segurança do sistema operacional.

• 17 de junho de 2024

  • [SPARK-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
  • Diversas correções de bugs.

• 21 de maio de 2024

  • [SPARK-48105][SS] Corrigir a condição de corrida entre o descarregamento do repositório de estado e o instantâneo
  • Atualizações de segurança do sistema operacional.

• 9 de maio de 2024

  • [SPARK-44251][SQL] Definir o valor nulo corretamente na chave de junção unida na junção USING externa completa
  • [SPARK-47973][CORE] Registrar site de chamada no SparkContext.stop() e posterior no SparkContext.assertNotStopped()
  • [SPARK-47956][SQL] Verificação de consistência para referência LCA não resolvida
  • [SPARK-48018][SS] Corrigir groupId nulo causando erro de parâmetro ausente ao lançar KafkaException.couldNotReadOffsetRange
  • Atualizações de segurança do sistema operacional.

• 25 de abril de 2024

  • Atualizações de segurança do sistema operacional.

• 11 de abril de 2024

  • Atualizações de segurança do sistema operacional.

• 1 de abril de 2024

  • [SPARK-47305][SQL] Corrigir o PruneFilters para marcar corretamente o sinalizador isStreaming do LocalRelation quando o plano tiver lote e streaming
  • [SPARK-44252][SS] Defina uma nova classe de erro e aplique-se ao caso em que o estado de carregamento do DFS falha
  • [SPARK-47135][SS] Implementar classes de erro para exceções de perda de dados do Kafka
  • [SPARK-47200][SS] Classe de erro do erro da função de usuário do coletor de lote Foreach
  • Atualizações de segurança do sistema operacional.

• 14 de março de 2024

  • [SPARK-47176][SQL] Criar uma função auxiliar de ResolveAllExpressionsUpWithPruning
  • Reverter “[SPARK-46861][CORE] Evitar Deadlock no DAGScheduler”
  • [SPARK-47125][SQL] Retornar nulo se Univocity nunca disparar a análise
  • [SPARK-47167][SQL] Adicionar classe concreta para relação anônima JDBC
  • Atualizações de segurança do sistema operacional.

• 29 de fevereiro de 2024

  • Foi corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE podia resultar na métrica de operação numSourceRows informando o dobro do número correto de linhas.
  • Agora, a criação de um esquema com um local definido exige que o usuário tenha privilégios SELECT e MODIFY em ANY FILE.
  • [SPARK-45582][SS] Verificar se a instância do repositório não é usada após chamar a confirmação na agregação de streaming do modo de saída
  • Atualizações de segurança do sistema operacional.

• 13 de fevereiro de 2024

  • [SPARK-46861] Evitar o deadlock no DAGScheduler.
  • [SPARK-46794] Remover as subconsultas das restrições LogicalRDD.
  • Atualizações de segurança do sistema operacional.

• 31 de janeiro de 2024

  • [SPARK-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
  • Atualizações de segurança do sistema operacional.

• 25 de dezembro de 2023

  • Para evitar maior latência ao se comunicar pelo TLSv1.3, essa versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
  • [SPARK-39440] Adicione uma configuração para desabilitar a linha do tempo do evento.
  • [SPARK-46132] Suporte à senha da chave para as chaves JKS de SSL da RPC.
  • [SPARK-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
  • [SPARK-46417] Não gerar uma falha ao chamar hive.getTable quando throwException for falso.
  • [SPARK-43067] Corrija a localização do arquivo de recursos da classe de erro no conector Kafka.
  • [SPARK-46249] Exige bloqueio de instância para adquirir métricas do RocksDB, a fim de evitar conflitos com operações em segundo plano.
  • [SPARK-46602] Propaga allowExisting na criação da exibição quando a exibição/tabela não existir.
  • [SPARK-46058] Adicione um sinalizador separado para privateKeyPassword.
  • [SPARK-46145] spark.catalog.listTables não gera exceção quando a tabela ou exibição não é encontrada.
  • [SPARK-46538] Corrija o problema de referência de coluna ambígua em ALSModel.transform.
  • [SPARK-42852] Reverte as alterações relacionadas a NamedLambdaVariable do EquivalentExpressions.

• 14 de dezembro de 2023

  • Um problema em que os sublinhados com escape nas operações getColumns provenientes dos clientes JDBC ou ODBC eram tratados incorretamente e interpretados como curingas foi corrigido.
  • [SPARK-44582] Ignora o iterador no SMJ se ele tiver sido limpo.
  • [SPARK-45920] “group by ordinal” deve ser idempotente.
  • [SPARK-45655] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
  • Atualizações de segurança do sistema operacional.

• 29 de novembro de 2023

  • Instalou um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
  • Um problema em que os sublinhados com escape nas operações getColumns provenientes dos clientes JDBC ou ODBC eram interpretados incorretamente como curingas foi corrigido.
  • [SPARK-42205] Remoção dos acumuladores de log nos eventos de início Stage e Task.
  • [SPARK-44846] Expressões de agrupamento complexas removidas após RemoveRedundantAggregates.
  • [SPARK-43718] A nulidade das chaves nas junções de USING foi corrigida.
  • [SPARK-45544] Suporte integrado de SSL em TransportContext.
  • [SPARK-43973] A interface de usuário do streaming estruturado agora exibe corretamente as consultas que falharam.
  • [SPARK-45730] Restrições de tempo aprimoradas para ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Transformação de objetos UDF em ml.functions lentos.
  • Atualizações de segurança do sistema operacional.

• 14 de novembro de 2023

  • Os filtros de partição nas consultas de streaming do Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
  • [SPARK-45545]SparkTransportConf herda SSLOptions na criação.
  • [SPARK-45427] As configurações de RPC SSL foram adicionadas a SSLOptions e SparkTransportConf.
  • [SPARK-45584] Correção de uma falha da execução de subconsulta com TakeOrderedAndProjectExec.
  • [SPARK-45541] Adição de SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction não falha mais quando IGNORE NULLS e offset > rowCount.
  • [SPARK-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
  • Atualizações de segurança do sistema operacional.

• 24 de outubro de 2023

  • [SPARK-45426] Adicionado suporte para ReloadingX509TrustManager.
  • Correções diversas.

• 13 de outubro de 2023

  • A dependência snowflake-jdbc foi atualizada de 3.13.29 para a 3.13.33.
  • [SPARK-42553] Verifique pelo menos uma unidade de tempo após o intervalo.
  • [SPARK-45346] A inferência de esquema Parquet respeita o sinalizador que diferencia maiúsculas de minúsculas ao mesclar o esquema.
  • [SPARK-45178] Fallback para executar um lote único no Trigger.AvailableNow com fontes sem suporte em vez de usar o wrapper.
  • [SPARK-45084]StateOperatorProgress para usar um número de partição de ordem aleatória preciso e adequado.

• 12 de setembro de 2023

  • [SPARK-44873] Suporte adicionado para alter view com colunas aninhadas no cliente Hive.
  • [SPARK-44718] Correspondência do padrão de configuração do modo de memória ColumnVector com o valor de configuração OffHeapMemoryMode.
  • [SPARK-43799] Adicionada a opção binária de descritor à API do PySpark Protobuf .
  • Correções diversas.

• 30 de agosto de 2023

  • [SPARK-44485] Otimização de TreeNode.generateTreeString.
  • [SPARK-44818] A disputa para interromper a tarefa pendente emitida antes de taskThread ser inicializado foi corrigida.
  • [SPARK-44871][11.3-13.0] Comportamento fixo percentile_disc .
  • [SPARK-44714] Restrição facilitada da resolução LCA em relação às consultas.
  • Atualizações de segurança do sistema operacional.

• 15 de agosto de 2023

  • [SPARK-44504] A tarefa de manutenção limpa os provedores carregados em caso de erro de parada.
  • [SPARK-44464]applyInPandasWithStatePythonRunner nas linhas de saída que têm Null como o valor da primeira coluna foi corrigido.
  • Atualizações de segurança do sistema operacional.

• 29 de julho de 2023

  • Foi corrigido um problema em que dbutils.fs.ls() retornava INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que entrava em conflito com outro local de armazenamento externo ou gerenciado.
  • [SPARK-44199]CacheManager não atualiza mais o fileIndex desnecessariamente.
  • Atualizações de segurança do sistema operacional.

• 24 de julho de 2023

  • [SPARK-44337] Corrigido um problema em que qualquer campo definido para Any.getDefaultInstance causava erros de análise.
  • [SPARK-44136] Correção de um problema em que StateManager era materializado em um executor em vez de no driver em FlatMapGroupsWithStateExec.
  • Atualizações de segurança do sistema operacional.

• 23 de junho de 2023

  • Atualizações de segurança do sistema operacional.

• 15 de junho de 2023

  • approx_count_distinct fotonizado.
  • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para que fosse resolvido um problema de segurança.
  • [SPARK-43779] Agora, ParseToDate carrega EvalMode no thread principal.
  • [SPARK-43156][SPARK-43098] Teste de erro de contagem de subconsultas escalar estendida com decorrelateInnerQuery desativado.
  • Atualizações de segurança do sistema operacional.

• 2 de junho de 2023

  • O analisador JSON no modo failOnUnknownFields descarta um registro no modo DROPMALFORMED e falha diretamente no modo FAILFAST.
  • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE Apache Iceberg e Apache Parquet.
  • Corrigido um problema no Carregador Automático em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferido.
  • [SPARK-43404] Ignore a reutilização do arquivo sst para a mesma versão do repositório de estado do RocksDB para evitar o erro de incompatibilidade de ID.
  • [SPARK-43413][11.3-13.0] Correção da nulidade IN na subconsulta ListQuery.
  • [SPARK-43522] Corrigida a criação de nome da coluna struct com índice de matriz.
  • [SPARK-43541] Propagar todas as marcas Project na resolução de expressões e colunas ausentes.
  • [SPARK-43527] Foi corrigido catalog.listCatalogs no PySpark.
  • [SPARK-43123] Metadados de campo internos não são mais vazados para catálogos.
  • [SPARK-43340] O campo de rastreamento da pilha ausente nos eventlogs foi corrigido.
  • [SPARK-42444]DataFrame.drop agora manipula colunas duplicadas corretamente.
  • [SPARK-42937]PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
  • [SPARK-43286] Atualização do modo CBC aes_encrypt para gerar IVs aleatórios.
  • [SPARK-43378] Feche corretamente objetos de fluxo em deserializeFromChunkedBuffer.

• 17 de maio de 2023

  • Agora, as verificações do Parquet são robustas em relação aos OOMs ao verificar arquivos excepcionalmente estruturados ajustando dinamicamente o tamanho do lote. Os metadados de arquivo são analisados para reduzirem preventivamente o tamanho do lote e são reduzidos novamente nas tentativas de tarefa como uma rede de segurança final.
  • Se um arquivo Avro fosse lido apenas com a opção failOnUnknownFields ou com o Carregador Automático no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes seriam lidas como null em vez de gerar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a opção rescuedDataColumn.
  • O Carregador Automático agora faz o seguinte.
  • • Lê corretamente e não resgata mais os tipos Integer, Short, Byte se um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
  • • Impede a leitura dos tipos de intervalo como tipos de data ou carimbo de data/hora para evitar a obtenção de datas corrompidas.
  • • Impede a leitura de tipos Decimal com precisão mais baixa.
  • [SPARK-43172] Expõe o host e o token do cliente do Spark Connect.
  • [SPARK-43293]__qualified_access_only é ignorado em colunas normais.
  • [SPARK-43098] Correção de um bug COUNT de correção quando uma subconsulta escalar é agrupada por cláusula.
  • [SPARK-43085] Suporte para atribuição de coluna DEFAULT para nomes de tabela de várias partes.
  • [SPARK-43190]ListQuery.childOutput agora é consistente com a saída secundária.
  • [SPARK-43192] Remoção da validação do conjunto de caracteres do agente de usuário.
  • Atualizações de segurança do sistema operacional.

• 25 de abril de 2023

  • Se um arquivo Parquet fosse lido apenas com a opção failOnUnknownFields ou com o Carregador Automático no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes seriam lidas como null em vez de gerar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a opção rescuedDataColumn.
  • O Carregador Automático agora lê corretamente e não resgata mais os tipos Integer, Short, Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatada foi habilitada anteriormente, a incompatibilidade de tipo de dado fazia com que as colunas fossem salvas, mesmo quando eram legíveis.
  • [SPARK-43009] Parametrização de sql() com constantes Any
  • [SPARK-42406] Encerrar campos recursivos do Protobuf descartando o campo
  • [SPARK-43038] Dar suporte ao modo CBC por aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Alteração para imprimir workdir se appDirs for nulo quando o evento WorkDirCleanup processar o trabalho
  • [SPARK-43018] Corrigir o bug para os comandos INSERT com literais de carimbo de data/hora
  • Atualizações de segurança do sistema operacional.

• 11 de abril de 2023

  • Suporte aos formatos de fonte de dados herdados no comando SYNC.
  • Corrige um problema no comportamento %autoreload em notebooks fora de um repositório.
  • Corrigido um problema em que a evolução do esquema do Auto Loader pode entrar em um loop de falha infinito quando uma nova coluna é detectada no esquema de um objeto JSON aninhado.
  • [SPARK-42928] Torna resolvePersistentFunction sincronizado.
  • [SPARK-42936] Corrige o problema de LCan quando a cláusula pode ser resolvida diretamente por sua agregação filho.
  • [SPARK-42967] Corrige SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após a etapa ser cancelada.
  • Atualizações de segurança do sistema operacional.

• 29 de março de 2023

  • O Databricks SQL agora dá suporte à especificação de valores padrão para colunas de tabelas do Delta Lake, seja no momento da criação da tabela ou posteriormente. Comandos subsequentes INSERT, UPDATE, DELETE, e MERGE podem se referir ao valor padrão de qualquer coluna usando a palavra-chave explícita DEFAULT. Além disso, se qualquer atribuição INSERT tiver uma lista explícita de menos colunas do que a tabela de destino, os valores padrão de coluna correspondentes serão substituídos pelas colunas restantes (ou NULL se nenhum padrão for especificado).

    Por exemplo:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • Agora, o Carregador Automático inicia pelo menos um log do RocksDB síncrono limpo nos fluxos Trigger.AvailableNow para verificar se o ponto de verificação pode ser limpo regularmente nos fluxos do Carregador Automático em execução rápida. Isso pode fazer com que alguns fluxos levem mais tempo antes de serem desligados, mas economizará custos de armazenamento e aprimorará a experiência do Carregador Automático em execuções futuras.

  • Agora você pode modificar uma tabela Delta para adicionar suporte a recursos de tabela usando DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Aumentar o lockAcquireTimeoutMs para 2 minutos para adquirir o repositório de estado RocksDB no Structure Streaming

  • [SPARK-42521] Adicionar NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino

  • [SPARK-42702][SPARK-42623] Suporte a consulta parametrizada em subconsulta e CTE

  • [SPARK-42668] Captura de uma exceção ao tentar fechar o fluxo compactado na interrupção de HDFSStateStoreProvider

  • [SPARK-42403] JsonProtocol deve manipular cadeias de caracteres JSON nulas

• 8 de março de 2023

  • A mensagem de erro "Falha ao inicializar a configuração" foi aprimorada para fornecer mais contexto para o cliente.
  • Há uma alteração de terminologia para adicionar funcionalidades a uma tabela Delta usando a propriedade de tabela. A sintaxe preferencial agora 'delta.feature.featureName'='supported' é em vez de 'delta.feature.featureName'='enabled'. Para compatibilidade com versões anteriores, o uso de 'delta.feature.featureName'='enabled' ainda funciona e continuará funcionando.
  • A partir desta versão, é possível criar/substituir uma tabela por uma propriedade delta.ignoreProtocolDefaults de tabela adicional para ignorar configurações do Spark relacionadas ao protocolo, que inclui versões de leitor e gravador padrão, bem como recursos de tabela com suporte por padrão.
  • [SPARK-42070] Alterar o valor padrão do argumento da função Mask de -1 para NULL
  • [SPARK-41793] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais significativas
  • [SPARK-42484] Melhor mensagem de erro do UnsafeRowUtils
  • [SPARK-42516] Sempre capture a configuração de fuso horário da sessão ao criar exibições
  • [SPARK-42635] Corrija a expressão TimestampAdd.
  • [SPARK-42622] Substituição desativada em valores
  • [SPARK-42534] Corrigir cláusula DB2Dialect Limit
  • [SPARK-42121] Adicionar funções embutidas de valor de tabela posexplode, posexplode_outer, json_tuple e Stack
  • [SPARK-42045] Modo SQL ANSI: Round/Bround deve retornar um erro em estouro de inteiro minúsculo/pequeno/grande
  • Atualizações de segurança do sistema operacional.

Databricks Runtime 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

• 9 de abril de 2025
  • Atualizações de segurança do sistema operacional.

• 11 de março de 2025
  • Atualizações de segurança do sistema operacional.

• 11 de fevereiro de 2025
  • Atualizações de segurança do sistema operacional.

• 10 de dezembro de 2024
  • Atualizações de segurança do sistema operacional.
• 26 de novembro de 2024
  • Atualizações de segurança do sistema operacional.
• 5 de novembro de 2024
  • Atualizações de segurança do sistema operacional.
• 22 de outubro de 2024
  • Atualizações de segurança do sistema operacional.
• 10 de outubro de 2024
  • Atualizações de segurança do sistema operacional.
• 25 de setembro de 2024
  • [SPARK-49000][SQL] Corrigir "select count(distinct 1) from t" onde t é uma tabela vazia, expandindo RewriteDistinctAggregates.
  • Atualizações de segurança do sistema operacional.
• 6 de Setembro de 2024
  • Atualizações de segurança do sistema operacional.
• 29 de agosto de 2024
  • [SPARK-49065][SQL] A troca de base nos formatadores/analisadores herdados devem dar suporte aos fusos horários padrão que não são JVM
• 14 de agosto de 2024
• 1 de agosto de 2024
  • Atualizações de segurança do sistema operacional.
• 11 de julho de 2024
  • Atualizações de segurança do sistema operacional.
• 17 de junho de 2024
  • Atualizações de segurança do sistema operacional.
• 21 de maio de 2024
  • [SPARK-48105][SS] Corrigir a condição de corrida entre o descarregamento do repositório de estado e o instantâneo
  • Atualizações de segurança do sistema operacional.
• 09 de maio de 2024
  • [SPARK-47973][CORE] Registrar site de chamada no SparkContext.stop() e posterior no SparkContext.assertNotStopped()
  • [SPARK-44251][SQL] Definir o valor nulo corretamente na chave de junção unida na junção USING externa completa
  • Atualizações de segurança do sistema operacional.
• 25 de abril de 2024
  • Diversas correções de bugs.
• 11 de abril de 2024
  • Atualizações de segurança do sistema operacional.
• 1º de abril de 2024
  • Reverter “[SPARK-46861][CORE] Evitar Deadlock no DAGScheduler”
  • Atualizações de segurança do sistema operacional.
• 14 de março de 2024
  • Atualizações de segurança do sistema operacional.
• 29 de fevereiro de 2024
  • Foi corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE podia resultar na métrica de operação numSourceRows informando o dobro do número correto de linhas.
  • Atualizações de segurança do sistema operacional.
• 13 de fevereiro de 2024
  • [SPARK-46861] Evitar o deadlock no DAGScheduler.
  • Atualizações de segurança do sistema operacional.
• 31 de janeiro de 2024
  • Atualizações de segurança do sistema operacional.
• 25 de dezembro de 2023
  • Para evitar maior latência ao se comunicar pelo TLSv1.3, essa versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
  • [SPARK-46058] Adicione um sinalizador separado para privateKeyPassword.
  • [SPARK-39440] Adicione uma configuração para desabilitar a linha do tempo do evento.
  • [SPARK-46132] Suporte à senha da chave para as chaves JKS de SSL da RPC.
• 14 de dezembro de 2023
  • Atualizações de segurança do sistema operacional.
• 29 de novembro de 2023
  • Instalou um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
  • [SPARK-45859] Transformação de objetos UDF em ml.functions lentos.
  • [SPARK-45544] Suporte integrado de SSL em TransportContext.
  • [SPARK-45730] Restrições de tempo aprimoradas para ReloadingX509TrustManagerSuite.
  • Atualizações de segurança do sistema operacional.
• 14 de novembro de 2023
  • [SPARK-45545]SparkTransportConf herda SSLOptions na criação.
  • [SPARK-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
  • [SPARK-45427] As configurações de RPC SSL foram adicionadas a SSLOptions e SparkTransportConf.
  • [SPARK-45584] Correção de uma falha da execução de subconsulta com TakeOrderedAndProjectExec.
  • [SPARK-45541] Adição de SSLFactory.
  • [SPARK-42205] Os acumuladores de log nos eventos de início Stage e Task foram removidos.
  • Atualizações de segurança do sistema operacional.
• 24 de outubro de 2023
  • [SPARK-45426] Adicionado suporte para ReloadingX509TrustManager.
  • Atualizações de segurança do sistema operacional.
• 13 de outubro de 2023
  • Atualizações de segurança do sistema operacional.
• 10 de setembro de 2023
  • Correções diversas.
• 30 de agosto de 2023
  • Atualizações de segurança do sistema operacional.
• 15 de agosto de 2023
  • Atualizações de segurança do sistema operacional.
• 23 de junho de 2023
  • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para que fosse resolvido um problema de segurança.
  • Atualizações de segurança do sistema operacional.
• 15 de junho de 2023
  • [SPARK-43098] Corrige o bug COUNT de correção quando a subconsulta escalar tiver um grupo por cláusula.
  • [SPARK-43156][SPARK-43098] O teste de bug da contagem de subconsultas escalar estendida com decorrelateInnerQuery foi desativado.
  • [SPARK-40862] Suporte para subconsultas não agregadas em RewriteCorrelatedScalarSubquery.
  • Atualizações de segurança do sistema operacional.
• 2 de junho de 2023
  • O analisador JSON no modo failOnUnknownFields descarta um registro no modo DROPMALFORMED e falha diretamente no modo FAILFAST.
  • Corrigido um problema na análise de dados JSON recuperados para evitar UnknownFieldException.
  • Corrigido um problema no Carregador Automático em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferido.
  • [SPARK-37520] Adicionar as funções de cadeia de caracteres startswith() e endswith()
  • [SPARK-43413] Correção da nulidade IN da subconsulta ListQuery.
  • Atualizações de segurança do sistema operacional.
• 17 de maio de 2023
  • Atualizações de segurança do sistema operacional.
• 25 de abril de 2023
  • Atualizações de segurança do sistema operacional.
• 11 de abril de 2023
  • Corrigido um problema em que a evolução do esquema do Auto Loader pode entrar em um loop de falha infinito quando uma nova coluna é detectada no esquema de um objeto JSON aninhado.
  • [SPARK-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após o cancelamento do estágio.
• 29 de março de 2023
  • Atualizações de segurança do sistema operacional.
• 14 de março de 2023
  • [SPARK-42484] Mensagem de erro aprimorada para UnsafeRowUtils.
  • Correções diversas.
• 28 de fevereiro de 2023
  • Os usuários agora podem ler e gravar tabelas Delta específicas que exigem o Leitor versão 3 e o Gravador versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para ter êxito, os recursos de tabela listados no protocolo das tabelas devem ser compatíveis com a versão atual do Databricks Runtime.
  • Atualizações de segurança do sistema operacional.
• 16 de fevereiro de 2023
  • Atualizações de segurança do sistema operacional.
• 31 de janeiro de 2023
  • Agora, os tipos de tabelas JDBC são EXTERNAL por padrão.
• 18 de janeiro de 2023
  • Atualizações de segurança do sistema operacional.
• 29 de novembro de 2022
  • Um problema com a análise do JSON no Carregador Automático quando todas as colunas eram deixadas como cadeias de caracteres (cloudFiles.inferColumnTypes não era definido como false) e o JSON continha objetos aninhados foi corrigido.
  • Atualizações de segurança do sistema operacional.
• 15 de novembro de 2022
  • Atualização do Apache commons-text para 1.10.0.
  • Atualizações de segurança do sistema operacional.
  • Correções diversas.
• 1º de novembro de 2022
  • Correção de um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário nomeada _change_type, mas o feed de dados de alteração estivesse desativado nessa tabela, os dados nessa coluna preencheriam incorretamente com valores NULL durante a execução MERGE.
  • Corrigido um problema com o Carregador Automático em que um arquivo podia ser duplicado no mesmo microlote quando allowOverwrites estivesse habilitado
  • [SPARK-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
  • Atualizações de segurança do sistema operacional.
• 18 de outubro de 2022
  • Atualizações de segurança do sistema operacional.
• 5 de outubro de 2022
  • Correções diversas.
  • Atualizações de segurança do sistema operacional.
• 22 de setembro de 2022
  • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para habilitar novamente a listagem interna do Carregador Automático no ADLS. A listagem interna foi desativada anteriormente devido aos problemas de desempenho, mas pode ter gerado um aumento nos custos de armazenamento para os clientes.
  • [SPARK-40315] Adicionar hashCode() para Literal do ArrayBasedMapData
  • [SPARK-40089] Corrigir a classificação para alguns tipos Decimais
  • [SPARK-39887] RemoveRedundantAliases deve manter aliases que tornam a saída de nós de projeção única
• 06 de setembro de 2022
  • [SPARK-40235] Usar bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
  • [SPARK-35542] Correção: Bucketizer criado para várias colunas com os parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de ser salvo.
  • [SPARK-40079] Adicionar a validação inputCols do imputador no caso de entrada vazia
• 24 de agosto de 2022
  • [SPARK-39666] Usar UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
  • [SPARK-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
  • Atualizações de segurança do sistema operacional.
• 9 de agosto de 2022
  • Atualizações de segurança do sistema operacional.
• 27 de julho de 2022
  • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
  • [SPARK-39689] Suporte para 2 caracteres lineSep na fonte de dados CSV
  • [SPARK-39575] Adicionado ByteBuffer#rewind depois de ByteBuffer#get em AvroDeserializer.
  • [SPARK-37392] Corrigido o erro de desempenho do otimizador de catalisador.
  • Atualizações de segurança do sistema operacional.
• 13 de julho de 2022
  • [SPARK-39419]ArraySort gera uma exceção quando o comparador retorna nulo.
  • Desabilitou o uso de APIs de nuvem internas do Carregador Automático para listagem de diretórios no Azure.
  • Atualizações de segurança do sistema operacional.
• 5 de julho de 2022
  • Atualizações de segurança do sistema operacional.
  • Correções diversas.
• 15 de junho de 2022
  • [SPARK-39283] Corrigir deadlock entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
• 2 de junho de 2022
  • [SPARK-34554] Implementar o copy() método em ColumnarMap.
  • Atualizações de segurança do sistema operacional.
• 18 de maio de 2022
  • Corrigido um possível vazamento de memória interna no Carregador Automático.
  • Atualize a versão do SDK do AWS da 1.11.655 para a 1.11.678.
  • [SPARK-38918] Remover a coluna aninhada deve filtrar os atributos que não pertencem à relação atual
  • [SPARK-39084] Corrigir df.rdd.isEmpty() usando TaskContext para interromper o iterador na conclusão da tarefa
  • Atualizações de segurança do sistema operacional.
• 19 de abril de 2022
  • Atualizações de segurança do sistema operacional.
  • Correções diversas.
• 6 de abril de 2022
  • [SPARK-38631] Uso da implementação baseada em Java para descompactação em Utils.unpack.
  • Atualizações de segurança do sistema operacional.
• 22 de março de 2022
  • Alterado o diretório de trabalho atual dos blocos de notas em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credencial habilitada para o diretório pessoal do usuário. Anteriormente, o diretório ativo era /databricks/driver.
  • [SPARK-38437] Serialização branda de data/hora da fonte de dados
  • [SPARK-38180] Permitir expressões de up-cast seguras em predicados de igualdade correlacionados
  • [SPARK-38155] Não permitir a agregação distinta nas subconsultas laterais com predicados sem suporte
  • [SPARK-27442] Foi removido um campo de verificação ao ler ou gravar dados em um parquet.
• 14 de março de 2022
  • [SPARK-38236] Caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
  • [SPARK-34069] Interromper o thread da tarefa se a propriedade SPARK_JOB_INTERRUPT_ON_CANCEL local estiver definida como true.
• 23 de fevereiro de 2022
  • [SPARK-37859] As tabelas SQL criadas com JDBC com Spark 3.1 não são legíveis com o Spark 3.2.
• 8 de fevereiro de 2022
  • [SPARK-27442] Foi removido um campo de verificação ao ler ou gravar dados em um parquet.
  • Atualizações de segurança do sistema operacional.
• 1° de fevereiro de 2022
  • Atualizações de segurança do sistema operacional.
• 26 de janeiro de 2022
  • Um problema em que as transações simultâneas nas tabelas Delta podiam ser executadas em uma ordem não serializável em determinadas condições raras foi corrigido.
  • Corrigido um problema em que o comando OPTIMIZE poderia falhar quando o dialeto ANSI SQL estava habilitado.
• 19 de janeiro de 2022
  • Correções secundárias e aprimoramentos de segurança.
  • Atualizações de segurança do sistema operacional.
• 4 de novembro de 2021
  • Corrigido um problema que fazia com que fluxos do Fluxo Estruturado falhassem com um ArrayIndexOutOfBoundsException.
  • Uma condição de corrida que pode causar uma falha de consulta com uma IOException como java.io.IOException: No FileSystem for scheme ou que pode fazer com que as modificações em sparkContext.hadoopConfiguration não afetem as consultas foi corrigido.
  • O Apache Spark Conector para compartilhamento Delta foi atualizado para 0.2.0.
• 20 de outubro de 2021
  • Conector do BigQuery atualizado de 0.18.1 para 0.22.2. Isso adiciona suporte para o tipo BigNumeric.