Databricks Runtime 16.4 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.4 LTS, alimentado pelo Apache Spark 3.5.2.

O Databricks lançou esta versão do LTS em maio de 2025. Há duas variantes para esta versão, uma compatível com o Scala 2.12 e outra com suporte para Scala 2.13.

A partir do DBR 17 (Spark 4), somente o Scala 2.13 terá suporte. Para ajudá-lo na transição, duas imagens estão disponíveis no 16.4 LTS: uma com Scala 2.12 e outra com Scala 2.13. Use a imagem 2.13 para testar e atualizar sua base de código para o Scala 2.13 antes de migrar para o DBR 17.

Diretrizes de migração do Scala 2.13

• Todos os outros recursos são os mesmos em ambas as versões do Databricks Runtime 16.4 LTS.
• As versões de dependência podem ser diferentes entre as imagens do Databricks Runtime 16.4 Scala 2.12 e do Scala 2.13. As versões das bibliotecas com suporte em cada imagem estão listadas abaixo nesta página.
• Verifique se o código está escrito no Scala 2.13 e se o executável é compilado com o Scala 2.13.
• Crie seu projeto no Spark 3.5.

Se o código usar a biblioteca sparklyr R, você deverá usar a imagem que fornece suporte ao Scala 2.12.

Alterações interruptivas entre o Scala 2.12 e 2.13

Grandes alterações interruptivas

O Databricks Runtime considera uma alteração interruptiva grande quando exige que você faça alterações significativas de código para que haja suporte.

• Incompatibilidade da coleção: leia esta página oficial de documentos do Scala para obter detalhes sobre como migrar coleções para o Scala 2.13. Se o código usar uma versão anterior do código Scala, as coleções serão a principal fonte de incompatibilidades ao usar o Databricks, especialmente com parâmetros de API e tipos de retorno.

• Algoritmo de hash: ao revisar o código criado com o Scala 2.12, não dependa da ordem implícita das estruturas de dados que não garantem a ordenação, como HashMap e Set. Coleções que fazem ordenação implícita podem ordenar seus elementos de forma diferente quando executadas na versão 2.13 (em comparação com 2.12) ao iterar sobre eles.

Pequenas alterações interruptivas

O Databricks Runtime considera uma alteração interruptiva pequena quando não há mensagens de erro específicas geradas devido a alterações de versão, mas que possam impedir a compilação de seu código na versão. Nesse caso, as mensagens de erro podem fornecer informações suficientes para atualizar seu código.

• Inferência de tipo mais rigorosa: Ao compilar o código desenvolvido para Scala 2.12 com 2.13, o compilador pode relatar que não consegue inferir o tipo ou indicar uma ambiguidade de tipo. Anotar explicitamente as variáveis com seu tipo de dados geralmente resolve esse problema.
• Remoção de sintaxe específica: alguns itens de sintaxe foram preteridos no Scala 2.13, como a literal de cadeia de caracteres de aspa única, o operador + para a concatenação de cadeia de caracteres quando usado com um tipo não String à esquerda e o operador postfix (use a notação de ponto em vez disso). Para obter mais detalhes, confira: Os recursos descartados do Scala nos documentos oficiais do Scala.
• Mensagens de saída: os resultados de texto para mensagens retornadas do REPL podem ser diferentes entre o Scala 2.12 e 2.13. Qualquer discrepância não significa que a sintaxe ou a computação esteja errada; em vez disso, a mensagem descreve o problema ou o contexto de forma diferente ou apresenta-o em um formato representacional diferente. Por exemplo, f: Foo = Foo(1) pode se tornar f: Foo = Foo(i = 1) em algumas mensagens.

A lista de versões de biblioteca compatíveis com cada versão do Scala do Databricks Runtime 16.4 LTS:

• Bibliotecas do DBR 16.4 LTS Scala 2.12
• Bibliotecas do DBR 16.4 LTS Scala 2.13

Novos recursos e melhorias

• Painéis, alertas e consultas contam com suporte como arquivos de workspace
• Melhoria de autocompactação de clustering líquido
• O Carregador Automático agora pode limpar arquivos processados no diretório de origem
• Suporte à ampliação de tipos adicionado para o streaming de tabelas Delta
• IDENTIFIER suporte agora disponível no DBSQL para operações de catálogo
• Expressões agrupadas agora fornecem aliases transitórios gerados automaticamente
• Adicionar suporte à API de pushdown de filtro a fontes de dados do Python
• Melhoria de rastreamento de UDF do Python
• UNION/EXCEPT/INTERSECT em uma exibição e EXECUTE IMMEDIATE agora retorna os resultados corretos
• Guia de configuração e migração do plano armazenado em cache da fonte de dados
• Novas listagg e string_agg funções
• O suporte para MERGE INTO tabelas com controle de acesso refinado na computação dedicada agora está disponível (GA)

Painéis, alertas e consultas contam com suporte como arquivos de workspace

Agora há suporte para painéis, alertas e consultas como arquivos de workspace. Agora você pode interagir programaticamente com esses objetos do Databricks de qualquer lugar em que o sistema de arquivos do workspace esteja disponível, incluindo gravar, ler e excluí-los como qualquer outro arquivo. Para saber mais, confira O que são arquivos de workspace? E interaja programaticamente com arquivos de workspace.

Melhoria de autocompactação de clustering líquido

Agora, as tabelas de clusterização líquida gerenciadas pelo Unity Catalog acionam a auto-compactação para automaticamente reduzir problemas relacionados a arquivos pequenos entre as execuções de OPTIMIZE.

Para obter mais detalhes, consulte Compactação automática para Delta Lake no Azure Databricks.

O Carregador Automático agora pode limpar arquivos processados no diretório de origem

Os clientes agora podem instruir o Carregador Automático a mover ou excluir automaticamente arquivos que foram processados. Opte por esse recurso usando a opção cloudFiles.cleanSource Carregador Automático.

Para obter mais detalhes, consulte as opções do Carregador Automático em cloudFiles.cleanSource.

Suporte à ampliação de tipos adicionado para o streaming de tabelas Delta

Esta versão adiciona o suporte ao streaming de uma tabela Delta que tenha dados de coluna ampliados por tipo e para compartilhamento de uma tabela Delta com ampliação de tipos habilitada usando o Compartilhamento Delta de Databricks para Databricks. No momento, o recurso de ampliação de tipo está atualmente em Versão Prévia Pública.

Para obter mais detalhes, consulte Ampliação de tipos.

IDENTIFIER suporte agora disponível no DBSQL para operações de catálogo

Os clientes do Azure Databricks agora podem usar a IDENTIFIER cláusula ao executar as seguintes operações de catálogo:

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

Essa nova sintaxe permite que os clientes especifiquem dinamicamente nomes de catálogo usando parâmetros definidos para essas operações, permitindo fluxos de trabalho SQL mais flexíveis e reutilizáveis. Como exemplo da sintaxe, considere CREATE CATALOG IDENTIFIER(:param) onde param está um parâmetro fornecido para especificar um nome de catálogo.

Para obter mais detalhes, consulte IDENTIFIER a cláusula.

Expressões agrupadas agora fornecem aliases transitórios gerados automaticamente

Os aliases gerados automaticamente para expressões agrupadas agora sempre incorporarão de forma determinística a informação COLLATE. Os aliases gerados automaticamente são transitórios (instáveis) e não devem ser confiados. Em vez disso, como prática recomendada, use expression AS alias de forma consistente e explícita.

Adicionar suporte à API de pushdown de filtro a fontes de dados do Python

No Databricks Runtime 16.4 LTS, o Azure Databricks adicionou suporte a pushdown de filtro na leitura em lote da fonte de dados do Python como uma API semelhante à interface SupportsPushDownFilters. Agora você pode implementar DataSourceReader.pushFilters para receber os filtros que podem ser passados às camadas inferiores. Você também pode implementar essa API para fornecer lógica na seleção de filtros a serem propagados, rastrear esses filtros e retornar os filtros restantes para que sejam aplicados pelo Apache Spark.

O pushdown de filtro permite que a fonte de dados lide com um subconjunto de filtros. Isso pode melhorar o desempenho reduzindo a quantidade de dados que precisam ser processados pelo Spark.

O filtro pushdown é suportado apenas para leituras em lote, não para leituras de streaming. A nova API deve ser adicionada a DataSourceReader e não a DataSource ou DataSourceStreamReader. A lista de filtros deve ser interpretada como a lógica AND dos elementos na implementação. Este método é executado uma vez durante o planejamento da consulta. Na implementação padrão, ela retorna todos os filtros que indiquem que não há filtros que possam ser passados às camadas inferiores. Use subclasses para substituir este método e implementar sua lógica para a filtragem descendente.

Inicialmente e para manter a API simples, o Azure Databricks dá suporte apenas a filtros V1 que têm uma coluna, um operador booliano e um valor literal. A serialização de filtro é um espaço reservado e será implementada em uma PR futura. Por exemplo:

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

O Azure Databricks recomenda implementar esse método apenas para fontes de dados que dão suporte nativo à filtragem, como bancos de dados e APIs do GraphQL.

Melhoria de rastreamento de UDF do Python

O rastreamento de UDF do Python agora inclui quadros do driver e do executor, juntamente com os quadros do cliente, resultando em melhores mensagens de erro que mostram detalhes maiores e mais relevantes (como o conteúdo de linha de quadros dentro de uma UDF).

UNION/EXCEPT/INTERSECT em uma exibição e EXECUTE IMMEDIATE agora retorna os resultados corretos

Consultas para definições de exibições temporárias e persistentes com UNION/EXCEPT/INTERSECT no nível superior e colunas sem alias anteriormente retornavam resultados incorretos porque as palavras-chave UNION/EXCEPT/INTERSECT eram consideradas aliases. Agora, essas consultas executarão corretamente toda a operação do conjunto.

EXECUTE IMMEDIATE ... INTO com UNION/EXCEPT/INTERSECT de nível superior e com colunas sem aliases também gravavam um resultado incorreto de uma operação de conjunto na variável especificada porque o analisador interpretava essas palavras-chave como aliases. Da mesma forma, consultas SQL com texto final inválido também foram permitidas. As operações de conjunto nesses casos agora atribuem o resultado correto à variável especificada ou falham caso o texto SQL seja inválido.

Guia de configuração e migração do plano armazenado em cache da fonte de dados

A partir do DBR 16.4.0, a leitura de uma tabela de origem de arquivo respeitará corretamente as opções de consulta, por exemplo, os delimitadores. Anteriormente, o primeiro plano de consulta era armazenado em cache e as alterações de opção subsequentes eram ignoradas. Para restaurar o comportamento anterior, defina spark.sql.legacy.readFileSourceTableCacheIgnoreOptions como true.

Novas listagg e string_agg funções

A partir desta versão, você pode usar as listagg funções ou string_agg para agregar STRING e BINARY valores dentro de um grupo. Consulte string_agg para obter mais detalhes.

O suporte para MERGE INTO tabelas com controle de acesso refinado na computação dedicada agora está disponível (GA)

No Databricks Runtime 16.3 e versões posteriores, a computação dedicada dá suporte a tabelas MERGE INTO do Unity Catalog que usam controle de acesso granular. Esse recurso agora está em disponibilidade geral.

Consulte o controle de acesso refinado na computação dedicada.

Alterações comportamentais de DBR 16.4 LTS

• Tabelas Delta: "DESCRIBE DETAIL table" agora passará a exibir o status de clusterByAuto da tabela
• Correção para respeitar as opções de planos armazenados em cache da fonte de dados
• Regra de redação movida do analisador para o otimizador
• variant_get e get_json_object agora consideram os principais espaços em caminhos no Apache Spark
• Habilitar o sinalizador para impedir a desabilitação da materialização de origem em operações MERGE
• Mover a âncora de habilitação do log de metadados de partição para a tabela
• Rebaixamento de Json4s de 4.0.7 para 3.7.0-M11 no DBR 16.2 e 16.3

Tabelas Delta: "DESCRIBE DETAIL table" agora passará a exibir o status de clusterByAuto da tabela

DESCRIBE DETAIL {table} agora mostrará o status da tabela clusterByAuto (verdadeiro ou falso) ao lado das colunas de agrupamento atuais. Para obter mais detalhes sobre clusterByAuto, veja:Agrupamento líquido automático.

Correção para respeitar as opções de planos armazenados em cache da fonte de dados

Essa atualização garante que as leituras de tabelas respeitem as opções definidas para todos os planos de fonte de dados ao serem armazenadas em cache, não apenas na primeira leitura de tabela em cache.

Anteriormente, as leituras da tabela de fonte de dados armazenavam em cache o primeiro plano, mas não contavam com opções diferentes nas consultas subsequentes.

Por exemplo, a seguinte consulta:

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

produziria esta saída:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

Com essa correção, agora ela retorna a saída esperada:

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

Se suas cargas de trabalho tiverem dependências do comportamento incorreto anterior, você poderá ver resultados diferentes após essa alteração.

Regra de redação movida do analisador para o otimizador

Anteriormente, o DataFrames poderia criar tabelas que continham valores redigidos quando funções SQL SECRET válidas eram usadas. Essa alteração remove a redação ao salvar DataFrames com acesso secreto válido a uma tabela e a regra de redação foi movida do analisador para o otimizador.

variant_get e get_json_object agora consideram os principais espaços em caminhos no Apache Spark

Antes dessa alteração, os espaços em branco à esquerda e as guias nos caminhos nas expressões variant_get e get_json_object eram ignorados com o Photon desabilitado. Por exemplo, select get_json_object('{" key": "value"}', '$[' key']') não seria eficaz na extração do valor de " key". No entanto, os usuários poderão extrair essas chaves.

Habilitar o sinalizador para impedir a desabilitação da materialização de origem em operações MERGE

Anteriormente, os usuários podiam desabilitar a materialização de origem em MERGE definindo merge.materializeSource como none. Com o novo sinalizador habilitado, isso será proibido e causará um erro. O Databricks planeja habilitar o sinalizador somente para clientes que não usaram esse sinalizador de configuração antes, portanto, nenhum cliente deve notar qualquer alteração no comportamento.

Mover a âncora de habilitação do log de metadados de partição para a tabela

O recurso de registro de metadados de partição foi alterado para que, ao criar uma tabela com spark.databricks.nonDelta.partitionLog.enabled = true, você possa associá-la a uma tabela específica, evitando que um cluster aplique spark.databricks.nonDelta.partitionLog.enabled = true a todas as tabelas processadas pelo cluster.

Fazer o downgrade do Json4s de 4.0.7 para 3.7.0-M11 no DBR 16.2 e 16.3

Os clientes não podem usar o databricks-connect 16.1+ e o Apache Spark™ 3.5.x juntos no mesmo aplicativo devido a discrepâncias significativas no comportamento da API entre o Json4s versão 3.7.0-M11 e a versão 4.0.7. Para resolver isso, o Azure Databricks rebaixou o Json4s para 3.7.0-M11.

Atualizações de biblioteca (aplica-se somente à imagem Scala 2.12)

• Bibliotecas do R atualizadas:
  • sparklyr de 1.8.4 para 1.8.6 (aplica-se apenas à imagem do Scala 2.12 para a versão do Databricks Runtime 16.4 LTS)
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-client_2.12 de 1.2.3 a 1.2.4
  • org.json4s.json4s-ast_2.12 de 4.0.7 para 3.7.0-M11
  • org.json4s.json4s-core_2.12 de 4.0.7 para 3.7.0-M11
  • org.json4s.json4s-jackson_2.12 de 4.0.7 para 3.7.0-M11
  • org.json4s.json4s-scalap_2.12 de 4.0.7-M11 para 3.7.0-M11

A versão do Scala 2.13 Databricks Runtime é considerada uma versão "nova" e pode ter versões de biblioteca diferentes da 2.12. Consulte a tabela abaixo para versões de biblioteca específicas nessa imagem de versão. Ele não inclui sparklyr nesta versão.

Apache Spark

O Databricks Runtime 16.4 LTS inclui o Apache Spark 3.5.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.3 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-51206] [PYTHON][Connect] Mover os auxiliares de conversão do Arrow direto do Spark Connect
• [SPARK-51566] [PYTHON] Melhoria de rastreamento de UDF do Python
• [SPARK-51675] [SS] Corrigir a criação da família de colunas após abrir o banco de dados local para evitar a criação de instantâneo, se não for necessário
• [SPARK-50892] [SQL]Adicionar UnionLoopExec, operador físico para recursão, para executar a execução de consultas recursivas
• [SPARK-51670] [SQL] Refatorar Intersect e Except para seguir o exemplo Union para reutilização no Analisador de passagem única
• [SPARK-47895] [BEHAVE-266][sql] agrupamento por alias deve ser idempotente
• [SPARK-51614] [SQL] Introduza a regra ResolveUnresolvedHaving no Analisador
• [SPARK-51662] [SQL] Tornar OrcFileFormat comparável
• [SPARK-51374] Reverter "[CORE] Alternar para usar java.util.Map em APIs de log"
• [SPARK-51652] [SQL] Refatorar a computação de SetOperation para reutilização no Analisador de passagem única
• [SPARK-51622] [Interface do usuário] Titulação das seções na Página de Execução
• [SPARK-51586] [SS] inicializar as partições de entrada independentemente do suporte columnar no modo contínuo
• [SPARK-51070] [SQL] Usar scala.collection.Set em vez de Definir em ValidateExternalType
• [SPARK-51559] [SQL] Tornar configurável o tamanho máximo da tabela de difusão
• [SPARK-51496] [SQL] A comparação CaseInsensitiveStringMap deve ignorar as diferenças entre maiúsculas e minúsculas
• [SPARK-50416] [CORE] Um teste mais portátil para terminal/pipe necessário para bin/load-spark-env.sh
• [SPARK-51509] [CORE][ui] Fazer com que a página de ambiente do Spark Master dê suporte a filtros
• [SPARK-51374] [CORE] Alternar para usar java.util.Map em APIs de log
• [SPARK-50820] [SQL] DSv2: anulificação condicional de colunas de metadados no DML
• [SPARK-48922] [SQL] Evite a transformação de matriz redundante de expressão idêntica para o tipo de mapa
• [SPARK-51446] [SQL] Aprimorar codecNameMap para o codec de compactação
• [SPARK-51341] [CORE] Cancelar a tarefa de tempo adequadamente.
• [SPARK-51452] [UI] Melhorar a pesquisa na tabela de despejo de thread
• [SPARK-51444] [CORE] Remover o ramo inacessível if de TaskSchedulerImpl#statusUpdate
• [SPARK-51401] [SQL] Alterar ExplainUtils.generateFieldString para chamar diretamente QueryPlan.generateFieldString
• [SPARK-49507] [SQL] Corrigir o problema de caso depois de habilitar metastorePartitionPruningFastFallback
• [SPARK-51506] [PYTHON][ss] Não imponha que os usuários implementem close() em TransformWithStateInPandas
• [SPARK-51624] [SQL] Propagar os metadados de GetStructField em CreateNamedStruct.dataType
• [SPARK-51201] [SQL] Permitir que dicas de particionamento suportem valores do tipo byte e short
• [SPARK-51186] [PYTHON] Adicionar StreamingPythonRunnerInitializationException à exceção base do PySpark
• [SPARK-50286] [SQL] Propagar corretamente as opções de SQL para WriteBuilder
• [SPARK-51616] [SQL] Executar CollationTypeCasts antes de ResolveAliases e ResolveAggregateFunctions
• SPARK-51023 [CORE] registrar o endereço remoto na exceção de RPC
• [SPARK-51087] [PYTHON][connect] Emitir um aviso quando o memory-profiler não estiver instalado para análise de memória
• [SPARK-51073] [SQL] Remover Unstable da característica SparkSessionExtensionsProvider
• [SPARK-51471] [SS] RatePerMicroBatchStream – classificar o erro ASSERT quando o deslocamento/carimbo de data/hora em startOffset for maior que endOffset
• [SPARK-51062] [PYTHON] Corrigir assertSchemaEqual para comparar a precisão e a escala decimais
• [SPARK-51612] [SQL] Exibir configurações do Spark definidas na criação do modo de exibição no Desc As Json
• [SPARK-51573] [SS] Correção de condição de corrida checkpointInfo de Streaming State Checkpoint v2
• [SPARK-51252] [SS] Adicionar métricas de instância para a última versão do instantâneo carregado nos Repositórios de Estado do HDFS
• [SPARK-51552] [SQL] Não permite variáveis temporárias em exibições persistentes quando sob identificador
• [SPARK-51625] [SQL] Comando nas relações CTE deve ser disparado em linha
• [SPARK-51584] [SQL] Adicionar regra que empurra o Project por meio de Offset e Suite que a testa
• [SPARK-51593] [SQL] Refatorar a instanciação QueryExecutionMetering
• [SPARK-49082] [SQL] Suporte para ampliar Date para TimestampNTZ no leitor Avro
• [SPARK-50220] [PYTHON] Suporte ao listagg no PySpark
• [SPARK-51581] [CORE][sql] Usar nonEmpty/isEmpty para empty check Iterable explícito
• [SPARK-42746] [SQL] Correção na classificação de classe de erro para novas exceções com listagg
• [SPARK-51580] [SQL] Gerar mensagem de erro adequada para o usuário quando a função lambda estiver fora do lugar em HigherOrderFunction
• [SPARK-51589] [SQL] Corrigir um pequeno bug que causa falha ao verificar se há funções de agregação em |>SELECT
• [SPARK-50821] [PYTHON] Atualizar Py4J de 0.10.9.8 para 0.10.9.9
• [SPARK-42746] [SQL] Implementar função LISTAGG
• [SPARK-48399] [SQL] Teradata: ByteType deve ser mapeado para BYTEINT em vez de BYTE(binary)
• [SPARK-43221] [CORE] A busca de bloco local do host deve usar um status de bloco de um bloco armazenado em disco
• [SPARK-51467] [Interface do usuário] Tornar as tabelas da página de ambiente filtradas
• [SPARK-51569] [SQL] Não reinstanciar InSubquery em InTypeCoercion se não houver alterações de tipo
• [SPARK-51280] [CONNECT] Melhorar a classe de erro RESPONSE_ALREADY_RECEIVED
• [SPARK-51525] [SQL] Campo de agrupamento para Desc As JSON StringType
• [SPARK-51565] [SQL] Suporte a parâmetros SQL na cláusula window frame
• [SPARK-51544] [SQL] Adicionar somente colunas de metadados exclusivas e necessárias
• [SPARK-49349] [SQL] Melhorar a mensagem de erro para LCA com Generate
• [SPARK-51418] [SQL] Corrigir as colunas de partição incompatíveis de tipo de TABLE DataSource PARTITON com Hive
• [SPARK-51269] [SQL] Simplificar AvroCompressionCodec removendo defaultCompressionLevel
• [SPARK-50618] [SS][sql] Fazer DataFrameReader e DataStreamReader aproveitarem mais o analisador
• [SPARK-51097] [SS} Reintroduzir as métricas de instância da última versão do instantâneo carregado do armazenamento de estado do RocksDB
• [SPARK-51321] [SQL] Adicionar o suporte a rpad e lpad para pushdown das expressões PostgresDialect e MsSQLServerDialect
• [SPARK-51428] [BEHAVE-264][sql] Reatribuir Aliases para árvores de expressão agrupadas deterministicamente
• [SPARK-51528] [SQL] Não compare códigos de hash diretamente no ProtobufCatalystDataConversionSuite
• [SPARK-51443] [SS] Corrigir singleVariantColumn no DSv2 e em readStream.
• [SPARK-51397] [SS] Corrigir o problema em lidar com o desligamento do pool de manutenção que estiver causando longos tempos de teste
• [SPARK-51522] [SQL] Desabilitar o teste de lazy union children do Analisador de passagem única
• SPARK-51079 [Encaminhamento de correção] Suporte a tipos de variáveis grandes em pandas UDF, createDataFrame e toPandas com o Arrow
• [SPARK-51112] [ES-1348599][Connect] Evitar usar to_pandas de pyarrow em uma tabela vazia
• [SPARK-51438] [SQL] Tornar CatalystDataToProtobuf e ProtobufDataToCatalyst adequadamente comparáveis e hasháveis
• [SPARK-50855] [DBR16.x][ss][CONNECT] Suporte do Spark Connect para TransformWithState in Scala
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column deve preservar a resolução EXISTS_DEFAULT
• [SPARK-51468] [SQL] Reverter "A função de json/xml não deve alterar agrupamentos no esquema especificado"
• [SPARK-51453] [SQL] AssertTrue usa toPrettySQL em vez de simpleString
• SPARK-51409 [SS] Adicionar a classificação de erro no caminho de alterações
• [SPARK-51440] [SS] classifica o NPE quando o valor do campo de tópico nulo está nos dados da mensagem kafka e não há nenhuma opção de tópico
• [SPARK-51425] [Conectar] Adicionar API do cliente para definir personalizado operation_id
• [SPARK-50652] [SS] Adicionar verificações à compatibilidade com versões anteriores do RocksDB V2
• [SPARK-49164] [SQL] Correção de not NullSafeEqual no predicado da consulta SQL na Relação JDBC
• [SPARK-50880] [SQL] Adicionar um novo método visitBinaryComparison a V2ExpressionSQLBuilder
• [SPARK-50838] [SQL]Executa verificações adicionais dentro de CTEs recursivos para gerar um erro se for encontrado um caso proibido
• [SPARK-51307] [SQL] locationUri in CatalogStorageFormat deve ser decodificado para exibição
• [SPARK-51079] [PYTHON] Suporte a tipos de variáveis grandes em pandas UDF, createDataFrame e toPandas com o Arrow
• [SPARK-50792] [SQL] Formatar os dados binários como um literal binário em JDBC.

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers lançados recentemente aqui:

• Baixar os drivers ODBC do Databricks
• Baixar os drivers JDBC do Databricks

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.2 LTS.
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15 ou 2.13.10
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.1

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2024-08-04.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)