Databricks Runtime 17.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.3 LTS, alimentado pelo Apache Spark 4.0.0.

O Azure Databricks lançou esta versão do LTS em outubro de 2025.

Novos recursos e melhorias

• EXECUTE IMMEDIATE usando expressões constantes
• LIMIT ALL suporte para CTEs recursivas
• JDK 21 para computação clássica (versão prévia pública)
• Acrescentar arquivos em volumes do Catálogo do Unity retorna um erro correto
• TABLE suporte a argumentos para UDTFs do Catálogo Unity no Python
• st_dump suporte à função
• Agora há suporte para funções de anel interno de polígono
• remote_query Função com valor de tabela (versão prévia pública)

EXECUTE IMMEDIATE usando expressões constantes

Agora você pode passar expressões constantes como string SQL e como argumentos para marcadores de parâmetro nas instruções EXECUTE IMMEDIATE.

LIMIT ALL suporte para CTEs recursivas

Agora você pode usar LIMIT ALL para remover a restrição de tamanho total em CTEs (expressões de tabela comuns recursivas).

JDK 21 para computação clássica (versão prévia pública)

O JDK 21 (Java Development Kit) está em versão prévia pública para computação clássica. Para habilitá-lo, consulte Criar um cluster com uma versão específica do JDK.

Acrescentar arquivos em volumes do Catálogo do Unity retorna um erro correto

Qualquer código que tenta acrescentar conteúdo a um arquivo de volume do Catálogo do Unity agora falha com uma mensagem de erro "Busca ilegal". Anteriormente, ele falhava com um erro incorreto de "operação sem suporte".

TABLE suporte a argumentos para UDTFs do Unity Catalog no Python

Os UDTFs Python do Unity Catalog agora oferecem suporte a argumentos TABLE, permitindo que as funções aceitem tabelas inteiras como parâmetros de entrada e possibilitando transformações de dados e agregações mais complexas em conjuntos de dados estruturados. Consulte UDTFs (funções de tabela definidas pelo usuário) do Python no Catálogo do Unity. O suporte a argumentos de tabela foi retrocompatibilizado no Databricks Runtime 17.2.

st_dump suporte à função

Agora você pode usar a st_dump função para obter uma matriz que contém as geometrias simples da geometria de entrada. Veja a st_dump função.

Agora há suporte para funções de anéis internos de polígonos

Agora você pode usar as seguintes funções para trabalhar com anéis interiores de polígono:

• st_numinteriorrings: obtenha o número de limites internos (anéis) de um polígono. Veja a st_numinteriorrings função.
• st_interiorringn: extraia o limite interno n-th de um polígono e retorne-o como um linestring. Veja a st_interiorringn função.

remote_query Função com valor de tabela (versão prévia pública)

Agora você pode usar a remote_query função com valor de tabela para executar consultas em mecanismos de banco de dados remotos e retornar resultados tabulares. Essa função busca dados de sistemas remotos usando credenciais de conexões do Catálogo do Unity e dá suporte a várias opções de conector para bancos de dados SQL e NoSQL. Consulte TVF remote_query.

Alterações comportamentais

• input_file_name não há mais suporte para a função e está sujeita à remoção futura
• Padrão de listagem incremental do Carregador Automático alterado
• Dar suporte a informações de atualização de MV/ST em DESCRIBE EXTENDED AS JSON
• Adicionar coluna de metadados a DESCRIBE QUERY e DESCRIBE TABLE
• Corrigir a conversão de valor temporal em literais de struct ao usar o modo Connect
• Alterar a precisão e a escala decimais no SYSTEM_DEFAULT modo Connect
• Suporte para tipos complexos em observações no cliente Spark Connect Scala
• Preservar valores nulos em literais de array, mapa e estrutura
• Preservar a nulabilidade para literais tipados
• Corrigir conversão de classe de caso em literais de arrays e mapas
• Manipulação correta de structs nulos ao remover NullType colunas
• Manipulação aprimorada de structs nulos no Parquet
• Atualização da biblioteca aws-msk-iam-auth para Kafka

input_file_name não há mais suporte para a função e está sujeita à remoção futura

A input_file_name função foi preterida desde o Databricks Runtime 13.3 LTS porque não é confiável. A função não tem mais suporte no Databricks Runtime 17.3 LTS e superior porque não é confiável. Use _metadata.file_name em vez disso.

Alteração no padrão de listagem incremental do Auto Loader.

O padrão para a opção preterida cloudFiles.useIncrementalListing foi alterado de auto para false. O Azure Databricks agora executa listagens de diretório completas em vez de listagens incrementais para evitar arquivos ignorados devido à ordenação não lexicográfica. Por exemplo, 10-01-2025.csv vem antes de 8-01-2025.csv lexicograficamente.

O Databricks recomenda a migração para eventos de arquivo para uma descoberta de arquivo mais rápida e confiável.

Para preservar o comportamento anterior, defina cloudFiles.useIncrementalListing explicitamente como auto.

Dar suporte à atualização de informações de MV/ST em DESCRIBE EXTENDED AS JSON

O Azure Databricks agora gera uma seção para informações de visão materializada e atualização de tabela de streaming na saída, incluindo hora da última atualização, tipo de atualização, status e agendamento.

Adicionar coluna de metadados a DESCRIBE QUERY e DESCRIBE TABLE

O Azure Databricks agora inclui uma coluna de metadados na saída de DESCRIBE QUERY e DESCRIBE TABLE para metadados semânticos.

Para DESCRIBE QUERY, ao descrever uma consulta com visualizações de métricas, os metadados semânticos propagam-se pela consulta se as dimensões forem referenciadas diretamente e as medidas usarem a função MEASURE().

Para DESCRIBE TABLE, a coluna de metadados aparece apenas para exibições de métrica, não para outros tipos de tabela.

Corrigir a conversão de valor temporal em literais de struct ao usar o modo Connect

No modo Spark Connect, os struct literals no TypedLit agora tratam valores temporais corretamente ao invés de gerar exceções. Anteriormente, tentar usar valores temporais (como datas ou timestamps) em literais de estruturas resultaria em uma exceção.

Alterar a precisão e a escala decimais no SYSTEM_DEFAULT modo Connect

Ao usar o modo Spark Connect no Scala, a precisão decimal e a escala em literais de matriz e mapa agora são alteradas para SYSTEM_DEFAULT (38, 18). Essa alteração afeta apenas o plano lógico (por exemplo, a saída do comando) e não afeta os explain() resultados da consulta.

Suporte para tipos complexos em observações no cliente Scala do Spark Connect

O cliente do Spark Connect Scala agora oferece suporte a tipos de array, mapa e struct em registros, alinhando o comportamento com clusters dedicados. Anteriormente, tentar usar esses tipos complexos em observações resultaria em uma exceção.

Preservar valores nulos em literais de array, mapa e estruturas

No modo Spark Connect, valores nulos dentro de literais de matriz, mapa e estrutura agora são preservados em vez de serem substituídos por valores padrão do protocolo protobuf. Anteriormente, os valores nulos eram substituídos incorretamente por valores padrão, como 0 para inteiros, cadeias de caracteres vazias para tipos de cadeia de caracteres e false para tipos boolianos.

Preservar a nulabilidade para literais tipados

O cliente do Spark Connect Scala agora preserva corretamente a nulidade de tipos de array e mapa para literais tipados. Anteriormente, os elementos de matriz e os valores do mapa sempre eram tratados como anuláveis, independentemente da definição de tipo real.

Corrigir a conversão de case class em literais de array e mapa

No modo Spark Connect, literais de array e mapa em TypedLit agora manipulam corretamente os valores de classes de casos ao invés de lançar exceções. Anteriormente, a tentativa de usar valores de classe de caso em literais de array ou mapa resultaria em uma exceção.

Manipulação correta de estruturas nulas ao excluir NullType colunas

Ao gravar em tabelas Delta, o Azure Databricks agora preserva corretamente valores de struct nulos ao removendo colunas NullType do esquema. Anteriormente, os structs nulos eram substituídos incorretamente por valores de struct não nulos em que todos os campos eram definidos como nulos. Por exemplo, inserir um valor de struct nulo posteriormente seria lido novamente como um struct com campos nulos em vez de um struct nulo.

Manipulação aprimorada de structs nulos no Parquet

O Azure Databricks agora detecta corretamente estruturas nulas quando todos os campos de estrutura solicitados estão ausentes de um arquivo Parquet, o que torna o comportamento consistente entre leitores Photon e não-Photon. Anteriormente, os leitores não-Photon retornavam NULL para todo o 'struct' em vez de uma estrutura com campos nulos ao ler arquivos Parquet em que todos os campos solicitados estavam ausentes, mas outros campos estavam presentes.

Atualizar a biblioteca aws-msk-iam-auth para Kafka

A aws-msk-iam-auth biblioteca foi atualizada para a versão 2.0.1 para dar suporte à configuração de um endpoint STS (Serviço de Token de Segurança) regional para autenticação IAM do Managed Streaming for Apache Kafka (MSK). A nova awsStsRegion opção só estará disponível quando a configuração do Spark correspondente estiver habilitada. Essa atualização não apresenta nenhuma alteração comportamental para cargas de trabalho existentes.

Atualizações de biblioteca

Bibliotecas do Python atualizadas:

Nenhuma biblioteca do Python foi atualizada nesta versão.

Bibliotecas R atualizadas:

Nenhuma biblioteca do R foi atualizada nesta versão.

Bibliotecas Java atualizadas:

Nenhuma biblioteca Java foi atualizada nesta versão.

Apache Spark

O Databricks Runtime 17.3 LTS inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão 17.2, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• SPARK-44856 Reverter "[SC-195808][python] Melhorar o desempenho do serializador de seta UDTF do Python"
• SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Correção do tratamento de valores nulos em LiteralValueProtoConverter
• SPARK-53507 Adicionar informações de mudanças significativas aos erros
• SPARK-53574 Corrigir AnalysisContext sendo eliminado durante a resolução de planos aninhados
• SPARK-53444 Retrabalho é executado imediatamente
• SPARK-53560 Loop de falha ao reprocessar lote não confirmado na fonte Kafka com gatilho AvailableNow
• SPARK-53127 Habilitar LIMIT ALL para substituir o limite de linha de recursão
• SPARK-53574 Reverter "[SC-206548] Corrigir AnalysisContext sendo apagado...
• SPARK-53674 Gerenciar LCAs de analisador de passagem única ao atribuir aliases
• SPARK-53492 Rejeitar o segundo ExecutePlan com um id de operação que já esteja concluída
• SPARK-53677 Melhorar a facilidade de depuração da fonte de dados JDBC quando a consulta contiver erro de sintaxe
• SPARK-53490 Corrigir a conversão do Protobuf em métricas observadas
• SPARK-53671 Excluir 0-args da inferência de @udf tipo de avaliação
• SPARK-53592 Retrabalho "Tornar a @udf compatível com UDFs vetorizados"
• SPARK-53654 Retrabalho "Suporte para semente na função uuid"
• SPARK-53429 Suporte ao particionamento de passagem direta na API de Dataframe do PySpark
• SPARK-53372 Pacote de runtime de teste compartilhado para LDP
• SPARK-53574 Corrigir AnalysisContext sendo eliminado durante a resolução de planos aninhados
• SPARK-53654 Reverter o suporte seed "[SC-207022][sql][PYTHON] na função uuid"
• SPARK-53574 Reverter "[SC-206548] Rever a correção do AnalysisContext que estava sendo excluído durante a resolução do plano aninhado"
• SPARK-53559 Corrigir atualizações do esquema HLL para usar bytes de chave de ordenação bruta
• SPARK-53654 Suporte seed na função uuid
• SPARK-52449 Tornar os tipos de dados para Expression.Literal.Map/Array opcionais
• SPARK-53574 Corrigir AnalysisContext sendo eliminado durante a resolução de planos aninhados
• SPARK-53625 Propagar colunas de metadados por meio de projeções para resolver a incompatibilidade de ApplyCharTypePadding
• SPARK-53558 Reverter "[SC-206544][sql] Mostrar nome de tabela totalmente qualificado, incluindo o nome do catálogo na mensagem de exceção quando a tabela não for encontrada"
• SPARK-53558 Mostrar o nome da tabela totalmente qualificado, incluindo o nome do catálogo na mensagem de exceção quando a tabela não for encontrada
• SPARK-53357 Atualização pandas para 2.3.2
• SPARK-52659Mensagem de erro de módulo enganosa no modo ANSI
• SPARK-53592 Reverter "[SC-206971][python] Adicionar suporte para UDFs vetorizadas em @udf"
• SPARK-53592 Implementar suporte para UDF vetorizado
• SPARK-52601 Suporte a tipos primitivos no TransformingEncoder
• SPARK-53355 corrigir numpy 1.x repr em testes de tipo
• SPARK-53387 Adicionar suporte para Arrow UDTFs com PARTITION BY
• SPARK-52991 Implementar MERGE INTO com SCHEMA EVOLUTION para Fonte de Dados V2
• SPARK-53568 Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
• Spark-43579 otimização: armazenar em cache para reutilização o conversor entre Arrow e pandas
• SPARK-53524 Corrigir conversão de valor temporal em LiteralValueProtoConverter
• SPARK-53600SessionHolder Revisar a última mensagem de log de tempo de acesso
• SPARK-53529 Corrigir pyspark o cliente de conexão para dar suporte ao IPv6
• SPARK-53537 Adicionando suporte para a análise do MANIPULADOR CONTINUE
• SPARK-53623 aprimora o desempenho de leitura de propriedades de grandes tabelas
• SPARK-53523 Parâmetros nomeados respeitam spark.sql.caseSensitive
• SPARK-53449 Opções simplificadas para classes relacionadas ao Scan de Fonte de Dados embutido
• SPARK-53620 O SparkSubmit deve imprimir o stacktrace quando exitFn for chamado
• SPARK-53518 Nenhum truncamento para catalogString do tipo definido pelo usuário
• SPARK-53568 Reverter "[SC-206538][conectar][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect"
• SPARK-53602 Melhoria na exportação de perfil e correção na documentação do perfilador
• SPARK-53402 Suporte à API do conjunto de dados de particionamento de passagem direta no Spark Connect no Scala
• SPARK-53491 Corrigir a formatação exponencial de inputRowsPerSecond e processedRowsPerSecond em métricas de progresso JSON
• SPARK-53413 Limpeza de shuffle para comandos
• SPARK-53518 Reverter "[SC-205989][sql] Sem truncamento para catalogString do tipo definido pelo usuário"
• SPARK-53568 Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
• SPARK-53552 Otimizar a função SQL do substr
• SPARK-53527 Melhorar o fallback de analyzeExistenceDefaultValue
• SPARK-53584 Aprimorar a validação de process_column_param e o docstring do parâmetro de coluna
• SPARK-53498 Referenciar corretamente pyspark/pipelines/cli.py de spark-pipelines binário
• SPARK-53518 Nenhum truncamento para catalogString do tipo definido pelo usuário
• SPARK-53233 Tornar o código relacionado a streaming usar o nome do pacote correto
• SPARK-53598 Verificar a existência de numParts antes de ler a propriedade de tabela extensa
• SPARK-53372 Pacote de testes de ponta a ponta do SDP
• SPARK-53563 Otimizar: sql_processor evitando concatenação de cadeia de caracteres ineficiente
• SPARK-53323 Habilitar testes do Spark Connect para df.asTable() no UDTF do Apache Arrow
• SPARK-53157 Desacoplar intervalos de consulta de driver e executor
• SPARK-53555 Correção de problema em que o SparkML-connect não pode carregar o modelo de SparkML (modo legado)
• SPARK-53361 Otimizando a comunicação JVM–Python no TWS agrupando várias chaves em um lote Arrow
• SPARK-53233 Reverta "[SC-203716][sql][SS][mllib][CONNECT] Faça o código relacionado ao streaming uso do nome do pacote correto"
• SPARK-53233 Tornar o código relacionado a streaming usar o nome do pacote correto
• SPARK-53525 Agrupamento de resultados do Spark Connect ArrowBatch
• SPARK-53444 Reverter "[SC-206536][sql] Reformular execução imediata"
• SPARK-53594 Fazer com que o UDF de seta respeite o tipo de avaliação especificado pelo usuário
• SPARK-53444 Retrabalho é executado imediatamente
• SPARK-53582 Estender isExtractable para que possa ser aplicado em UnresolvedExtractValue
• SPARK-53572 Evite gerar de ExtractValue.isExtractable
• SPARK-52346 Corrigir a inicialização do contador e a lógica de incremento para novas tentativas de fluxo
• SPARK-53561 Capturar a exceção de interrupção em TransformWithStateInPySparkStateServer durante a execução de outputStream.flush para evitar a falha do processo
• SPARK-53512 Melhor unificação do DSv2 PushDownUtils
• SPARK-53459 Usar ReadOnlySparkConf em mais lugares
• SPARK-53549 Sempre feche o alocador de seta quando o processo de solicitação de estado de lista for concluído
• SPARK-53332 Habilitar StateDataSource com ponto de verificação de estado v2 (somente a opção snapshotStartBatchId)
• SPARK-53550 O particionamento de saída da união deve comparar atributos canônicos
• SPARK-53506 Não permitir % entre Decimal e float em ANSI
• SPARK-52238 Renomear o campo "definições" na Especificação de Pipeline para 'bibliotecas'
• SPARK-53538ExpandExec deve inicializar as projeções não seguras
• SPARK-53521 Refatorar expressão Star
• SPARK-53358 Melhorar a mensagem de erro de incompatibilidade de tipo de saída Python UDTF do Arrow
• SPARK-53531 Melhor mensagem de erro para HadoopRDD.getInputFormat
• SPARK-53434 O método get do ColumnarRow também deve verificar isNullAt
• SPARK-53008 Adicionar validação de rotina de acesso a dados UDF do SQL do OSS
• SPARK-44856 Melhorar o desempenho do serializador de seta UDTF do Python
• SPARK-53488 Atualizar CollationTypeCoercion para ser compatível com a lógica do Analisador de passagem única
• SPARK-53029 Dar suporte à coerção de tipo de retorno para UDTFs do Python do Arrow
• SPARK-53479 Harmonizar o comportamento com o pandas ao comparar com elemento escalar em ANSI
• SPARK-53497 Não permitir /|//|* entre Decimal e float em ANSI
• SPARK-53441 Bools |/&/^ Nenhum deve falhar sob o ANSI
• SPARK-53474 Adicionar para configuração DATA_SOURCE_V2_EXPR_FOLDING
• SPARK-53333 Habilitar StateDataSource com ponto de verificação de estado v2 (somente readChangeFeed)
• SPARK-53502 Melhorar a nomenclatura de métodos em LiteralValueProtoConverter
• SPARK-52694 Adicionar o.a.s.sql.Encoders#udtAPI
• SPARK-53499 from_arrow_type deve respeitar containsNull em ArrayType
• SPARK-53515 Remover não utilizado private lazy val de SchemaOfCsv/Xml
• SPARK-53480 Refatorar o código do executor Python de Arrow
• SPARK-53481 Criar classe de fila híbrida
• SPARK-53401 Habilitar o particionamento de passagem direta na API DataFrame
• SPARK-52930 Usar DataType.Array/Map para Literais de Matriz/Mapa
• SPARK-52346 Propagar colunas de partição do destino para o BatchTableWrite
• SPARK-53342 Corrigir o conversor Arrow para processar vários lotes de registro em um único fluxo de IPC
• SPARK-53421 Propagar o ID do Plano Lógico na Análise de SDP
• SPARK-53408 Remover funções não utilizados de QueryCompilationErrors
• SPARK-53044 Alterar a convenção de alias de importação de Pipelines Declarativos de "sdp" para "dp"
• SPARK-53450 Os nulos são preenchidos inesperadamente após a conversão de uma consulta à tabela Hive em uma relação lógica
• SPARK-53290 Corrigir quebra de compatibilidade com versões anteriores de metadados
• SPARK-52982 Desativar junção lateral com UDTFs do Python da Arrow
• SPARK-52851 Remover APIs públicas para fluxos de adição única
• SPARK-52511 Suporte ao modo de execução seca no comando spark-pipelines
• SPARK-53290 Reverter "[SC-204277][sql][CONNECT] Corrigir problema de compatibilidade reversa de metadados"
• SPARK-53290 Corrigir quebra de compatibilidade com versões anteriores de metadados
• SPARK-52577 Adicionar testes para Declarative Pipelines DatasetManager com o catálogo do Hive
• SPARK-53012 Suporte ao Arrow Python UDTF no Spark Connect
• SPARK-53251 Habilitar o teste de API do DataFrame com asTable() para UDTFs do Python Arrow
• SPARK-52432 Definir escopo de DataflowGraphRegistry para Sessão
• SPARK-52853 Impedir métodos PySpark imperativos em pipelines declarativos
• Garanta que uma das e schema na interface de tabela seja implementada e prefira columns.
• SPARK-52991 Reverter "[SC-204944][sql] Implementar MERGE INTO com SCHEMA EVOLUTION para fonte de dados V2"
• SPARK-52981 Adicionar suporte a argumentos de tabela para UDTFs do Python com Arrow
• SPARK-53487 Aprimorar comentários em NormalizePlan.scala
• SPARK-52991 Implementar MERGE INTO com SCHEMA EVOLUTION para Fonte de Dados V2
• SPARK-52281 Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar a ordenação padrão se o tipo de dados original for uma instância de StringType
• SPARK-52759 Gerar exceção se o pipeline não tiver tabelas ou exibições persistentes
• SPARK-51575 Combinar pushdown da Fonte de Dados do Python e planejar trabalhos de leitura
• SPARK-53359 Corrigir o UDTF de Arrow para lidar com os resultados como iterador
• SPARK-52757 Renomear o campo "plan" no DefineFlow como "relation"
• SPARK-52431 Toques finais no runner do Declarative Pipelines
• SPARK-52591 Validar a característica de streaming dos DFs retornados pela tabela SDP e definições de fluxo independente
• SPARK-53030 Suporte para gravador Arrow em streaming de fontes de dados Python
• SPARK-52980 Suporte a UDTFs Python do Arrow
• SPARK-42841Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2005
• SPARK-52423 Adicionar o nome do pacote golang ausente ao pipelines.proto
• SPARK-52409 Usar somente PipelineRunEventBuffer em testes
• SPARK-52533 Suporte para habilitar somente o gerador de perfil de driver
• SPARK-52716 Remover comentários da característica e das referências do Flow
• SPARK-52348 Adicionar suporte para manipuladores do Spark Connect para comandos de pipeline
• SPARK-52281 Reverter "[SC-198058][sql] Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar a ordenação padrão se o tipo de dados original for uma instância de StringType"
• SPARK-49386 Adicionar limites baseados em memória para derramamento de embaralhamento
• SPARK-52281 Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar a ordenação padrão se o tipo de dados original for uma instância de StringType
• SPARK-53329 Melhorar o tratamento de exceções ao adicionar artefatos
• SPARK-52772 Restaurar "[SC-202707][engrm-327][SQL] Tratamento inconsistente de atributos de tabela durante as atualizações"
• SPARK-52772 Tratamento inconsistente de atributo de tabela durante atualizações
• SPARK-51739 Validar o esquema Arrow do mapInArrow & mapInPandas & DataSource
• Spark-53355 testa o comportamento do tipo udf do Python
• SPARK-53443 Atualizar o Python para SPDX-license
• SPARK-49968 A função de divisão produz resultados incorretos com um regex vazio e um limite
• SPARK-52582 Melhorar o uso de memória do analisador XML
• SPARK-53452from_arrow_type deve respeitar valueContainsNull
• SPARK-53103 Reverter "[SC-204946][ss] Lançar um erro se o diretório de estado não estiver vazio quando a consulta é iniciada"
• SPARK-53103 Gerar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada
• SPARK-51575 Reverter "[SC-192406][python] Combinar pushdown da fonte de dados do Python e planejar trabalhos de leitura"
• SPARK-51575 Combinar pushdown da Fonte de Dados do Python e planejar trabalhos de leitura
• SPARK-53095 Suporte ao HMS v4.1
• SPARK-53126 Refatorar SparkErrorUtils#stackTraceToString para manipular null a entrada e usá-la para substituir ExceptionUtils#getStackTrace
• SPARK-49489 Cliente HMS respeita hive.thrift.client.maxmessage.size
• SPARK-53108 Implementar a função time_diff no Scala
• SPARK-45265 Suporte ao metastore do Hive 4.0
• SPARK-53255 Banir org.apache.parquet.Preconditions
• SPARK-52142 Exibir restrições de tabela no SHOW CREATE TABLE COMMAND
• SPARK-52875 Simplificar a tradução da expressão V2 se a entrada for independente de contexto e dobrável
• SPARK-53240 Bloquear com.google.common.collect.(ArrayList)?Multimap
• SPARK-52875 Reverter "[SC-201880][sql] Simplificar a tradução de expressão V2 se a entrada for dobrável independentemente do contexto"
• SPARK-52141 Exibir restrições em comandos DESC
• SPARK-53386 Suporte ao parâmetro de consulta que termina com ponto-e-vírgula em conectores JDBC
• SPARK-52875 Simplificar a tradução da expressão V2 se a entrada for independente de contexto e dobrável
• SPARK-53437 InterpretedUnsafeProjection deve aplicar a função setNull4Bytes no campo YearMonthIntervalType.
• SPARK-53341 Expandir a cobertura de teste padrão sobre DECLARE multivariável
• SPARK-53156 Acompanhar as métricas de memória do driver quando o aplicativo terminar
• SPARK-52689 Enviar métricas DML para V2Write
• SPARK-52641 As colunas de chave primária não devem ser anuláveis
• SPARK-48547 Adicione o sinalizador de aceitação para que o SparkSubmit chame automaticamente System.exit depois que o método principal do código do usuário for encerrado
• SPARK-52575 Introduzir o atributo contextIndependentFoldable para Expressões
• SPARK-52860 Suporte à evolução do esquema de gravação V2 no InMemoryTable
• SPARK-53435 Corrigir a condição de corrida no CachedRDDBuilder
• SPARK-51987 Expressões DSv2 em padrões de coluna durante a gravação
• SPARK-52235 Adicionar conversão implícita para as expressões DefaultValue V2 transferidas para o DSV2
• SPARK-52236 Padronizar as exceções de análise para o valor padrão
• SPARK-53294 Habilitar StateDataSource com ponto de verificação de estado v2 (somente opção batchId)
• SPARK-52095 Alterar tabela alterar coluna para passar V2Expression para DSV2
• SPARK-53415 Simplifique as opções para formatos de arquivo embutidos
• SPARK-53318 Suporte ao tipo de tempo com make_timestamp_ltz()
• SPARK-53143 Corrigir a auto junção na API do DataFrame – a junção não é a única saída esperada pelo analisador
• SPARK-53423 Transferir todas as etiquetas relacionadas ao resolvedor de passagem única para ResolverTag
• SPARK-52116 Melhorar a exceção para valores padrão não determinísticos
• SPARK-51906 Expressões Dsv2 em alterar tabela adicionar colunas
• SPARK-53403 Melhorar os testes de adição/subtração em ANSI
• SPARK-53418 Suporte TimeType em ColumnAccessor
• SPARK-52777 Habilitar a configuração do modo de limpeza de shuffle no Spark SQL
• SPARK-52485 Limpeza de código de Pipelines Declarativos
• SPARK-53236 Usar construtores Java ArrayList em vez de Lists.newArrayList no código Java
• SPARK-53392 Mover a manipulação de SpecializedArray para connect-common
• SPARK-53176 O inicializador do Spark deve respeitar --load-spark-defaults
• SPARK-53237 Utilizar Java Base64 em vez de org.apache.commons.codec.binary.Base64 instância
• SPARK-53390 Levantar erro quando valores booleanos com None forem convertidos para inteiros sob ANSI
• SPARK-53109 Suporte para TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz em Scala
• SPARK-53393 Desabilitar o profiler de memória para UDFs do iterador escalar Arrow
• SPARK-53367 adiciona int à coerção decimal para UDFs de seta
• SPARK-53365 Unificar o código para persistência de configurações em exibições e UDFs
• SPARK-53228 Usar construtores Java Map em vez de Maps.new*HashMap()
• SPARK-53197 Usar java.util.Objects#requireNonNull em vez de com.google.common.base.Preconditions#checkNotNull
• SPARK-53216 Mover is*(Blank|Empty) de object SparkStringUtils para trait SparkStringUtils
• SPARK-53385 Avaliação do Identificador de Refatoração
• SPARK-53384 Refatorar a resolução de variável
• SPARK-53195 Usar Java InputStream.readNBytes em vez de ByteStreams.read
• SPARK-53205 Suporte createParentDirs em SparkFileUtils
• SPARK-53196 Usar Java OutputStream.nullOutputStream em vez de ByteStreams.nullOutputStream
• SPARK-53381 Evitar a criação de coleções temporárias em toCatalystStruct
• SPARK-53275 Lidar com expressões com estado ao ordenar em modo interpretado
• SPARK-51585 O dialeto Oracle dá suporte a funções de datetime pushdown
• SPARK-53200 Usar Java Files.newInputStream em vez de Files.asByteSource().openStream()
• SPARK-53190 Usar Java InputStream.transferTo em vez de ByteStreams.copy
• SPARK-53188 Suporte em readFully, SparkStreamUtils e JavaUtils
• SPARK-53354 Simplificar LiteralValueProtoConverter.toCatalystStruct
• SPARK-52873 Restringir de forma mais específica quando o semi/anti join do SHJ puder ignorar chaves duplicadas no build side
• SPARK-53180 Usar Java InputStream.skipNBytes em vez de ByteStreams.skipFully
• SPARK-53369 Corrigir mensagem de erro para UDFs com CHAR/VARCHAR tipo de retorno
• SPARK-53330 Correção de UDF do Arrow com DayTimeIntervalType (limites != início/fim)
• SPARK-53366 Aplicar regras de formatação a sql/connect/shims
• SPARK-53348 Sempre persista o valor ANSI ao criar um modo de exibição ou pressupõe-o ao consultar se não estiver armazenado
• SPARK-53119 Suporte touch em SparkFileUtils
• SPARK-52592 Suporte à criação de um ps. Série de um ps. Série
• SPARK-53360 Assim que a estratégia com a idempotência de ConstantFolding não deve ser violada
• SPARK-53135 Suporte copyURLToFile em SparkFileUtils e JavaUtils
• SPARK-53150 Melhorar list(File|Path)s para lidar com entradas inexistentes, não diretórios e links simbólicos
• SPARK-53135 Reverter o suporte de "[SC-203164][core][SQL] em copyURLToFile e SparkFileUtils"
• SPARK-53137 Suporte forceDeleteOnExit em SparkFileUtils e JavaUtils
• SPARK-53352 Refinar a mensagem de erro para o tipo de retorno não suportado
• SPARK-53353 Falha do Iterador Escalar Arrow UDF com 0-arg
• SPARK-53135 Suporte copyURLToFile em SparkFileUtils e JavaUtils
• SPARK-53101 Suporte (left|right)Pad em SparkStringUtils
• SPARK-53117 Suporte moveDirectory em SparkFileUtils e JavaUtils
• SPARK-53121 Usar deleteRecursively em vez de FileUtils.forceDelete
• SPARK-53100 Usar Java String.substring em vez de StringUtils.substring
• SPARK-53092 Proibição org.apache.commons.lang3.SystemUtils
• SPARK-53328 Melhorar a capacidade de depuração para o SparkML-connect
• SPARK-52065 Produzir outra árvore de plano com colunas de saída (nome, tipo de dados, nulidade) no log de alterações de plano
• SPARK-51182 DataFrameWriter deve gerar dataPathNotSpecifiedError quando o caminho não for especificado
• SPARK-52410 Preterir PipelineConf e usar SqlConf diretamente
• SPARK-52852 Remover entradas spark_conf não utilizadas no create_streaming_table
• SPARK-52714 Remover o arg de comentário não utilizado no decorador de append_flow
• SPARK-52663 Introduzir o campo de nome à especificação de pipeline
• SPARK-53091 Banir org.apache.commons.lang3.Strings
• SPARK-52393 Registro de elemento do Graph do SQL do Pipeline
• SPARK-52912 Melhorar SparkStringUtils para suportar is(Not)?(Blank|Empty)
• SPARK-53307 Remover o erro RetriesExceeded dos clientes Python e Scala do Spark Connect
• SPARK-52346 Execução declarativa do Pipeline DataflowGraph e registro em log de eventos
• SPARK-52877 Melhorar o desempenho do serializador de seta de UDF do Python
• SPARK-51920 Corrigir tipo composto/aninhado no estado de valor do Python TWS
• SPARK-52741 O modo RemoveFiles ShuffleCleanup não funciona com execução não adaptável
• SPARK-52238 Cliente Python para Pipelines Declarativos
• SPARK-51926 Adicionar INVALID_CONF_VALUE.subXXX como classe de erro para erros de configuração
• SPARK-53155 A agregação inferior global não deve ser substituída por um projeto
• SPARK-52911 Remover StringUtils.(split|chop) o uso
• SPARK-51926 Reverter "[SC-195096][core][SQL] Adicionar classe de erro INVALID_CONF_VALUE.subXXX a erros de configuração"
• SPARK-53346 Evite criar coleções temporárias em toCatalystArray/toCatalystMap
• SPARK-51926 Adicionar INVALID_CONF_VALUE.subXXX como classe de erro para erros de configuração
• SPARK-53136 tryWithResource &tryInitializeResource deve fechar o recurso silenciosamente
• SPARK-53132 Suporte list(File|Path)s em SparkFileUtils e JavaUtils
• SPARK-51896 Adicionar suporte de Enum java para TypedConfigBuilder
• SPARK-53311 Fazer PullOutNonDeterministic usar expressões canônicas
• SPARK-51527 Tornar configurável o nível de log codegen via SQLConf
• SPARK-52223 Adicionar protomensagens do SDP Spark Connect
• SPARK-52283 Criação e resolução de Pipelines Declarativos DataflowGraph
• SPARK-52880 Melhorar toString em JEP-280 vez de ToStringBuilder
• SPARK-53284 Ajustar importações de configuração do Spark em testes
• SPARK-53050 Habilitar MultiIndex.to_series() para retornar struct para cada entrada
• SPARK-52988 Consertar condições de corrida em CREATE TABLE e FUNÇÃO quando IF NOT EXISTS for usado
• SPARK-52874 Suporte ao o.a.s.util.Pair registro Java
• SPARK-52710DESCRIBE SCHEMA deve imprimir ordenação
• SPARK-49984 Correção supplementJava(Module|IPv6)Options somente para atualizar extraJavaOptions

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira as atualizações de manutenção do Databricks Runtime.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-03-20.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)