Databricks Runtime 17.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.3 LTS, alimentado pelo Apache Spark 4.0.0.

O Azure Databricks lançou esta versão LTS em outubro de 2025.

Novos recursos e melhorias

• EXECUTE IMMEDIATE Usando expressões constantes
• LIMIT ALL suporte para CTEs recursivas
• JDK 21 para computação clássica (visualização pública)
• Anexar a arquivos em volumes do Catálogo Unity retorna erro correto
• TABLE suporte de argumentos para Python UDTFs do Unity Catalog
• st_dump suporte a funções
• As funções do anel interior do polígono são agora suportadas
• remote_query função com valor de tabela (visualização pública)

EXECUTE IMMEDIATE Usando expressões constantes

Agora pode passar expressões constantes como cadeia de caracteres na SQL e como argumentos para marcadores de parâmetro em instruções SQL EXECUTE IMMEDIATE.

LIMIT ALL suporte para CTEs recursivas

Agora você pode usar LIMIT ALL para remover a restrição de tamanho total em CTEs (expressões de tabela comuns) recursivas.

JDK 21 para computação clássica (visualização pública)

O Java Development Kit (JDK) 21 está em pré-visualização pública para computação clássica. Para habilitá-lo, consulte Criar um cluster com uma versão específica do JDK.

Anexar a arquivos em volumes do Catálogo Unity retorna erro correto

Qualquer código que tente acrescentar conteúdo a um arquivo de volume do Unity Catalog agora falha com uma mensagem de erro "Busca ilegal". Anteriormente, falhou com o erro inválido de "operação não suportada".

TABLE suporte a argumentos para UDTFs Python do Unity Catalog

Os UDTFs Python do Unity Catalog agora suportam TABLE argumentos, permitindo que as funções aceitem tabelas inteiras como parâmetros de entrada, permitindo transformações e agregações de dados mais complexas em conjuntos de dados estruturados. Consulte Funções de tabela definidas pelo usuário (UDTFs) do Python no Unity Catalog. O suporte a argumentos de tabela foi retroportado para o Databricks Runtime 17.2.

st_dump suporte para funções

Agora você pode usar a st_dump função para obter uma matriz contendo as geometrias únicas da geometria de entrada. Consulte a função st_dump.

As funções do anel interior do polígono são agora suportadas

Agora você pode usar as seguintes funções para trabalhar com anéis interiores de polígonos:

• st_numinteriorrings: Obter o número de limites internos (anéis) de um polígono. Consulte a função st_numinteriorrings.
• st_interiorringn: Extraia o n-ésimo limite interno de um polígono e devolva-o como uma cadeia de linha. Consulte a função st_interiorringn.

remote_query função com valor de tabela (pré-visualização pública)

Agora você pode usar a função com valor de remote_query tabela para executar consultas em mecanismos de banco de dados remotos e retornar resultados tabulares. Esta função busca dados de sistemas remotos usando credenciais de conexões do Unity Catalog e suporta várias opções de conector para bancos de dados SQL e NoSQL. Consulte remote_query função de valor de tabela.

Mudanças comportamentais

• input_file_name função não é mais suportada e está sujeita a remoção futura
• Padrão de listagem incremental do carregador automático alterado
• Inclui informações de atualização de MV/ST em DESCRIBE EXTENDED AS JSON
• Adicionar coluna de metadados a DESCRIBE QUERY e DESCRIBE TABLE
• Corrigir a conversão de valor temporal em literais de estrutura ao usar o modo de conexão
• Alterar a precisão decimal e dimensionar para SYSTEM_DEFAULT no modo Connect
• Suporte para tipos complexos em observações no cliente Spark Connect Scala
• Preservar valores nulos em literais de matriz, mapa e estrutura
• Preservar a anulabilidade para literais digitados
• Corrigir conversão de classe de caso em literais de matriz e mapa
• Tratamento correto de estruturas nulas ao remover NullType colunas
• Melhor manuseio de estruturas nulas em Parquet
• Atualizar biblioteca aws-msk-iam-auth para Kafka

input_file_name função não é mais suportada e está sujeita a remoção futura

A input_file_name função foi preterida desde Databricks Runtime 13.3 LTS porque não é confiável. A função não é mais suportada no Databricks Runtime 17.3 LTS e superior porque não é confiável. Em vez disso, use _metadata.file_name .

Pré-definição de listagem incremental do carregador automático alterada

O padrão para a opção preterida cloudFiles.useIncrementalListing foi alterado de auto para false. O Azure Databricks agora executa listagens completas de diretórios em vez de listagens incrementais para evitar que arquivos sejam ignorados devido à ordem não lexicográfica. Por exemplo, 10-01-2025.csv vem antes 8-01-2025.csv lexicograficamente.

O Databricks recomenda a migração para eventos de arquivo para uma descoberta de arquivos mais rápida e confiável.

Para preservar o comportamento anterior, defina cloudFiles.useIncrementalListing explicitamente como auto.

Suporte a informações de atualização de MV/ST em DESCRIBE EXTENDED AS JSON

O Azure Databricks agora gera uma secção para informações de atualização de vistas materializadas e tabelas de streaming DESCRIBE EXTENDED AS JSON na saída, incluindo a hora da última atualização, tipo de atualização, status e agenda.

Adicionar coluna de metadados a DESCRIBE QUERY e DESCRIBE TABLE

O Azure Databricks agora inclui uma coluna de metadados na saída de DESCRIBE QUERY e DESCRIBE TABLE para metadados semânticos.

Para DESCRIBE QUERY, ao descrever uma consulta com exibições métricas, os metadados semânticos propagam-se pela consulta se as dimensões forem referenciadas diretamente e as medidas utilizarem a função MEASURE().

Para DESCRIBE TABLE, a coluna de metadados aparece apenas para exibições métricas, não para outros tipos de tabela.

Corrigir a conversão de valores temporais em estruturas literais ao usar o modo de Conexão.

No modo Spark Connect, os literais de struct em TypedLit agora gerem corretamente os valores temporais ao invés de lançar exceções. Anteriormente, tentar usar valores temporais (como datas ou carimbos de data/hora) em literais de estrutura resultava numa exceção.

Alterar a precisão decimal e a escala para SYSTEM_DEFAULT no modo de ligação

Ao usar o modo Spark Connect no Scala, a precisão decimal e a escala em literais de matriz e mapa agora são alteradas para SYSTEM_DEFAULT (38, 18). Esta alteração afeta apenas o plano lógico (por exemplo, a saída do explain() comando) e não afeta os resultados da consulta.

Suporte para tipos complexos em observações no cliente Spark Connect Scala

O cliente Spark Connect Scala agora suporta tipos de matriz, mapa e estrutura em observações, alinhando o comportamento com clusters dedicados. Anteriormente, tentar usar estes tipos complexos em observações resultava numa exceção.

Preservar valores nulos em literais de matriz, mapa e estrutura

No modo Spark Connect, os valores nulos dentro dos literais array, map e struct agora são preservados em vez de serem substituídos por valores padrão protobuf. Anteriormente, os valores nulos eram incorretamente substituídos por valores padrão, como 0 para inteiros, cadeias vazias para tipos de cadeia e false para tipos booleanos.

Preservar a anulabilidade para literais digitados

O cliente Spark Connect Scala agora preserva corretamente a anulabilidade dos tipos de matriz e mapa para literais digitados. Anteriormente, os elementos do array e os valores do mapa eram sempre tratados como nulláveis, independentemente da definição real do tipo.

Corrigir conversão de classe de caso em literais de matriz e mapa

No modo Spark Connect, os literais de array e mapa agora TypedLit processam corretamente valores de case class, evitando lançar exceções. Anteriormente, tentar usar valores de classe de caso em literais de array ou mapa resultava numa exceção.

Tratamento correto de estruturas de valor nulo ao remover colunas NullType.

Ao gravar em tabelas Delta, o Azure Databricks agora preserva corretamente os valores struct nulos ao remover NullType colunas do esquema. Anteriormente, structs null foram substituídos incorretamente por valores struct não-nulos onde todos os campos foram definidos como null. Por exemplo, inserir um valor de estrutura nulo seria posteriormente lido como uma estrutura com campos nulos em vez de uma estrutura nula.

Melhor tratamento de estruturas nulas no Parquet

O Azure Databricks agora deteta corretamente estruturas nulas quando todos os campos struct solicitados estão ausentes de um arquivo Parquet, o que torna o comportamento consistente entre leitores Photon e não-Photon. Anteriormente, leitores não-Photon retornavam NULL para a estrutura inteira em vez de uma estrutura com campos nulos ao ler arquivos Parquet onde todos os campos solicitados estavam em falta, embora outros campos estivessem presentes.

Atualizar a biblioteca aws-msk-iam-auth para Kafka

A aws-msk-iam-auth biblioteca foi atualizada para a versão 2.0.1 para suportar a configuração de um ponto de extremidade regional do STS (Serviço de Token de Segurança) para autenticação do IAM do Managed Streaming for Apache Kafka (MSK). A nova awsStsRegion opção só está disponível quando a configuração correspondente do Spark está ativada. Esta atualização não introduz quaisquer alterações comportamentais para cargas de trabalho existentes.

Atualizações da biblioteca

Bibliotecas Python atualizadas:

Nenhuma biblioteca Python foi atualizada nesta versão.

Bibliotecas R atualizadas:

Nenhuma biblioteca R foi atualizada nesta versão.

Bibliotecas Java atualizadas:

Nenhuma biblioteca Java foi atualizada nesta versão.

Apache Spark

O Databricks Runtime 17.3 LTS inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão 17.2, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• SPARK-44856 Reverter "[SC-195808][python] Melhorar o desempenho do serializador Arrow UDTF do Python"
• SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Corrigir manipulação de valores nulos em LiteralValueProtoConverter
• SPARK-53507 Adicionar informações sobre alterações que provocam quebra a erros
• SPARK-53574 Corrigir o AnalysisContext a ser apagado durante a resolução de planos aninhados
• SPARK-53444 Reestruturar execução imediata
• SPARK-53560 Ciclo de falhas ao repetir lote não confirmado na fonte do Kafka e no gatilho AvailableNow
• SPARK-53127 Habilitar LIMIT ALL para substituir o limite de linhas de recursão
• SPARK-53574 Reverter "[SC-206548] Corrigir AnalysisContext sendo eliminado...
• SPARK-53674 Tratar LCAs de analisador de uma única passagem ao atribuir aliases
• SPARK-53492 Rejeitar o segundo ExecutePlan com um ID de operação já concluída
• SPARK-53677 Melhorar a facilidade de depuração da fonte de dados JDBC quando a consulta contiver erro de sintaxe
• SPARK-53490 Corrigir conversão de Protobuf em métricas observadas
• Excluir argumentos de comprimento zero da inferência do tipo eval
• SPARK-53592 Revisão "Tornar o @udf suporte a UDFs vetorizado"
• SPARK-53654 Revisão "Suporte para seed na função UUID"
• SPARK-53429 Suporte para particionamento por passagem direta na API de dataframe do PySpark
• SPARK-53372 Pacote de Tempo de Execução de Teste Partilhado para LDP
• SPARK-53574 Corrigir o AnalysisContext a ser apagado durante a resolução de planos aninhados
• SPARK-53654 Reverter "[SC-207022][sql][PYTHON] Suporte seed na função uuid"
• SPARK-53574 Reverter "[SC-206548] Corrigir AnalysisContext a ser apagado durante a resolução do plano aninhado"
• SPARK-53559 Corrigir atualizações de HLL sketch para usar bytes de chave de colação brutos
• SPARK-53654 Suporte para seed na função uuid
• FAÍSCA-52449 Tornar os tipos de dados para Expression.Literal.Map/Array opcionais
• SPARK-53574 Corrigir o AnalysisContext a ser apagado durante a resolução de planos aninhados
• SPARK-53625 Propagar colunas de metadados através de projeções para resolver a incompatibilidade com ApplyCharTypePadding
• SPARK-53558 Reverter "[SC-206544][sql] Mostrar nome de tabela completo, incluindo o nome do catálogo na mensagem de exceção quando a tabela não for encontrada"
• SPARK-53558 Mostrar o nome completo da tabela, incluindo o nome do catálogo, na mensagem de exceção quando a tabela não for encontrada
• SPARK-53357 Atualizar pandas para 2.3.2
• SPARK-52659Mensagem de erro de módulo enganosa no modo ANSI
• SPARK-53592 Reverter "[SC-206971][python] Adicionar suporte para UDF vetorizado"
• SPARK-53592 Implementar @udf suporte para UDF vetorizado
• SPARK-52601 Suporte a tipos primitivos em TransformingEncoder
• SPARK-53355 corrigir a representação numpy 1.x em testes de tipo
• SPARK-53387 Adicionar suporte para UDTFs de Arrow com PARTITION BY
• SPARK-52991 Implementar MERGE INTO com SCHEMA evolução para fonte de dados V2
• SPARK-53568 Correção de vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
• SPARK-43579 optim: Armazenar em cache o conversor entre Arrow e pandas para reuso
• SPARK-53524 Corrigir a conversão de valores temporais no LiteralValueProtoConverter
• SPARK-53600 Rever a mensagem do registo da hora do último acesso
• SPARK-53529 Corrigir cliente de ligação para suportar IPv6
• SPARK-53537 Adicionar suporte para interpretação de CONTINUE HANDLER
• SPARK-53623 melhora o desempenho das propriedades de leitura de tabelas grandes
• SPARK-53523 Respeitar parâmetros nomeados spark.sql.caseSensitive
• SPARK-53449 Opções simples para classes relacionadas com o Datasource Scan integrado
• Spark-53620 SparkSubmit deve imprimir traço da pilha quando exitFn é chamado
• SPARK-53518 Sem truncamento para catalogString do tipo definido pelo usuário
• Spark-53568 Reverter "[SC-206538][connect][PYTHON] Corrigir vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect"
• SPARK-53602 Melhoria da exportação de perfil e correção do profiler doc
• SPARK-53402 Suporte à API de Dataset com Passagem Direta no Particionamento no Spark Connect no Scala
• SPARK-53491 Corrigir a formatação exponencial de inputRowsPerSecond e processedRowsPerSecond nas métricas JSON em andamento
• Faísca-53413 Limpeza aleatória para comandos
• SPARK-53518 Reverter "[SC-205989][sql] Sem truncamento para catalogString do User-Defined Type"
• SPARK-53568 Correção de vários pequenos bugs na lógica de tratamento de erros do cliente Python do Spark Connect
• SPARK-53552 Otimizar na função substr SQL
• SPARK-53527 Melhorar o mecanismo de fallback de analyzeExistenceDefaultValue
• SPARK-53584 Melhorar a validação de process_column_param e a docstring do parâmetro de coluna
• SPARK-53498 Referência correta ao binário pyspark/pipelines/cli.py de spark-pipelines
• SPARK-53518 Sem truncamento para catalogString do tipo definido pelo usuário
• SPARK-53233 Certifique-se de que o código relacionado a streaming utilize o nome correto do pacote
• SPARK-53598 Verifique a existência de numParts antes de ler a propriedade de uma tabela grande
• SPARK-53372 SDP Conjunto de testes fim a fim
• SPARK-53563 Otimizar: sql_processor evitando a concatenação ineficiente de strings
• SPARK-53323 Habilitar testes do Spark Connect para df.asTable() no Arrow UDTF
• SPARK-53157 Desacoplar os intervalos de sondagem entre o driver e os executors
• SPARK-53555 Correção: SparkML-connect não consegue carregar o modelo guardado do SparkML (modo legado)
• SPARK-53361 Otimizando a comunicação JVM–Python no TWS agrupando várias chaves num lote Arrow
• SPARK-53233 Revert "[SC-203716][sql][SS][mllib][CONNECT] Faça com que o código relacionado a streaming use o nome correto do pacote"
• SPARK-53233 Certifique-se de que o código relacionado a streaming utilize o nome correto do pacote
• SPARK-53525 Fragmentação de Resultados do ArrowBatch do Spark Connect
• SPARK-53444 Reverter "[SC-206536][sql] Reestruturar execução imediata"
• SPARK-53594 Fazer a Arrow UDF respeitar o tipo de avaliação especificado pelo usuário
• SPARK-53444 Reestruturar execução imediata
• SPARK-53582 Estenda isExtractable para que possa ser aplicado em UnresolvedExtractValue
• SPARK-53572 Evite lançar do ExtractValue.isExtractable
• SPARK-52346 Corrigir a inicialização e a lógica de incremento do contador para tentativas de nova execução do fluxo
• SPARK-53561 Capturar InterruptionException em TransformWithStateInPySparkStateServer durante a execução de outputStream.flush para evitar a falha do processo
• SPARK-53512 Melhor unificação do DSv2 PushDownUtils
• SPARK-53459 Utilize o ReadOnlySparkConf em mais locais
• SPARK-53549 Feche sempre o alocador do Arrow quando o processo de solicitação do estado da lista for concluído
• SPARK-53332 Ativar StateDataSource com checkpoint de estado v2 (apenas a opção snapshotStartBatchId)
• SPARK-53550 O particionamento de saída da União deve comparar atributos canonicalizados
• SPARK-53506 Proibir entre Decimal e float em ANSI
• SPARK-52238 Renomear o campo de especificação de pipeline "definições" para "bibliotecas"
• SPARK-53538ExpandExec deve inicializar as projeções inseguras
• SPARK-53521 Refatorar a expressão com asterisco
• SPARK-53358 Melhorar a mensagem de erro de incompatibilidade do tipo de saída em Python UDTF Arrow
• SPARK-53531 Melhoria da mensagem de erro para HadoopRDD.getInputFormat
• SPARK-53434 O método get de ColumnarRow também deve verificar isNullAt
• SPARK-53008 Adicionar validação de rotina de acesso a dados de UDF SQL OSS
• SPARK-44856 Melhorar o desempenho do serializador Arrow UDTF Python
• SPARK-53488 Atualizar o CollationTypeCoercion para ser compatível com a lógica de analisador de passagem única
• SPARK-53029 Suporte à coerção de tipo de retorno para UDTFs Python do Arrow
• SPARK-53479 Alinhar == o comportamento com pandas ao comparar com escalar de acordo com ANSI
• SPARK-53497 Não permitir /|//|* entre decimal e float sob o padrão ANSI
• SPARK-53441 Bools |/&/^ Nenhum deve falhar sob ANSI
• SPARK-53474 Adicionar conf DATA_SOURCE_V2_EXPR_FOLDING
• Faísca-53333 Habilite StateDataSource com o ponto de verificação de estado v2 (somente readChangeFeed)
• SPARK-53502 Melhorar a nomenclatura de métodos em LiteralValueProtoConverter
• Faísca-52694 Adicionar o.a.s.sql.Encoders#udtAPI
• SPARK-53499 from_arrow_type deve respeitar containsNull em ArrayType
• SPARK-53515 Remover elemento não utilizado private lazy val de SchemaOfCsv/Xml
• SPARK-53480 Refatorar o código do Python Runner Arrow
• SPARK-53481 Criar classe de fila híbrida
• SPARK-53401 Habilitar particionamento de passagem direta na DataFrame API
• SPARK-52930 Use DataType.Array/Map para literais de Array/Map
• SPARK-52346 Propagar colunas de partição do destino para BatchTableWrite
• SPARK-53342 Corrigir o conversor Arrow para lidar com vários batches de registo num único fluxo IPC
• SPARK-53421 Propagar ID de Plano Lógico na Análise SDP
• SPARK-53408 Remover funções não utilizadas de QueryCompilationErrors
• SPARK-53044 Alterar a convenção de alias de importação de pipelines declarativos de "sdp" para "dp"
• SPARK-53450 Nulos são preenchidos inesperadamente após a conversão da consulta da tabela do Hive em relação lógica
• SPARK-53290 Corrigir interrupção da compatibilidade retroativa de metadados
• SPARK-52982 Não permitir junção lateral com UDTFs Python Arrow
• SPARK-52851 Remover APIs públicas para fluxos de adição única
• SPARK-52511 Suporte ao modo de teste no comando spark-pipelines
• SPARK-53290 Reverter "[SC-204277][sql][CONNECT] Corrigir quebra de compatibilidade retroativa de metadados"
• SPARK-53290 Corrigir interrupção da compatibilidade retroativa de metadados
• SPARK-52577 Adicionar testes para Declarative Pipelines DatasetManager com catálogo do Hive
• SPARK-53012 Suporte para Arrow Python UDTF no Spark Connect
• SPARK-53251 Ativar testes da API DataFrame com asTable() para UDTFs Python do Arrow
• SPARK-52432 Âmbito DataflowGraphRegistry para Sessão
• SPARK-52853 Evitar métodos PySpark imperativos em pipelines declarativos
• SPARK-52745 Certifique-se de que um dos elementos schema e columns da interface Tabela está implementado e que columns é preferível
• SPARK-52991 Reverter "[SC-204944][sql] Implementar com EVOLUTION para Fonte de Dados V2"
• SPARK-52981 Adicionar suporte a argumentos de tabela para UDTFs Python de Arrow
• SPARK-53487 Melhorar comentários em NormalizePlan.scala
• SPARK-52991 Implementar MERGE INTO com SCHEMA evolução para fonte de dados V2
• SPARK-52281 Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar ordenação padrão se o tipo de dados original era instância de StringType
• FAÍSCA-52759 Lançar exceção se o pipeline não tiver tabelas ou exibições persistentes
• SPARK-51575 Combine o pushdown da fonte de dados Python e planeamento dos trabalhadores de leitura
• SPARK-53359 Corrigir Apache Arrow UDTF para tratar os resultados como iterador
• SPARK-52757 Renomeie o campo "plan" no DefineFlow para "relation"
• SPARK-52431 Retoques finais no executor de Declarative Pipelines
• FAÍSCA-52591 Validar a característica de streaming dos DFs retornados pela tabela SDP e pelas definições de fluxo autónomas.
• SPARK-53030 Suporte para o componente Arrow writer em fontes de dados Python em streaming
• SPARK-52980 Suporte Arrow Python UDTFs
• SPARK-42841Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2005
• SPARK-52423 Adicionar o nome ausente do pacote Golang a pipelines.proto
• SPARK-52409 Use apenas PipelineRunEventBuffer em testes
• SPARK-52533 Suporte para habilitar apenas o driver profiler
• SPARK-52716 Remover comentários do trait Flow e referências
• SPARK-52348 Adicionar suporte para gestores do Spark Connect para comandos de pipeline
• SPARK-52281 Reverter "[SC-198058][sql] Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar agrupamento padrão se o tipo de dados original foi instância de StringType"
• SPARK-49386 Adicionar limites baseados em memória para o despejo de shuffle
• SPARK-52281 Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar ordenação padrão se o tipo de dados original era instância de StringType
• SPARK-53329 Melhorar o tratamento de exceções na adição de artefatos
• SPARK-52772 Reversão "[SC-202707][engrm-327][SQL] Tratamento inconsistente de atributos de tabela durante atualizações"
• SPARK-52772 Tratamento inconsistente de atributos de tabela durante as atualizações
• SPARK-51739 Validar esquema Arrow de mapInArrow & mapInPandas & DataSource
• SPARK-53355 testar o comportamento do tipo UDF em Python
• SPARK-53443 Atualizar python para SPDX-license
• SPARK-49968 A função de divisão produz resultados incorretos com uma expressão regular vazia e um limite
• SPARK-52582 Otimizar a utilização de memória do analisador XML
• SPARK-53452from_arrow_type deve respeitar valueContainsNull
• SPARK-53103 Revert "[SC-204946][ss] Lançar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada"
• SPARK-53103 Lançar um erro se o diretório de estado não estiver vazio quando a consulta iniciar
• SPARK-51575 Reverter "[SC-192406][Python] Combine Python Data Source pushdown & plan read workers"
• SPARK-51575 Combine o pushdown da fonte de dados Python e planeamento dos trabalhadores de leitura
• SPARK-53095 Suporte HMS v4.1
• SPARK-53126 Refatorar SparkErrorUtils#stackTraceToString para lidar com null input e utilizá-lo para substituir ExceptionUtils#getStackTrace
• SPARK-49489 Cliente HMS respeita hive.thrift.client.maxmessage.size
• SPARK-53108 Implementar a função time_diff em Scala
• SPARK-45265 Suporte para o metastore do Hive 4.0
• SPARK-53255 Proibição org.apache.parquet.Preconditions
• SPARK-52142 Exibir restrições de tabela em SHOW CREATE TABLE COMMAND
• SPARK-52875 Simplifique a tradução de expressões V2 se a entrada for passível de simplificar independentemente do contexto
• SPARK-53240 Proibição com.google.common.collect.(ArrayList)?Multimap
• SPARK-52875 Reverter "[SC-201880][sql] Simplificar a tradução de expressões V2 se a entrada for dobrável independente de contexto"
• SPARK-52141 Limitações de apresentação nos comandos DESC
• SPARK-53386 Suporte a parâmetro de consulta que termina em ponto-e-vírgula em conectores JDBC
• SPARK-52875 Simplifique a tradução de expressões V2 se a entrada for passível de simplificar independentemente do contexto
• SPARK-53437 InterpretedUnsafeProjection deve setNull4Bytes para o campo YearMonthIntervalType
• SPARK-53341 Expandir a cobertura de teste padrão em DECLARE multivariável
• SPARK-53156 Rastrear métricas de memória do driver quando a aplicação termina
• SPARK-52689 Enviar métricas DML para V2Write
• SPARK-52641 As colunas de chave primária não devem ser anuláveis
• FAÍSCA-48547 Adicione o sinalizador de aceitação para que o SparkSubmit chame automaticamente System.exit depois que o método principal do código do usuário for encerrado
• SPARK-52575 Introduzir o atributo contextIndependentFoldable para Expressions
• SPARK-52860 Suporte à evolução do esquema de escrita V2 na Tabela Em Memória
• SPARK-53435 Corrigir condição de corrida no CachedRDDBuilder
• SPARK-51987 Expressões DSv2 em valores padrão das colunas ao escrever
• SPARK-52235 Adicionar casting implícito a expressões DefaultValue V2 passadas para DSV2
• SPARK-52236 Padronizar analisar exceções para o valor padrão
• SPARK-53294 Habilite StateDataSource com o checkpoint de estado v2 (apenas a opção batchId)
• SPARK-52095 Alterar tabela e alterar coluna para passar V2Expression para DSV2
• SPARK-53415 Opções simples para formatos de ficheiros integrados
• SPARK-53318 Suporte para o tipo de tempo através de make_timestamp_ltz()
• SPARK-53143 Corrigir auto-junção na API DataFrame - A junção não é a única saída esperada do analisador
• SPARK-53423 Mova todas as tags relacionadas ao resolvedor de passagem única para ResolverTag
• Faísca-52116 Melhorar a exceção para valores padrão não determinísticos
• SPARK-51906 Expressões Dsv2 em alterar tabela adicionar colunas
• SPARK-53403 Melhorar os testes de adição/subtração conforme o ANSI
• SPARK-53418 Apoio TimeType em ColumnAccessor
• SPARK-52777 Habilitar a configuração do modo de limpeza de shuffle no Spark SQL
• SPARK-52485 Limpeza de código de pipelines declarativos
• Spark-53236 Usar construtores Java ArrayList em vez de Lists.newArrayList no código Java
• SPARK-53392 Mover a manipulação de SpecializedArray para connect-common
• SPARK-53176 O lançador do Spark deve respeitar --load-spark-defaults
• SPARK-53237 Use Java Base64 em vez de org.apache.commons.codec.binary.Base64 instância
• SPARK-53390 Levantar erro quando bools com None astype forem convertidos para inteiros em conformidade com ANSI
• SPARK-53109 Suporte para TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz em Scala
• SPARK-53393 Desativar o perfilador de memória para UDFs de iterador escalar Arrow
• SPARK-53367 adicionar int à coerção decimal para UDFs de seta
• SPARK-53365 Unifique o código para persistir configurações em visualizações e funções UDF
• SPARK-53228 Use construtores Java Map em vez de Maps.new*HashMap()
• SPARK-53197 Utilizar java.util.Objects#requireNonNull em vez de com.google.common.base.Preconditions#checkNotNull
• SPARK-53216 Mover is*(Blank|Empty) de object SparkStringUtils para trait SparkStringUtils
• FAÍSCA-53385 Avaliação do Identificador de Refatoração
• Refatorar a resolução das variáveis retirando-as
• SPARK-53195 Use Java InputStream.readNBytes em vez de ByteStreams.read
• SPARK-53205 Apoio createParentDirs em SparkFileUtils
• SPARK-53196 Use Java OutputStream.nullOutputStream em vez de ByteStreams.nullOutputStream
• SPARK-53381 Evite criar coleções temporárias em toCatalystStruct
• SPARK-53275 Gerir expressões com estado ao ordenar no modo interpretado
• SPARK-51585 O dialeto Oracle suporta funções datetime pushdown
• Spark-53200 Use Java Files.newInputStream em vez de Files.asByteSource().openStream()
• SPARK-53190 Use Java InputStream.transferTo em vez de ByteStreams.copy
• SPARK-53188 Apoio readFully em SparkStreamUtils e JavaUtils
• SPARK-53354 Simplificar LiteralValueProtoConverter.toCatalystStruct
• SPARK-52873 Restringir ainda mais quando SHJ semi/anti join pode ignorar chaves duplicadas no lado de construção
• SPARK-53180 Use Java InputStream.skipNBytes em vez de ByteStreams.skipFully
• SPARK-53369 Corrigir mensagem de erro para UDFs com CHAR/VARCHAR tipo de retorno
• SPARK-53330 Corrigir UDF do Arrow com DayTimeIntervalType (delimitadores != início/fim)
• SPARK-53366 Aplicar regras de formatação a sql/connect/shims
• FAÍSCA-53348 Sempre persista o valor ANSI ao criar uma exibição ou assuma-o ao consultar se não estiver armazenado
• SPARK-53119 Apoio touch em SparkFileUtils
• Faísca-52592 Suporte a criação de um ps. Série de um ps. Série
• SPARK-53360 A estratégia com a idempotência de ConstantFolding não deve ser interrompida
• SPARK-53135 Apoio copyURLToFile em SparkFileUtils e JavaUtils
• SPARK-53150 Melhorar list(File|Path)s para lidar com entrada inexistente, que não seja diretório e link simbólico
• SPARK-53135 Reverter "[SC-203164][core][SQL] o suporte copyURLToFile em SparkFileUtils e JavaUtils"
• SPARK-53137 Suporte forceDeleteOnExit em SparkFileUtils e JavaUtils
• SPARK-53352 Aperfeiçoar a mensagem de erro para tipo de retorno não suportado
• Faísca-53353 Falha na seta do iterador escalar UDF com 0-arg
• SPARK-53135 Apoio copyURLToFile em SparkFileUtils e JavaUtils
• SPARK-53101 Suporte (left|right)Pad em SparkStringUtils
• SPARK-53117 Suporte moveDirectory em SparkFileUtils e JavaUtils
• SPARK-53121 Utilizar deleteRecursively em vez de FileUtils.forceDelete
• SPARK-53100 Use Java String.substring em vez de StringUtils.substring
• <0>SPARK-53092 Ban <1 />
• SPARK-53328 Melhorar a capacidade de depuração do SparkML-connect
• SPARK-52065 Produzir outra árvore de plano com colunas de saída (nome, tipo de dados, possibilidade de ser nulo) no log de alterações de plano
• Faísca-51182 DataFrameWriter deve lançar dataPathNotSpecifiedError quando o caminho não é especificado
• SPARK-52410 Descontinuar PipelineConf e usar SqlConf diretamente
• SPARK-52852 Remover spark_conf não utilizado no create_streaming_table
• SPARK-52714 Remover argumento de comentário não utilizado no decorador append_flow
• SPARK-52663 Introduzir o campo de nome para as especificações do pipeline
• SPARK-53091 Banir org.apache.commons.lang3.Strings
• SPARK-52393 Registo de Elementos do Pipeline SQL Graph
• SPARK-52912 Melhorar SparkStringUtils para suportar is(Not)?(Blank|Empty)
• SPARK-53307 Remover o erro RetriesExceeded dos clientes Python e Scala do Spark Connect
• SPARK-52346 Execução de pipeline DataflowGraph declarativo e registo de eventos
• SPARK-52877 Melhorar o desempenho do serializador Arrow UDF Python
• SPARK-51920 Corrigir tipo composto/aninhado no estado do valor em Python TWS
• SPARK-52741 O modo RemoveFiles ShuffleCleanup não funciona com execução não adaptativa
• SPARK-52238 Cliente Python para pipelines declarativos
• SPARK-51926 Adicionar classe de erro INVALID_CONF_VALUE.subXXX a erros de configuração
• SPARK-53155 A agregação global de nível inferior não deve ser substituída por um projeto
• SPARK-52911 Remover a StringUtils.(split|chop) uso
• SPARK-51926 Reverta "[SC-195096][core][SQL] Adicionar classe de erro INVALID_CONF_VALUE.subXXX a erros de configuração"
• SPARK-53346 Evite criar coleções temporárias em toCatalystArray/toCatalystMap
• SPARK-51926 Adicionar classe de erro INVALID_CONF_VALUE.subXXX a erros de configuração
• SPARK-53136 tryWithResource & tryInitializeResource deve fechar o recurso silenciosamente
• SPARK-53132 Suporte list(File|Path)s em SparkFileUtils e JavaUtils
• SPARK-51896 Adicionar suporte para Java Enum em TypedConfigBuilder
• SPARK-53311 Permitir que PullOutNonDeterministic use expressões canónicas
• SPARK-51527 Torne o nível de log do codegen configurável via SQLConf
• SPARK-52223 Adicionar Protocolos do SDP Spark Connect
• SPARK-52283 Criação e resolução de pipelines declarativos DataflowGraph
• SPARK-52880 Melhorar toString através de JEP-280 em vez de ToStringBuilder
• SPARK-53284 Ajustar as importações das configurações do Spark em testes
• SPARK-53050 Habilitar MultiIndex.to_series() para retornar um struct para cada entrada
• FAÍSCA-52988 Corrigir condições de corrida em CREATE TABLE e FUNÇÃO quando SE NÃO EXISTIR é usado
• SPARK-52874 Suporte a o.a.s.util.Pair Java Record
• SPARK-52710DESCRIBE SCHEMA deve imprimir ordenação
• SPARK-49984 Corrigir supplementJava(Module|IPv6)Options para atualizar apenas extraJavaOptions

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime.

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Escala: 2.13.16
• Píton: 3.12.3
• R: 4.4.2
• Lago Delta: 4.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da versão instantânea do CRAN do Posit Package Manager em 2025-03-20.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)