Tempo de execução do Databricks 17.1

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.1, desenvolvido pelo Apache Spark 4.0.0.

O Azure Databricks lançou esta versão em agosto de 2025.

Novos recursos e melhorias

• Expressões SQL espaciais expandidas e tipos de dados GEOMETRY e GEOGRAPHY
• Expressões de tabela comuns recursivas (GA)
• Funções de Tabela Definidas pelo Usuário no Unity Catalog em Python (UDTFs)
• Suporte para agrupamento padrão em nível de esquema e catálogo
• Ambiente de execução de isolamento compartilhado para UDFs Python do Batch Unity Catalog
• Melhor tratamento das opções JSON com VARIANT
• display() suporta Streaming Real-Time Mode
• A fonte de taxa suporta Streaming Modo Real-Time
• Temporizadores baseados no tempo de eventos suportados para janelas baseadas em tempo
• Credenciais de serviço de suporte Scalar Python UDFs
• Listagem de esquema melhorada
• Mapeamento aprimorado da coluna de strings em escritas no Redshift
• Suporte para DDL, SHOW e DESCRIBE em tabelas de acesso controlado
• Uso reduzido de memória para esquemas amplos no gravador de fótons
• Suporte para sintaxe TIMESTAMP WITHOUT TIME ZONE

Expressões SQL espaciais expandidas e tipos de dados GEOMETRY e GEOGRAPHY

Agora você pode armazenar dados geoespaciais em GEOMETRY colunas e GEOGRAPHY incorporados para melhorar o desempenho de consultas espaciais. Esta versão adiciona mais de 80 novas expressões SQL espaciais, incluindo funções para importar, exportar, medir, construir, editar, validar, transformar e determinar relações topológicas com junções espaciais. Consulte Funções, e GEOGRAPHYgeoespaciais ST.

Expressões de tabela comuns recursivas (GA)

Expressões de tabela comuns recursivas (rCTEs) agora estão geralmente disponíveis. Use rCTEs para navegar em dados hierárquicos utilizando uma CTE autorreferenciada, e utilize UNION ALL para seguir relações recursivas.

Unity Catalog Funções de Tabela Definidas pelo Usuário em Python (UDTFs)

Agora você pode registrar UDTFs Python no Unity Catalog para governança centralizada e lógica reutilizável em consultas SQL. Consulte Funções de tabela definidas pelo usuário (UDTFs) do Python no Unity Catalog.

Suporte para agrupamento padrão em nível de esquema e catálogo

Agora você pode definir um agrupamento padrão para esquemas e catálogos no Databricks Runtime 17.1. Isso permite definir um agrupamento que se aplica a todos os objetos criados no esquema ou catálogo, garantindo um comportamento de agrupamento consistente em seus dados.

Ambiente de execução de isolamento compartilhado para UDFs Python do Batch Unity Catalog

UDFs Python do Batch Unity Catalog com o mesmo proprietário agora podem compartilhar um ambiente de isolamento por padrão. Isso pode melhorar o desempenho e reduzir o uso de memória, reduzindo o número de ambientes separados que precisam ser iniciados.

Para garantir que um UDF seja sempre executado em um ambiente totalmente isolado, adicione a STRICT ISOLATION cláusula característica. Ver Isolamento ambiental.

Melhor tratamento das opções JSON com VARIANT

As funções from_json e to_json agora aplicam corretamente as opções JSON ao trabalhar com esquemas VARIANT de nível superior. Isso garante um comportamento consistente com outros tipos de dados suportados.

display() suporta Streaming Real-Time Mode

Você pode usar a função display() com consultas de streaming que usam um gatilho em tempo real. Nesse modo, display() usa automaticamente update modo de saída e evita a adição de cláusula LIMIT, que não é suportada com update. O intervalo de atualização da tela também é dissociado da duração do lote para oferecer melhor suporte à capacidade de resposta em tempo real.

A fonte de taxa suporta o Modo de Streaming Real-Time

A fonte de taxa de fluxo no Streaming Estruturado agora funciona com disparos em tempo real, permitindo a geração contínua de dados para pipelines de streaming usando o Modo de Streaming Real-Time.

Temporizadores orientados a eventos são suportados para janelas temporais

O Azure Databricks dá suporte a gatilhos baseados em tempo de evento para operações de janela temporais no Modo de Streaming Real-Time. Isso permite um tratamento mais preciso de dados atrasados e gestão de marcas temporais em consultas de streaming em tempo real.

Credenciais de serviço de suporte Scalar Python UDFs

UDFs Python escalares podem usar credenciais de serviço Unity Catalog para acessar com segurança serviços de nuvem externos. Isso é útil para integrar operações como tokenização baseada em nuvem, criptografia ou gerenciamento de segredos diretamente em suas transformações de dados.

Listagem de esquema melhorada

O conector Snowflake usa a INFORMATION_SCHEMA tabela em vez do SHOW SCHEMAS comando para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.

Mapeamento de coluna de cadeia de caracteres aprimorado em gravações do Redshift

Ao escrever tabelas no Redshift usando spark.write, as colunas de cadeia de caracteres sem um comprimento explícito são mapeadas para em VARCHAR(MAX) vez de TEXT. Isso evita o comportamento padrão do Redshift de interpretar TEXT como VARCHAR(256), o que poderia causar erros ao escrever cadeias de caracteres mais longas.

Suporte para DDL, SHOW e DESCRIBE em tabelas de acesso controlado

Comandos SQL como DDL, SHOWe DESCRIBE agora são executados em tabelas refinadas com acesso controlado usando clusters dedicados. Quando necessário para impor controles de acesso, o Azure Databricks roteia esses comandos por meio da computação sem servidor, assim como faz para leituras, mesclagens e acréscimos. Consulte Suporte para DDL, SHOW, DESCRIBE e outros comandos.

Uso reduzido de memória para esquemas amplos no gravador de fótons

Foram feitos aprimoramentos no mecanismo Photon que reduzem significativamente o uso de memória para esquemas amplos, abordando cenários que anteriormente resultavam em erros de falta de memória.

Suporte para sintaxe TIMESTAMP WITHOUT TIME ZONE

Agora você pode especificar TIMESTAMP WITHOUT TIME ZONE em vez de TIMESTAMP_NTZ. Essa alteração melhora a compatibilidade com o SQL Standard.

Mudanças comportamentais

• Problema de correlação de subconsulta resolvido
• Literais NTZ de carimbo de data/hora não são mais empurrados para baixo
• Erro gerado por restrições inválidas CHECK
• Conector Pulsar não expõe mais Bouncy Castle
• O Auto Loader usa eventos de arquivo por padrão, se disponível
• Propriedades da tabela interna filtradas de SHOW CREATE TABLE
• Regras mais rígidas para junções de fluxo no modo de acréscimo
• O conector Teradata corrige a comparação de cadeias de caracteres que diferenciam maiúsculas de minúsculas

Problema de correlação de subconsulta resolvido

O Azure Databricks não correlaciona mais incorretamente expressões agregadas semanticamente iguais entre uma subconsulta e sua consulta externa. Anteriormente, isso poderia levar a resultados de consulta incorretos.

Literais NTZ de carimbo de data/hora não são mais empurrados para baixo

Tanto para o conector Snowflake quanto para a Snowflake Lakehouse Federation, TIMESTAMP_NTZ (carimbo de data/hora sem fuso horário) os literais não são mais transferidos para o Snowflake. Essa alteração evita falhas de consulta causadas por manipulação de carimbo de data/hora incompatível e melhora a confiabilidade das consultas afetadas.

Erro gerado por restrições inválidas CHECK

Azure Databricks agora gera uma AnalysisException se uma expressão de restrição não puder ser resolvida durante a validação de restrição CHECK.

O conector Pulsar já não expõe mais a Bouncy Castle

A biblioteca Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, os trabalhos do Spark não podem mais acessar org.bouncycastle.* classes a partir do conector. Se o código do aplicativo depender do Bouncy Castle, instale a biblioteca manualmente no cluster.

O Auto Loader usa eventos de arquivo por padrão, se disponível

O Auto Loader usa eventos de arquivo em vez de listagem de diretório quando o caminho de carregamento é um local externo com eventos de arquivo habilitados. O padrão para useManagedFileEvents é agora if_available (was false). Isso pode melhorar o desempenho da ingestão e registra um aviso se os eventos do arquivo ainda não estiverem habilitados.

Propriedades da tabela interna filtradas de SHOW CREATE TABLE

SHOW CREATE TABLE não inclui mais propriedades internas que não podem ser definidas manualmente ou passadas para CREATE TABLE. Isso reduz a confusão e alinha a saída com opções configuráveis pelo usuário.

Regras mais rígidas para junções de fluxo no modo de acréscimo

O Azure Databricks agora não permite consultas de streaming no modo de acréscimo que usam uma junção de fluxo seguida de agregação de janela, a menos que marcas d'água sejam definidas em ambos os lados. Consultas sem marcas d'água adequadas podem produzir resultados não finais, violando as garantias do modo de acréscimo.

O conector Teradata corrige a comparação de cadeias de caracteres que diferenciam maiúsculas de minúsculas

O conector Teradata agora assume TMODE=ANSIcomo padrão , alinhando o comportamento de comparação de cadeia de caracteres com o Azure Databricks, tornando-o sensível a maiúsculas e minúsculas. Essa alteração é configurável e não afeta os usuários existentes, a menos que eles aceitem.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:

  • google-auth de 2.40.1 a 2.40.0
  • mlflow-skinny de 3.0.0 a 3.0.1
  • OpenTelemetry-API de 1.33.0 a 1.32.1
  • OpenTelemetry-SDK de 1.33.0 a 1.32.1
  • OpenTelemetria-Semântica-Convenções de 0,54b0 a 0,53b1
  • embalagem de versão 24,1 a 24,2
  • pip de 24.2 a 25.0.1

• Bibliotecas R atualizadas:

• CLI de 3.6.4 a 3.6.5

• curvatura de 6.2.1 a 6.4.0

• Genéricos de 0.1.3 a 0.1.4

• globais de 0.16.3 a 0.18.0

• openssl de 2.3.2 a 2.3.3

• pilar de 1.10.1 a 1.11.0

• RLANG de 1.1.5 a 1.1.6

• Sparklyr de 1.9.0 a 1.9.1

• stringi de 1.8.4 a 1.8.7

• Tibble de 3.2.1 a 3.3.0

• utf8 de 1.2.4 a 1.2.6

• Bibliotecas Java atualizadas:

  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 2.4.1-linux-x86_64 para 2.5.0-linux-x86_64

Apache Spark

O Databricks Runtime 17.1 inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão 17.0, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• SPARK-52721 Corrigir o parâmetro da mensagem para CANNOT_PARSE_DATATYPE
• Spark-51919 Permitir substituição da fonte de dados Python estaticamente registada
• Faísca-52632 Reverter: Nós de plano de gravação V2 de exibição bonita
• SPARK-52715 String SQL legível de TIME - INTERVALO DAY-TIME
• Faísca-51268 Torne o TreeNode livre de bloqueios
• Faísca-52701 Corrigir alargamento do tipo float32 em mod com bool sob ANSI
• SPARK-52563 Corrigir bug de nome da variável no _assert_pandas_almost_equal
• SPARK-52541 Adicionar guia de programação para Declarative Pipelines
• SPARK-51695 Corrigir falhas de teste causadas pela alteração de sintaxe CHECK CONSTRAINT
• SPARK-52666 Mapear o Tipo Definido pelo Usuário para corrigir corretamente MutableValue em SpecificInternalRow
• Faísca-52660 Adicionar tipo de hora ao CodeGenerator#javaClass
• SPARK-52693 Suporte aos intervalos ANSI de dias e horas para/de TIME
• Refatorar a verificação determinística para expressões de agrupamento
• SPARK-52699 Suporte para agregar o tipo TIME no modo interpretado
• Faísca-52503 Corrigir queda quando a coluna de entrada não existe
• SPARK-52535 Melhorar a legibilidade do código da regra ApplyColumnarRulesAndInsertTransitions
• SPARK-52551 Adicionar um novo predicado v2 BOOLEAN_EXPRESSION
• Faísca-52698 Reverter: melhorar as dicas de tipo para o módulo de fonte de dados
• FAÍSCA-52684 Tornar CACHE TABLE os comandos atômicos ao encontrar erros de execução
• SPARK-52671 RowEncoder não deve procurar por um UDT resolvido
• SPARK-52670 Assegurar que HiveResult funcione com UserDefinedType#stringifyValue
• SPARK-52692 Suporte ao armazenamento em cache do tipo TIME
• SPARK-51516 Suporte do TIME pelo servidor Thrift
• Faísca-52674 Limpar o uso de APIs preteridas relacionadas a RandomStringUtils
• SPARK-51428 Atribuir alíases para árvores de expressão coligadas de forma determinística
• Faísca-52672 Não substitua Classificar/Ter expressões por aliases se a expressão existir no Agregado
• SPARK-52618 Conversão de TIME(n) para TIME(m)
• SPARK-52656 Corrigir current_time()
• SPARK-52630 Reorganizar o operador de streaming e o código de gestão de estado e diretórios
• Faísca-52649 Cortar aliases antes de corresponder expressões Sort/Having/Filter em buildAggExprList
• SPARK-52578 Adicionar métricas para linhas para rastrear casos e ações em MergeRowsExec
• SPARK-49428 Transferir o Connect Scala Client do Connector para o SQL
• SPARK-52494 Suporte à sintaxe do operador de dois pontos para aceder a campos Variant
• SPARK-52642 Use daemonWorkers.get(worker) para evitar desincronizações inesperadas entre idleWorkers e daemonWorkers
• SPARK-52570 Permitir divisão por zero para rmod numérico com o ANSI ativado
• Faísca-52633 Eliminar a duplicação de uma única saída filho da União antes de DeduplicateRelations
• SPARK-52600 Mover CompletionIterator para common/utils
• SPARK-52626 Permitir agrupamento por tipo temporal
• SPARK-52395 Falhar imediatamente a tarefa do redutor quando uma solicitação de fetch do Prism falha
• SPARK-52596 Tentar criar TIMESTAMP_NTZ a partir de DATA e HORA
• Faísca-52595 Renomeie a expressão TimeAdd para TimestampAddInterval
• SPARK-52586 Introduzir AnyTimeType
• Faísca-52583 Adicionar API de desenvolvedor para stringifying valores em UserDefinedType
• SPARK-52354 Adicionar coerção de tipo ao UnionLoop
• SPARK-52579 Definir despejo de rastreamento de forma periódica para processos Python
• Faísca-52456 Diminuir o limite mínimo de spark.eventLog.rolling.maxFileSize
• SPARK-52536 Configurar AsyncProfilerLoader extractionDir para o diretório local do Spark
• SPARK-52405 Amplie o V2JDBCTest para testar a leitura de múltiplas partições
• Faísca-52303 Promova ExternalCommandRunner para estável
• SPARK-52572 Evite CAST_INVALID_INPUT de DataFrame.isin no modo ANSI
• Faísca-52349 Habilite testes de divisão booleana com ANSI habilitado
• SPARK-52402 Corrigir erros de divisão por zero na correlação de Kendall e Pearson no modo ANSI
• SPARK-52356 Permitir a divisão por zero para mod/rmod booleano com ANSI ativado
• FAÍSCA-52288 Evite INVALID_ARRAY_INDEX em split/rsplit quando o modo ANSI estiver ativado
• SPARK-52557 Evite CAST_INVALID_INPUT de to_numeric(errors='coerce') no modo ANSI
• SPARK-52440 Adicionar instalação extra de python para pipelines declarativos
• Faísca-52569 Corrigir a exceção de conversão de classe em SecondsOfTimeWithFraction
• SPARK-52540 Criar TIMESTAMP_NTZ a partir de DATE e TIME
• SPARK-52539 Introduzir ganchos de sessão
• Spark-52554 Evitar múltiplos ciclos de ida e volta para verificação de configuração no Spark Connect
• SPARK-52553 Corrigir NumberFormatException ao ler o changelog da versão 1
• FAÍSCA-52534 Garantir que MLCache e MLHandler sejam seguros para execução simultânea
• SPARK-52460 Armazene os valores internos de TIME como nanossegundos
• SPARK-52482 Suporte ZStandard para leitor de fonte de dados de ficheiro
• FAÍSCA-52531 OuterReference na agregação de subconsulta está incorretamente vinculada à agregação de consulta externa
• Faísca-52339 Corrigir a comparação de instâncias InMemoryFileIndex
• Faísca-52418 Adicione uma variável de estado noElements ao PercentileHeap para evitar cálculos repetitivos de isEmpty()
• SPARK-52537 Imprimir stacktrace ao falhar na criação de diretório temporário
• SPARK-52462 Aplicar a coerção de tipo antes que os outputs sejam desduplicados na União
• SPARK-52528 Permitir a divisão por zero para operador módulo numérico quando o ANSI está ativo
• Faísca-52458 Suporte spark.eventLog.excludedPatterns
• SPARK-52493 Suporte TIMESTAMP SEM FUSO HORÁRIO
• SPARK-51563 Suporta o nome de tipo totalmente qualificado TIME(n) SEM FUSO HORÁRIO
• SPARK-52450 Melhorar o desempenho do esquema deepcopy
• SPARK-52519 Habilite a divisão por zero para floordiv numérico com ANSI ativado
• SPARK-52489 Proibir tratadores SQLEXCEPTION duplicados e NOT FOUND dentro do Script SQL
• SPARK-52488 Remover o alias antes de envolver as referências externas em HAVING
• SPARK-52383 Corrigir erros no SparkConnectPlanner
• Faísca-52335 Unifique o erro de contagem de bucket inválido para Connect e Classic
• SPARK-52337 Tornar InvalidPlanInput um erro voltado para o utilizador
• SPARK-52312 Ignorar o V2WriteCommand ao armazenar em cache o DataFrame
• SPARK-52487 Adicionar Tempo de Submissão e Duração ao Detalhe do StagePage
• SPARK-52433 Unifique a conversão de strings em createDataFrame
• SPARK-52427 Normalizar lista de expressões agregadas cobertas por um Projeto
• SPARK-51745 Impor Máquina de Estados para RocksDBStateStore
• SPARK-52447 Mova a normalização de GetViewColumnByNameAndOrdinal para SessionCatalogSuite
• Faísca-52397 Idempotent ExecutePlan: segundo ExecutePlan com o mesmo operationId e reanexa o plano
• Faísca-52355 Inferir o tipo de objeto VariantVal como VariantType ao criar um DataFrame
• Faísca-52425 Refactor ExtractValue para reutilização em implementação de passagem única
• SPARK-52249 Ativar a divisão por zero para truediv numérico com o ANSI ativado
• SPARK-52228 Integrar o microbenchmark de interação de estado no Quicksilver (TCP)
• SPARK-48356 Melhorar a inferência do esquema de coluna da instrução FOR
• SPARK-48353 Melhorias no tratamento de exceções
• Faísca-52060 Criar nó OneRowRelationExec
• Faísca-52391 Refactor TransformWithStateExec funções/vars em classe base para Scala e Python
• SPARK-52218 Tornar as funções de data e hora atuais passíveis de avaliação novamente
• SPARK-52350 Corrigir link para o guia de programação SS na versão 4.0
• SPARK-52385 Remover TempResolvedColumns do nome InheritAnalysisRules
• SPARK-52392 Nova funcionalidade do Analyzer de single-pass
• SPARK-52243 Adicionar suporte para NERF para erros InvalidPlanInput relacionados ao esquema
• Faísca-52338 Herdar agrupamento padrão do esquema para Exibir
• SPARK-52307 Suporte para o UDF Scalar Arrow Iterator
• Faísca-52300 Faça com que a resolução UDTVF do SQL use configurações consistentes com a resolução de exibição
• SPARK-52219 Suporte de classificação a nível de esquema para tabelas
• SPARK-52272 V2SessionCatalog não altera o esquema no Catálogo do Hive
• Faísca-51890 Adicionar options parâmetro à Vista de Plano Lógico
• Faísca-51936 ReplaceTableAsSelect deve substituir nova tabela em vez de acrescentar
• SPARK-51302 O Spark Connect que suporta JDBC deve utilizar a API DataFrameReader
• Faísca-50137 Evite falhas de fallback para formas incompatíveis com o Hive na criação de tabelas
• SPARK-52184 Envolver erros de sintaxe JDBC do motor externo com uma exceção unificada
• SPARK-47618 Usar o Magic Committer para todos os buckets do S3 por padrão
• SPARK-52305 Refine a docstring para isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
• Faísca-52174 Ativar spark.checkpoint.compress por padrão
• SPARK-52224 Introduzir pyyaml como dependência do cliente Python
• SPARK-52233 Corrigir map_zip_with para tipos de ponto flutuante
• SPARK-52036 Adicione o traço SQLConfHelper a v2.FileScan
• SPARK-52159 Remover condição muito ampla para o dialeto MariaDB
• SPARK-50104 Suporte para SparkSession.executeCommand no Connect
• SPARK-52240 Corrigido o uso do índice de linha ao desagregar matrizes compactadas no leitor vetorizado
• SPARK-52153 Corrigir from_json e to_json com variante
• SPARK-48618 Melhorar teste 'not exists' para verificar os nomes de 3 partes e 2 partes
• SPARK-52216 Tornar InvalidCommandInput um erro voltado para o utilizador
• Faísca-52299 Substituir JsonNode.fields preterido
• Faísca-52287 Melhore a configuração SparkContext para não preencher o.a.s.internal.io.cloud.*, se não existir
• SPARK-51430 Impeça o registrador de contexto PySpark de propagar logs para stdout
• SPARK-52278 Suporte a argumentos nomeados de UDF Arrow escalar
• SPARK-52026 Bloquear a API de pandas no modo ANSI do Spark por padrão
• SPARK-52171 implementação de join do StateDataSource para a versão de estado v3
• SPARK-52159 Manipular corretamente a verificação de existência da tabela para dialetos jdbc
• SPARK-52158 Adicionar o objeto InvalidInputErrors para centralizar os erros no SparkConnectPlanner
• SPARK-52195 corrigir problema de remoção de coluna de estado inicial para Python TWS
• Faísca-52211 Sufixo Strip $ do log INFO do SparkConnectServer
• Faísca-52239 Suporte registrar uma seta UDF
• Faísca-52215 Implementar UDF de seta escalar
• SPARK-52188 correção para StateDataSource, onde StreamExecution.RUN_ID_KEY não está configurado
• SPARK-52189 Novos testes de arquivo dourado para NATURAL JOIN com GROUP BY, HAVING, ORDER BY e LCAs
• SPARK-52079 Normalizar a ordem dos atributos nas listas internas de projetos
• SPARK-52234 Corrigir erro na entrada não-string para schema_of_csv/xml
• Faísca-52221 Refatore SqlScriptingLocalVariableManager em um gerenciador de contexto mais genérico
• SPARK-52181 Aumentar o limite de tamanho da variante para 128 MiB
• SPARK-52217 Ignorar validação de referência externa em Filtro no resolvedor de passada única
• SPARK-51260 Mover V2ExpressionBuilder e PushableExpression para o módulo Catalyst
• SPARK-52156 Coloque o legado de CREATE TEMPORARY TABLE ... USANDO provedor sob o sinalizador
• Faísca-51012 Remover SparkStrategy do Connect Shims
• SPARK-52109 Adicionar a API listTableSummaries à API do Catálogo de Tabelas da Fonte de Dados V2
• Faísca-50915 Adicionar getCondition e depreciar getErrorClass em PySparkException
• Faísca-52022 Adicionar método padrão de check-in para SparkThrowable.getQueryContext
• SPARK-51147 Refatorar classes relacionadas com streaming para um diretório de streaming dedicado
• SPARK-52120 Passar a sessão para o ConnectHelper
• SPARK-52021 Separar operadores e padrões de expressão
• SPARK-51722 Remover a origem "stop" de ParseException
• SPARK-52096 Reclassificar erro de asserção de deslocamento de fonte Kafka
• Faísca-51985 Remover Experimental de AccumulatorSource
• SPARK-51156 Suporte à autenticação de token estático no Spark Connect
• SPARK-52157 Use o nome calculado anteriormente para OuterReference no resolvedor de passagem única
• SPARK-52100 Permitir a substituição do limite de nível de recursão na sintaxe
• Faísca-51605 Crie o diretório pai antes de tocar no logFile
• SPARK-52127 Reduzir o protocolo de MapState KEYS / VALUES / ITERATOR para transformWithState no PySpark
• SPARK-52040 ResolveLateralColumnAliasReference deve manter o id do plano
• Faísca-51638 Corrigir a busca de blocos RDD armazenados em disco remoto através do serviço de shuffle externo
• SPARK-51983 Preparar o ambiente de teste para a API pandas do Spark com o modo ANSI ligado
• SPARK-52087 Adiciona a cópia de tags e origem a AliasHelper.trimNonTopLevelAliases
• Faísca-51210 Adicionar --enable-native-access=ALL-UNNAMED às opções do Java para Java 24+
• Faísca-52052 Adicionar .broadcast no objeto complementar de SerializableConfiguration
• SPARK-51823 Adicionar configuração para não persistir o armazenamento nos executores
• SPARK-51291 Reclassificar erros de validação lançados durante o carregamento da store de estado
• SPARK-52006 Excluir o acumulador CollectMetricsExec da interface do usuário do Spark + logs de eventos + pulsações métricas
• SPARK-52076 Encerramento explícito de ExecutePlanResponseReattachableIterator após o uso
• SPARK-51428 Atribuir alíases para árvores de expressão coligadas de forma determinística
• SPARK-52079 Normalizar a ordem dos atributos nas listas internas de projetos
• Faísca-52033 Corrigir Gerar bug de nó onde a saída do nó filho pode ter várias cópias do mesmo atributo
• SPARK-51428 Atribuir alíases para árvores de expressão coligadas de forma determinística
• SPARK-52055 Suprimir a exceção em ExecutePlanResponseReattachableIterator. del
• SPARK-51921 Use o tipo long para a duração do TTL em milissegundos em transformWithState
• FAÍSCA-50763 Adicionar regra de análise para resolver funções de tabelas SQL
• Faísca-51884 Adicionar atributos de escopo externo para SubqueryExpression
• SPARK-50762 Adicionar regra do analyzer para resolver UDFs escalares SQL
• Faísca-51814 Usa list(self) em vez de StructType.fields para compat de versão antiga
• SPARK-51537 Construa o carregador de classes específico da sessão com base no carregador de classes de sessão padrão no executor
• Faísca-50777 Remover métodos redundantes no-op init/destroy das classes Filter
• SPARK-51691 SerializationDebugger deve engolir exceção ao tentar encontrar o motivo do problema de serialização
• ** SPARK-51386 Atribuir nome às condições de erro _LEGACY_ERROR_TEMP_3300-3302
• SPARK-50734 Adicionar API de Catálogo para criar e registar SQL UDFs
• SPARK-51989 Adicionar subclasses de Filtro ausentes à lista completa na fonte de dados
• SPARK-52037 A ordem nas listas de projetos internos da LCA deve respeitar a ordem na lista de projetos original
• SPARK-52007 Identificadores de expressão não devem estar presentes nas expressões de agrupamento ao usar conjuntos de grupos
• Faísca-51860 Desativar spark.connect.grpc.debug.enabled por padrão
• SPARK-47952 Suporte para recuperar o endereço GRPC real do SparkConnectService e a porta de forma programática ao ser executado no Yarn
• SPARK-50906 Adicionar verificação de anulabilidade para que as entradas de to_avro alinhem com o esquema
• SPARK-50581 corrigir o suporte para UDAF em Dataset.observe()
• FAÍSCA-49946 Exigir uma classe de erro em SparkOutOfMemoryError
• FAÍSCA-49748 Adicionar getCondition e depreciar getErrorClass em SparkThrowable
• FAÍSCA-51959 Assegurar que as funções não importem ParentDataFrame
• FAÍSCA-51964 Resolva corretamente atributos de saída oculta em ORDER BY e HAVING sobre um "Aggregate" no analisador de etapa única.
• FAÍSCA-49942 Renomeie errorClass para condition em classifyException()
• SPARK-51963 Simplificar IndexToString.transform
• SPARK-51946 Falha imediata ao criar uma tabela de origem de dados incompatível com o Hive com 'col' como nome de partição.
• SPARK-51553 Modificar o EXTRACT para suportar o tipo de dados TIME
• SPARK-51891 Compactar o protocolo de ListState GET / PUT / APPENDLIST para transformWithState no PySpark
• SPARK-51931 Adicione maxBytesPerOutputBatch para limitar o número de bytes do lote de saída de Arrow
• SPARK-51441 Adicionar APIs DSv2 para restrições
• SPARK-51814 Use RecordBatch.schema.names em vez de column_names para compatibilidade com a antiga pyarrow
• SPARK-51913 JDBCTableCatalog#loadTable deve lançar corretamente um erro de tabela inexistente
• SPARK-51840 Restaurar colunas de partição em HiveExternalCatalog#alterTable
• SPARK-51414 Adicionar a função make_time()
• SPARK-49700 Interface Scala Unificada para Connect e Classic
• SPARK-51914 Adicione com.mysql.cj a spark.sql.hive.metastore.sharedPrefixes
• SPARK-51827 Suporte a Spark Connect em transformWithState no PySpark
• SPARK-51901 Não permitir funções geradoras em conjuntos de agrupamento
• SPARK-51423 Adicione a função current_time() para o tipo de dados TIME
• SPARK-51680 Definir o tipo de dados lógico para TEMPO no gravador de parquet
• SPARK-51889 Corrigir um erro no MapState clear() em Python TWS
• < c0 >SPARK-51869< /c0 > Criar classificação para erros de usuário em UDFs para Scala TransformWithState
• SPARK-51878 Melhore fillDefaultValue executando a expressão padrão dobrável.
• SPARK-51757 Corrigir deslocamento da função LEAD/LAG que excede o tamanho da janela do grupo
• SPARK-51805 Função de obtenção com argumento impróprio deve lançar exceção apropriada em vez de uma interna
• SPARK-51900 Lançar corretamente incompatibilidade de tipo de dados no analisador de passagem única
• SPARK-51421 Obter segundos do tipo de dados TIME
• SPARK-51661 Descoberta de partições de valores da coluna TIME
• SPARK-51687 Filtros pushdown com valores TIME para parquet
• SPARK-51419 Obter horas do tipo de dado TIME
• SPARK-51881 Tornar AvroOpções comparáveis
• SPARK-51861 Remover informações duplicadas/desnecessárias dos detalhes do plano de InMemoryRelation
• Faísca-51814 Introduza uma nova API transformWithState no PySpark
• SPARK-51779 Usar famílias de colunas virtuais para junções de fluxo com fluxo
• SPARK-51649 Gravações/leituras dinâmicas de partições TIME
• SPARK-51634 Suporte TIME em vetores de coluna off-heap
• SPARK-51877 Adicionar funções 'chr', 'random' e 'uuid'
• SPARK-51610 Suporte ao tipo de dado TIME na fonte de dados parquet
• SPARK-51420 Obter minutos do tipo de dados TIME
• SPARK-51822 Lançamento de erro classificado quando funções não autorizadas são invocadas no contexto de StatefulProcessor.init()
• SPARK-51868 mover validação de coerção de tipo para um objeto separado
• FAÍSCA-49747 Migrar conecte/arquivos para o log estruturado

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Azure Databricks Runtime 17.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.2 LTS
• Java: Zulu17.58+21-CA
• Escala: 2.13.16
• Píton: 3.12.3
• R: 4.4.2
• Lago Delta: 4.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da versão instantânea do CRAN do Posit Package Manager em 2025-03-20.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)