Databricks Runtime 17.1

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.1, alimentado pelo Apache Spark 4.0.0.

O Azure Databricks lançou esta versão em agosto de 2025.

Novos recursos e melhorias

• Expressões SQL espaciais expandidas e tipos de dados GEOMETRY e GEOGRAPHY
• GA (expressões de tabela comuns recursivas)
• Funções de Tabela Definidas pelo Usuário em Python no Catálogo do Unity (UDTFs)
• Suporte para ordenação padrão de nível de esquema e de catálogo
• Ambiente de execução de isolamento compartilhado para UDFs do Python do Catálogo do Batch Unity
• Melhor manipulação de opções JSON com VARIANT
• display() dá suporte ao Modo de Streaming Real-Time
• A fonte de taxa dá suporte ao Modo Real-Time de Streaming
• Temporizadores de eventos com suporte para janelas baseadas em tempo
• UDFs escalares do Python dão suporte a credenciais de serviço
• Listagem de esquema aprimorada
• Mapeamento aprimorado de colunas de string em gravações do Redshift
• Suporte para DDL, SHOW e DESCRIBE em tabelas controladas pelo acesso
• Redução do uso de memória para esquemas largos no gravador de fótons
• Suporte para TIMESTAMP SEM sintaxe DE FUSO HORÁRIO

Expressões SQL espaciais expandidas e tipos de dados GEOMETRY e GEOGRAPHY

Agora você pode armazenar dados geoespaciais em GEOMETRY colunas internas e GEOGRAPHY para melhorar o desempenho de consultas espaciais. Esta versão adiciona mais de 80 novas expressões SQL espaciais, incluindo funções para importar, exportar, medir, construir, editar, validar, transformar e determinar relações topológicas com junções espaciais. Consulte funções geoespaciais st, GEOGRAPHY tipo e GEOMETRY tipo.

GA (expressões de tabela comuns recursivas)

As expressões de tabela comuns recursivas (rCTEs) agora estão disponíveis em geral. Use rCTEs para explorar dados hierárquicos com uma CTE de autorreferência e para seguir relações recursivas.

Funções de Tabela Definidas pelo Usuário em Python (UDTFs) do Catálogo Unity

Agora você pode registrar UDTFs do Python no Catálogo do Unity para governança centralizada e lógica reutilizável em consultas SQL. Consulte UDTFs (funções de tabela definidas pelo usuário) do Python no Catálogo do Unity.

Suporte para ordenação padrão de esquema e nível de catálogo

Agora você pode definir uma ordenação padrão para esquemas e catálogos no Databricks Runtime 17.1. Isso permite que você defina uma ordenação que se aplique a todos os objetos criados no esquema ou catálogo, garantindo um comportamento de ordenação consistente entre seus dados.

Ambiente de execução de isolamento compartilhado para UDFs do Python do Catálogo do Batch Unity

UDFs do Python do Catálogo do Unity do Lote com o mesmo proprietário agora podem compartilhar um ambiente de isolamento por padrão. Isso pode melhorar o desempenho e reduzir o uso de memória reduzindo o número de ambientes separados que precisam ser iniciados.

Para garantir que uma UDF sempre seja executada em um ambiente totalmente isolado, adicione a STRICT ISOLATION cláusula característica. Consulte isolamento de ambiente.

Melhor manipulação de opções JSON com VARIANT

As funções from_json e to_json agora aplicam corretamente as opções JSON ao trabalhar com esquemas VARIANT de nível superior. Isso garante um comportamento consistente com outros tipos de dados com suporte.

display() dá suporte ao modo de Streaming Real-Time.

Você pode usar a função display() com consultas de streaming que usam um gatilho em tempo real. Nesse modo, display() usa o modo de saída update automaticamente e evita a adição de uma cláusula LIMIT, que não tem suporte com update. O intervalo de atualização da tela também é dissociado da duração do lote para melhorar o suporte à interação em tempo real.

A fonte de taxa dá suporte ao Modo Real-Time de Streaming

A fonte de taxa de dados no fluxo estruturado agora funciona com gatilhos em tempo real, permitindo a geração contínua de dados para pipelines de streaming usando o Modo de Streaming Real-Time.

Temporizadores de eventos com suporte para janelas baseadas em tempo

O Azure Databricks dá suporte a gatilhos baseados no tempo do evento para operações de janelas temporais no Modo Real-Time de Streaming. Isso permite uma manipulação mais precisa de dados atrasados e do marcador de tempo, em consultas de streaming de tempo real.

UDFs escalares do Python dão suporte a credenciais de serviço

UDFs escalares do Python podem usar credenciais de serviço do Catálogo do Unity para acessar com segurança serviços de nuvem externos. Isso é útil para integrar operações como tokens baseados em nuvem, criptografia ou gerenciamento de segredos diretamente em suas transformações de dados.

Listagem de esquema aprimorada

O conector Snowflake usa a INFORMATION_SCHEMA tabela em vez do SHOW SCHEMAS comando para listar esquemas. Essa alteração remove o limite de 10.000 esquemas da abordagem anterior e melhora o suporte para bancos de dados com um grande número de esquemas.

Mapeamento aprimorado de colunas de string em gravações do Redshift

Ao escrever tabelas no Redshift usando spark.writecolunas de cadeia de caracteres sem um comprimento explícito são mapeadas VARCHAR(MAX) em vez de TEXT. Isso evita o comportamento padrão do Redshift de interpretar TEXT como VARCHAR(256), o que pode causar erros ao gravar cadeias de caracteres mais longas.

Suporte para DDL, SHOW e DESCRIBE em tabelas controladas pelo acesso

Comandos SQL, como DDL, SHOWe DESCRIBE agora são executados em tabelas refinadas controladas por acesso usando clusters dedicados. Quando necessário para impor controles de acesso, o Azure Databricks roteia esses comandos por meio de computação sem servidor, assim como faz para leituras, mesclagens e acréscimos. Consulte Suporte para DDL, SHOW, DESCRIBE e outros comandos.

Redução do uso de memória para esquemas largos no gravador de fótons

Foram feitas melhorias no mecanismo photon que reduzem significativamente o uso de memória para esquemas largos, abordando cenários que anteriormente resultavam em erros de memória insuficiente.

Suporte para TIMESTAMP SEM sintaxe DE FUSO HORÁRIO

Agora você pode especificar TIMESTAMP WITHOUT TIME ZONE em vez de TIMESTAMP_NTZ. Essa alteração melhora a compatibilidade com o SQL Standard.

Alterações comportamentais

• Problema de correlação de subconsulta resolvido
• Literais NTZ de carimbo de data/hora não são mais empurrados para baixo
• Erro gerado para restrições inválidas CHECK
• O conector Pulsar não expõe mais o Bouncy Castle
• O Carregador Automático usa eventos de arquivo por padrão, se disponível
• Propriedades da tabela interna filtradas de SHOW CREATE TABLE
• Regras mais rigorosas para junções de fluxo de fluxo no modo de acréscimo
• Conector teradata corrige comparação de cadeia de caracteres que diferencia maiúsculas de minúsculas

Resolvido problema de correlação de subconsulta

O Azure Databricks não correlaciona mais incorretamente expressões agregadas semanticamente iguais entre uma subconsulta e sua consulta externa. Anteriormente, isso poderia levar a resultados de consulta incorretos.

Literais NTZ de carimbo de data/hora não são mais empurrados para baixo

Para o conector Snowflake e a Federação Snowflake Lakehouse, TIMESTAMP_NTZ literais (carimbo de data/hora sem fuso horário) não são mais empurrados para Snowflake. Essa alteração impede falhas de consulta causadas pelo tratamento incompatível de timestamp e melhora a confiabilidade das consultas afetadas.

Erro gerado para restrições inválidas CHECK

O Azure Databricks agora lança um AnalysisException se uma expressão de restrição CHECK não puder ser resolvida durante a validação da restrição.

O conector Pulsar não expõe mais o Bouncy Castle

A biblioteca Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, os trabalhos do Spark não podem mais acessar classes org.bouncycastle.* do conector. Se o código do aplicativo depender do Bouncy Castle, instale a biblioteca manualmente no cluster.

O Carregador Automático usa eventos de arquivo por padrão, se disponível

O Carregador Automático usa eventos de arquivo em vez de listagem de diretório quando o caminho de carga é um local externo com eventos de arquivo habilitados. O padrão é useManagedFileEvents agora if_available (era false). Isso pode melhorar o desempenho da ingestão e registrar um aviso se os eventos de arquivo ainda não estiverem habilitados.

Propriedades da tabela interna filtradas de SHOW CREATE TABLE

SHOW CREATE TABLE não inclui mais propriedades internas que não podem ser definidas manualmente ou passadas para CREATE TABLE. Isso reduz a confusão e alinha a saída com opções configuráveis pelo usuário.

Regras mais rigorosas para junções de fluxo de fluxo no modo de acréscimo

O Azure Databricks agora não permite que consultas de streaming no modo de acréscimo usem uma junção de fluxo de fluxo seguida de agregação de janela, a menos que as marcas d'água sejam definidas em ambos os lados. Consultas sem marcas d'água adequadas podem produzir resultados não finais, violando garantias de modo de acréscimo.

Conector teradata corrige comparação de cadeia de caracteres que diferencia maiúsculas de minúsculas

O conector do Teradata agora usa como padrão alinhar o comportamento de comparação de cadeias de caracteres com o Azure Databricks, tornando-o sensível a TMODE=ANSImaiúsculas de minúsculas. Essa alteração é configurável e não afeta os usuários existentes, a menos que eles optem.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:

  • google-auth da versão 2.40.1 para 2.40.0
  • mlflow-skinny de 3.0.0 a 3.0.1
  • opentelemetry-api de 1.33.0 para 1.32.1
  • opentelemetry-sdk de 1.33.0 para 1.32.1
  • opentelemetry-semantic-conventions from 0.54b0 a 0.53b1
  • packaging de 24.1 para 24.2
  • pip de 24.2 a 25.0.1

• Bibliotecas R atualizadas:

• cli de 3.6.4 a 3.6.5

• curl de 6.2.1 a 6.4.0

• genéricos de 0.1.3 a 0.1.4

• global de 0,16.3 a 0.18.0

• openssl de 2.3.2 a 2.3.3

• pilar de 1.10.1 a 1.11.0

• rlang de 1.1.5 a 1.1.6

• sparklyr de 1.9.0 a 1.9.1

• stringi de 1.8.4 a 1.8.7

• tibble de 3.2.1 a 3.3.0

• utf8 de 1.2.4 a 1.2.6

• Bibliotecas Java atualizadas:

  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 2.4.1-linux-x86_64 para 2.5.0-linux-x86_64

Apache Spark

O Databricks Runtime 17.1 inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão 17.0, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• SPARK-52721 Corrigir o parâmetro de mensagem para CANNOT_PARSE_DATATYPE
• SPARK-51919 Permitir sobrescrever fonte de dados de Python registrada estaticamente
• SPARK-52632 Reverter: nós de plano de gravação V2 de exibição bonita
• SPARK-52715 Cadeia de caracteres Pretty SQL de TIME - DAY-TIME INTERVAL
• SPARK-51268 Tornar o TreeNode sem bloqueio
• SPARK-52701 Corrigir a ampliação de tipo float32 em mod com bool em ANSI
• SPARK-52563 Corrigir o bug de nomenclatura da variável no _assert_pandas_almost_equal
• SPARK-52541 Adicionar guia de programação para Pipelines Declarativos
• SPARK-51695 Corrigir falhas de teste causadas pela alteração da sintaxe CHECK CONSTRAINT
• SPARK-52666 Mapear tipo definido pelo usuário para corrigir MutableValue em SpecificInternalRow
• SPARK-52660 Adicionar tipo de tempo ao CodeGenerator#javaClass
• SPARK-52693 Suporte a intervalos diurnos de +/- ANSI de/para TIME
• SPARK-52705 Refatorar verificação determinística para expressões de agrupamento
• SPARK-52699 Suporte à agregação do tipo TIME no modo interpretado
• SPARK-52503 Corrigir a queda quando a coluna de entrada não existir
• SPARK-52535 Melhorar a legibilidade de código da regra ApplyColumnarRulesAndInsertTransitions
• SPARK-52551 Adicionar um novo predicado de v2 BOOLEAN_EXPRESSION
• SPARK-52698 Reverter: aprimorar dicas de tipo para o módulo de fonte de dados
• SPARK-52684 Tornar CACHE TABLE os comandos atômicos ao encontrar erros de execução
• SPARK-52671 RowEncoder não deve pesquisar uma UDT resolvida
• SPARK-52670 Tornar o HiveResult compatível com UserDefinedType#stringifyValue
• SPARK-52692 Suporte ao cache do tipo TIME
• SPARK-51516 Suporte a TIME pelo servidor Thrift
• SPARK-52674 Limpar o uso de APIs preteridas relacionadas ao RandomStringUtils
• SPARK-51428 Atribuir Aliases para árvores de expressão agrupadas deterministicamente
• SPARK-52672 Não substitua expressões Classificar/Ter por aliases se a expressão existir em Agregação
• SPARK-52618 Conversão de TIME(n) para TIME(m)
• SPARK-52656 Corrigir current_time()
• SPARK-52630 Reorganizar operador de streaming e o código de gerenciamento de estado e diretórios
• SPARK-52649 Cortar aliases antes de corresponder a expressões Sort/Having/Filter no buildAggExprList
• SPARK-52578 Adicionar métricas para linhas para acompanhar casos e ações em MergeRowsExec
• SPARK-49428 Mover o cliente Connect Scala do conector para o SQL
• SPARK-52494 Suporte à sintaxe do operador de sinal de dois-pontos para acessar campos Variant
• SPARK-52642 Use daemonWorkers.get(worker) para evitar uma dessincronização inesperada entre idleWorkers e daemonWorkers
• SPARK-52570 Ativar a operação de divisão por zero no rmod numérico quando ANSI estiver habilitado
• SPARK-52633 Deduplicar a saída filho única da União antes de DeduplicateRelations
• SPARK-52600 Mover *CompletionIterator* para *common/utils*
• SPARK-52626 Permitir agrupamento pelo tipo de hora
• SPARK-52395 Falha na tarefa do redutor imediatamente quando a solicitação de busca do Prism falha
• SPARK-52596 Tente fazer TIMESTAMP_NTZ de DATE e TIME
• SPARK-52595 Renomear a expressão TimeAdd para TimestampAddInterval
• SPARK-52586 Apresentar AnyTimeType
• SPARK-52583 Adicionar a API do Desenvolvedor para stringifying values in UserDefinedType
• SPARK-52354 Adicionar coerção de tipo ao UnionLoop
• SPARK-52579 Definir despejo de rastreio periódico para trabalhadores do Python
• SPARK-52456 Reduzir o limite mínimo de spark.eventLog.rolling.maxFileSize
• SPARK-52536 Definir o diretório de extração do AsyncProfilerLoader para o diretório local do Spark.
• SPARK-52405 Estender V2JDBCTest para testar a leitura de várias partições
• SPARK-52303 Promover ExternalCommandRunner para Estável
• SPARK-52572 Evite CAST_INVALID_INPUT de DataFrame.isin no modo ANSI
• SPARK-52349 Habilitar testes de divisão booliana com ANSI habilitado
• SPARK-52402 Corrigir erros de divisão por zero na correlação de Kendall e Pearson no modo ANSI
• SPARK-52356 Permitir divisão por zero para mod/rmod booleano com ANSI habilitado
• SPARK-52288 Evite INVALID_ARRAY_INDEX em divisão/rsplit quando o modo ANSI estiver ativado
• SPARK-52557 Evite CAST_INVALID_INPUT de to_numeric(errors='coerce') no modo ANSI
• SPARK-52440 Adicionar o extra de instalação do Python para pipelines declarativos
• SPARK-52569 Corrigir a exceção de conversão de classe em SecondsOfTimeWithFraction
• SPARK-52540 Criar TIMESTAMP_NTZ a partir de DATE e TIME
• SPARK-52539 Introduzir ganchos de sessão
• SPARK-52554 Evitar várias viagens de ida e volta para verificação de configuração no Spark Connect
• SPARK-52553 Corrigir NumberFormatException ao ler o changelog v1
• SPARK-52534 Tornar o MLCache e o MLHandler thread-safe
• SPARK-52460 Armazenar valores de TEMPO internos como nanossegundos
• SPARK-52482 Suporte do ZStandard para leitor de fonte de dados de arquivo
• SPARK-52531 OuterReference na agregação de subconsulta está incorretamente vinculada à agregação de consulta externa
• SPARK-52339 Correção da comparação de instâncias InMemoryFileIndex
• SPARK-52418 Adicione uma variável de estado noElements ao PercentileHeap para evitar cálculos repetitivos de isEmpty()
• SPARK-52537 Imprimir stacktrace ao falhar na criação do diretório temporário
• SPARK-52462 Aplicar coerção de tipo antes da deduplicação da saída de filhos na União
• SPARK-52528 Habilitar divisão por zero para mod numérico com ANSI habilitado
• SPARK-52458 Suporte a spark.eventLog.excludedPatterns
• SPARK-52493 Dar suporte ao TIMESTAMP WITHOUT TIME ZONE
• SPARK-51563 Suporte ao nome totalmente qualificado do tipo TIME(n) WITHOUT TIME ZONE
• SPARK-52450 Melhorar a performance da cópia profunda de esquema
• SPARK-52519 Habilitar divisão por zero para floordiv numérico com ANSI habilitado
• SPARK-52489 Impedir que existam manipuladores SQLEXCEPTION e NOT FOUND duplicados dentro do script SQL.
• SPARK-52488 Remover alias antes de encapsular referências externas em HAVING
• SPARK-52383 Melhorar erros no SparkConnectPlanner
• SPARK-52335 Unificar o erro de contagem de bucket inválido para Connect e Classic
• SPARK-52337 Tornar InvalidPlanInput um erro voltado para o usuário
• SPARK-52312 Ignorar V2WriteCommand ao armazenar dataframe em cache
• SPARK-52487 Adicionar tempo de envio e duração do estágio aos detalhes da página StagePage
• SPARK-52433 Unificar a coerção de cadeia de caracteres em createDataFrame
• SPARK-52427 Normalizar a lista de expressões agregadas coberta por um Projeto
• SPARK-51745 Aplicar a máquina de estado para RocksDBStateStore
• SPARK-52447 Transferir a normalização GetViewColumnByNameAndOrdinal para SessionCatalogSuite
• SPARK-52397 ExecutePlan Idempotent: segundo ExecutePlan com o mesmo operationId e recolocações de plano
• SPARK-52355 Inferir o tipo de objeto VariantVal como VariantType ao criar um DataFrame
• SPARK-52425 Refatorar ExtractValue para reutilização na implementação de passagem única
• SPARK-52249 Habilitar divisão por zero para truediv numérico com ANSI habilitado
• SPARK-52228 Integrar o microbenchmark de interação de estado ao Quicksilver (TCP)
• SPARK-48356 Aprimorar a inferência de esquema de coluna da instrução FOR
• SPARK-48353 Melhorias no tratamento de exceções
• SPARK-52060 Fazer nó OneRowRelationExec
• SPARK-52391 Refatorar as funções TransformWithStateExec/vars na classe base para Scala e Python
• SPARK-52218 Tornar as funções atuais de data e hora avaliáveis novamente
• SPARK-52350 Corrigir link para o guia de programação do SS na versão 4.0
• SPARK-52385 Remover TempResolvedColumns do nome InheritAnalysisRules
• SPARK-52392 Nova funcionalidade do Analisador de passagem única
• SPARK-52243 Adicionar suporte NERF para erros de "InvalidPlanInput" relacionados a esquemas
• SPARK-52338 Herdar ordenação padrão do esquema para o modo de exibição
• SPARK-52307 Suporte ao Iterador Arrow Escalar em UDF
• SPARK-52300 Fazer com que a resolução UDTVF do SQL use configurações consistentes com a resolução de exibição
• SPARK-52219 Suporte à ordenação no nível do esquema para tabelas
• SPARK-52272 V2SessionCatalog não altera esquema no Catálogo do Hive
• SPARK-51890 Adicionar options parâmetro ao Modo de Exibição de Plano Lógico
• SPARK-51936 ReplaceTableAsSelect deve substituir a nova tabela em vez de acrescentar
• SPARK-51302 O Spark Connect dá suporte a JDBC, deve usar a API DataFrameReader
• SPARK-50137 Evitar fallback para maneiras incompatíveis do Hive na criação da tabela falha
• SPARK-52184 Encapsular erros de sintaxe JDBC de mecanismos externos com uma exceção unificada
• SPARK-47618 Utilizar o Magic Committer para todos os buckets S3 por padrão
• SPARK-52305 Refinar a docstring para isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
• SPARK-52174 Habilitar spark.checkpoint.compress por padrão
• SPARK-52224 Introduzir o pyyaml como uma dependência para o cliente Python
• SPARK-52233 Corrigir o map_zip_with para tipos de pontos flutuantes
• SPARK-52036 Adicione a característica SQLConfHelper à v2. FileScan
• SPARK-52159 Remover condição excessivamente ampla para o dialeto MariaDB
• SPARK-50104 Adicionar suporte a SparkSession.executeCommand no Connect
• SPARK-52240 Uso de índice de linha corrigido ao explodir matrizes empacotadas no leitor vetorizado
• SPARK-52153 Corrigir from_json e to_json com variante
• SPARK-48618 Aprimorar o teste de inexistência para verificar nomes em 3 partes e 2 partes
• SPARK-52216 Tornar InvalidCommandInput um erro voltado para o usuário
• SPARK-52299 Substituir JsonNode.fields preterido
• SPARK-52287 Aprimore o SparkContext para não preencher a configuração o.a.s.internal.io.cloud.* se não existir
• SPARK-51430 Impedir que o agente de contexto do PySpark propague logs para stdout
• SPARK-52278 UDF de seta escalar dá suporte a argumentos nomeados
• SPARK-52026 Bloquear a API do Pandas no Spark no modo ANSI por padrão
• SPARK-52171 Implementação de junção do StateDataSource para o estado v3
• SPARK-52159 Tratar corretamente a verificação de existência de tabela para dialetos JDBC
• SPARK-52158 Adicionar objeto InvalidInputErrors para centralizar erros no SparkConnectPlanner
• SPARK-52195 Solucionar o problema de eliminação da coluna de estado inicial no Python TWS
• SPARK-52211 Remover sufixo $ do log de INFORMAÇÕES do SparkConnectServer
• SPARK-52239 Suporte para registrar uma UDF de seta
• SPARK-52215 Implementar UDF de seta escalar
• SPARK-52188 Correção para StateDataSource em que StreamExecution.RUN_ID_KEY não está definido
• SPARK-52189 Novos testes de arquivo dourado para NATURAL JOIN com GROUP BY, HAVINGORDER BY e LCAs
• SPARK-52079 Normalizar a ordem dos atributos em listas de projetos internas
• SPARK-52234 Corrigir erro na entrada não cadeia de caracteres para schema_of_csv/xml
• SPARK-52221 Refatorar SqlScriptingLocalVariableManager em um gerenciador de contexto mais genérico
• SPARK-52181 Aumentar o limite de tamanho de variante para 128MiB
• SPARK-52217 Ignorar a validação de referência externa em Filtrar no resolvedor de passagem única
• SPARK-51260 Mover V2ExpressionBuilder e PushableExpression para o módulo Catalyst
• SPARK-52156 Coloque CREATE TEMPORARY herdado TABLE ... Provedor USING sob o sinalizador
• SPARK-51012 Remover SparkStrategy do Connect Shims
• SPARK-52109 Adicionar a API listTableSummaries à API de Catálogo de Tabelas V2 da Fonte de Dados
• SPARK-50915 Adicionar getCondition e preterir getErrorClass em PySparkException
• SPARK-52022 Adicionar método de check-in padrão para SparkThrowable.getQueryContext
• SPARK-51147 Refatorar classes relacionadas ao streaming para um diretório de streaming dedicado
• SPARK-52120 Passar a sessão para ConnectHelper
• SPARK-52021 Padrões de operador e expressão separados
• SPARK-51722 Eliminar a origem "stop" de ParseException
• SPARK-52096 Reclassificar erro de asserção de deslocamento da fonte Kafka
• SPARK-51985 Remover Experimental do AccumulatorSource
• SPARK-51156 Suporte à autenticação de token estático no Spark Connect
• SPARK-52157 Use o nome calculado anteriormente para OuterReference no resolvedor de passagem única
• SPARK-52100 Habilitar a substituição do limite de nível de recursão na sintaxe
• SPARK-51605 Criar o diretório pai antes de tocar no logFile
• SPARK-52127 Otimize o protocolo de MapState KEYS/ VALUES /ITERATOR para transformWithState no PySpark
• SPARK-52040 ResolveLateralColumnAliasReference deve manter a ID do plano
• SPARK-51638 Correção da busca de blocos RDD armazenados em disco remoto por meio do serviço de embaralhamento externo
• SPARK-51983 Preparar o ambiente de teste para a API do Pandas no Spark com o modo ANSI habilitado
• SPARK-52087 Adicionar a cópia de tags e origens a AliasHelper.trimNonTopLevelAliases
• SPARK-51210 Adicionar --enable-native-access=ALL-UNNAMED às opções java para Java 24+
• SPARK-52052 Adicionar .broadcast no objeto complementar de SerializableConfiguration
• SPARK-51823 Adicionar configuração para não persistir o repositório de estado em executores
• SPARK-51291 Reclassificar erros de validação gerados do carregamento do repositório de estado
• SPARK-52006 Excluir o acumulador CollectMetricsExec da interface do usuário do Spark + logs de eventos + pulsações de métrica
• SPARK-52076 Fecha explicitamente ExecutePlanResponseReattachableIterator após o uso
• SPARK-51428 Atribuir Aliases para árvores de expressão agrupadas deterministicamente
• SPARK-52079 Normalizar a ordem dos atributos em listas de projetos internas
• SPARK-52033 Correção do bug Gerar nó em que a saída do nó filho pode ter várias cópias do mesmo atributo
• SPARK-51428 Atribuir Aliases para árvores de expressão agrupadas deterministicamente
• SPARK-52055 Suprime a exceção em ExecutePlanResponseReattachableIterator. del
• SPARK-51921 Usar tipo longo para duração de TTL em milissegundos em transformWithState
• SPARK-50763 Adicionar regra do Analisador para resolver funções de tabela SQL
• SPARK-51884 Adicionar atributos de escopo externo para SubqueryExpression
• SPARK-50762 Adicionar regra do Analisador para resolver UDFs escalares do SQL
• SPARK-51814 Usa list(self) em vez de StructType.fields para compatibilidade de versão antiga
• SPARK-51537 Construir o classloader específico da sessão com base no classloader de sessão padrão no executor
• SPARK-50777 Remover métodos redundantes no-op init/destroy das classes Filter
• SPARK-51691 SerializationDebugger deve engolir exceção ao tentar encontrar o motivo do problema de serialização
• SPARK-51386 Atribuir nome a condições de erro _LEGACY_ERROR_TEMP_3300-3302
• SPARK-50734 Adicionar API de catálogo para criar e registrar UDFs do SQL
• SPARK-51989 Adicionar subclasses de filtro ausentes a todas as listas na fonte de dados
• SPARK-52037 A ordem nas listas de projetos internos da LCA deve respeitar a ordem na lista de projetos original
• SPARK-52007 Identificadores de expressão não devem estar presentes em expressões de grupo ao usar conjuntos de agrupamento
• SPARK-51860 Desabilitar spark.connect.grpc.debug.enabled por padrão
• SPARK-47952 Suporte à recuperação do endereço e da porta GRPC reais do SparkConnectService de forma programática durante a execução no Yarn
• SPARK-50906 Adicionar uma verificação de nulidade para checar se as entradas de to_avro estão alinhadas com o esquema
• Spark-50581 corrige o suporte para UDAF em Dataset.observe()
• SPARK-49946 Exigir uma classe de erro no SparkOutOfMemoryError
• SPARK-49748 Adicionar getCondition e preterir getErrorClass no SparkThrowable
• SPARK-51959 Fazer com que as funções não importem ParentDataFrame
• SPARK-51964 Resolver corretamente os atributos de saída oculta em ORDER BY e HAVING sobre uma agregação no analisador de passagem única
• SPARK-49942 Renomear errorClass como condição em classifyException()
• SPARK-51963 Simplificar IndexToString.transform
• SPARK-51946 Falha impulsiva ao criar tabela de fonte de dados incompatível com o Hive com o nome de partição 'col'
• SPARK-51553 Modificar EXTRACT para dar suporte ao tipo de dados TIME
• SPARK-51891 Otimize o protocolo de ListState GET / PUT / APPENDLIST para uso com transformWithState no PySpark
• SPARK-51931 Adicionar maxBytesPerOutputBatch para limitar o número de bytes do lote de saída do Arrow
• SPARK-51441 Adicionar APIs DSv2 para restrições
• SPARK-51814 Use RecordBatch.schema.names em vez de column_names para compatibilidade com o pyarrow antigo
• SPARK-51913 JDBCTableCatalog#loadTable não deve gerar nenhum erro de tabela corretamente
• SPARK-51840 Restaurar colunas de partição em HiveExternalCatalog#alterTable
• SPARK-51414 Adicionar a função make_time()
• SPARK-49700 Interface Scala unificada para o Connect e o Classic
• SPARK-51914 Adicionar com.mysql.cj a spark.sql.hive.metastore.sharedPrefixes
• SPARK-51827 Suporte para o Spark Connect no transformWithState do PySpark
• SPARK-51901 Não permitir funções de gerador em conjuntos de agrupamento
• SPARK-51423 Adicionar a função current_time() para o tipo de dados TIME
• SPARK-51680 Definir o tipo lógico para TIME no gravador parquet
• SPARK-51889 Corrigir um bug para MapState clear() no Python TWS
• SPARK-51869 Criar classificação para erros de usuário em UDFs para Scala TransformWithState
• SPARK-51878 Melhorar o fillDefaultValue executando a expressão padrão avaliada.
• SPARK-51757 Correção do deslocamento da função LEAD/LAG quando excede o tamanho do grupo de janelas
• SPARK-51805 Obter função com argumento inadequado deve gerar uma exceção adequada em vez de uma interna
• SPARK-51900 Gerar corretamente incompatibilidade de tipo de dados no Analisador de passagem única
• SPARK-51421 Obter segundos de tipos de dados TIME
• SPARK-51661 Descoberta de partições dos valores da coluna TIME
• SPARK-51687 Filtros de pushdown com valores TIME para Parquet
• SPARK-51419 Obter horas de tipos de dados TIME
• SPARK-51881 Tornar opções Avro comparáveis
• SPARK-51861 Remover informações duplicadas/desnecessárias do Plano de Detalhes do InMemoryRelation
• SPARK-51814 Introduzir uma nova transformação de APIWithState no PySpark
• SPARK-51779 Usar famílias de colunas virtuais para junções fluxo a fluxo
• SPARK-51649 Gravações/leituras dinâmicas de partições TIME
• SPARK-51634 Suporte a TIME em vetores de coluna off-heap
• SPARK-51877 Adicionar funções 'chr', 'random' e 'uuid'
• SPARK-51610 Suporte aos tipos de dados TIME na fonte de dados parquet
• SPARK-51420 Obter minutos dos tipos de dados TIME
• SPARK-51822 Lançando erro classificado quando funções não permitidas são chamadas durante StatefulProcessor.init()
• SPARK-51868 Mover a validação de coerção de tipos para um objeto separado
• SPARK-49747 Migrar arquivos do módulo connect para registro estruturado

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira as atualizações de manutenção do Azure Databricks Runtime 17.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.2 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-03-20.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)