O que vem aí?

Saiba mais sobre os recursos e as alterações comportamentais nas próximas versões do Azure Databricks.

URLs públicas para downloads de drivers ODBC serão desativadas

Numa próxima atualização, os URLs públicos para downloads automáticos de drivers ODBC do Apache Spark serão desativados. Após esta alteração, todos os downloads de drivers, incluindo processos automatizados, passarão a necessitar de autenticação. Isto irá quebrar processos automatizados que descarregam drivers ODBC do Apache Spark usando ligações públicas diretas sem autenticação.

Atualizações de navegação no Explorador de Catálogos

O Explorador de Catálogos receberá em breve melhorias na navegação para simplificar fluxos de trabalho e ajudá-lo a descobrir e gerir os ativos de dados de forma mais eficiente.

Navegação simplificada:

O separador duplicado Catálogos é removido para reduzir a redundância e focar numa única superfície de navegação de catálogo. DBFS e as ações de Enviar feedback movem-se para o ícone do menu para um layout mais limpo.

Nova secção de Sugestões:

Um novo separador de Sugestões na página de destino do Explorador de Catálogos destaca objetos frequentemente usados, exemplos de objetos para utilizadores iniciantes e favoritos dos utilizadores. Isto ajuda-o a reenvolver-se rapidamente com recursos importantes ou a descobrir pontos de partida úteis.

Pontos de entrada consolidados:

As capacidades relacionadas estão agrupadas em categorias mais claras para reduzir o ruído visual e melhorar a localização:

• Govern – Ponto de entrada para etiquetas governadas, administração de metastore e classificação de dados
• Conexão – Pontos de entrada para localizações externas, dados externos, credenciais e ligações
• Share – Pontos de entrada para Delta Sharing e Clean Rooms

Estes agrupamentos substituem as subguias dispersas e criam uma arquitetura de informação mais intuitiva e escalável.

Alterações aos tokens de destinatários do Delta Sharing abertos

O Delta Sharing, para destinatários abertos, irá transitar para um novo formato URL específico do destinatário, que será usado para se ligar ao servidor Delta Sharing. Esta alteração melhora a segurança da rede e as configurações dos firewalls, alinhando-se com as melhores práticas para partilhar endpoints.

Tokens de destinatários criados a partir de 9 de março de 2026:

A partir de 9 de março de 2026, os novos tokens abertos de destinatários irão utilizar um novo formato de URL específico para cada destinatário para melhorar a segurança e a filtragem de rede. Esta alteração aplica-se a fichas emitidas a partir dessa data; os tokens mais antigos podem continuar a usar o formato de URL mais antigo até expirarem. Consulte a nova política de tempo de validade do token na secção seguinte.

Para a Azure China, a transição será anunciada mais tarde.

No OIDC, os destinatários devem transitar para o novo formato URL até 9 de março de 2027. A partir de 9 de março de 2026, os fornecedores poderão visualizar o novo formato de URL para destinatários existentes na página de Partilha Delta para partilhar com os destinatários.

Os novos URLs estarão no seguinte formato:

https://2d4b0370-9d5c-4743-9297-72ba0f5caa8d.delta-sharing.westus.azuredatabricks.net

Nova política de tempo de validade do token:

A partir de 8 de dezembro de 2025, todos os novos tokens de partilha aberta do destinatário serão emitidos com uma expiração máxima de um ano a contar da data de criação. Tokens com validade maior ou ilimitada já não podem ser criados.

Para os tokens criados com o formato anterior do URL do destinatário entre 8 de dezembro de 2025 e 9 de março de 2026, cada token expira automaticamente um ano após a sua criação. Ao rodar as credenciais, os fornecedores podem configurar uma janela de indisponibilidade para permitir que os destinatários efetuem a migração. Durante esta janela, tanto os URLs antigos como os novos URLs de destinatário continuam a funcionar.

Se atualmente utiliza tokens destinatários com vidas longas ou ilimitadas, reveja as suas integrações e lembre-se de rodar os tokens anualmente conforme necessário, pois estes expirarão a 8 de dezembro de 2026.

Viagens no tempo e VACUUM modificações de comportamento para tabelas geridas pelo Unity Catalog

Em janeiro de 2026, a viagem no tempo e as VACUUM introduzidas no Databricks Runtime 18.0 irão estender-se à computação serverless, Databricks SQL e Databricks Runtime 12.2 e superiores para tabelas geridas pelo Unity Catalog.

Estas alterações incluem:

• As consultas de tempo de viagem são bloqueadas se excederem delta.deletedFileRetentionDuration.
• delta.logRetentionDuration deve ser maior ou igual a delta.deletedFileRetentionDuration.

Notificações por email para tokens pessoais de acesso a expirar

O Azure Databricks enviará em breve notificações por email aos utilizadores do espaço de trabalho aproximadamente sete dias antes de expirarem os seus tokens pessoais de acesso. As notificações são enviadas apenas aos utilizadores do espaço de trabalho (não aos principais de serviço) com nomes de utilizador baseados em email. Todos os tokens que expiram dentro do mesmo espaço de trabalho estão agrupados num único email.

Consulte Monitorizar e revogar tokens de acesso pessoal.

O modo agente do Genie Research poderá em breve usar modelos servidos através do Amazon Bedrock.

Em breve, o modo de agente Genie Research poderá usar modelos servidos por meio do Amazon Bedrock quando os recursos de IA alimentados por parceiros estiverem ativados.

Calendário atualizado do fim do suporte para painéis legados

• O suporte oficial para a versão legada dos painéis terminou em 7 de abril de 2025. Apenas os problemas críticos de segurança e as interrupções de serviço serão resolvidos.
• 3 de novembro de 2025: O Databricks passou a apresentar aos utilizadores uma caixa de diálogo de aviso que pode ser fechada ao aceder a qualquer painel legado. A caixa de diálogo lembra aos usuários que o acesso aos painéis herdados terminará em 12 de janeiro de 2026 e fornece uma opção de um clique para migrar para IA/BI.
• 12 de janeiro de 2026: Os painéis e APIs herdados não estarão mais diretamente acessíveis. No entanto, eles ainda fornecerão a capacidade de atualização no local para IA / BI. A página de migração estará disponível até 2 de março de 2026.

Para ajudar na transição para painéis de IA/BI, as ferramentas de atualização estão disponíveis na interface do usuário e na API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do utilizador, consulte Clonar um painel herdado para um painel de IA/BI. Para obter tutoriais sobre como criar e gerenciar painéis usando a API REST, consulte Usar APIs do Azure Databricks para gerenciar painéis.

Partilha da Lakehouse Federation e armazenamento predefinido

O Delta Sharing on Lakehouse Federation está em versão beta, permitindo que os provedores de dados Delta Sharing compartilhem catálogos e tabelas estrangeiros. Por padrão, os dados devem ser materializados temporariamente e armazenados no armazenamento padrão (Visualização privada). Atualmente, os usuários devem habilitar manualmente o recurso Delta Sharing for Default Storage – Expanded Access no console da conta para usar o compartilhamento Lakehouse Federation.

Depois que o Compartilhamento Delta para Armazenamento Padrão – o Acesso Expandido for habilitado por padrão para todos os usuários do Azure Databricks, o Compartilhamento Delta na Lakehouse Federation estará automaticamente disponível em regiões onde o armazenamento padrão é suportado.

Consulte Armazenamento padrão em Databricks e Adicionar esquemas ou tabelas externas a uma partilha.

Notificação de recarregamento em espaços de trabalho

Em uma versão futura, uma mensagem para recarregar a guia do espaço de trabalho será exibida se a guia do espaço de trabalho estiver aberta por muito tempo sem atualizar. Isso ajudará a garantir que você esteja sempre usando a versão mais recente do Databricks com os recursos e correções mais recentes.

O SAP Business Data Cloud (BDC) Connector for Azure Databricks estará disponível em breve para o público em geral

O SAP Business Data Cloud (BDC) Connector for Azure Databricks é um novo recurso que permite compartilhar dados do SAP BDC para o Azure Databricks e do Azure Databricks para o SAP BDC usando o Delta Sharing. Esta funcionalidade estará disponível no final de setembro.

O compartilhamento delta para tabelas no armazenamento padrão em breve será habilitado por padrão (Beta)

Esta atualização de armazenamento padrão para o Compartilhamento Delta expandiu os recursos de compartilhamento, permitindo que os provedores compartilhem tabelas apoiadas pelo armazenamento padrão para qualquer destinatário do Compartilhamento Delta (aberto ou Azure Databricks), incluindo destinatários que usam computação clássica. Esse recurso está atualmente em versão Beta e exige que os provedores habilitem manualmente o Compartilhamento Delta para Armazenamento Padrão – Acesso Expandido no console da conta. Em breve, isso será habilitado por padrão para todos os usuários.

Consulte Limitações.

Atualizações aos IPs públicos do plano de controlo de saída

O Azure Databricks está atualizando os IPs públicos do plano de controle de saída e as tags de serviço do Azure para melhorar a segurança e a disponibilidade da zona. Essas mudanças fazem parte de uma atualização do plano de controle que começou a ser lançada em 20 de maio de 2025.

Se sua organização usa firewalls de recursos para controlar o acesso de entrada:

• Se suas regras de firewall fizerem referência à marca de serviço do Azure Databricks, nenhuma ação será necessária.
• Se você permitir IPs públicos específicos do plano de controle, deverá adicionar todos os IPs do plano de controle de saída até 26 de setembro de 2025.

Os IPs do plano de controle de saída anteriores continuam a ser suportados.

Alteração de comportamento para a opção de listagem incremental de diretórios do Auto Loader

Em uma versão futura do Databricks Runtime, o valor preterido da opção cloudFiles.useIncrementalListing do Auto Loader será, por padrão, definido como false. Definir esse valor como false faz com que o Auto Loader execute uma listagem completa de diretórios cada vez que é executado. Atualmente, o valor padrão da opção cloudFiles.useIncrementalListing é auto, instruindo o Auto Loader a fazer uma tentativa de melhor esforço para detetar se uma listagem incremental pode ser usada com um diretório.

Para continuar usando o recurso de listagem incremental, defina a opção cloudFiles.useIncrementalListing como auto. Quando você define esse valor como auto, o Auto Loader faz uma tentativa de melhor esforço para fazer uma listagem completa uma vez a cada sete listagens incrementais, o que corresponde ao comportamento dessa opção antes dessa alteração.

Para saber mais sobre a listagem de diretórios do Auto Loader, consulte Auto Loader streams with directory listing mode.

Alteração de comportamento quando as definições de conjunto de dados são removidas dos pipelines declarativos do Lakeflow Spark

Uma próxima versão do Lakeflow Spark Declarative Pipelines mudará o comportamento quando uma exibição materializada ou tabela de streaming for removida de um pipeline. Com essa alteração, a exibição materializada removida ou a tabela de streaming não será excluída automaticamente quando a próxima atualização de pipeline for executada. Em vez disso, você poderá usar o comando DROP MATERIALIZED VIEW para excluir uma exibição materializada ou o comando DROP TABLE para excluir uma tabela de streaming. Depois de soltar um objeto, a execução de uma atualização de pipeline não recuperará o objeto automaticamente. Um novo objeto é criado se uma exibição materializada ou uma tabela de streaming com a mesma definição for adicionada novamente ao pipeline. No entanto, você pode recuperar um objeto usando o comando UNDROP.

O campo sourceIpAddress nos logs de auditoria não incluirá mais um número de porta

Devido a um bug, certos logs de auditoria de autorização e autenticação incluem um número de porta além do IP no sourceIPAddress campo (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante dos logs de auditoria do Databricks. Para melhorar a consistência dos logs de auditoria, o Databricks planeja alterar o formato do endereço IP para esses eventos de log de auditoria. Esta alteração será implementada gradualmente a partir do início de agosto de 2024.

Se o log de auditoria contiver um sourceIpAddress, o Databricks poderá parar de registrá-lo 0.0.0.0.