Novembro de 2023

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em novembro de 2023.

Mosaic AI Vetor Search é uma pré-visualização pública

30 de novembro de 2023

Mosaic AI Vetor Search é um mecanismo de pesquisa de semelhança sem servidor que permite armazenar uma representação vetorial de seus dados, incluindo metadados, em um índice vetorial. Como parte dessa funcionalidade, você pode criar índices de pesquisa vetorial de atualização automática a partir de dados no Unity Catalog e consultá-los com uma API simples para retornar os vetores mais semelhantes como parte de seus fluxos de trabalho RAG. Consulte Mosaic AI Vetor Search.

As listas de controles de acesso não podem mais ser desabilitadas

29 de novembro de 2023

As seguintes configurações estão habilitadas em todos os espaços de trabalho do plano Premium e não podem mais ser desabilitadas na página de configurações de administração do espaço de trabalho ou na API do Conf do espaço de trabalho:

• Controle de acesso ao espaço de trabalho: permite que os usuários configurem permissões para objetos do espaço de trabalho.
• Controle de acesso a clusters, pools, trabalhos: permite que os usuários configurem permissões para clusters, pools e trabalhos.
• Controle de visibilidade de cluster: impede que os clusters fiquem visíveis para usuários que não têm permissões neles.
• Controle de visibilidade de trabalhos: impede que os trabalhos fiquem visíveis para usuários que não têm permissões sobre eles.
• Configuração de controle de visibilidade do espaço de trabalho: impede que blocos de anotações e pastas fiquem visíveis para usuários que não têm permissões neles.

As configurações de controle de acesso estão habilitadas em novos espaços de trabalho por padrão desde março de 2018 e as configurações de controle de visibilidade estão habilitadas por padrão desde dezembro de 2020.

Para obter mais informações, consulte Listas de controle de acesso.

Novos comportamentos e ações no Catalog Explorer para volumes

22 de novembro de 2023

Agora podes criar um novo volume no schema de destino, caso nenhum exista, na interface do utilizador Carregar para volume. Consulte Carregar arquivos para um volume do Catálogo Unity.

Ações como Excluir arquivo e Baixar arquivo foram adicionadas ao Catalog Explorer para arquivos em volumes.

Databricks Runtime 14.2 é GA

22 de novembro de 2023

O Databricks Runtime 14.2 e o Databricks Runtime 14.2 ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 14.2 (EoS) e Databricks Runtime 14.2 para Machine Learning (EoS).

Databricks SQL Connector para Python versão 3.0.0

17 de novembro de 2023

Agora você pode executar pip install databricks-sql-connector==3.0.0o .

Esta versão:

• Remove o suporte para Python 3.7
• Adiciona suporte para consultas SQL parametrizadas nativas. Requer Databricks Runtime 14.2 e versões superiores. Para obter mais informações, consulte Usando parâmetros nativos no repositório GitHub databricks-sql-python.
• Inclui nosso dialeto SQLAlchemy completamente reescrito:
  • Adiciona suporte para SQLAlchemy >= 2.0 e descarta o suporte para SQLAlchemy 1.x
  • Cobertura completa de testes de ponta a ponta de todas as funcionalidades suportadas
  • Notas de utilização detalhadas disponíveis aqui
  • Adiciona suporte para:
    • Novos tipos: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
    • Numeric escala de tipo e precisão, como Numeric(10,2)
    • Leitura e escrita PrimaryKeyConstraint e ForeignKeyConstraint
    • Leitura e escrita de teclas compostas
    • Ler e escrever a partir de pontos de vista
    • Gravação Identity em tabelas (incremento automático de chaves primárias)
    • LIMIT e OFFSET para paginação dos resultados
    • Armazenamento em cache de chamadas de metadados
• Habilita o Cloud Fetch por padrão. Para desativar, defina use_cloud_fetch=False ao construir databricks.sql.client.
• Adicionar testes de integração para consultas de ingestão de volumes do Catálogo Unity do Azure Databricks
• Tentativas:
  • Adicionar _retry_max_redirects configuração
  • Defina _enable_v3_retries=True e avise se usuários o substituírem.
• Segurança: Bumps versão mínima pyarrow para 14.0.1 (CVE-2023-47248)

Bibliotecas de arquivos do espaço de trabalho suportadas em clusters sem isolamento compartilhados

15 de novembro de 2023

Agora você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho para calcular configuradas com o modo de acesso compartilhado sem isolamento no Databricks Runtime 14.1 e superior.

Desaprovação de bibliotecas de espaço de trabalho

15 de novembro de 2023

As bibliotecas de espaço de trabalho foram preteridas e a criação de novas bibliotecas de espaço de trabalho foi desativada. As bibliotecas de espaços de trabalho existentes continuam a funcionar. Observe que o armazenamento de bibliotecas como arquivos de espaço de trabalho é distinto das bibliotecas de espaço de trabalho e ainda é totalmente suportado. Você pode instalar bibliotecas armazenadas como arquivos de espaço de trabalho diretamente para tarefas de computação ou trabalho. Consulte Instalar bibliotecas.

O suporte para tipos de VM de computação confidencial do Azure agora é GA

15 de novembro de 2023

O suporte do Azure Databricks para tipos de VM de computação confidencial do Azure agora está disponível ao público em geral. A computação confidencial do Azure ajuda a proteger os dados em uso, impedindo que o provedor de nuvem tenha acesso a dados confidenciais. Consulte VMs de computação confidenciais do Azure.

Pesquisar listagens do Databricks Marketplace usando a pesquisa global do espaço de trabalho

13 de novembro de 2023

Agora você pode encontrar conjuntos de dados, modelos de IA e Aceleradores de Solução Databricks no Databricks Marketplace usando a barra de pesquisa global na interface do usuário do espaço de trabalho do Azure Databricks. Consulte O que é o Databricks Marketplace? e Pesquisar os objetos do espaço de trabalho.

Consumir produtos de dados no Databricks Marketplace usando plataformas externas

10 de novembro de 2023

Os consumidores sem um espaço de trabalho do Azure Databricks com o Catálogo Unity ativado agora podem aceder a produtos de dados no Databricks Marketplace. Você pode usar conectores de compartilhamento aberto do Delta Sharing para acessar dados do Marketplace usando várias plataformas comuns, incluindo espaços de trabalho Microsoft Power BI, Microsoft Excel, pandas, Apache Spark e Databricks de catálogo não Unity. Apenas conjuntos de dados tabulares estão disponíveis em plataformas externas (não notebooks ou modelos Databricks, por exemplo). Consulte Acessar produtos de dados no Databricks Marketplace usando plataformas externas.

Suporte para armazéns SQL sem servidor adicionado para várias regiões do Azure

9 de novembro de 2023

As seguintes regiões do Azure agora oferecem suporte a armazéns SQL sem servidor:

• Brasil Sul (brasilsul)
• Índia Central (centralíndia)
• Leste do Japão (japaneast)
• Norte-Central dos EUA (northcentralus)
• Sul do Reino Unido (uksouth)

Consulte Regiões do Azure Databricks e Habilitar armazéns SQL sem servidor.

Ativação automática do Unity Catalog para novos espaços de trabalho

9 de novembro de 2023

O Databricks começou a habilitar o Unity Catalog automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores de conta configurarem o Unity Catalog depois que um espaço de trabalho é criado. A implantação prosseguirá gradualmente em todas as contas. Veja Ativação automática do Unity Catalog.

Databricks Runtime 14.2 (beta)

8 de novembro de 2023

O Databricks Runtime 14.2 e o Databricks Runtime 14.2 ML já estão disponíveis como versões beta.

Consulte Databricks Runtime 14.2 (EoS) e Databricks Runtime 14.2 para Machine Learning (EoS).

O Databricks Marketplace inclui os Aceleradores de Solução Databricks

7 de novembro de 2023

O Databricks Marketplace agora oferece acesso aos Databricks Solution Accelerators, guias criados especificamente para fornecer notebooks totalmente funcionais, orientação sobre práticas recomendadas e dados de exemplo para que se comece rapidamente com muitos casos de uso populares no Azure Databricks. Consulte Obter acesso aos Databricks Solution Accelerators.

Lakehouse Federation adiciona suporte para o Google BigQuery

3 de novembro de 2023

Agora você pode configurar a Lakehouse Federation para executar consultas federadas com o BigQuery tipo de conector. O novo conector BigQuery é suportado em armazéns SQL Pro e Serverless e no Databricks Runtime 13.3 LTS e superior. Consulte Executar consultas federadas no Google BigQuery.