Databricks Runtime 6.1 (EoS)

O Databricks lançou essa versão em outubro de 2019.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 6.1, da plataforma do Apache Spark.

Novos recursos

Melhoramentos do Delta Lake

APIs do Python para tabelas do Delta (Visualização Pública)

Agora é possível excluir e fazer upsert de dados em tabelas Delta, limpar tabelas e obter o histórico de tabelas usando as APIs do Python.

Para obter detalhes, consulte o que é o Delta Lake no Azure Databricks?.

DFP (Remoção Dinâmica de Arquivo) habilitada por padrão

A DFP usa metadados de tabela Delta (por exemplo, estatísticas de coluna mín/máx em um arquivo) melhora significativamente o desempenho de muitas consultas ignorando arquivos com valores de coluna fora do intervalo. Ao contrário da DPP (Remoção de Partição Dinâmica), o DFP também funciona em colunas não particionadas. A DFP pode ser benéfico para cargas de trabalho que se integram em chaves não particionadas.

Configurar clusters com sua própria imagem de contêiner usando os Serviços de Contêiner do Databricks

Os Serviços de Contêiner do Databricks permitem configurar um cluster com sua própria imagem de contêiner. É possível pré-empacotar ambientes complexos em um contêiner, publicá-lo em um registro de contêiner popular, como ACR, ECR ou Docker Hub e, em seguida, fazer com que o Databricks efetue pull da imagem para compilar um cluster. Alguns exemplos de caso de uso incluem:

• Personalização da biblioteca – Você tem controle total sobre as bibliotecas do sistema que deseja instalar
• Ambiente de contêiner de ouro – Sua imagem do Docker é um ambiente bloqueado que nunca mudará
• Integração de CI/CD do Docker – Você pode integrar o Azure Databricks aos seus pipelines de CI/CD do Docker

Há muitos outros casos de uso, da especificação da configuração à instalação de pacotes de machine learning.

Para obter detalhes, confira Personalizar contêineres com o Serviço de Contêiner do Databricks.

Segredos referenciados por propriedades de configuração do Spark e variáveis de ambiente (versão prévia pública)

A partir da atualização de manutenção de 7 de novembro do Databricks Runtime 6.1, a capacidade de referenciar um segredo em uma propriedade de configuração do Spark ou variável de ambiente está em Visualização Pública. Para obter detalhes, confira Usar um segredo em uma propriedade de configuração ou variável de ambiente do Spark.

As métricas do Ganglia agora estão disponíveis em clusters com as ACLs de tabela e passagem de credenciais

Anteriormente, não havia suporte para métricas do Ganglia em clusters com controle de acesso de tabela ou passagem de credencial habilitada. Agora eles estão disponíveis.

Aprimoramentos

• Atualização do netty-all de 4.1.17.Final para 4.1.39.Final
• Conector Snowflake atualizado da versão 2.4.10 para 2.5.3

Passagem de credenciais

• As credenciais do Microsoft Entra ID agora são propagadas em notebooks executados usando dbutils.notebook.run().
• Todas as classes do Pyspark do ML agora têm suporte.
• A interface do usuário do Ganglia já está disponível.

Para detalhes, consulte Acessar o Azure Data Lake Storage usando a passagem de credencial do Microsoft Entra ID (herdada).

Apache Spark

Databricks Runtime 6.1 inclui o Apache Spark 2.4.4. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 6.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-28782][SQL] Suporte ao gerador em expressões de agregação
• [SPARK-19147][CORE] Tratar normalmente o erro na tarefa depois que o executor é interrompido
• [SPARK-26003][SQL] Melhorar o desempenho de SQLAppStatusListener.aggregateMetrics
• [SPARK-29101][SQL] Correção da API de contagem para o arquivo csv quando o modo DROPMALFORMED está selecionado
• [SPARK-29042][CORE] O RDD baseado em amostragem com entrada não ordenada deve ser INDETERMINADO
• [SPARK-29124][CORE] Usar o MurmurHash3 bytesHash(dados, semente) em vez de bytesHash(dados)
• [SPARK-26713][CORE] Interromper threads de E/S de pipe no PipedRDD quando a tarefa for concluída
• [SPARK-29046][SQL] Corrigir NPE em SQLConf.get quando o SparkContext ativo está parando
• [SPARK-28483] Correção do travamento da tarefa do modo de barreira em barrier() quando a tarefa é encerrada
• [SPARK-29087][CORE][STREAMING] Usar DelegatingServletContextHandler para evitar CCE
• [SPARK-27122][CORE] As classes Jetty não devem ser retornadas por meio de getters em org.apache.spark.ui.WebUI
• [SPARK-11150][SQL] Remoção Dinâmica de Partição
• [SPARK-27592][SQL] Definir a tabela de fonte de dados em bucket SerDe corretamente
• [SPARK-23519][SQL] A exibição Criar deve funcionar da consulta com colunas de saída duplicadas
• [SPARK-29011][BUILD] Atualizar netty-all de 4.1.17-Final para 4.1.39-Final
• [SPARK-28912] Corrigido MatchError em getCheckpointFiles()
• [SPARK-26046][SS] Adicionar StreamingQueryManager.listListeners()
• [SPARK-3137][CORE] Substitua o bloqueio global TorrentBroadcas por KeyLock de granulação fina (6.x)
• [SPARK-28709][DSTREAMS] Corrigir vazamento de StreamingContext por streaming
• [SPARK-22955][DSTREAMS] - desligamento normal não deve levar à geração de trabalho...
• [SPARK-28730][SPARK-28495] Introduzir política de atribuição de armazenamento ANSI para inserção de tabela
• [SPARK-27992][SPARK-28881][PYTHON] Permitir que o Python participe com o thread de conexão para propagar erros
• [SPARK-28025][SS] Correção ArquivosContextBasedCheckpointFileManager vazando de arquivos crc
• [SPARK-28699][CORE] Corrige um caso fora do padrão ao anular o estágio indeterminado
• [SPARK-28780][ML] preterido LinearSVCModel.setWeightCol
• [SPARK-28844][SQL] Correção de erro de digitação no SQLConf FILE_COMRESSION_FACTOR
• [SPARK-26895][CORE] prepareSubmitEnvironment deve ser chamado dentro de doAs para usuários proxy

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_232
• Scala: 2.11.12
• Python: 3.7.3
• R: R versão 3.6.1 (05/07/2019)
• Delta Lake: 0.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)