Databricks Runtime 7.4 (EoS)

O Databricks lançou esta versão em novembro de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.4, da Apache Spark 3.0.

Novos recursos

Nesta seção:

• Recursos e aprimoramentos do Delta Lake
• O Carregador Automático agora dá suporte à configuração de recursos de notificação de arquivo aos administradores
• O novo USAGE privilégio dá aos administradores maior controle sobre privilégios de acesso a dados
• O FUSE do DBFS agora está habilitado para clusters habilitados para passagem

Recursos e melhorias do Delta Lake

Esta versão fornece os seguintes recursos e aprimoramentos do Delta Lake:

• A nova API permite que o Delta Lake verifique se os dados adicionados a uma tabela atendem às restrições
• A nova API permite reverter uma tabela Delta para uma versão mais antiga da tabela
• A nova versão inicial permite retornar apenas as alterações mais recentes em uma fonte de fluxo do Delta Lake
• Estabilidade aprimorada do OPTIMIZE

A nova API permite que o Delta Lake verifique se os dados adicionados a uma tabela atendem às restrições

O Delta Lake agora dá suporte a restrições CHECK. Quando fornecido, o Delta Lake verifica automaticamente se os dados adicionados a uma tabela atendem à expressão especificada. Para adicionar as restrições CHECK, use o comando ALTER TABLE ADD CONSTRAINTS. Para obter detalhes, confira Restrições no Azure Databricks.

A nova API permite reverter uma tabela Delta para uma versão mais antiga da tabela

Agora você pode reverter suas tabelas Delta para versões mais antigas usando o comando RESTORE:

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala (linguagem de programação)

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE cria uma nova confirmação que reverte de todas as alterações feitas na tabela desde a versão que você deseja restaurar. Todos os dados e metadados existentes são restaurados, o que inclui o esquema, as restrições, as IDs de transação de fluxo, os metadados COPY INTO e a versão do protocolo de tabela. Para obter detalhes, confira Restaurar uma tabela Delta.

A nova versão inicial permite retornar apenas as alterações mais recentes em uma fonte de fluxo do Delta Lake

Para retornar apenas as alterações mais recentes, especifique startingVersion como latest. Para obter detalhes, confira Especificar a posição inicial.

Estabilidade aprimorada do OPTIMIZE

OPTIMIZE (sem nenhum predicado de partição) pode ser dimensionada para executar em tabelas com dezenas de milhões de arquivos pequenos. Anteriormente, o driver do Apache Spark podia ficar sem memória e OPTIMIZE não seria concluído. OPTIMIZE agora lida com tabelas muito grandes com dezenas de milhões de arquivos.

O Carregador Automático agora dá suporte à configuração de recursos de notificação de arquivo aos administradores

Uma nova API Scala permite que os administradores configurarem recursos de notificação de arquivo para o Carregador Automático. Os engenheiros de dados agora podem operar seus fluxos do Carregador Automático com menos permissões delegando a configuração inicial do recurso aos administradores. Consulte Configurar ou gerenciar manualmente os recursos de notificação de arquivo.

O novo USAGE privilégio dá aos administradores maior controle sobre privilégios de acesso a dados

Para executar uma ação em um objeto USAGE em um banco de dados, agora você deve receber o privilégio nesse banco de dados, além dos privilégios necessários para executar a ação. O privilégio USAGE é concedido para um banco de dados ou um catálogo. Com a introdução do privilégio USAGE, um proprietário de tabela não pode mais decidir compartilhá-lo com outro usuário, pois ele também deve ter o privilégio USAGE no banco de dados que contém a tabela.

Em espaços de trabalho que têm o controle de acesso de tabela habilitado, o grupo users tem automaticamente o privilégio USAGE para a raiz CATALOG.

Para obter detalhes, consulte USAGE privilégio.

O FUSE do DBFS agora está habilitado para clusters habilitados para passagem

Agora você pode ler e gravar no DBFS usando a montagem FUSE em /dbfs/ quando estiver usando um cluster de Alta Simultaneidade habilitado para passagem de credencial. Há suporte para montagens regulares. Não há suporte para montagens que exigem credenciais de passagem.

Aprimoramentos

O SQL Spark dá suporte a IFF e CHARINDEX como sinônimos para IF ePOSITION

No Databricks Runtime IF() é um sinônimo de CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

O Databricks Runtime agora dá suporte a IFF() como sinônimo de IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX é um nome alternativo para a função POSITION. CHARINDEX localiza a posição da primeira ocorrência de uma cadeia de caracteres dentro de outra cadeia de caracteres com um índice inicial opcional.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Várias saídas por célula habilitadas para notebooks Python por padrão

O Databricks Runtime 7.1 introduziu suporte para várias saídas por célula em notebooks Python (e células %python em notebooks não Python), mas era necessário habilitar o recurso para seu notebook. Esse recurso é habilitado por padrão no Databricks Runtime 7.4. Confira Exibir várias saídas por célula.

Aprimoramentos de preenchimento automático para notebooks Python

O preenchimento automático para Python mostra informações de tipo adicionais geradas por meio da análise estática do código usando a biblioteca Jedi. Você pode pressionar a tecla Tab para ver uma lista de opções.

Melhoria dos vetores display do ML Spark na versão prévia do Spark DataFrame

O formato display agora mostra rótulos para o tipo de vetor (esparso ou denso), comprimento, índices (para vetores esparsos) e valores.

Outras correções

• Corrigido um problema de selagem com collections.namedtuple em notebooks.
• Corrigido um problema de selagem com métodos e classes definidas interativamente.
• Corrigido um bug que causava falha nas chamadas para mlflow.start_run() na passagem ou clusters habilitados para controle de acesso à tabela.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • jedi atualizado de 0.14.1 para 0.17.2.
  • koalas atualizado de 1.2.0 para 1.3.0.
  • parso atualizado de 0.5.2 para 0.7.0.
• Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Apache Spark

O Databricks Runtime 7.4 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.3 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-33170] [SQL] Adicionar a configuração do SQL para controlar o comportamento de falha rápida no FileFormatWriter
• [SPARK-33136] [SQL] Correção do parâmetro trocado por engano em V2WriteCommand.outputResolved
• [SPARK-33134] [SQL] Retornar resultados parciais somente para objetos JSON raiz
• [SPARK-33038] [SQL] Combinar o plano inicial e atual do AQE...
• [SPARK-33118] [SQL] CREATE TEMPORARY TABLE falha com a localização
• [SPARK-33101] [ML] Fazer com que o formato LibSVM propague a configuração do Hadoop de opções de DS para o sistema de arquivos HDFS subjacente
• [SPARK-33035] [SQL] Atualiza as entradas obsoletas do mapeamento de atributo em QueryPlan#transformUpWithNewOutput
• [SPARK-33091] [SQL] Evite usar o mapa em vez de foreach para evitar o possível efeito colateral em chamadores de OrcUtils.readCatalystSchema
• [SPARK-33073] [PYTHON] Melhorar o tratamento de erros no Pandas para falhas de conversão de Seta
• [SPARK-33043] [ML] Manipular spark.driver.maxResultSize=0 na computação heurística do RowMatrix
• [SPARK-29358] [SQL] Fazer com que o unionByName preencha opcionalmente colunas ausentes com nulos
• [SPARK-32996] [WEB-UI] Manipular ExecutorMetrics vazio em ExecutorMetricsJsonSerializer
• [SPARK-32585][SQL] Suporta enumeração do scala em ScalaReflection
• [SPARK-33019] [CORE] Usar spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 por padrão
• [SPARK-33018] [SQL] Corrigir o problema de estatísticas de estimativa se o filho tiver 0 bytes
• [SPARK-32901] [CORE] Não alocar memória durante o vazamento de UnsafeExternalSorter
• [SPARK-33015] [SQL] Usar millisToDays() na regra ComputeCurrentTime
• [SPARK-33015] [SQL] Computar a data atual apenas uma vez
• [SPARK-32999][SQL] Usa Utils.getSimpleName para evitar que ocorra nome de classe malformado no TreeNode
• [SPARK-32659] [SQL] Matriz de Transmissão em vez de Definir em InSubqueryExec
• [SPARK-32718][SQL] Remover palavras-chave desnecessárias nas unidades de intervalo
• [SPARK-32886] [WEBUI] corrigir link 'indefinido' na visualização da linha do tempo de eventos
• [SPARK-32898] [CORE] Corrigir executorRunTime errado quando a tarefa foi morta antes do início real
• [SPARK-32635] [SQL] Adicionar um novo caso de teste no módulo do catalyst
• [SPARK-32930] [CORE] Substituir métodos isFile/isDirectory preteridos
• [SPARK-32906] [SQL] Os nomes de campo struct não devem mudar depois de normalizar floats
• [SPARK-24994] [SQL] Adicionar otimizador UnwrapCastInBinaryComparison para simplificar o literal integral
• [SPARK-32635][SQL] Corrigir a propagação dobrável
• [SPARK-32738] [CORE] Deve reduzir o número de threads ativos se ocorrer um erro fatal em Inbox.process
• [SPARK-32900] [CORE] Permitir que UnsafeExternalSorter despeje quando houver nulos
• [SPARK-32897] [PYTHON] Não mostre um aviso de desaprovação em SparkSession.builder.getOrCreate
• [SPARK-32715] [CORE] Correção do vazamento de memória durante falha ao armazenar partes da transmissão
• [SPARK-32715] [CORE] Correção do vazamento de memória durante falha ao armazenar partes da transmissão
• [SPARK-32872] [CORE] Impedir que BytesToBytesMap MAX_CAPACITY exceda o limite de crescimento
• [SPARK-32876] [SQL] Alterar as versões de fallback padrão para 3.0.1 e 2.4.7 em HiveExternalCatalogVersionsSuite
• [SPARK-32840] [SQL] O valor de intervalo inválido pode estar simplesmente colado à unidade
• [SPARK-32819] [SQL] O parâmetro ignoreNullability deve ser eficaz recursivamente
• [SPARK-32832] [SS] Usar CaseInsensitiveMap para opções do DataStreamReader/Gravador
• [SPARK-32794] [SS] Correção de erro de caso de canto raro no mecanismo de microlotes com algumas consultas com estado + sem lotes de dados + fontes V1
• [SPARK-32813] [SQL] Obter a configuração padrão do leitor vetorizado ParquetSource se nenhuma SparkSession estiver ativa
• [SPARK-32823] [interface do usuário da WEB] Corrigir o relatório de recursos da interface do usuário mestre
• [SPARK-32824] [CORE] Melhorar a mensagem de erro quando o usuário esquecer o valor .amount em uma configuração de recurso
• [SPARK-32614] [SQL] Não aplique o processamento de comentários se 'comment' não for definido para CSV
• [SPARK-32638] [SQL] Corrige referências ao adicionar aliases em WidenSetOperationTypes
• [SPARK-32810] [SQL] Fontes de dados CSV/JSON devem evitar caminhos de glob ao inferir esquema
• [SPARK-32815] [ML] Correção do erro de carregamento da fonte de dados LibSVM em caminhos de arquivo com metacaracteres glob
• [SPARK-32753] [SQL] Copiar somente marcas para o nó sem marcas
• [SPARK-32785] [SQL] O intervalo com partes pendentes não deve resultar em nulo
• [SPARK-32764][SQL] -0,0 deve ser igual a 0,0
• [SPARK-32810] [SQL] Fontes de dados CSV/JSON devem evitar caminhos de glob ao inferir esquema
• [SPARK-32779] [SQL] Evite usar a API sincronizada de SessionCatalog no fluxo withClient, pois isso gera DeadLock
• [SPARK-32791] [SQL] A métrica de tabela não particionada não deve ter tempo de remoção de partição dinâmica
• [SPARK-32767] [SQL] A junção de bucket deverá funcionar se spark.sql.shuffle.partitions for maior que o número do bucket
• [SPARK-32788] [SQL] A verificação de tabela não particionada não deve ter filtro de partição
• [SPARK-32776] [SS] O limite no fluxo não deve ser otimizado pelo PropagateEmptyRelation
• [SPARK-32624] [SQL] Corrigir regressão em CodegenContext.addReferenceObj em tipos de Scala aninhados
• [SPARK-32659] [SQL] Melhorar o teste para remoção de DPP em tipo não atômico
• [SPARK-31511] [SQL] Tornar os iteradores BytesToBytesMap thread-safe
• [SPARK-32693] [SQL] Comparar dois dataframes com o mesmo esquema, exceto a propriedade que pode ser anulada
• [SPARK-28612] [SQL] Documento de método correto de DataFrameWriterV2.replace()

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 7.4.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R versão 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R são instaladas a partir do instantâneo do CRAN da Microsoft em XXXX-XX-XX.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)