Databricks Runtime 7.5 (EoS)

O Databricks lançou esta versão em dezembro de 2020.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 7.5, da plataforma do Apache Spark 3.0.

Novos recursos

Recursos e melhorias do Delta Lake

Esta versão fornece os seguintes recursos e melhorias do Delta Lake:

• O ponto de verificação assíncrono elimina picos de duração do micros batch de streaming
• As informações mais recentes da tabela agora são propagadas para catálogos
• MERGE INTOA operação agora dá suporte à evolução de esquema de colunas aninhadas
• MERGE INTOA operação agora usa automaticamente gravações otimizadas
• MERGE INTO e UPDATE operações e agora resolvem colunas de struct aninhadas por nome
• CLONE é GA e agora você pode substituir as propriedades da tabela
• RESTORE é GA
• As implícitas do Scala simplificam as APIs de leitura e gravação do Spark
• Melhorar a taxa de transferência de streaming com a opção de fetchParallelismconector
• Acompanhar o progresso do fluxo com novas métricas do Carregador Automático

O ponto de verificação assíncrono elimina picos de duração do micros batch de streaming

O Delta Lake executa pontos de verificação a cada 10 confirmações por padrão. Em cargas de trabalho de streaming, o ponto de verificação pode causar pequenos picos na duração do micros batch a cada 10 confirmações. O ponto de verificação assíncrono elimina esses picos.

O ponto de verificação assíncrono é habilitado por padrão para todas as cargas de trabalho que não são gatilho após o streaming. Com o ponto de verificação assíncrono, os gravadores de streaming também gravam pontos de verificação aprimorados para que você não precise aceitar explicitamente pontos de verificação aprimorados.

Para desabilitar o ponto de verificação assíncrono, de definido o SQL configuração spark.databricks.delta.checkpoint.async.enabled false.

As cargas de trabalho em lote continuam a gravar pontos de verificação de forma síncrona e recomendamos não habilitar o ponto de verificação assíncrono para cargas de trabalho em lote.

As informações mais recentes da tabela agora são propagadas para catálogos

O Delta Lake agora propaga as informações mais recentes da tabela, como propriedades de esquema e tabela, para catálogos como o metastore do Hive, com o melhor esforço. Essas informações podem ajudá-lo a aproveitar as ferramentas de catalogação para entender o esquema das tabelas Delta.

O Delta Lake não depende internamente dessa informação, mas tenta mantê-la atualizada. Além disso, o Delta Lake armazena propriedades de tabela delta.lastUpdateVersion e delta.lastCommitTimestamp para indicar a versão e o carimbo de data/hora da confirmação que por último efetuou push em uma alteração para o metastore. O metastore é atualizado somente quando o esquema da tabela ou as propriedades na tabela não corresponderem. Portanto, as propriedades da tabela acima não refletem necessariamente a versão mais recente da tabela.

Se as informações da tabela e as informações de metastore estão fora de sincronia, você pode executar um comando como DESCRIBE <table> para atualizar o metastore.

MERGE INTOA operação agora dá suporte à evolução de esquema de colunas aninhadas

A evolução do esquema de colunas aninhadas agora tem a mesma semântica que a das colunas de nível superior. Por exemplo, novas colunas aninhadas podem ser adicionadas automaticamente a uma coluna StructType. Consulte Evolução do esquema automático no Mesclar para obter detalhes.

MERGE INTOA operação agora usa automaticamente gravações otimizadas

Gravações otimizadas podem fornecer um desempenho muito melhor para MERGE INTO uso imediato, especialmente para MERGE INTO em tabelas particionadas. Para desabilitar gravações otimizadas, de definido a configuração spark.databricks.delta.optimizeWrite.enabled como false do Spark.

MERGE INTO e UPDATE operações e agora resolvem colunas de struct aninhadas por nome

As operações UPDATE e comandos MERGE INTO de atualização agora resolvem colunas de struct aninhadas por nome. Ou seja, ao comparar ou atribuir colunas do tipo StructType, a ordem das colunas aninhadas não importa (exatamente da mesma maneira que a ordem das colunas de nível superior). Para reverter para a resolução por posição, de definir a configuração spark.databricks.delta.resolveMergeUpdateStructsByName.enabled como false do Spark.

CLONE é GA e agora você pode substituir as propriedades da tabela

O comando CLONE já está disponível ao público em geral. Consulte CREATE TABLE CLONE. Além disso, agora você pode especificar substituições de propriedade de tabela ao usar CLONE. Para ver exemplos, consulte Clonar uma tabela no Azure Databricks.

RESTORE é GA

O comando RESTORE já está disponível ao público em geral. Consulte RESTORE.

As implícitas do Scala simplificam as APIs de leitura e gravação do Spark

Você pode importar para io.delta.implicits._ usar o método delta com APIs de leitura e gravação do Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Melhorar a taxa de transferência de streaming com a opção de conector fetchParallelism

O conector do AQS agora dá suporte a uma nova opção fetchParallelism para especificar o paralelismo para buscar mensagens do serviço de fila.

Acompanhar o progresso do fluxo com novas métricas do Carregador Automático

O Carregador Automático agora relata quantos arquivos existem na pendência e o tamanho da pendência após cada lote. É possível usar essas métricas para acompanhar o progresso do fluxo. Para ver detalhes sobre como exibir as métricas, confira O que é o Carregador Automático?.

Aprimoramentos

Suporte mais amplo para bibliotecas no escopo do notebook usando comandos magic %pip e %conda

Agora você pode instalar bibliotecas no escopo do notebook usando comandos magic %pip e %conda em clusters de Alta simultaneidade com ACLs de tabela ou passagem de credencial habilitada.

Exibição precisa DECIMAL SQL do Spark

O tipo SQL DECIMAL dados do Spark agora é exibido em tabelas sem perda de precisão e escala.

Conector de armazenamento do ADLS Gen 2 baseado no Hadoop 3.3 para ABFS

Uma versão atualizada do conector de armazenamento do ADLS Gen 2 é baseada no Hadoop 3.3 para ABFS. O conector atualizado contém muitas melhorias de estabilidade (confira Estabilidade do Hadoop) e inclui suporte para autenticação de token SAS.

Outras correções

O conector do Databricks Kafka para Streaming do Spark foi removido. Use o conector do Apache Spark.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • koalas atualizado do 1.3.0 para o 1.4.0.
• Várias bibliotecas do R instaladas foram atualizadas. Confira Bibliotecas do R instaladas.
• Build do OpenJDK 8 atualizado para Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Apache Spark

O Databricks Runtime 7.5 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.4 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-33611] [UI] Evite codificação duas vezes no parâmetro de consulta da URL de proxy reescrito
• [SPARK-33587][CORE] Encerra o executor em erros fatais aninhados (7.x)
• [SPARK-33140] [SQL] Reverter código que não usa SparkSession passado para obter SQLConf.
• [SPARK-33472] [SQL] Ajustar a ordem de regra RemoveRedundantSorts
• [SPARK-33422] [DOC] Corrigir a exibição correta do item de menu à esquerda
• [SPARK-27421][SQL] Corrige o filtro da coluna int e classe de valor do java.lang.String ao remover a coluna de partição
• [SPARK-33483] [INFRA][testes] Corrigir padrões de exclusão de rato e adicionar uma LICENÇA
• [SPARK-33464] [INFRA] Adicionar/remover (não)necessário cache e reestruturação GitHub Actions yaml
• [SPARK-33407] [PYTHON][7.x] Simplifique a mensagem de exceção de UDFs do Python (desabilitado por padrão)
• [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE deve invalidar caches que fazem referência à tabela
• [SPARK-33358] [SQL] Código de retorno quando o processo de comando falhou
• [SPARK-33183] [DBCONNECT] Adicionar RemoveRedundantSorts.scala ao ALLOW_LIST.txt
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE deve invalidar o cache mesmo que a tabela em si não possa ser armazenada em cache
• [SPARK-33140] [SQL] Corrigir compilação delta
• [SPARK-33316] [SQL] Adicionar testes de unidade para from_avro e to_avro com o Registro de Esquema e o usuário forneceu um esquema Avro anulável
• [SPARK-33404] [SQL] Corrige os resultados incorretos na expressão date_trunc
• [SPARK-33339] [PYTHON] O aplicativo Pyspark será interrompido devido a um erro de não exceção
• [SPARK-33412] [SQL] OverwriteByExpression deve resolver sua condição de exclusão com base na relação de tabela, não na consulta de entrada
• [SPARK-33391][SQL] O element_at com o CreateArray não respeita um índice baseado.
• [SPARK-33316] [SQL] Usuário de suporte forneceu o esquema Avro anulável para o esquema de catalisador não anulável na gravação do Avro
• [SPARK-33372] [SQL] Corrigir a remoção de bucket InSet
• [SPARK-33371] [PYTHON] Atualiza o setup.py e testes para o Python 3.9
• [SPARK-33140] [SQL] remover SQLConf e SparkSession em todas as sub-classes de Rule[QueryPlan]
• [SPARK-33338] [SQL] GROUP BY usando o mapa literal não deve falhar
• [SPARK-33306] [SQL] O fuso horário é necessário ao converter uma data para uma cadeia de caracteres
• [SPARK-33284] [WEB-UI] Na página da interface do usuário do Armazenamento, clicar em qualquer campo para classificar a tabela fará com que o conteúdo do título seja perdido
• [SPARK-33362] [SQL] skipSchemaResolution ainda deve exigir que a consulta seja resolvida
• [SPARK-32257] [SQL] Relata erros explícitos para uso inválido do comando SET/RESET
• [SPARK-32406] [SQL] Fazer RESET com que a sintaxe dê suporte à redefinição de configuração única
• [SPARK-32376] [SQL] Fazer com que o comportamento de preenchimento nulo unionByName funcione com colunas struct
• [SPARK-32308] [SQL] Mover lógica de resolução por nome de unionByName do código de API para a fase de análise
• [SPARK-20044] [UI] Suporta a interface do usuário do Spark por trás do proxy reverso de front-end usando um prefixo de caminho URL do proxy de reversão
• [SPARK-33268] [SQL][python] Corrigir bugs para a conversão de dados de/para PythonUserDefinedType
• [SPARK-33292] [SQL] Tornar a representação de cadeia de caracteres ArrayBasedMapData literal desambigua
• [SPARK-33183] [SQL] Corrige a regra EliminateSorts do otimizador e adiciona uma regra física para remover as classificações redundantes
• [SPARK-33272] [SQL] Remove o mapeamento de atributos em QueryPlan.transformUpWithNewOutput
• [SPARK-32090] [SQL] Melhorar UserDefinedType.equal() para torná-lo simétrico
• [SPARK-33267] [SQL] Corrigir problema de NPE no filtro 'In' quando um dos valores contiver nulo
• [SPARK-33208] [SQL] Atualizar o documento de SparkSession#sql
• [SPARK-33260][SQL] Corrige os resultados incorretos de SortExec quando sortOrder é Stream
• [SPARK-33230] [SQL] Confirmadores do Hadoop para obter a ID de trabalho exclusiva em "spark.sql.sources.writeJobUUID"
• [SPARK-33197] [SQL] Fazer alterações em spark.sql.analyzer.maxIterations tem efeito em runtime
• [SPARK-33228] [SQL] Não remover dados ao substituir uma exibição com o mesmo plano lógico
• [SPARK-32557] [CORE] Registro em log e reação da exceção por entrada no servidor de histórico
• [SPARK-32436] [CORE] Inicializar numNonEmptyBlocks em HighlyCompressedMapStatus.readExternal
• [SPARK-33131] [SQL] Corrigir conjuntos de grupos com cláusula havendo não pode resolver o nome da coluna qualificada
• [SPARK-32761] [SQL] Permitir agregar várias expressões distintas dobráveis
• [SPARK-33094] [SQL] Fazer com que o formato ORC propague a configuração do Hadoop de opções de DS para o sistema de arquivos HDFS subjacente

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 7.5.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.7.5
• R: R versão 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 02-11-2020.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)