Databricks Runtime 7.1 (EoS)

O Databricks lançou essa versão em julho de 2020.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 7.1, da plataforma Apache Spark 3.0.

Novos recursos

O Databricks Runtime 7.1 inclui os seguintes novos recursos:

Lago Delta

• Você já pode definir metadados definidos pelo usuário em cada confirmação feita por operações Delta. Para obter detalhes, consulte Enriquecer tabelas do Delta Lake com metadados personalizados.

• Você já pode consultar a configuração spark.databricks.delta.lastCommitVersionInSession do SQL para obter a versão da última confirmação gravada pela SparkSession atual.

  Se nenhuma confirmação tiver sido feita pela SparkSession, a consulta da chave retornará um valor vazio. Não há suporte para esse recurso em casos de streaming ou multithread.

• CONVERT TO DELTA já pode converter tabelas Parquet que foram criadas pelo Streaming Estruturado usando o log de transações encontrado na pasta _spark_metadata. Isso impede que arquivos não confirmados por meio da consulta de streaming sejam considerados na tabela Delta. Em seguida, você pode continuar seu fluxo usando o mesmo local de ponto de verificação.

  Observação

  Há uma pequena possibilidade de que os dados do último microlote sejam confirmados novamente na tabela após o processo de conversão.

• Esta versão contém aprimoramentos de desempenho para operações MERGE INTO que têm apenas cláusulas correspondentes. Ou seja, elas têm apenas ações UPDATE e DELETE nenhuma ação INSERT.

Comandos do Pip para dar suporte a bibliotecas do Python no escopo do notebook

A partir do Databricks Runtime 7.1, você pode usar comandos %pip para gerenciar bibliotecas do Python instaladas em uma sessão do notebook. Para obter mais informações, confira Bibliotecas do Python no escopo do notebook.

Aprimoramentos

• Adiciona um método display ao PySpark, ao Pandas e ao Koalas DataFrames, ou seja, você já pode executar df.display() para facilitar a análise de dados exploratórios. Consulte Criar uma visualização.
• O Koalas já está instalado.

Apache Spark

O Databricks Runtime 7.1 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-32057] ExecuteStatement: o cancelamento e o fechamento não deve ser um erro transitório
• [SPARK-32167] [SQL] Corrigir GetArrayStructFields para respeitar a nulidade do campo interno em conjunto
• [SPARK-31935] A configuração do sistema de arquivos do Hadoop deve ser eficaz nas opções de fonte de dados
• [SPARK-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregações distintas
• [SPARK-31705] [SQL] Push de mais predicados possíveis por meio da junção via conversão de CNF
• [SPARK-31945] [SQL][pyspark] Habilitar cache para a mesma função Python
• [SPARK-8981] [CORE] Adição de suporte ao MDC no executor
• [SPARK-31986] [SQL] Correção da troca de base de micros Julian-Gregorian da sobreposição de carimbos de data/hora locais
• [SPARK-31959] [SQL] Correção da troca de base de micros Gregorian-Julian ao alternar a diferença de fuso horário padrão
• [SPARK-26905] [SQL] Siga as palavras-chave reservadas do SQL: 2016
• [SPARK-31990] [SS] Uso de toSet.toSeq em Dataset.dropDuplicates
• [SPARK-31992] [SQL] Avaliar desempenho do modo de troca de base de EXCEPTION
• [SPARK-31983] [WEBUI] Correção da classificação da coluna de duração na guia de streaming estruturado
• [SPARK-31593] [SS] Remoção da atualização de progresso de consulta de streaming desnecessária
• [SPARK-31968] [SQL] Verificação de colunas de partição duplicadas na gravação de dados
• [SPARK-31632] [CORE][webui] Enriquecer a mensagem de exceção quando o resumo do aplicativo não estiver disponível
• [SPARK-31916] [SQL] StringConcat pode levar a StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções de fonte de dados
• [SPARK-31954] [SQL] Exclusão de caso de teste duplicado em HiveQuerySuite
• [SPARK-28199] [SS] Remoção de pacote privado na classe/no objeto no pacote sql.execution
• [SPARK-31956] [SQL] Não gerar falha se não houver uma autojunção ambígua
• [SPARK-31941] [CORE] Substituição de SparkException em NoSuchElementException para applicationInfo em AppStatusStore
• [SPARK-26905] [SQL] Adição de TYPE à lista não reservada ANSI
• [SPARK-31921] [CORE] Correção do aviso incorreto: “O aplicativo app-xxx exige mais recursos do que um dos trabalhos pode ter”
• [SPARK-31220] [SQL] A repartição respeita initialPartitionNum quando adaptiveExecutionEnabled
• [SPARK-29295] [SQL] O mapa de partição dinâmica analisado do caminho da partição deve diferenciar maiúsculas de minúsculas
• [SPARK-31849] [PYTHON][sql] Mensagem de erro mais correta na mensagem de exceção UDF do Python
• [SPARK-31923] [CORE] Ignorar acumuladores internos que usam tipos não reconhecidos em vez de causar uma falha
• [SPARK-31849] [PYTHON][sql] Eliminação de duplicação e reutilização de Utils.exceptionString no tratamento de exceções do Python

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 7.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versão 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 22/4/2020.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)