Tempo de execução do Databricks 7.1 (EoS)

A Databricks lançou esta versão em julho de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.1, alimentado pelo Apache Spark 3.0.

Novas funcionalidades

O Databricks Runtime 7.1 inclui os seguintes novos recursos:

Lago Delta

• Agora você pode definir metadados definidos pelo usuário em cada confirmação feita por operações Delta. Para obter detalhes, consulte Enriquecer as tabelas do Delta Lake com metadata personalizada.

• Agora pode consultar a configuração SQL spark.databricks.delta.lastCommitVersionInSession para obter a versão do último commit escrito para o atual SparkSession.

  Se nenhuma confirmação tiver sido feita pelo SparkSession, consultar a chave retornará um valor vazio. Este recurso não é suportado em casos de streaming ou multithreaded.

• CONVERT TO DELTA agora pode converter tabelas do Parquet que foram criadas pelo Structured Streaming usando o log de transações encontrado na pasta _spark_metadata. Isso impede que arquivos não confirmados através de uma consulta de streaming sejam considerados na sua tabela Delta. Em seguida, você pode continuar seu fluxo usando o mesmo local de ponto de verificação.

  Nota

  Existe uma pequena probabilidade de que os dados do último microlote possam ser gravados novamente para a sua tabela após o processo de conversão.

• Esta versão contém melhorias de desempenho para MERGE INTO operações que têm apenas cláusulas correspondentes. Ou seja, eles têm apenas UPDATE e DELETE ações e nenhuma INSERT ação.

comandos pip para suportar bibliotecas Python com escopo de notebook

A partir do Databricks Runtime 7.1, você pode usar %pip comandos para gerenciar bibliotecas Python instaladas em uma sessão de notebook. Para obter mais informações, consulte Bibliotecas Python com escopo de bloco de anotações.

Melhorias

• Adiciona um display método ao PySpark, pandas e Koalas DataFrames, para que agora você possa executar df.display() para facilitar a análise exploratória de dados. Consulte Criar uma nova visualização.
• Koalas está agora instalado.

Faísca Apache

O Databricks Runtime 7.1 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-32057] ExecuteStatement: cancelar e fechar não deve transitoriamente ERRO
• [SPARK-32167] [SQL] Corrija GetArrayStructFields para respeitar a anulabilidade do campo interno em conjunto
• [FAÍSCA-31935] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
• [FAÍSCA-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregados distintos
• [SPARK-31705] [SQL] Envie mais predicados possíveis através da conversão Join via CNF
• [SPARK-31945] [SQL][pyspark] Habilite o cache para a mesma função Python
• [FAÍSCA-8981] [CORE] Adicionar suporte MDC no Executor
• [FAÍSCA-31986] [SQL] Corrigir micros juliano-gregorianos rebaseando carimbos de data/hora locais sobrepostos
• [SPARK-31959] [SQL] Corrija Gregorian-Julian micros rebasing ao alternar o deslocamento de fuso horário padrão
• [FAÍSCA-26905] [SQL] Siga as palavras-chave reservadas SQL:2016
• [FAÍSCA-31990] [SS] Use toSet.toSeq em Dataset.dropDuplicates
• [FAÍSCA-31992] [SQL] Comparar o modo de rebase EXCEPTION
• [SPARK-31983] [WEBUI] Corrigir a ordenação da coluna de duração na guia de streaming estruturado
• [SPARK-31593] [SS] Remover atualização de progresso de consulta de streaming desnecessária
• [SPARK-31968] [SQL] Verificação de colunas de partição duplicadas ao gravar dados
• [SPARK-31632] [CORE][webui] Enriqueça a mensagem de exceção quando o resumo do aplicativo não estiver disponível
• [FAÍSCA-31916] [SQL] StringConcat pode levar a StringIndexOutOfBoundsException
• [FAÍSCA-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
• [FAÍSCA-31954] [SQL] Excluir caso de teste duplicado no HiveQuerySuite
• [SPARK-28199] [SS] Remover pacote private em classe/objeto no pacote sql.execution
• [SPARK-31956] [SQL] Não falhe se não houver uma auto-adesão ambígua
• [FAÍSCA-31941] [CORE] Substitua SparkException por NoSuchElementException por applicationInfo em AppStatusStore
• [SPARK-26905] [SQL] Adicionar TYPE na lista não reservada ANSI
• [FAÍSCA-31921] [CORE] Corrija o aviso errado: "App app-xxx requer mais recursos do que qualquer um dos trabalhadores poderia ter"
• [FAÍSCA-31220] [SQL] repartition obedece initialPartitionNum quando adaptiveExecutionEnabled
• [SPARK-29295] [SQL] Mapa de partição dinâmico interpretado a partir do caminho da partição não faz distinção entre maiúsculas e minúsculas
• [SPARK-31849] [PYTHON][sql] Mensagem de erro mais correta na mensagem de exceção UDF do Python
• [FAÍSCA-31923] [CORE] Ignorar acumuladores internos que usam tipos não reconhecidos em vez de falhar
• [SPARK-31849] [PYTHON][sql] Desduplicar e reutilizar Utils.exceptionString no tratamento de exceções Python

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 7.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Escala: 2.12.10
• Píton: 3.7.5
• R: R versão 3.6.3 (2020-02-29)
• Lago Delta 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-04-22.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)