Databricks Runtime 6.3 (EoS)

O Databricks lançou essa versão em janeiro de 2020.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.3, impulsionado pelo Apache Spark.

Novos recursos

Lago Delta

Esta versão apresenta uma simultaneidade aprimorada. Os principais recursos são:

• Simultaneidade aprimorada para todas as operações do Delta Lake – agora você pode executar mais operações do Delta Lake simultaneamente. O controle otimista de simultaneidade da Delta Lake foi aprimorado com uma detecção de conflitos mais detalhada. Isso torna mais fácil executar fluxos de trabalho complexos em tabelas do Delta. Por exemplo:

  • Executar exclusões (por exemplo, para conformidade com o GDPR) simultaneamente em partições mais antigas enquanto as partições mais recentes estão sendo acrescentadas.
  • Executar atualizações e mesclagens simultaneamente em conjuntos de partições não contíguos.
  • Executar compactação de arquivo simultaneamente com acréscimos.

  Consulte Níveis de isolamento e conflitos de gravação no Azure Databricks.

• Suporte aprimorado para compactação de arquivos – agora você pode compactar arquivos regravando-os com a opçãoDataFrameWriterdataChange definida como false. Essa opção permite que uma operação de compactação seja executada simultaneamente com outras operações de lote e streaming. Consulte Arquivos compactos para obter detalhes.

• Desempenho aprimorado para mesclagem de somente inserção – o Delta Lake agora fornece desempenho mais otimizado para operações de mesclagem que têm apenas cláusulas de inserção e nenhuma cláusula de atualização. Além disso, o Delta Lake garante que as gravações dessas mesclagens de somente inserção acrescentem novos dados à tabela. Portanto, agora você pode usar as mesclagens de fluxo estruturado e de somente inserção para fazer a eliminação de duplicação contínua de dados (por exemplo, logs). Consulte Eliminação de Duplicação de Dados ao gravar em tabelas Delta para obter detalhes.

Adicionar portas adicionais à lista de permissões quando o isolamento de processo estiver habilitado

Quando você habilita recursos de segurança, como ACLs de tabela ou passagem de credenciais no cluster, agora pode especificar portas de saída adicionais que os processos Python podem acessar configurando a configuração do Sparkspark.databricks.pyspark.iptable.outbound.whitelisted.ports para permitir essas portas. O formato com suporte do valor de configuração é [port[:port][,port[:port]]...], por exemplo: 21,22,9000:9999. A porta deve estar dentro do intervalo válido, ou seja, de 0 a 65535.

Desabilitar a saída do trabalho para trabalhos do Scala

A saída do trabalho, como a saída de log emitida para StdOut, está sujeita a um limite de tamanho de 20 MB. Você pode impedir que o stdout seja retornado do driver para o Azure Databricks definindo a configuração do Spark spark.databricks.driver.disableScalaOutput como true. O sinalizador controla a saída da célula para os trabalhos do JAR do Scala e os notebooks do Scala. Consulte Criar um JAR compatível com o Azure Databricks.

Os números embutidos do Matplotlib agora têm suporte nos notebooks do Azure Databricks (Visualização Pública)

Agora você pode exibir automaticamente os números do Matplotlib sem precisar passar o número para o método display. Para obter detalhes, consulte Matplotlib.

Novo parâmetro adicionado ao Azure Synapse Analytics

O parâmetro applicationName é definido como por padrão como Databricks-User-Query. O valor padrão impede que a ferramenta de monitoramento de banco de dados do Azure gere alertas de injeção de SQL falsos em consultas. Se não for especificado ou o valor for uma cadeia de caracteres vazia, o valor padrão da marca será adicionado à URL do JDBC. Confira Referência de opções do conector do Azure Databricks Synapse.

Aprimoramentos

• shutil.copytree agora funciona para /dbfs.
• Ao executar trabalhos de produção de Streaming Estruturado em clusters de modo de alta simultaneidade, as reinicializações de um trabalho ocasionalmente falhavam, porque o trabalho em execução anteriormente não era encerrado corretamente. Para garantir que a execução anterior seja interrompida, defina a configuração do SQL spark.sql.streaming.stopActiveRunOnRestart true no cluster. Caso o fluxo não possa ser interrompido corretamente, uma exceção de tempo limite será lançada em 15 segundos. Nesse caso, é recomendável reiniciar o cluster.
• Atualizou várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Apache Spark

O Databricks Runtime 6.3 inclui o Apache Spark 2.4.4. Essa versão inclui todas as correções e aprimoramentos do Spark incluídas no Databricks Runtime 6.2 (EoS), além das seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-30198][CORE] BytesToBytesMap não aumenta a matriz longa interna conforme o esperado
• [SPARK-29918][SQL] RecordBinaryComparator deve verificar a extremidade dos números quando comparada a long
• [SPARK-30274][CORE] Evita que a pesquisa BytesToBytesMap fique travada para sempre ao manter as chaves atingindo a capacidade máxima
• [SPARK-25392][CORE][WEBUI] Impede página de erro ao acessar a página de pools do servidor de histórico
• [SPARK-30263][CORE] Não registre o valor potencialmente sensível de propriedades que não são do Spark ignoradas no spark-submit
• [SPARK-28637][SQL] Tipo de intervalo de suporte do Thriftserver
• [SPARK-30238][SQL] A remoção da partição do hive só pode dar suporte a tipos cadeia de caracteres e integrais
• [SPARK-30198][CORE] BytesToBytesMap não aumenta a matriz longa interna conforme o esperado
• [SPARK-24666][ML] Corrige vetores de infinito produzidos pelo Word2Vec quando numIterations são grandes
• [SPARK-30129][CORE] Definir a ID do cliente no TransportClient após autenticação bem-sucedida
• [SPARK-30050][SQL] Analisar tabela e renomear tabela não devem apagar informações de bucket de tabela do hive
• [SPARK-28152][SQL] ShortType foi mapeado para SMALLINT e FloatType para REAL no [MsSqlServerDialect]
• [SPARK-29971][CORE] Corrige vazamentos de buffer em TransportFrameDecoder/TransportCipher
• [SPARK-29970][WEBUI] Preserva estado de abertura/fechamento do Timelineview
• [SPARK-29949][SQL] Corrige a formatação de timestamps por fontes de dados JSON/CSV
• [SPARK-27558][CORE] Limpa normalmente a tarefa quando ela falhar com exceção de OOM
• [SPARK-29758][SQL] Corrige truncamento de campos de cadeia de caracteres solicitados em json_tuple
• [SPARK-29949][SQL] Corrige a formatação de timestamps por fontes de dados JSON/CSV
• [SPARK-29936][R] Corrige erros de lint do SparkR e adiciona Ação do GitHub lint-r
• [SPARK-29904][SQL] Parse timestamps com precisão de microssegundos usando fontes de dados JSON/CSV
• [SPARK-29904][SQL] Parse timestamps com precisão de microssegundos usando fontes de dados JSON/CSV
• [SPARK-26499][SQL] JdbcUtils.makeGetter não manipula ByteType
• [SPARK-29682][SQL] Resolve corretamente atributos conflitantes no Expand
• [SPARK-29875][PYTHON][SQL] Evita usar a API pyarrow.open_stream preterida no Spark 2.4.x
• [SPARK-29850][SQL] A classificação, mesclagem ou junção de uma tabela vazia não deve ter perda de memória
• [SPARK-28939][SQL] Propaga SQLConf para planos executados pelo toRdd

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 6.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: versão do R 3.6.2 (12/12/2019)
• Delta Lake: 0.5.0

Nesta seção:

• Bibliotecas Python instaladas
• Bibliotecas R instaladas
• Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.11)

Bibliotecas Python instaladas

Bibliotecas R instaladas

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)