Databricks Runtime 5.1 (EoS)

O Databricks lançou essa versão em dezembro de 2018.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 5.1, da plataforma Apache Spark.

Novos recursos

• Lago Delta

  • Suporte para sintaxe estendida em MERGE INTO.

    • Suporte para várias cláusulas MATCHED, condições adicionais em cláusulas MATCHED e NOT MATCHED, ação DELETE. Isso é útil para gravar dados alterados (inserções, atualizações e exclusões) de um banco de dados em uma tabela Delta.
    • Suporte para _ nas ações UPDATE e INSERT para preencher automaticamente nomes de coluna (semelhante ao _ nas SELECT). Isso facilita a escrita de consultas MERGE para tabelas com um número muito grande de colunas.

    Para obter exemplos, consulte MERGE INTO.

  • Suporte para níveis de isolamento ajustáveis para tabelas Delta.

    • As tabelas Delta podem ser configuradas para ter um desses dois níveis de isolamento: Serializable e WriteSerializable (padrão).
    • O nível de isolamento padrão é relaxado de Serializable para WriteSerializable para permitir maior disponibilidade. Especificamente, UPDATE, DELETE e MERGE têm permissão para executar simultaneamente com acréscimos (por exemplo, de uma consulta de streaming). Veja Níveis de isolamento e gravação de conflitos no Azure Databricks para entender as implicações desse relaxamento e as etapas para impor o comportamento anterior, se necessário.

  • Versão prévia privada do comando CONVERT TO DELTA, que permite converter uma tabela Parquet em uma tabela Delta diretamente, sem copiar nenhum arquivo. Contate o suporte do Azure Databricks se você tiver interesse em experimentá-lo.

• Bibliotecas no escopo do Notebook com Python. Agora, é possível instalar bibliotecas Python, incluindo Eggs, Wheels e PyPI, em notebooks Python usando a API da biblioteca de utilitários do Databricks. As bibliotecas instaladas por meio dessa API estão disponíveis somente no notebook no qual as bibliotecas estão instaladas. Consulte Utilitário da biblioteca (dbutils.library) (herdado).

  Importante

  Esse recurso está em uma versão prévia.

  Utilitários de biblioteca habilitados por padrão em clusters que executam o Databricks Runtime 5,1. Portanto, por padrão, o processo REPL do Python para cada notebook é isolado com o uso de um executável do Python separado que é criado quando o notebook é anexado e herda o ambiente padrão do Python no cluster. Bibliotecas instaladas por meio de scripts init em um ambiente Python do Azure Databricks ainda estão disponíveis. Esse recurso pode ser desabilitado definindo spark.databricks.libraryIsolation.enabled como false.

• Agora, a função display oferece suporte a DataFrames do pandas. Consulte Criar uma nova visualização.

Aprimoramentos

• Lago Delta

  • Escalabilidade aprimorada de OPTIMIZE com um grande número de arquivos pequenos.
  • Agora, você pode SET uma coluna aninhada no UPDATE.

• Desempenho do SQL:

  • Otimizar LIMIT buscando apenas as primeiras n partições.
  • Otimizar junções de intervalo. Adicionamos regras do otimizador que reescrevem uma junção de intervalo para serem executadas de maneira mais eficiente. Isso pode acelerar esse tipo de consulta por uma ordem de magnitude. Para habilitar a otimização, adicione uma dica à consulta. A regravação atual dá suporte às seguintes formas de consulta de junção de intervalo:
    • Ponto no intervalo: a.begin < b.point AND b.point < a.end
    • Sobreposição de intervalo: a.begin < b.end AND b.begin < a.end

• Atualizou o conector do ADLS, que inclui correções críticas de bugs. Recomendamos que todos os usuários do Azure Data Lake Storage atualizem para o Databricks Runtime 5.1.

• Atualização do Java de 1.8.0_162 para 1.8.0_181.

• Conector Snowflake atualizado para Spark 2.4.10.

• Atualizaram algumas bibliotecas do Python instaladas:

  • pip: 18.0 para 18.1
  • setuptools: 40.4.1 para 40.6.2
  • virtualenv: 15.0.1 para 16.1.0
  • wheel: de 0.31.1 para 0.32.3

• Várias bibliotecas do R instaladas foram atualizadas. Confira Bibliotecas do R instaladas.

Correções de bug

• Correção de bug no suporte do Azure Data Lake Storage que falhou ao listar diretórios com mais de 5.000 arquivos.
• TRANSFORM deve tratar tipos de dados de entrada diferentes corretamente.
• Limpe arquivos aleatórios externos expirados após executores falharem para impedir que clusters de execução longa sejam executados fora do disco.

Apache Spark

O Databricks Runtime 5.1 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 5.0 (EoS), assim como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-26147][SQL] Remover apenas o udf do python não avaliável da condição de junção
• [SPARK-26129][SQL] Instrumentação para tempo de planejamento por consulta
• [SPARK-25921][PYSPARK] Corrigir a execução da tarefa de barreira sem BarrierTaskContext durante a reutilização de trabalho do Python
• [SPARK-23207][SQL] Use SQLConf.get.enableRadixSort em vez de SparkEnv.get.conf.get(SQLConf.RADIX_SORT_ENABLED)
• [SPARK-26057][SQL] Transformar também os planos analisados ao eliminar duplicação das referências
• [SPARK-25974][SQL] Otimiza a geração de código de bytes para a ordenação com base na ordem especificada
• [SPARK-25901][CORE] Usar apenas um thread em BarrierTaskContext compa…
• [Spark-25381][SQL] Amostragem estratificada por argumento de coluna
• [SPARK-25514][SQL] Gerando um bom JSON por to_json
• [SPARK-22827][SQL] Lançar SparkOutOfMemoryError em HashAggregateExec também.
• [SPARK-25979][SQL] Função de janela: permitir parênteses ao redor da referência de janela
• [SPARK-25988][SQL] Manter nomes inalterados ao eliminar a duplicação dos nomes de coluna no analisador
• [SPARK-25904][CORE] Alocar matrizes menores que Int.MaxValue
• [SPARK-24901][SQL] Mesclar o codegen de RegularHashMap e fastHashMap para reduzir o maxCodesize do compilador quando VectorizedHashMap for falso.
• [SPARK-25850][SQL] Tornar configurável o limite de divisão para a função de código gerada
• [SPARK-25866][ML] Atualizar a versão de formato do KMeans
• [SPARK-22148][SPARK-15815][SCHEDULER] Adquirir novos executores para evitar a interrupção por causa de inclusão na lista de bloqueados
• [SPARK-25827][CORE] Evitar a conversão de blocos criptografados de entrada em buffers de bytes
• [SPARK-25918][SQL] LOAD DATA INPATH LOCAL deve lidar com um caminho relativo
• [SPARK-25837][CORE] Corrige a possível lentidão no AppStatusListener ao limpar as etapas
• [SPARK-25773][CORE] Cancelar tarefas zumbis em um estágio de resultado quando o trabalho for concluído (5.x)
• [SPARK-25767][SQL] Corrigir o fluxo de expressões avaliadas preguiçosamente na geração de código
• [SPARK-25819][SQL] Dar suporte à opção de modo de análise para a função from_avro
• [Spark-25044] Alterar a assinatura de construtor de ScalaUDF
• [SPARK-25699][SQL] Enviar por push parcialmente a conjuntiva predicada em ORC
• [SPARK-25559][SQL] Remover os predicados sem suporte no Parquet quando…
• [SPARK-25540][SPARK-25525][SQL] [PYSPARK] Não atualize o conf para SparkContext existente em SparkSession.getOrCreate.
• [SPARK-25595] Ignorar os arquivos Avro corrompidos se o sinalizador IGNORE_CORRUPT_FILES estiver habilitado
• [SPARK-25458][SQL] Suporte FOR ALL os COLUMNS no ANALYZE TABLE
• [SPARK-25449][CORE] O pulso não deve incluir acumuladores para métricas zeradas
• [SPARK-25399][SS] O estado de processamento contínuo não deve afetar os trabalhos de execução de microlote
• [SPARK-26092][SS] Usar o CheckpointFileManager para gravar o arquivo de metadados de streaming

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 5.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 16.04.5 LTS
• Java: 1.8.0_181
• Scala: 2.11.8
• Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
• R: R versão 3.4.4 (15-03-2018)
• Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
  • Driver Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)