Tempo de execução do Databricks 4.2 (EoS)

A Databricks lançou esta versão em julho de 2018.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 4.2, desenvolvido pelo Apache Spark.

Lago Delta

O Databricks Runtime 4.2 adiciona grandes melhorias de qualidade e funcionalidade ao Delta Lake. A Databricks recomenda vivamente que todos os clientes Delta Lake atualizem para o novo tempo de execução. Esta versão permanece na Pré-visualização Privada, mas representa uma versão candidata em antecipação à próxima versão de disponibilidade geral (GA).

Novas funcionalidades

• Os fluxos agora podem ser gravados diretamente em uma tabela Delta registrada no metastore do Hive usando df.writeStream.table(...).

Melhorias

• Todos os comandos e consultas Delta Lake agora suportam referência a uma tabela usando seu caminho como identificador:

  delta.`<path-to-table>`
  

  Anteriormente, OPTIMIZE e VACUUM exigiam o uso não padrão de literais de cadeias de caracteres (ou seja, '<path-to-table>').

• DESCRIBE HISTORY agora inclui o ID de confirmação e é ordenado do mais novo para o mais antigo por padrão.

Correções de erros

• A filtragem baseada em predicados de partição agora opera corretamente, mesmo quando o caso dos predicados difere do da tabela.
• Corrigida a ausência da coluna AnalysisException ao realizar verificações de igualdade nas colunas booleanas das tabelas Delta (ou seja, booleanValue = true).
• CREATE TABLE não modifica mais o log de transações ao criar um ponteiro para uma tabela existente. Isso evita conflitos desnecessários com fluxos simultâneos e permite a criação de um ponteiro de metastore para tabelas onde o utilizador só tem acesso de leitura aos dados.
• Chamar display() um fluxo com grandes quantidades de dados não causa mais OOM no driver.
• AnalysisException agora é lançado quando um caminho Delta Lake subjacente é excluído, em vez de retornar resultados vazios.
• As configurações do Delta Lake que exigem uma versão de protocolo específica (por exemplo, appendOnly) só podem ser aplicadas a tabelas em uma versão apropriada.
• Ao atualizar o estado de uma tabela Delta, linhagens longas agora são automaticamente truncadas para evitar um StackOverFlowError.

Transmissão em Fluxo Estruturada

Novas funcionalidades

• Delta Lake e Kafka agora suportam totalmente o Trigger.Once. Limites de taxa anteriores (por exemplo maxOffsetsPerTrigger ou maxFilesPerTrigger) especificados como opções de origem ou padrões poderiam resultar em apenas uma execução parcial dos dados disponíveis. Essas opções agora são ignoradas quando Trigger.Once são usadas, permitindo que todos os dados atualmente disponíveis sejam processados.

• Adicionado novo foreachBatch() de streaming no Scala, onde você pode definir uma função para processar a saída de cada microlote usando operações DataFrame. Isso permite o seguinte:
  • Usando fontes de dados em lote existentes para gravar saídas de microlote em sistemas que ainda não têm uma fonte de dados de streaming (por exemplo, use o gravador de lote Cassandra em cada saída de microlote).
  • Gravação de resultados de microbatch em vários locais.
  • Aplicação de operações em DataFrames e tabelas em saídas de microlote que ainda não são suportadas em DataFrames de streaming (por exemplo, inserir/upsert a saída de microlote numa tabela Delta).
• Adicionadas from_avro/to_avro funções para ler e gravar dados Avro num DataFrame em vez de apenas arquivos, semelhante ao from_json/to_json. Consulte Ler e gravar dados Avro em qualquer lugar para obter mais detalhes.
• Adicionado suporte para streaming foreach() em Python (já disponível em Scala). Consulte a documentação sobre foreach e foreachBatch para obter mais detalhes.

Melhorias

• Geração mais rápida de resultados de saída e/ou limpeza de estado com operações stateful (mapGroupsWithState, stream-stream join, streaming aggregation, streaming dropDuplicates) quando não há dados no fluxo de entrada.

Correções de erros

• Corrigido o bug de correção de precisão SPARK-24588 na junção entre fluxos, onde a junção relatava menos resultados quando há uma repartição explícita antes desta (por exemplo, df1.repartition("a", "b").join(df, "a")).

Outras Alterações e Melhorias

• Adicionado suporte para o comando SQL Deny para clusters habilitados para controle de acesso à tabela. Os usuários agora podem negar permissões específicas da mesma forma que podiam ser concedidas antes. Uma permissão negada substituirá uma permissão concedida. Administradores e proprietários de um determinado objeto ainda têm sempre permissão para executar ações.
• Nova origem de dados do Azure Data Lake Storage, utilizando o driver ABFS. Consulte Conectar-se ao Armazenamento do Azure Data Lake e ao Armazenamento de Blobs
• Atualizado algumas bibliotecas Python instaladas:
  • pip: de 10.0.0b2 a 10.0.1
  • setuptools: de 39.0.1 a 39.2.0
  • tornado: 5.0.1 a 5.0.2
  • roda: 0.31.0 a 0.31.1
• Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
• Suporte melhorado ao Parquet
• Apache ORC atualizado de 1.4.1 para 1.4.3

Apache Spark

O Databricks Runtime 4.2 inclui o Apache Spark 2.3.1. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• junção de streaming [SPARK-24588][SS] deve exigir HashClusteredPartitioning de crianças
• [c0][SPARK-23931][/c0][SQL] Torne em function.scala arrays_zip.
• [SPARK-24633][SQL] Corrija o codegen quando a divisão for necessária para arrays_zip
• [SPARK-24578][CORE] Limitar o tamanho da sub-região do buffer nio retornado
• [SPARK-24613][SQL] Cache com UDF poderia não ser correspondido com caches dependentes subsequentes
• [SPARK-24583][SQL] Tipo de esquema errado em InsertIntoDataSourceCommand
• [SPARK-24565][SS] Adicionar API no Structured Streaming de forma a expor linhas de saída de cada microlote como um DataFrame
• [SPARK-24396][SS][PYSPARK] Adicionar Structured Streaming ForeachWriter para Python
• [SPARK-24216][SQL] Spark TypedAggregateExpression usa getSimpleName que não é seguro no o Scala
• [FAÍSCA-24452][SQL][CORE] Evite possíveis transbordos em adição ou multiplicação de inteiros.
• [SPARK-24187][R][SQL] Adicionar a função array_join ao SparkR
• [SPARK-24525][SS] Fornecer uma opção para limitar o número de linhas em um MemorySink
• [SPARK-24331][SPARKR][SQL] Adicionando arrays_overlap, array_repeat, map_entries ao SparkR
• [SPARK-23931][SQL] Adiciona a função arrays_zip no Spark SQL
• [SPARK-24186][R][SQL] alterar funções reverse e concat para funções de coleção em R
• [SPARK-24198][SPARKR][SQL] Adicionando função slice ao SparkR
• [SPARK-23920][SQL] adicionar array_remove para remover todos os elementos que igualam elemento da matriz
• [SPARK-24197][SPARKR][SQL] Adição da função array_sort ao SparkR
• [SPARK-24340][CORE] Limpeza de ficheiros do gerenciador de blocos de disco não pertencentes ao shuffle após as saídas do executor num cluster autónomo
• [SPARK-23935][SQL] Adicionar função map_entries
• [SPARK-24500][SQL] Assegure que os fluxos são materializados durante as transformações das árvores.
• [SPARK-24495][SQL] EnsureRequirement retorna o plano errado ao reordenar chaves iguais
• [SPARK-24506][IU] Adicionar filtros à interface em separadores adicionados após a vinculação
• [SPARK-24468][SQL] Manipular escala negativa ao ajustar a precisão para operações decimais
• [SPARK-24313][SQL] Corrigir a avaliação interpretada das operações de coleção para tipos complexos
• [SPARK-23922][SQL] Adicionar função arrays_overlap
• [SPARK-24369][SQL] Tratamento correto para várias agregações distintas com o mesmo conjunto de argumentos
• [SPARK-24455][CORE] corrigir erro de digitação no comentário TaskSchedulerImpl
• [SPARK-24397][PYSPARK] Adicionado TaskContext.getLocalProperty(key) em Python
• [SPARK-24117][SQL] Unificou o getSizePerRow
• [FAÍSCA-24156][SS] Corrigir erro ao recuperar da falha num lote sem dados
• [SPARK-24414][UI] Calcule o número correto de tarefas para uma fase.
• [SPARK-23754][PYTHON] Relançamento da StopIteration no código do cliente
• [SPARK-23991][DSTREAMS] Corrigir a perda de dados quando a gravação WAL falha em allocateBlocksToBatch
• [SPARK-24373][SQL] Adicionar AnalysisBarrier ao filho de RelationalGroupedDataset e KeyValueGroupedDataset
• [SPARK-24392][PYTHON] Rotular pandas_udf como Experimental
• [FAÍSCA-24334] Corrigir condição de corrida no ArrowPythonRunner causa desligamento impuro do alocador de memória Arrow
• [SPARK-19112][CORE] Adicione os shortCompressionCodecNames ausentes à configuração.
• [SPARK-24244][SPARK-24368][SQL] Passando apenas as colunas necessárias para o analisador CSV
• [FAÍSCA-24366][SQL] Aprimoramento das mensagens de erro para conversão de tipo
• [SPARK-24371][SQL] Adicionado isInCollection na API DataFrame para Scala e…
• [SPARK-23925][SQL] Adicionar a função de coleção array_repeat
• [MENOR] Adicionar configuração da porta SSL em toString e scaladoc
• [SPARK-24378][SQL] Corrigir função date_trunc exemplos incorretos
• [SPARK-24364][SS] Impedir que InMemoryFileIndex falhe se o caminho do arquivo não existir
• [SPARK-24257][SQL] LongToUnsafeRowMap ao calcular o novo tamanho poderá estar incorreto
• [SPARK-24348]Correção de erro "element_at" [SQL]
• [SPARK-23930][SQL] Adicionar função slice
• [SPARK-23416][SS] Adicionar um método stop específico para ContinuousExecution.
• [SPARK-23852][SQL] Atualização para o Parquet 1.8.3
• [SPARK-24350][SQL] Corrige ClassCastException na função "array_position"
• [FAÍSCA-24321][SQL] Extrair código comum de Divisão/Restante para um traço base
• [FAÍSCA-24309][CORE] AsyncEventQueue deve ser interrompida ao receber uma interrupção.
• [SPARK-23850][SQL] Adicionar configuração separada para ocultação de opções SQL.
• [SPARK-22371][CORE] Retornar None em vez de lançar uma exceção quando um acumulador é recolhido pelo coletor de lixo.
• [SPARK-24002][SQL] Tarefa não serializável causada por org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
• [SPARK-23921][SQL] Adicionar função array_sort
• [SPARK-23923][SQL] Adicionar função de cardinalidade
• [FAÍSCA-24159][SS] Habilite microlotes sem dados para streaming mapGroupswithState
• [SPARK-24158][SS] Habilitar lotes sem conteúdo para uniões de streaming
• [SPARK-24157][SS] Ativação de lotes sem dados no MicroBatchExecution para agregação e desduplicação em streaming
• [SPARK-23799][SQL] FilterEstimation.evaluateInSet produz estatísticas erradas para STRING
• [SPARK-17916][SQL] Corrija a cadeia de caracteres vazia que está sendo analisada como nula quando nullValue é definido.
• [SPARK-23916][SQL] Adicionar função array_join
• [SPARK-23408][SS] Sincronizar ações sucessivas de AddData na Streaming*JoinSuite
• [SPARK-23780][R] Não foi possível usar a biblioteca googleVis com o novo SparkR
• [SPARK-23821][SQL] Função de coleção: achatar
• [SPARK-23627][SQL] Fornecer isEmpty no Conjunto de Dados
• [SPARK-24027][SQL] Suportar MapType com StringType para chaves como tipo raiz utilizando from_json
• [SPARK-24035][SQL] Sintaxe SQL para Pivot - corrigir aviso ANTLR
• [SPARK-23736][SQL] Estendendo a função concat para suportar colunas de matriz
• [SPARK-24246][SQL] Melhore AnalysisException definindo a causa quando ela estiver disponível
• [SPARK-24263][R] Verificação java do SparkR falha com openjdk
• [SPARK-24262][PYTHON] Corrigir erro ortográfico na mensagem de erro de correspondência de tipo UDF
• [SPARK-24067][STREAMING][KAFKA] Permitir compensações não consecutivas
• [SPARK-10878][CORE] Corrigir condição de corrida quando vários clientes resolvem artefatos ao mesmo tempo
• [SPARK-19181][CORE] Corrigindo métricas instáveis "SparkListenerSuite.local"
• [FAÍSCA-24068]Propagando as opções de DataFrameReader para fonte de dados de texto na inferência de esquema
• [SPARK-24214][SS] Corrigir toJSON para StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
• [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Adicionar função array_position/element_at
• [FAÍSCA-23926][SQL] Estendendo a função inversa para dar suporte a argumentos ArrayType
• [SPARK-23809][SQL] Ative SparkSession deve ser definido por getOrCreate
• [FAÍSCA-23094][FAÍSCA-23723][FAÍSCA-23724][SQL] Suporte a codificação personalizada para arquivos json
• [SPARK-24035][SQL] Sintaxe SQL para Pivot
• [SPARK-24069][R] Adicionar funções array_min / array_max
• [FAÍSCA-23976][CORE] Detetar estouro de comprimento em UTF8String.concat()/ByteArray.concat()
• [SPARK-24188][CORE] Restaurar o ponto de extremidade da API "/version".
• [SPARK-24128][SQL] Mencionar opção de configuração no erro CROSS JOIN implícito
• [SPARK-23291][SQL][R] O substr de R não deve reduzir a posição inicial em 1 ao chamar a API Scala.
• [SPARK-23697][CORE] LegacyAccumulatorWrapper deve definir isZero corretamente
• [SPARK-24168][SQL] WindowExec não deve aceder ao SQLConf no lado do executor
• [SPARK-24143] filtrar blocos vazios ao converter o estado do mapa em pares de (blockId, size)
• [SPARK-23917][SPARK-23918][SQL] Adicionar função array_max/array_min
• [FAÍSCA-23905][SQL] Adicionar UDF durante a semana
• [SPARK-16406][SQL] Melhorar o desempenho do LogicalPlan.resolve
• [SPARK-24013][SQL] Remover compressão desnecessária no ApproximatePercentile
• [SPARK-23433][CORE] Conclusões tardias de tarefas zumbi atualizam todos os conjuntos de tarefas
• [FAÍSCA-24169][SQL] JsonToStructs não deve acessar SQLConf no lado do executor
• [SPARK-24133][SQL] Backport [SPARK-24133]Verifique se há estouros de inteiros ao redimensionar WritableColumnVectors
• [FAÍSCA-24166][SQL] InMemoryTableScanExec não deve aceder ao SQLConf no lado do executor
• [FAÍSCA-24133][SQL] Verifique se há estouros de inteiros ao redimensionar WritableColumnVectors
• [SPARK-24085][SQL] Query retorna UnsupportedOperationException quando a subconsulta escalar está presente na expressão de particionamento
• [SPARK-24062][THRIFT SERVER] Corrigir o problema da incapacidade de ativar a criptografia SASL no servidor Thrift
• [SPARK-23004][SS] Garanta que o StateStore.commit seja chamado apenas uma vez numa tarefa de agregação de streaming
• [SPARK-23188][SQL] Permitir configurar o tamanho do lote do leitor de colunas vetorizado
• [SPARK-23375][SPARK-23973][SQL] Elimine a classificação desnecessária no Otimizador
• [SPARK-23877][SQL] Usar predicados de filtro para podar partições em consultas somente de metadados.
• [SPARK-24033][SQL] Corrigir incompatibilidade de estrutura de janela especificada windowframe(RowFrame, -1, -1)
• [SPARK-23340][SQL] Atualizar Apache ORC para 1.4.3
• Corrija um problema de verificação de nulo ausente que provavelmente é acionado pela geração simplificada de código de expressão, e que foi exposto pelo SPARK-23986 porque fez com que o código-fonte gerado ficasse um pouco mais longo e ativasse o caminho de código problemático (divisão de código por Expression.reduceCodeSize()).
• [SPARK-23989][SQL] A troca deve copiar dados antes do shuffle não serializado
• [SPARK-24021][CORE] corrigir bug na atualização do BlacklistTrackerBlacklistForFetchFailure
• [FAÍSCA-24014][PYSPARK] Adicionar método onStreamingStarted para StreamingListener
• [SPARK-23963][SQL] Manipule corretamente um grande número de colunas na consulta na tabela Hive baseada em texto
• [SPARK-23948] Acionar o listener de jobs do mapstage no submitMissingTasks
• [SPARK-23986][SQL] FreshName pode gerar nomes não exclusivos
• [SPARK-23835][SQL] Adicionar verificação não-nula à desserialização de argumentos de Tuplas

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Escala: 2.11.8
• Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
• R: R versão 3.4.4 (2018-03-15)
• Clusters de GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
  • Piloto da Tesla 375.66
  • CUDA 9,0
  • cuDNN 7,0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)