Databricks Runtime 4.3 (EoS)

A Databricks lançou esta versão em agosto de 2018.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 4.3, desenvolvido pelo Apache Spark.

Novas funcionalidades

• Lago Delta
  • TRUNCATE TABLE command: exclua todas as linhas de uma tabela. Ao contrário de sua contraparte para tabelas Spark, as tabelas Delta não suportam a exclusão de partições específicas.
  • ALTER TABLE REPLACE COLUMNS command: Substitua colunas em uma tabela Delta. Ele suporta alterar o comentário de uma coluna e reordenar várias colunas.
  • FSCK REPAIR TABLE comando: remova as entradas de ficheiro do log de transações de uma tabela Delta que não podem mais ser encontradas no sistema de ficheiros subjacente. Isso pode acontecer quando esses arquivos foram excluídos manualmente.
  • Suporte para consultas em tabelas Delta obsoletas para melhorar a experiência de consulta interativa: as consultas em tabelas Delta agora podem ser executadas em uma versão obsoleta da tabela quando resultados atualizados não são necessários. Esse recurso reduz a latência das consultas, especialmente quando as tabelas Delta subjacentes são atualizadas continuamente por meio de fluxos.
• Streaming estruturado
  • Suporte de gravação de streaming escalável para o Azure Synapse Analytics Connector.
  • Suporte para foreachBatch() em Python (já disponível em Scala). Consulte a documentação de foreach e foreachBatch para obter mais detalhes.
  • Suporte para escolher a marca d'água mínima ou máxima quando há vários fluxos de entrada numa consulta. Anteriormente, usava-se sempre o carimbo de data/hora mínimo. Consulte a política de marcas de água múltiplas para obter mais detalhes.
  • O suporte para o operador LIMIT para fluxos nos modos de saída Append e Complete. Para minimizar erros OOM no driver, LIMIT é aplicado automaticamente quando você usa display() em fluxos não limitados.

Melhorias

• Lago Delta

  • Visualização privada da nova implementação escalável do comando MERGE INTO que não tem o limite de inserção de 10000 linhas. Entre em contato com o suporte se quiser experimentar isso.
  • Melhor desempenho e escalabilidade do OPTIMIZE comando, especialmente em clusters maiores.
  • O comando OPTIMIZE agora se confirma na tabela incrementalmente, o que significa que, se o comando falhar, uma nova tentativa não precisará processar todo o conjunto de dados.
  • Reduziu o número de RPCs do sistema de arquivos necessárias para descobrir novos dados quando se usa o Delta Lake como fonte de streaming.
  • Adicionado suporte para df.writeStream.table(table-name) em Python para criar uma tabela Delta a partir de um fluxo.

• Desempenho melhorado para consultas com várias junções, agregações ou janelas.

• Melhor eficiência na eliminação ao nível da partição em consultas com associações hash de difusão.

• Melhorias na geração de código de estágio inteiro para detetar expressões duplicadas, reduzir a quantidade de código gerado e melhorar o desempenho para determinados tipos de expressão.

• Clusters de alta simultaneidade agora permitem a execução de %fs em notebooks.

• Foi atualizado para 0.10.7 o Py4J usado pelo PySpark.

• Melhor desempenho do cache de disco nas instâncias da série Ls do Azure. O cache agora está habilitado por padrão nessas instâncias, acelerando cargas de trabalho que lêem repetidamente arquivos do Parquet.

Funcionalidades descontinuadas

• Data Skipping fora do Databricks Delta foi descontinuado. Uma versão aprimorada do esquema de omissão de dados continuará disponível como parte do Delta Lake. Recomendamos que você mude para usar o Delta Lake para continuar a aproveitar esse recurso. Consulte Databricks Delta Data Skipping para obter detalhes.

Correções de erros

• Foi corrigida a instrução de pushdown MERGE INTO de predicado incorreta para Delta quando a condição ON continha predicados que referenciavam apenas a tabela de destino.
• Corrigido bug em mapGroupsWithState e flatMapGroupsWithState que impedia a definição de timeouts quando o estado foi removido (SPARK-22187).
• Corrigido o bug que impedia a marca d'água de funcionar corretamente com Trigger.Once (SPARK-24699).
• O comando Update agora valida as colunas na cláusula SET para garantir que todas as colunas realmente existam e nenhuma coluna seja definida mais de uma vez.
• Corrigida uma condição de corrida potencial que poderia causar bloqueios para confirmação de diretório.

• Corrigido um bug que fazia com que uma versão preterida do cliente DBFS fosse usada ao atualizar montagens.

Problemas conhecidos

• As opções de configuração do Delta Lake para uma tabela entram em vigor somente no primeiro bloco de anotações que carrega a tabela.

Apache Spark

O Databricks Runtime 4.3 inclui o Apache Spark 2.3.1. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-24934][SQL] Permitir explicitamente tipos suportados nos limites superiores/inferiores para otimização de partições na memória
  • Quando tipos de dados complexos são usados em filtros de consulta em dados armazenados em cache, o Spark sempre retorna um conjunto de resultados vazio. A poda baseada em estatísticas na memória gera resultados incorretos, porque o valor null é atribuído aos limites superior/inferior para tipos complexos. A correção é não usar a remoção baseada em estatísticas na memória para tipos complexos.
• [SPARK-24957][SQL] Média de valores decimais seguida por agregação retorna resultado incorreto
  • Os resultados incorretos de AVERAGE podem ser retornados. O CAST adicionado no operador Average será ignorado se o resultado de Divide for do mesmo tipo para o qual foi convertido.
• [SPARK-24867][SQL] Adicionar AnalysisBarrier ao DataFrameWriter
  • O cache SQL não está sendo usado ao usar DataFrameWriter para gravar um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analyzer são idempotentes.
• [SPARK-24790][SQL] Permitir expressões agregadas complexas no Pivot
  • Relaxe a verificação para permitir expressões agregadas complexas, como ceil(sum(col1)) ou sum(col1) + 1, o que significa, de forma aproximada, qualquer expressão agregada que possa surgir num plano de Agregação, exceto pandas UDF.
• [SPARK-24870][SQL] O cache não pode funcionar normalmente se houver letras maiúsculas e minúsculas no SQL
  • Corrige um problema de canonicalização do plano.
• [SPARK-24852]Fazer com que o treinamento do spark.ml use as APIs de Instrumentação atualizadas.
• [SPARK-24891][SQL] Corrigir regra HandleNullInputsForUDF
  • Torne a regra HandleNullInputsForUDF idempotente, para evitar incompatibilidade de planos no gerenciador de cache quando um plano é analisado mais de uma vez.
• [SPARK-24878][SQL] Corrige a função inversa para o tipo de matriz primitiva que contém null.
• [SPARK-24871][SQL] Refatore Concat e MapConcat para evitar a criação de objeto concatenador para cada linha.
• [SPARK-24802][SQL] Adicionar uma nova configuração para Exclusão de Regra de Otimização
  • Fornece uma configuração aos usuários para excluir algumas regras do otimizador.
• [SPARK-24879][SQL] Corrigir o NPE no pushdown do filtro de poda de partições do Hive
  • Quando o predicado da partição é algo como col IN (1, null), será gerado um NPE. Este patch corrige-o.
• [SPARK-23731][SQL] Tornar o FileSourceScanExec passível de canonização depois de estar (des)serializado
• [SPARK-24755][CORE] A perda do executor pode fazer com que a tarefa não seja reenviada
  • Corrige um bug que o Spark pode não reenviar tarefas falhadas por perda do executor. Este bug foi introduzido no Spark 2.3.
• [SPARK-24677][CORE] Evitar NoSuchElementException do MedianHeap
  • Corrige um bug relacionado a tarefas especulativas ao coletar métricas de duração da tarefa.
• [SPARK-24868][PYTHON] adicionar função de sequência em Python
• [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Corrigir coerções de tipo e anulabilidades.
• [SPARK-24699][SS] Faça com que as marcas d'água funcionem com o Trigger.Once, salvando a marca d'água atualizada no registo de confirmação
• [SPARK-24537][R] Adicionar array_remove / array_zip / map_from_arrays / array_distinct
• [SPARK-22187][SS] Atualização do formato unsaferow para o estado salvo em flatMapGroupsWithState para permitir tempos limite quando o estado é eliminado (4.x)
• [SPARK-24681][SQL] Verificar nomes de colunas aninhadas no metastore do Hive
  • Certifique-se de que os nomes das colunas aninhadas não contenham ',', ':' ou ';' no metastore do Hive.
• [SPARK-23486] armazenar em cache o nome da função do catálogo externo para lookupFunctions
  • Para acelerar as pesquisas de funções.
• [SPARK-24781][SQL] Usar uma referência do Dataset em Filtro/Ordenar pode não funcionar
• [SPARK-24208][SQL] Corrigir a desduplicação de atributos para FlatMapGroupsInPandas
  • Corrigir falha de associação automática em um conjunto de dados que contém um FlatMapGroupsInPandas devido a atributos duplicados
• [FAÍSCA-24530][PYTHON] Adicione um controle para forçar a versão Python na Sphinx via variável de ambiente, SPHINXPYTHON
• [SPARK-24250] suporte ao acesso do SQLConf dentro de tarefas
  • Salve todas as configurações SQL nas propriedades do trabalho quando uma execução SQL for acionada. No lado do executor, reconstruímos o SQLConf a partir das propriedades do trabalho.
• [SPARK-23936][SQL] Implementar map_concat
• [SPARK-23914][SQL] Adicionar função array_union
• [SPARK-24732][SQL] Coerção de tipo entre MapTypes.
  • Adiciona suporte para coerção de tipo entre MapTypes onde os tipos de chave e os tipos de valor são compatíveis. Por exemplo, os tipos MapType(IntegerType, FloatType) e MapType(LongType, DoubleType) podem ser coagidos a digitar MapType(LongType, DoubleType)
• [SPARK-24662][SQL][SS] Suporte a limite em streaming estruturado
• [SPARK-24730][SS] Adicionar política para escolher o máximo como marco de água global quando a consulta de streaming tiver múltiplos marcos de água (branch-4.x)
• [SPARK-24596][SQL] Invalidação de Cache sem Cascata
  • Ao desarmazenar em cache ou soltar a visualização temporária, é desnecessário desarmazenar em cascata todos os planos que dependem da exibição, pois os dados subjacentes não são alterados.
• [SPARK-23927][SQL] Adicionar expressão "sequência"
• [SPARK-24636][SQL] Coerção de tipos de vetores para a função array_join
• [SPARK-22384][SQL] Refinar a poda de partições quando o atributo está encapsulado em Cast
  • Melhore a poda de partição, capaz de empurrar predicados de partição para baixo com elenco de tipo seguro (int para longo, não longo para int).
• [SPARK-24385][SQL] Resolver a ambiguidade da condição de auto-junção para EqualNullSafe
  • Implementa EqualNullSafe para resolver a ambiguidade da condição de auto junção.
• [SPARK-24696][SQL] A regra ColumnPruning não consegue remover o Project extra
  • Corrige um erro na regra ColumnPruning que causava um erro de loop infinito no Otimizador.
• [SPARK-24603][SQL] Corrigir referência findTightestCommonType nos comentários
• [SPARK-24613][SQL] O cache com UDF não pôde ser correspondido com caches subsequentes dependentes
  • Encapsula o plano lógico com um AnalysisBarrier para compilação do plano de execução no CacheManager, a fim de evitar que o plano seja analisado novamente. Esta é também uma regressão do Spark 2.3.
• [SPARK-24017][SQL] Refatorar ExternalCatalog para ser uma interface
• [FAÍSCA-24324][PYTHON] pandas Mapa Agrupado UDF deve atribuir colunas de resultado por nome
  • Atribui colunas de resultado por nome de esquema se o utilizador estiver rotulado com cadeias de caracteres, caso contrário, por posição.
• [SPARK-23778][CORE] Evite redistribuição desnecessária quando união tem um RDD vazio
  • Ignora RDDs vazios de entrada no método union para evitar um embaralhamento adicional desnecessário quando todos os outros RDDs têm o mesmo particionamento.
• [FAÍSCA-24552][CORE][SQL] Utilizar identificador único em vez de número de tentativa para gravações.
  • Passa o ID exclusivo da tentativa de tarefa em vez do número de tentativas para fontes de dados v2, porque o número de tentativas é reutilizado quando os estágios são tentados novamente. Isto afeta as APIs da fonte de dados V1 e V2, mas as APIs de formato de ficheiro não serão afetadas porque o Databricks usa um protocolo de commit diferente.
• [SPARK-24588][SS] a junção de streaming deve exigir HashClusteredPartitioning dos filhos.
• [SPARK-24589][CORE] Identificar corretamente as tarefas no coordenador de confirmação de saída.
  • Adiciona mais informações ao estado do estágio controlado pelo coordenador, para que apenas uma tarefa tenha permissão para confirmar a saída. Essa correção também remove as alterações de código inúteis introduzidas pelo SPARK-18113.
• [SPARK-23933][SQL] Adicionar função map_from_arrays
• [SPARK-24583][SQL] Tipo de esquema errado em InsertIntoDataSourceCommand
  • Ao criar uma tabela Delta com restrições NOT NULL, podemos descartar a anulabilidade e inserir os valores NULL sem verificar a violação.
• [FAÍSCA-24542][SQL] A série UDF UDFXPathXXXX permite que os utilizadores passem XML cuidadosamente elaborados para acessar arquivos arbitrários
  • Este é um patch de segurança relatado pela comunidade. A série UDF UDFXPathXXXX permite que os usuários passem XML cuidadosamente criados para acessar arquivos arbitrários. Quando os usuários usam a biblioteca de controle de acesso externo, os usuários podem ignorá-los e acessar o conteúdo do arquivo.
• [SPARK-23934][SQL] Adicionando a função map_from_entries
• [SPARK-23912][SQL] Adicionar array_distinct
• [FAÍSCA-24574][SQL] As funções array_contains, array_position, array_remove e element_at lidam com o tipo de coluna

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Escala: 2.11.8
• Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
• R: R versão 3.4.4 (2018-03-15)
• Clusters de GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas.
  • Piloto da Tesla 375.66
  • CUDA 9,0
  • cuDNN 7,0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)