Tempo de execução do Databricks 4.1 (EoS)

A Databricks lançou esta versão em maio de 2018.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 4.1, desenvolvido pelo Apache Spark.

Lago Delta

O Databricks Runtime versão 4.1 adiciona grandes melhorias de qualidade e funcionalidade ao Delta Lake. A Databricks recomenda vivamente que todos os clientes Delta Lake atualizem para o novo tempo de execução. Esta versão permanece na Pré-visualização Privada, mas representa uma versão candidata em antecipação à próxima versão de disponibilidade geral (GA).

O Delta Lake agora também está disponível na Visualização Privada para usuários do Azure Databricks. Contacte o seu gestor de conta ou registe-se em https://databricks.com/product/databricks-delta.

Alterações de grande impacto

• O Databricks Runtime 4.1 inclui alterações no protocolo de transação para permitir novos recursos, como a validação. As tabelas criadas com o Databricks Runtime 4.1 usam automaticamente a nova versão e não podem ser gravadas por versões mais antigas do Databricks Runtime. Você deve atualizar as tabelas existentes para aproveitar essas melhorias. Para atualizar uma tabela existente, primeiro atualize todas as tarefas que estão gravando na tabela. Em seguida, execute:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Consulte Compatibilidade de recursos e protocolos do Delta Lake para obter mais informações.

• As escritas agora são validadas contra o esquema atual da tabela em vez de adicionarem automaticamente colunas ausentes na tabela de destino. Para habilitar o comportamento anterior, defina a opção mergeSchema como true.

• Se você estiver executando versões anteriores do Databricks Delta, deverá atualizar todos os trabalhos antes de usar o Databricks Runtime 4.1. Se você vir um desses erros, atualize para o Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• As tabelas não podem mais ter colunas que diferem apenas pela diferença de maiúsculas e minúsculas.

• As configurações de tabela específicas do Delta agora devem ser prefixadas com delta.

Novas funcionalidades

• Gerenciamento de esquema - Databricks Delta agora valida acréscimos e substituições em uma tabela existente para garantir que o esquema que está sendo escrito corresponda ao esquema.

  • O Databricks Delta continua a suportar a evolução automática do esquema.
  • O Databricks Delta agora suporta a seguinte DDL para modificar o esquema explicitamente:
    • ALTER TABLE ADD COLUMN adicionar novas colunas a uma tabela
    • ALTER TABLE CHANGE COLUMNS alterar a ordem das colunas
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Para obter detalhes, consulte Aplicação de esquema.

• DDL melhorado e suporte de tabelas

  • Suporte completo para tabelas DDL e saveAsTable(). save() e saveAsTable() agora têm semântica idêntica.
  • Todos os comandos DDL e DML suportam tanto o nome da tabela quanto delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Informações detalhadas da tabela - Pode ver as versões atuais do leitor e do escritor de uma tabela executando DESCRIBE DETAIL. Consulte Compatibilidade de recursos e protocolos do Delta Lake.
  • Detalhes da tabela - As informações de proveniência estão agora disponíveis para cada inserção a uma tabela. A barra lateral de dados também mostra informações detalhadas da tabela e histórico para tabelas Delta no Databricks. Consulte os detalhes da tabela Delta Lake com a descrição detalhada .
  • Tabelas de streaming - Streaming DataFrames pode ser criado usando spark.readStream.format("delta").table("<table-name>").
  • Tabelas somente de acréscimo - O Databricks Delta agora oferece suporte à governança básica de dados. Você pode bloquear exclusões e modificações em uma tabela definindo a propriedade tabledelta.appendOnly=true.
  • MERGE INTO source - Adiciona suporte mais abrangente à especificação de consulta de origem do MERGE. Por exemplo, você pode especificar LIMIT, ORDER BY e INLINE TABLE na fonte.
  • Suporte completo para ACLs de tabela.

Melhoramentos de desempenho

• Sobrecarga de coleta de estatísticas reduzida - A eficiência da coleta de estatísticas foi melhorada e as estatísticas agora são coletadas apenas para um número configurável de colunas, definido como 32 por padrão. O desempenho de gravação Delta do Databricks foi melhorado em até 2x devido à redução na sobrecarga de coleta de estatísticas. Para configurar o número de colunas, defina a propriedade da tabela delta.dataSkippingNumIndexedCols=<number-of-columns>.
• Suporte para redução de limite - As estatísticas são usadas para limitar o número de arquivos verificados em busca de consultas que tenham LIMIT e predicados sobre colunas de partição. Isso é aplicável a consultas em blocos de anotações devido ao efeito implícito limit=1000 para todos os comandos do bloco de anotações.
• Atribuição de filtros na fonte de streaming - As consultas de streaming agora usam particionamento ao iniciar um novo stream, para ignorar dados irrelevantes.
• Por enquanto, o paralelismo OPTIMIZE - OPTIMIZE aprimorado é executado como uma única tarefa do Spark e usará todo o paralelismo disponível no cluster (anteriormente era limitado a 100 arquivos compactados de cada vez).
• Data Skipping in DML - UPDATE, DELETE e MERGE agora usam estatísticas ao localizar arquivos que precisam ser reescritos.
• Diminuição da retenção de pontos de verificação - os pontos de verificação agora são retidos por dois dias (o histórico ainda é mantido por 30) para diminuir os custos de armazenamento para o log de transações.

Comportamento da API

• O comportamento de insertInto(<table-name>) no Databricks Delta é o mesmo que outras fontes de dados.
  • Se nenhum modo for especificado ou mode estiver ErrorIfExists, Ignoreou Append, acrescentará os dados no DataFrame à tabela Delta do Databricks.
  • Se mode estiver Overwrite, elimina todos os dados na tabela existente e insere os dados do DataFrame na tabela Delta do Databricks.
• Se armazenada em cache, a tabela de destino da MERGE deve ser removida manualmente do cache.

Melhorias de usabilidade

• Validações de migração de carga de trabalho - Erros comuns cometidos ao migrar cargas de trabalho para o Databricks Delta agora geram uma exceção em vez de falhar:
  • Usando format("parquet") para ler ou escrever uma tabela.
  • Ler ou escrever diretamente numa partição (ou seja, /path/to/delta/part=1).
  • Removendo subdiretórios de uma tabela.
  • INSERT OVERWRITE DIRECTORY usando Parquet em uma mesa.
• Configuração sem diferenciação de maiúsculas e minúsculas - As opções para o Leitor/Gravador DataFrame e as propriedades da tabela agora não diferenciam maiúsculas de minúsculas (incluindo caminho de leitura e caminho de gravação).
• Nomes de colunas - Os nomes das colunas da tabela agora podem incluir pontos.

Problemas conhecidos

• As inserções de instruções multi-inserção estão em diferentes unidades de trabalho, ao invés de estarem na mesma transação.

Correções de erros

• Foi corrigido um loop infinito que ocorria ao iniciar um novo fluxo numa tabela com atualização rápida.

Deprecações

O Streaming Estruturado não manipula entradas que não sejam um acréscimo e lança uma exceção se ocorrerem modificações na tabela que está sendo usada como fonte. Anteriormente, você podia substituir esse comportamento usando o ignoreFileDeletion sinalizador, mas agora ele foi preterido. Em vez disso, use ignoreDeletes ou ignoreChanges. Consulte Opção 2: Transmitir a partir de uma tabela Delta.

Outras Alterações e Melhorias

• O Query Watchdog está habilitado para todos os clusters multiuso criados usando a interface do usuário.
• Melhor desempenho do lado do controlador para o cache DBIO
• Melhoria no desempenho para a descodificação de Parquet através de um novo descodificador Parquet nativo
• Desempenho melhorado para eliminação de subexpressões comuns
• Melhor desempenho no salto de dados ao unir tabelas grandes a tabelas pequenas (junções entre tabelas de factos e dimensões)
• display() agora renderiza colunas contendo tipos de dados de imagem como HTML avançado.
• Melhorias no Registre, carregue e registre modelos MLflow
  • Atualizado dbml-local para a versão mais recente 0.4.1
  • Corrigido erro em modelos exportados com o parâmetro threshold especificado
  • Adicionado suporte para exportação OneVsRestModel, GBTClassificationModel
• Atualizado algumas bibliotecas Python instaladas:
  • pip: de 9.0.1 para 10.0.0b2
  • setuptools: de 38.5.1 a 39.0.1
  • tornado: 4.5.3 a 5.0.1
  • roda: 0.30.0 a 0.31.0
• Atualizaram-se várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
• SDK do Azure Data Lake Store atualizado de 2.0.11 para 2.2.8.
• CUDA atualizado de 8.0 para 9.0 e CUDNN de 6.0 para 7.0 para clusters de GPU.

Apache Spark

O Databricks Runtime 4.1 inclui o Apache Spark 2.3.0. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-24007][SQL] EqualNullSafe para FloatType e DoubleType pode gerar um resultado errado por codegen.
• [FAÍSCA-23942][PYTHON][SQL] Faz a coleta no PySpark como ação para um ouvinte do executor de consulta
• [SPARK-23815][CORE] O modo de sobrescrever partições dinâmicas do escritor Spark pode falhar ao gravar a saída em partições de múltiplos níveis
• [SPARK-23748][SS] Corrigir o problema do processo contínuo SS que não suporta SubqueryAlias
• [SPARK-23963][SQL] Manipule corretamente um grande número de colunas na consulta na tabela Hive baseada em texto
• [SPARK-23867][SCHEDULER] use droppedCount em logWarning
• [SPARK-23816][CORE] As tarefas finalizadas devem ignorar FetchFailures.
• [SPARK-23809][SQL] Ative SparkSession deve ser definido por getOrCreate
• [SPARK-23966][SS] Refatorar toda a lógica de escrita de ficheiros de pontos de verificação numa interface comum do CheckpointFileManager
• [SPARK-21351][SQL] Anulabilidade da atualização com base na saída dos filhos
• [SPARK-23847][PYTHON][SQL] Adicionar asc_nulls_first, asc_nulls_last ao PySpark
• [SPARK-23822][SQL] Melhorar mensagem de erro para incompatibilidades de esquema Parquet
• [SPARK-23823][SQL] Mantenha a origem em transformExpression
• [SPARK-23838][WEBUI] Consulta SQL em execução é exibida como "concluída" na guia SQL
• [SPARK-23802][SQL] PropagateEmptyRelation pode deixar o plano de consulta em estado não resolvido
• [FAÍSCA-23727][SQL] Suporte para empurrar filtros para baixo para DateType em parquet
• [SPARK-23574][SQL] Reportar SinglePartition no DataSourceV2ScanExec quando há exatamente 1 fábrica de leitores de dados.
• [SPARK-23533][SS] Adicionar suporte para alterar startOffset do ContinuousDataReader
• [SPARK-23491][SS] Remover o cancelamento explícito de trabalhos durante a reconfiguração do ContinuousExecution
• [SPARK-23040][CORE] Devolve um iterador interruptível para leitor de shuffle
• [SPARK-23827][SS] StreamingJoinExec deve garantir que os dados de entrada sejam particionados num número específico de partições
• [FAÍSCA-23639][SQL] Obter token antes de inicializar o cliente do metastore na CLI do SparkSQL
• [SPARK-23806] Broadcast.unpersist pode causar exceção fatal em certas circunstâncias...
• [SPARK-23599][SQL] Use RandomUUIDGenerator na expressão UUID
• [SPARK-23599][SQL] Adicionar um gerador UUID a partir de números pseudoaleatórios
• [SPARK-23759][UI] Não é possível associar o Spark UI a um nome de host/IP específico
• [SPARK-23769][CORE] Remover comentários que desnecessariamente desativam a verificação Scalastyle
• [SPARK-23614][SQL] Corrigir reutilização de intercâmbio incorreta quando o armazenamento em cache é utilizado
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs deve salvar/restaurar o estado CSE corretamente
• [SPARK-23729][CORE] Respeitar o fragmento de URI ao resolver globs
• [SPARK-23550][CORE] Limpeza de Utils
• [FAÍSCA-23288][SS] Corrija métricas de saída com pia de parquet
• [SPARK-23264][SQL] Corrigir scala.MatchError em literals.sql.out
• [SPARK-23649][SQL] Passar por cima de caracteres não permitidos em UTF-8
• [SPARK-23691][PYTHON] Use sql_conf util em testes PySpark sempre que possível
• [SPARK-23644][CORE][UI] Usar caminho absoluto para chamada REST no SHS
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) deve produzir Nenhum no PySpark
• [SPARK-23623][SS] Evitar o uso simultâneo de consumidores em cache no CachedKafkaConsumer
• [SPARK-23670][SQL] Corrigir fuga de memória no SparkPlanGraphWrapper
• [SPARK-23608][CORE][WEBUI] Adicionar sincronização no SHS entre as funções attachSparkUI e detachSparkUI para evitar problemas de modificação concorrente nos handlers do Jetty
• [SPARK-23671][CORE] Corrigir a condição para ativar o SHS thread pool.
• [SPARK-23658][LAUNCHER] InProcessAppHandle usa a classe errada no getLogger
• [SPARK-23642][DOCS] Correção de scaladoc isZero na subclasse AccumulatorV2
• [SPARK-22915][MLLIB] Testes de streaming para spark.ml.feature, de N a Z
• [SPARK-23598][SQL] Tornar os métodos em BufferedRowIterator públicos para evitar um erro de execução numa consulta de grande tamanho
• [SPARK-23546][SQL] Refatorar métodos e valores sem estado no CodegenContext
• [SPARK-23523][SQL] Corrigir o resultado incorreto causado pela regra OptimizeMetadataOnlyQuery
• [SPARK-23462][SQL] melhorar a mensagem de erro para campo ausente no StructType
• [SPARK-23624][SQL] Revisar a documentação do método pushFilters no Datasource V2
• [FAÍSCA-23173][SQL] Evite criar arquivos de parquet corrompidos ao carregar dados do JSON
• [SPARK-23436][SQL] Inferir partição como Data somente se ela puder ser convertida para Data
• [SPARK-23406][SS] Habilitar auto-junções de fluxo a fluxo
• [SPARK-23490][SQL] Verifique storage.locationUri com a tabela existente em CreateTable
• [FAÍSCA-23524]Grandes blocos locais de shuffle não devem ser verificados quanto a corrupção.
• [SPARK-23525] Suporte[SQL] ALTER TABLE ALTERAR COLUMN COMENTÁRIO para tabela de hive externa
• [FAÍSCA-23434][SQL] O Spark não deve avisar diretório de metadados para um caminho de arquivo do HDFS
• [SPARK-23457][SQL] Registrar ouvintes de conclusão de tarefas primeiro no ParquetFileFormat
• [SPARK-23329][SQL] Corrigir a documentação das funções trigonométricas
• [SPARK-23569][PYTHON] Permitir que pandas_udf trabalhe com funções anotadas por tipo ao estilo do python3
• [SPARK-23570][SQL] Adicionar o Spark 2.3.0 em HiveExternalCatalogVersionsSuite
• [SPARK-23517][PYTHON] Faça pyspark.util._exception_message produza o rastreamento do lado Java por Py4JJavaError
• [SPARK-23508][CORE] Corrigir BlockmanagerId no caso de blockManagerIdCache causar oom
• [SPARK-23448][SQL] Esclarecer o comportamento do analisador JSON e CSV no documento
• [FAÍSCA-23365][CORE] Não ajuste o número de executores quando matar executores ociosos.
• [SPARK-23438][DSTREAMS] Corrigir perda de dados dos DStreams com WAL quando o driver falha
• [FAÍSCA-23475][UI] Mostrar também etapas ignoradas
• [SPARK-23518][SQL] Evite o acesso ao metastore quando os utilizadores quiserem apenas ler e escrever quadros de dados
• [SPARK-23406][SS] Habilitar auto-junções de fluxo a fluxo
• [SPARK-23541][SS] Permitir que a fonte Kafka leia dados com maior paralelismo do que o número de partições de artigo
• [SPARK-23097][SQL][SS] Migrar a origem do socket de texto para a V2
• [SPARK-23362][SS] Migrar a fonte do Kafka Microbatch para v2
• [SPARK-23445] Refatoração ColumnStat
• [FAÍSCA-23092][SQL] Migrar MemoryStream para APIs DataSourceV2
• [SPARK-23447][SQL] Limpar o modelo de codegen para Literal
• [FAÍSCA-23366]Melhorar o caminho de leitura rápida em ReadAheadInputStream
• [SPARK-22624][PYSPARK] Expor particionamento de intervalo 'shuffle'

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.1.

Ambiente do Sistema

• Sistema Operacional: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Escala: 2.11.8
• Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
• R: R versão 3.4.4 (2018-03-15)
• Clusters de GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
  • Piloto da Tesla 375.66
  • CUDA 9,0
  • cuDNN 7,0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)