Databricks Runtime 8.0 (EoS)

O Databricks lançou esta versão em março de 2021.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 8.0, da plataforma Apache Spark 3.1.1.

Novos recursos

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1. Para obter mais detalhes, confira Apache Spark.

Aprimoramentos

O Delta já é o formato padrão quando um formato não é especificado

O Databricks Runtime 8.0 altera o formato padrão para delta a fim de simplificar a criação de uma tabela Delta. Quando você cria uma tabela usando comandos SQL ou APIs {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} e não especifica um formato, o formato padrão é delta.

Com o Delta Lake, você obtém melhor desempenho em relação ao Parquet, melhor confiabilidade de dados com validação avançada de esquema, restrições de qualidade e garantias transacionais. Com o Delta Lake, você pode simplificar seus pipelines de dados com streaming estruturado unificado e processamento em lote em uma só fonte de dados.

Embora o Databricks recomende o uso do Delta Lake para armazenar seus dados, você pode ter fluxos de trabalho herdados que exijam a migração para o Delta Lake. Para obter informações sobre como migrar fluxos de trabalho existentes, consulte o que é o Delta Lake no Azure Databricks?.

Novo intervalo de gatilho padrão do Streaming Estruturado reduz os custos

Se você não definir um intervalo de gatilho usando Trigger.ProcessingTime na consulta de streaming, o intervalo será definido como 500 ms. Anteriormente, o intervalo padrão era 0 ms. Essa alteração deverá reduzir o número de gatilhos vazios e reduzir os custos do armazenamento em nuvem, como a listagem.

Usar a função de transformação LDA com a passagem de credenciais (versão prévia pública)

Você já pode usar a função de transformação LDA em um cluster configurado para usar a passagem de credenciais para autenticação.

Os clusters de usuário único configurados com a passagem de credenciais não exigem mais sistemas de arquivos confiáveis (versão prévia pública)

Você não precisa mais configurar sistemas de arquivos locais como sistemas de arquivos confiáveis ao usar um cluster padrão ou de trabalho configurado para passagem de credenciais com um só usuário. Essa alteração remove as restrições desnecessárias do sistema de arquivos quando os trabalhos são executados em um cluster de usuário único.

Atualizações da biblioteca

• Várias bibliotecas do Java e do Scala foram atualizadas. Confira Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12).
• Atualização do Python para 3.8.6.
• Várias bibliotecas do Python instaladas foram atualizadas. Confira Bibliotecas do Python instaladas.
• Atualização do R para 4.0.3.
• Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Apache Spark

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1.

Nesta seção:

• Core e Spark SQL
• PySpark
• Streaming estruturado
• MLlib
• SparkR

Core e Spark SQL

Destaque

• Unificação da sintaxe de SQL create table (SPARK-31257)
• Aprimoramento da junção hash em ordem aleatória (SPARK-32461)
• Eliminação de subexpressão aprimorada (SPARK-33092, SPARK-33337, SPARK-33427 e SPARK-33540)
• GA do Kubernetes (SPARK-33005)

Aprimoramentos na compatibilidade com o ANSI SQL

• Suporte ao tipo de dados char/varchar (SPARK-33480)
• Modo ANSI: erros de runtime em vez de retorno de nulo (SPARK-33275)
• Modo ANSI: novas regras de sintaxe de conversão explícita (SPARK-33354)
• Adição do comando SQL SET TIME ZONE padrão (SPARK-32272)
• Unificação da sintaxe de SQL create table (SPARK-31257)
• Unificação da exibição temporária e dos comportamentos de exibição permanentes (SPARK-33138)
• Suporte à lista de colunas instrução INSERT (SPARK-32976)
• Suporte aos comentários em colchetes aninhados ANSI (SPARK-28880)

Aprimoramentos de desempenho

• Leitura de dados em ordem aleatória local do host sem serviço de ordem aleatória (SPARK-32077)
• Remoção das classificações redundantes antes do reparticionamento de nós (SPARK-32276)
• Pushdown parcial de predicados (SPARK-32302 e SPARK-32352)
• Pushdown de filtros por meio da expansão (SPARK-33302)
• Push de outros possíveis predicados por meio da junção usando a conversão CNF (SPARK-31705)
• Remoção da ordem aleatória preservando o particionamento de saída da junção hash de difusão (SPARK-31869)
• Remoção da ordem aleatória aprimorando a reordenação das chaves de junção (SPARK-32282)
• Remoção da ordem aleatória normalizando o particionamento de saída e a ordem de classificação (SPARK-33399)
• Aprimoramento da junção hash em ordem aleatória (SPARK-32461)
  • Preservação do particionamento no lado do build da junção hash em ordem aleatória (SPARK-32330)
  • Preservação da ordenação no lado do fluxo da junção hash (BHJ e SHJ) (SPARK-32383)
  • União de tabelas em buckets para junção de mesclagem de classificação (SPARK-32286)
  • Adição de code-gen para junção hash em ordem aleatória (SPARK-32421)
  • Suporte à junção externa completa na junção hash em ordem aleatória (SPARK-32399)
• Suporte à eliminação de subexpressão no projeto com a geração de código de fase completa (SPARK-33092)
• Suporte à eliminação de subexpressão em expressões condicionais (SPARK-33337)
• Suporte à eliminação de subexpressão para avaliação de expressão interpretada (SPARK-33427)
• Suporte à eliminação de subexpressão para predicado interpretado (SPARK-33540)
• Outras regras do otimizador
  • Regra ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
  • Regra EliminateNullAwareAntiJoin (SPARK-32573)
  • Regra EliminateAggregateFilter (SPARK-32540)
  • Regra UnwrapCastInBinaryComparison (SPARK-32858)
  • Regra DisableUnnecessaryBucketedScan (SPARK-32859)
  • Regra CoalesceBucketsInJoin (SPARK-31350)
  • Remoção de campos aninhados desnecessários da geração sem projeto (SPARK-29721)
  • Remoção de campos aninhados desnecessários da agregação e da expansão (SPARK-27217)
  • Remoção de campos aninhados desnecessários do reparticionamento por expressão e junção (SPARK-31736)
  • Remoção de campos aninhados desnecessários em variações superficiais (SPARK-32163)
  • Remoção de campos aninhados desnecessários da janela e da classificação (SPARK-32059)
  • Otimização do tamanho de CreateArray/CreateMap para ter o tamanho dos filhos (SPARK-33544)

Aprimoramentos de extensibilidade

• Adição das APIs SupportsPartitions a DataSourceV2 (SPARK-31694)
• Adição das APIs SupportsMetadataColumns a DataSourceV2 (SPARK-31255)
• A serialização de cache SQL passa a ser conectável (SPARK-32274)
• Introdução da opção purge em TableCatalog.dropTable no catálogo v2 (SPARK-33364)

Aprimoramentos do conector

• Aprimoramento de pushdown do filtro de partição do metastore do Hive (SPARK-33537)
  • Suporte aos filtros Contém, Começa com e Termina com (SPARK-33458)
  • Suporte ao filtro por tipo de data (SPARK-33477)
  • Suporte ao filtro por Não igual a (SPARK-33582)
• Parquete
  • Permitir tipo complexo no tipo de chave do mapa em Parquet (SPARK-32639)
  • Permissão do salvamento e do carregamento de INT96 em Parquet sem troca de base (SPARK-33160)
• ORC
  • Pushdown de predicado de coluna aninhada para ORC (SPARK-25557)
  • Atualização do Apache ORC para 1.5.12 (SPARK-33050)
• CSV
  • Aproveitamento da fonte de dados de texto SQL durante a inferência de esquema CSV (SPARK-32270)
• JSON
  • Suporte ao pushdown de filtros na fonte de dados JSON (SPARK-30648)
• JDBC
  • Implementação das APIs de catálogo para JDBC (SPARK-32375, SPARK-32579, SPARK-32402 e SPARK-33130)
  • Criação da API de desenvolvedor do provedor de autenticação JDBC (SPARK-32001)
  • Adição da possibilidade de desabilitação do provedor de conexão JDBC (SPARK-32047)
• Avro
  • Suporte ao pushdown de filtros na fonte de dados Avro (SPARK-32346)

Aprimoramentos de recursos

• Descomissionamento de nó (SPARK-20624)
  • Estrutura básica (SPARK-20628)
  • Migração de blocos RDD durante a desativação (SPARK-20732)
  • Desativação normal como parte da escala dinâmica (SPARK-31198)
  • Migração de blocos de ordem aleatória durante a desativação (SPARK-20629)
  • Saída do executor somente quando as tarefas e a migração de bloco são concluídas (SPARK-31197)
  • Suporte ao armazenamento de fallback durante a desativação (SPARK-33545)
• Novas funções internas
  • json_array_length (SPARK-31008)
  • json_object_keys (SPARK-31009)
  • current_catalog (SPARK-30352)
  • timestamp_seconds, timestamp_millis e timestamp_micros (SPARK-31710)
  • width_bucket (SPARK-21117)
  • regexp_extract_all (SPARK-24884)
  • nth_value (SPARK-27951)
  • raise_error (SPARK-32793)
  • unix_seconds, unix_millis e unix_micros (SPARK-33627)
  • date_from_unix_date e unix_date (SPARK-33646)
  • current_timezone (SPARK-33469)
• EXPLAIN aprimoramento de comando (SPARK-32337, SPARK-31325)
• Fornecimento de uma opção para desabilitar as dicas fornecidas pelo usuário (SPARK-31875)
• Sintaxe REPLACE COLUMNS de estilo hive (SPARK-30613)
• Suporte aos operadores LIKE ANY e LIKE ALL (SPARK-30724)
• Suporte ilimitado a MATCHED e NOT MATCHED em MERGE INTO (SPARK-32030)
• Suporte aos literais float com o sufixo F (SPARK-32207)
• Suporte à sintaxe RESET para redefinir a configuração única (SPARK-32406)
• O suporte à expressão de filtro permite o uso simultâneo de DISTINCT (SPARK-30276)
• Suporte ao comando alter table add/drop partition em DSv2 (SPARK-32512)
• Suporte às subconsultas NOT IN dentro de condições aninhadas OR (SPARK-25154)
• Suporte ao comando REFRESH FUNCTION (SPARK-31999)
• Adicção dos métodos sameSemantics e sementicHash ao conjunto de dados (SPARK-30791)
• Suporte ao tipo composto de classe Case no UDF (SPARK-31826)
• Suporte à enumeração em codificadores (SPARK-32585)
• Suporte às APIs de campo aninhado withField e dropFields (SPARK-31317 e SPARK-32511)
• Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-29358)
• Suporte a DataFrameReader.table para uso das opções especificadas (SPARK-32592 e SPARK-32844)
• Suporte ao local do HDFS em spark.sql.hive.metastore.jars (SPARK-32852)
• Opção de suporte nativo a --archives (SPARK-33530 e SPARK-33615)
• Aprimoramento da API ExecutorPlugin para inclusão de métodos para eventos de início e de término da tarefa (SPARK-33088)

Outras alterações importantes

• Fornecimento da função de pesquisa no site de documentação do Spark (SPARK-33166)
• Atualização do Apache Arrow para 2.0.0 (SPARK-33213)
• Habilitação da API de tempo Java 8 no servidor Thrift (SPARK-31910)
• Habilitação da API de tempo Java 8 em UDFs (SPARK-32154)
• Verificação de estouro na soma de agregação com decimais (SPARK-28067)
• Correção da colisão de confirmação no modo de substituição de partição dinâmica (SPARK-27194 e SPARK-29302)
• Remoção de referências para subordinado, lista de bloqueios e lista de permissões (SPARK-32004, SPARK-32036 e SPARK-32037)
• Remoção da verificação do tamanho do resultado da tarefa para a fase de mapa em ordem aleatória (SPARK-32470)
• Generalização de ExecutorSource para exposição dos esquemas de sistema de arquivos fornecidos pelo usuário (SPARK-33476)
• Adição de StorageLevel.DISK_ONLY_3 (SPARK-32517)
• Exposição de métricas de memória do executor na interface do usuário da Web para executores (SPARK-23432)
• Exposição das métricas de memória do executor na fase, na guia Fases (SPARK-26341)
• Correção explícita de spark.ui.port no modo de cluster YARN (SPARK-29465)
• Adição da configuração spark.submit.waitForCompletion para controlar a saída do Spark-submit no modo de cluster autônomo (SPARK-31486)
• Configuração de yarn.Client para impressão de links diretos para StdOut/stderr do driver (SPARK-33185)
• Correção da perda de memória durante uma falha no armazenamento de partes da difusão (SPARK-32715)
• O tempo limite de pulsação do driver BlockManagerMaster passa a ser configurável (SPARK-34278)
• Unificação e conclusão dos comportamentos do cache (SPARK-33507)

PySpark

Projeto Zen

• Project Zen: aprimoramento da usabilidade do Python (SPARK-32082)
• Suporte às dicas de tipo do PySpark (SPARK-32681)
• Reformulação da documentação do PySpark (SPARK-31851)
• Migração para o estilo de documentação do NumPy (SPARK-32085)
• Opção de instalação para usuários do PyPI (SPARK-32017)
• Reprovação desfeita do esquema do DataFrame de inferência da lista de dict (SPARK-32686)
• Simplificação da mensagem de exceção em UDFs do Python (SPARK-33407)

Outras alterações importantes

• Eliminação de duplicações em chamadas determinísticas UDF do Python (SPARK-33303)
• Suporte às funções de ordem superior em funções do PySpark (SPARK-30681)
• Suporte às APIs de gravação V2X da fonte de dados (SPARK-29157)
• Suporte a percentile_approx em funções do PySpark (SPARK-30569)
• Suporte a inputFiles no DataFrame do PySpark (SPARK-31763)
• Suporte a withField em colunas do PySpark (SPARK-32835)
• Suporte a dropFields em colunas do PySpark (SPARK-32511)
• Suporte a nth_value em funções do PySpark (SPARK-33020)
• Support a acosh, asinh e atanh (SPARK-33563)
• Suporte ao método getCheckpointDir no SparkContext do PySpark (SPARK-33017)
• Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-32798)
• Atualização de cloudpickle para v1.5.0 (SPARK-32094)
• Adição de suporte a MapType no PySpark com o Arrow (SPARK-24554)
• DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Streaming estruturado

Aprimoramentos de desempenho

• Armazenamento em cache da lista de arquivos buscados além de maxFilesPerTrigger como arquivos não lidos (SPARK-30866)
• Simplificação da lógica no log de metadados de origem do fluxo de arquivos e do coletor (SPARK-30462)
• Evitar a leitura do log de metadados compactos duas vezes se a consulta é reiniciada do lote compacto (SPARK-30900)

Aprimoramentos de recursos

• Adição da API DataStreamReader.table (SPARK-32885)
• Adição da API DataStreamWriter.toTable (SPARK-32896)
• Junção de fluxo – Semifluxo à esquerda (SPARK-32862)
• Junção de fluxo – Fluxo externo completo (SPARK-32863)
• Fornecimento de uma nova opção para a presença da retenção em arquivos de saída (SPARK-27188)
• Adição de suporte ao servidor de histórico do Streaming Estruturado do Spark (SPARK-31953)
• Introdução da validação de esquema de estado entre a reinicialização da consulta (SPARK-27237)

Outras alterações importantes

• Introdução da validação de esquema para o armazenamento de estado de streaming (SPARK-31894)
• Suporte ao uso de um codec de compactação diferente no armazenamento de estado (SPARK-33263)
• Espera infinita do conector do Kafka devido a não atualização dos metadados (SPARK-28367)
• Atualização do Kafka para 2.6.0 (SPARK-32568)
• Suporte à paginação em páginas da interface do usuário do Streaming Estruturado (SPARK-31642 e SPARK-30119)
• Informações de estado na interface do usuário do Streaming Estruturado (SPARK-33223)
• Informações de lacuna de marca d'água na interface do usuário do Streaming Estruturado (SPARK-33224)
• Exposição de informações de métricas personalizadas de estado na interface do usuário do SS (SPARK-33287)
• Adição de uma nova métrica em relação ao número de linhas posteriores à marca d'água (SPARK-24634)

MLlib

Destaques

• Bloqueio de LinearSVC dos vetores de entrada (SPARK-30642)
• Bloqueio de LogisticRegression dos vetores de entrada (SPARK-30659)
• Bloqueio de LinearRegression dos vetores de entrada (SPARK-30660)
• Bloqueio de AFT dos vetores de entrada (SPARK-31656)
• Adição de suporte para regras de associação no ML (SPARK-19939)
• Adição do resumo de treinamento para LinearSVCModel (SPARK-20249)
• Adição de resumo a RandomForestClassificationModel (SPARK-23631)
• Adição de resumo de treinamento a FMClassificationModel (SPARK-32140)
• Adição de resumo a MultilayerPerceptronClassificationModel (SPARK-32449)
• Adição de FMClassifier ao SparkR (SPARK-30820)
• Adição do wrapper LinearRegression ao SparkR (SPARK-30818)
• Adição do wrapper FMRegressor ao SparkR (SPARK-30819)
• Adição do wrapper do SparkR a vector_to_array (SPARK-33040)
• Bloqueio de instâncias de maneira adaptável – LinearSVC (SPARK-32907)
• CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer passam a dar suporte ao avaliador de back-end do Python (SPARK-33520)
• Aprimoramento do desempenho do recommendForAll do ML ALS por GEMV (SPARK-33518)
• Adição de UnivariateFeatureSelector (SPARK-34080)

Outras alterações importantes

• Resumo de computação do GMM e distribuições de atualização em um trabalho (SPARK-31032)
• Remoção da dependência ChiSqSelector em mllib.ChiSqSelectorModel (SPARK-31077)
• Mesclagem do dataframe de resultados dos testes em testChiSquare (SPARK-31301)
• Otimização de MinHash keyDistance (SPARK-31436)
• Otimização do KMeans com base na desigualdade de triângulo (SPARK-31007)
• Adição de suporte de peso em ClusteringEvaluator (SPARK-31734)
• Adição de getMetrics em Avaliadores (SPARK-31768)
• Adição de suporte de peso da instância em LinearRegressionSummary (SPARK-31944)
• Adição da coluna de dobra especificada pelo usuário a CrossValidator (SPARK-31777)
• Paridade de valor padrão de parâmetros do ML no recurso e no ajuste (SPARK-32310)
• Correção do cache duplo em KMeans/BiKMeans (SPARK-32676)
• Otimização da transformação aft (SPARK-33111)
• Otimização da transformação FeatureHasher (SPARK-32974)
• Adição da função array_to_vector à coluna dataframe (SPARK-33556)
• Paridade de valor padrão de parâmetros do ML na classificação, na regressão, no clustering e no fpm (SPARK-32310)
• Summary.totalIterations maior que maxIters (SPARK-31925)
• Otimização da previsão de modelos de árvore (SPARK-32298)

SparkR

• Adição da interface do SparkR às funções de ordem superior (SPARK-30682)
• Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-32798)
• Suporte a withColumn em funções do SparkR (SPARK-32946)
• Suporte a timestamp_seconds em funções do SparkR (SPARK-32949)
• Suporte a nth_value em funções do SparkR (SPARK-33030)
• Versão mínima do Arrow aumentada para 1.0.0 (SPARK-32452)
• Suporte a array_to_vector em funções do SparkR (SPARK-33622)
• Suporte a acosh, asinh e atanh (SPARK-33563)
• Suporte a from_avro e to_avro (SPARK-33304)

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 8.0.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.8.8 (atualizado da versão 3.8.6 em 26 de maio de 2021 – Atualização de manutenção)
• R: versão do R 4.0.3 (10/10/2020)
• Delta Lake 0.8.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 02-11-2020.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)