Databricks Runtime 7.0 (EoS)

O Databricks lançou essa versão em junho de 2020.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 7.0, da plataforma Apache Spark 3.0.

Novos recursos

O Databricks Runtime 7.0 inclui os seguintes novos recursos:

• Scala 2.12

  O Databricks Runtime 7.0 atualiza o Scala de 2.11.12 para 2.12.10. A lista de alterações entre Scala 2.12 e 2.11 está nas notas de versão do Scala 2.12.0.

• O Carregador Automático (Visualização Pública), lançado no Databricks Runtime 6.4, foi aprimorado no Databricks Runtime 7.0

  O Carregador Automático oferece uma forma mais eficiente de processar novos arquivos de dados de maneira incremental conforme eles chegam em um armazenamento de blobs de nuvem durante o ETL. Esse é um aprimoramento em relação ao streaming estruturado baseado em arquivo, que identifica novos arquivos listando repetidamente o diretório de nuvem e acompanhando os arquivos que foram vistos e que pode ser muito ineficiente à medida que o diretório cresce. O Carregador Automático também é mais conveniente e eficaz do que o streaming estruturado baseado em notificações de arquivo, que exige que você configure manualmente os serviços de notificação de arquivo na nuvem e não permite que você reprocessar arquivos existentes. Para ver detalhes, confira O que é o Carregador Automático?.

  No Databricks Runtime 7.0, você não precisa mais solicitar uma imagem Databricks Runtime personalizada para usar o Carregador Automático.

• COPY INTO (Visualização Pública), que permite carregar dados no Delta Lake com as recuperações idempotentes, foi melhorada com o Databricks Runtime 7.0

  Lançado como uma visualização pública no Databricks Runtime 6.4, o comando SQL COPY INTO permite carregar dados no Delta Lake com as recuperações idempotentes. Para carregar dados no Delta Lake hoje, você precisa usar a API de DataFrame do Apache Spark. Se houver falhas durante as cargas, você precisará lidar com elas com eficiência. O novo comando COPY INTO fornece uma interface declarativa conhecida carregarem os dados no SQL. O comando mantém o controle dos arquivos já carregados, e você o executa com segurança em caso de falhas. Para obter detalhes, consulte COPY INTO.

Aprimoramentos

• Azure Synapse (anteriormente SQL Data Warehouse) dá suporte à instrução COPY.

  O principal benefício do COPY é que os usuários com privilégios inferiores podem gravar dados em Azure Synapse sem a necessidade de permissões CONTROL estritas no Azure Synapse.

• O comando magic %matplotlib inline não é mais necessário para exibir display Matplolib em linha em células do notebook. Elas são sempre exibidas em linha por padrão.

• As figuras matplolib agora são renderizadas com transparent=False, de modo que as origens especificadas pelo usuário não sejam perdidas. Esse comportamento pode ser substituído definindo a configuração do Spark spark.databricks.workspace.matplotlib.transparent true.

• Ao executar trabalhos de produção de Streaming Estruturado em clusters de modo de alta simultaneidade, as reinicializações de um trabalho ocasionalmente falhavam, porque o trabalho em execução anteriormente não era encerrado corretamente. O Databricks Runtime 6.3 introduziu a capacidade de definir a configuração de SQL spark.sql.streaming.stopActiveRunOnRestart true no cluster para garantir que a execução anterior seja interrompida. Essa configuração é definida por padrão Databricks Runtime 7.0.

Principais alterações na biblioteca

Pacotes do Python

Principais pacotes do Python atualizados:

• boto3 1.9.162 –> 1.12.0
• matplotlib 3.0.3 –> 3.1.3
• numpy 1.16.2 –> 1.18.1
• pandas 0.24.2 -> 1.0.1
• pip 19.0.3 –> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 –> 2.8.4
• scikit-learn 0.20.3 –> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

Pacotes do Python removidos:

• boto (utilize boto3)
• pycurl

Pacotes R

Pacotes R adicionados:

• vassoura
• mais alto
• isoband
• malhador
• redução de preço
• modelador
• exemplo reprodutível (reprex)
• rmarkdown
• rvest
• Seletor
• tidyverse
• tinytex
• xfun

Pacotes R removidos:

• abind
• bitops
• carro
• dadosDoCarro
• doMC
• Gbm
• H₂O
• menor
• lme4
• mapproj
• mapas
• maptools
• MatrixModels
• minqa
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• rio
• São Paulo
• Esparso
• statmod
• zíper

Bibliotecas do Java e do Scala

• Apache Hive versão usada para lidar com funções definidas pelo usuário do Hive e Hive SerDes atualizados para a versão 2.3.
• Anteriormente, jars de Armazenamento do Azure e Key Vault eram empacotados como parte do Databricks Runtime, o que impediria o uso de diferentes versões dessas bibliotecas anexadas a clusters. Classes em com.microsoft.azure.storage e com.microsoft.azure.keyvault não estão mais no caminho de classe em Databricks Runtime. Se você depender de qualquer um desses caminhos de classe, agora deverá anexar o SDK do Armazenamento do Microsoft Azure ou do Azure Key Vault aos seus clusters.

Alterações de comportamento

Esta seção lista as alterações de comportamento de Databricks Runtime 6.6 para Databricks Runtime 7.0. Você deve estar ciente deles ao migrar cargas de trabalho de versões inferiores Databricks Runtime para Databricks Runtime 7.0 e superior.

Outras alterações do Spark

Como Databricks Runtime 7.0 é o primeiro Databricks Runtime criado no Spark 3.0, há muitas alterações que você deve conhecer ao migrar cargas de trabalho de Databricks Runtime 5.5 LTS ou 6.x, que são criadas no Spark 2.4. Essas alterações são listadas na seção "alterações de comportamento" de cada área funcional na seção Apache Spark deste artigo de notas de versão:

• Alterações de comportamento para Spark core, Spark SQL e Streaming Estruturado
• Alterações de comportamento para MLlib
• Alterações de comportamento para SparkR

Outras alterações de comportamento

• A atualização para o Scala 2.12 envolve as seguintes alterações:

  • A serialização de célula do pacote é tratada de forma diferente. O exemplo a seguir ilustra a alteração de comportamento e como tratá-la.

    A execução de foo.bar.MyObjectInPackageCell.run() conforme definido na célula do pacote a seguir disparará o erro java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    Para contornar esse erro, você pode encapsular MyObjectInPackageCell dentro de uma classe serializável.

  • Determinados casos que usam DataStreamWriter.foreachBatch exigirão uma atualização do código-fonte. Essa alteração ocorre devido ao fato de que o Scala 2.12 tem conversão automática de expressões lambda em tipos SAM e pode causar ambiguidade.

    Por exemplo, o código Scala a seguir não pode compilar:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    Para corrigir o erro de compilação, altere foreachBatch { (df, id) => myFunc(df, id) } para foreachBatch(myFunc _) ou use a API Java explicitamente: foreachBatch(new VoidFunction2 ...).

• Como a versão do Apache Hive usada para lidar com funções definidas pelo usuário do Hive e o Hive SerDes é atualizada para 2.3, duas alterações são necessárias:
  • A interface do SerDe Hive é substituída por uma classe AbstractSerDeabstrata. Para qualquer implementação SerDe personalizada do Hive, a migração para AbstractSerDe é obrigatória.
  • A definição de spark.sql.hive.metastore.jars como builtin significa que o cliente de metastore do Hive 2.3 será usado para acessar metastores para o Databricks Runtime 7.0. Se você precisar acessar metastores externos baseados no Hive 1.2, defina spark.sql.hive.metastore.jars como a pasta que contém jars do Hive 1.2.

Desativações e remoções

• O índice que ignora dados foi preterido no Databricks Runtime 4.3 e removido no Databricks Runtime 7.0. Recomendamos usar tabelas Delta no lugar, pois oferecem recursos aprimorados de omissão de dados.
• No Databricks Runtime 7.0, a versão subjacente do Apache Spark usa o Scala 2.12. Como as bibliotecas compiladas no Scala 2.11 podem desabilitar os clusters do Databricks Runtime 7.0 de maneiras inesperadas, os clusters que executam o Databricks Runtime 7.0 e superior não instalam bibliotecas configuradas para serem instaladas em todos os clusters. A guia Bibliotecas do cluster mostra um status Skipped e uma mensagem de obsolescência que explica as alterações no tratamento da biblioteca. No entanto, se você tiver um cluster criado em uma versão anterior do Databricks Runtime antes da versão da plataforma do Azure Databricks 3.20 ser lançada em seu espaço de trabalho, e agora editar esse cluster para usar o Databricks Runtime 7.0, todas as bibliotecas que foram configuradas para serem instaladas em todos os clusters serão instaladas naquele cluster. Nesse caso, quaisquer JARs incompatíveis nas bibliotecas instaladas podem fazer com que o cluster seja desabilitado. A solução alternativa é clonar o cluster ou criar um novo cluster.

Apache Spark

O Databricks Runtime 7.0 inclui o Apache Spark 3.0.

Nesta seção:

• Core, Spark SQL, Fluxo estruturado
• MLlib
• SparkR
• Desativações
• Problemas conhecidos

Core, Spark SQL, Fluxo estruturado

Destaques

• (Project Hydrogen) Agendador com reconhecimento de acelerador (SPARK-24615)
• Execução de consulta adaptável (SPARK-31412)
• Remoção de partição dinâmica (SPARK-11150)
• API do UDF do pandas remodelada com dicas de tipo (Spark-28264)
• Interface do usuário de fluxo estruturado (Spark-29543)
• API de plug-in de catálogo (SPARK-31121)
• Melhor compatibilidade com SQL ANSI

Aprimoramentos de desempenho

• Execução de consulta adaptável (SPARK-31412)
  • Estrutura básica (SPARK-23128)
  • Pós-ajuste de número de partição em ordem aleatória (SPARK-28177)
  • Reutilização de subconsulta dinâmica (SPARK-28753)
  • Leitor de ordem aleatória local (SPARK-28560)
  • Otimização de junção de distorção (SPARK-29544)
  • Otimizar a leitura de blocos de ordem aleatória contígua (SPARK-9853)
• Remoção de partição dinâmica (SPARK-11150)
• Outras regras do otimizador
  • Regra ReuseSubquery (SPARK-27279)
  • Regra PushDownLeftSemiAntiJoin (SPARK-19712)
  • Regra PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • Regra ReplaceNullWithFalse (SPARK-25860)
  • A regra elimina as classificações sem limite na subconsulta de junção/agregação (SPARK-29343)
  • Regra PruneHiveTablePartitions (SPARK-15616)
  • Removendo campos aninhados desnecessários da geração (SPARK-27707)
  • Regra RewriteNonCorrelatedExists (SPARK-29800)
• Minimizar os custos de sincronização do cache de tabela (SPARK-26917), (SPARK-26617), (SPARK-26548)
• Dividir o código de agregação em funções pequenas(SPARK-21870)
• Adicionar o processamento em lote em INSERT e ALTER TABLE no comando ADD PARTITION (SPARK-29938)

Aprimoramentos de extensibilidade

• API de plug-in de catálogo (SPARK-31121)
• Refatoração da API da fonte de dados V2 (Spark-25390)
• Suporte ao metastore do Hive 3.0 e 3.1 (SPARK-27970),(SPARK-24360)
• Estender a interface de plug-in do Spark para o driver (SPARK-29396)
• Estender o sistema de métricas do Spark com métricas definidas pelo usuário usando plug-ins de executor (SPARK-28091)
• APIs de desenvolvedor para Suporte de Processamento de Coluna estendida (SPARK-27396)
• Migração de origem interna usando DSV2: parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
• Permitir FunctionInjection no SparkExtensions (SPARK-25560)
• Permite que o Agregador seja registrado como um UDAF (SPARK-27296)

Aprimoramentos do conector

• Remoção de coluna por expressões não determinísticas (SPARK-29768)
• Suporte spark.sql.statistics.fallBackToHdfs em tabelas de fontes de dados (SPARK-25474)
• Permitir remoção de partição com filtros de subconsulta na origem do arquivo (SPARK-26893)
• Evitar aplicação de subconsultas em filtros de fonte de dados (SPARK-25482)
• Carregamento recursivo de dados de fontes de arquivo (SPARK-27990)
• Parquet/ORC
  • Aplicação de predicados disjuntivos (SPARK-27699)
  • Generalizar a remoção de colunas aninhadas (SPARK-25603) e ativadas por padrão (SPARK-29805)
  • Somente parquet
    • Pushdown de predicado parquet para campos aninhados (SPARK-17636)
  • Somente ORC
    • Suporte ao esquema de mesclagem para ORC (SPARK-11412)
    • Remoção de esquema aninhado para ORC (SPARK-27034)
    • Redução da complexidade de conversão de predicado para ORC (SPARK-27105, SPARK-28108)
    • Atualização do Apache ORC para 1.5.9 (SPARK-30695)
• CSV
  • Suporte ao pushdown de filtros na fonte de dados CSV (SPARK-30323)
• Hive SerDe
  • Nenhuma inferência de esquema ao ler a tabela Hive serde com fonte de dados nativa (SPARK-27119)
  • Os comandos CTAS do Hive devem usar a fonte de dados se ela for conversível (SPARK-25271)
  • Uso de fonte de dados nativa para otimizar a inserção da tabela do Hive particionada (SPARK-28573)
• Apache Kafka
  • Adição de suporte para os cabeçalhos do Kafka (SPARK-23539)
  • Adição de suporte a token de delegação do Kafka (SPARK-25501)
  • Introdução da nova opção para a origem do Kafka: deslocamento por data/hora (iniciando/terminando) (SPARK-26848)
  • Dar suporte à opção minPartitions na origem do lote do Kafka e na fonte de streaming v1 (SPARK-30656)
  • Atualização do Kafka para 2.4.1 (SPARK-31126)
• Novas origens de dados incorporadas
  • Novas fontes de dados de arquivo binário (SPARK-25348)
  • Novas fontes de dados em lote não operacionais (SPARK-26550) e o coletor de streaming não operacional (SPARK-26649)

Aprimoramentos de recursos

• [Hydrogen] Agendador com reconhecimento de acelerador (SPARK-24615)
• Introduzir um conjunto completo de dicas de junção (SPARK-27225)
• Adicionar dica PARTITION BY para consultas SQL (SPARK-28746)
• Tratamento de metadados no servidor Thrift (SPARK-28426)
• Adicionar funções de ordem superior à API scala (SPARK-27297)
• Dar suporte a coletas simples no contexto da tarefa de barreira (SPARK-30667)
• As UDFs do Hive são compatíveis com o tipo UDT (SPARK-28158)
• Catalyst: Suporte aos operadores DELETE/UPDATE/MERGE (SPARK-28351, SPARK-28892, SPARK-28893)
• Implementar DataFrame.tail (SPARK-30185)
• Novas funções internas
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • qualquer, todo, algum (SPARK-19851)
  • bit_and, bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and, bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • extração (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by, min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • versão (SPARK-29554)
  • xxhash64 (SPARK-27099)
• Melhorias em funções existentes
  • Melhoria de funções/operações de data/hora (SPARK-31415)
  • Modo FAILFAST de suporte para from_json (SPARK-25243)
  • array_sort adiciona um novo parâmetro comparador(SPARK-29020)
  • O filtro agora pode usar o índice como entrada, bem como o elemento (SPARK-28962)

Aprimoramentos na compatibilidade com o SQL

• Alternar para calendário Gregoriano Proléptico (SPARK-26651)
• Criar a definição de padrão de data e hora do Spark (SPARK-31408)
• Introdução de política de atribuição de armazenamento ANSI para inserção de tabela (SPARK-28495)
• Seguir a regra de atribuição de armazenamento ANSI na inserção de tabela por padrão (SPARK-28885)
• Adicionar um SQLConf spark.sql.ansi.enabled (SPARK-28989)
• Dar suporte à cláusula de filtro SQL ANSI para expressão de agregação (SPARK-27986)
• Dar suporte à função SQL OVERLAY ANSI (SPARK-28077)
• Suporte aos comentários em colchetes aninhados ANSI (SPARK-28880)
• Lançar exceção no estouro para inteiros (SPARK-26218)
• Verificação de estouro para operações aritméticas de intervalo (SPARK-30341)
• Lançar Exceção quando a cadeia de caracteres inválida é lançada em tipo numérico (SPARK-30292)
• Tornar o comportamento de estouro nas operações de multiplicação e divisão de intervalos consistente com outras operações (SPARK-30919)
• Adicionar aliases de tipo ANSI para caractere e decimal (SPARK-29941)
• O Analisador SQL define palavras-chave reservadas em conformidade com ANSI (SPARK-26215)
• Proibir palavras-chave reservadas como identificadores quando o modo ANSI estiver em (SPARK-26976)
• Suporte à sintaxe LIKE ... ESCAPE SQL ANSI (SPARK-28083)
• Suporte à sintaxe SQL de Booliano-Predicado ANSI (SPARK-27924)
• Melhor suporte para processamento de subconsulta correlacionada (SPARK-18455)

Aprimoramentos de monitoramento e depuração

• Nova Interface do Usuário de Fluxo Estruturado (SPARK-29543)
• SHS: permite que os logs de eventos para aplicativos de streaming em execução sejam transferidos (SPARK-28594)
• Adiciona uma API que permite que um usuário defina e observe métricas arbitrárias em consultas de lote e streaming (SPARK-29345)
• Instrumentação para acompanhar o tempo de planejamento por consulta (SPARK-26129)
• Coloca as métricas aleatórias básicas no operador de troca de dados SQL (SPARK-26139)
• A instrução SQL é mostrada na guia SQL em vez do site de chamada (SPARK-27045)
• Adicionar dica de ferramenta ao SparkUI (SPARK-29449)
• Melhorar o desempenho simultâneo do Servidor de Histórico (SPARK-29043)
• Comando EXPLAIN FORMATTED (SPARK-27395)
• Suporte ao despejo de planos truncados e código gerado para um arquivo (SPARK-26023)
• Aprimorar a estrutura de descrição para descrever a saída de uma consulta (SPARK-26982)
• Adicionar comando SHOW VIEWS (SPARK-31113)
• Melhorar as mensagens de erro do analisador SQL (SPARK-27901)
• Suporte ao monitoramento do Prometheus de forma nativa (SPARK-29429)

Aprimoramentos do PySpark

• UDFs do Pandas reformuladas com dicas de tipo (SPARK-28264)
• Pipeline de UDF do Pandas (SPARK-26412)
• Suporte a StructType como argumentos e tipos de retorno para a UDF do Pandas do Scalar (SPARK-27240 )
• Suporte ao Dataframe Cogroup por meio de UDFs do Pandas (SPARK-27463)
• Adicionar mapInPandas para permitir um iterador de DataFrames (SPARK-28198)
• Determinadas SQL funções também devem ter nomes de coluna (SPARK-26979)
• Tornar as exceções do SQL PySpark mais compatíveis com Python (SPARK-31849)

Aprimoramentos de cobertura de documentação e teste

• Compilar uma Referência de SQL (SPARK-28588)
• Compilar um guia do usuário para o WebUI (SPARK-28372)
• Compilar uma página para a documentação de configuração do SQL (SPARK-30510)
• Adicionar informações de versão para a configuração do Spark (Spark-30839)
• Testes de regressão de porta do PostgreSQL (Spark-27763)
• Cobertura de teste do servidor Thrift (SPARK-28608)
• Cobertura de teste de UDFs (UDF do python, UDF de pandas, UDF de escala) (SPARK-27921)

Outras alterações importantes

• Atualização de execução interna do Hive de 1.2.1 para 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
• Usar a dependência Apache Hive 2.3 por padrão (SPARK-30034)
• GA escala 2.12 e remover 2.11 (SPARK-26132)
• Melhorar a lógica para executores de tempo limite em alocação dinâmica (SPARK-20286)
• Blocos de RDD persistentes de disco servidos pelo serviço de ordem aleatória e ignorados para Alocação Dinâmica (SPARK-27677)
• Adquirir novos executores para evitar a interrupção por causa do inclusão na lista de bloqueados (SPARK-22148)
• Permitir o compartilhamento de alocadores de pool de memória do Netty (SPARK-24920)
• Corrigir o deadlock entre TaskMemoryManager e UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• Introduzir AdmissionControl APIs para StructuredStreaming (SPARK-30669)
• Aprimoramento de desempenho da página principal do histórico do Spark (SPARK-25973)
• Acelerar e reduzir a agregação de métrica no ouvinte de SQL (SPARK-29562)
• Evitar a rede quando blocos de ordem aleatória são buscados do mesmo host (SPARK-27651)
• Melhorar a listagem de arquivos para DistributedFileSystem (SPARK-27801)

Alterações de comportamento para Spark core, Spark SQL e Streaming Estruturado

Os guias de migração a seguir listam as alterações de comportamento entre Apache Spark 2.4 e 3.0. Essas alterações podem exigir atualizações para os trabalhos que você está executando em versões mais baixas do Databricks Runtime:

• Guia de migração: Spark Core
• Guia de migração: SQL, conjuntos de dados e DataFrame
• Guia de migração: Streaming Estruturado
• Guia de migração: PySpark (Python no Spark)

As seguintes alterações de comportamento não são abordadas nesses guias de migração:

• No Spark 3.0, a classe preterida org.apache.spark.sql.streaming.ProcessingTime foi removida. Use org.apache.spark.sql.streaming.Trigger.ProcessingTime em vez disso. Da mesma forma, org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger foi removido em favor de Trigger.Continuous e org.apache.spark.sql.execution.streaming.OneTimeTrigger foi ocultado em favor de Trigger.Once. (SPARK-28199)
• No Databricks Runtime 7.0, ao ler uma tabela SerDe do Hive, por padrão, o Spark não permite a leitura de arquivos em um subdiretório que não seja uma partição de tabela. Para habilitá-lo, defina a configuração spark.databricks.io.hive.scanNonpartitionedDirectory.enabled como true. Isso não afeta os leitores da tabela nativa do Spark e os leitores de arquivo.

MLlib

Destaques

• Suporte a várias colunas foi adicionado ao Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) e PySpark QuantileDiscretizer (SPARK-22796)
• Suporte à transformação de recursos baseada em árvore (SPARK-13677)
• Dois novos avaliadores MultilabelClassificationEvaluator (SPARK-16692) e RankingEvaluator (SPARK-28045) foram adicionados
• O suporte a pesos de exemplo foi adicionado em DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) e GaussianMixture (SPARK-30102)
• A API do R para PowerIterationClustering foi adicionada (SPARK-19827)
• Ouvinte do spark ML adicionado para acompanhar o status do pipeline de ML (SPARK-23674)
• A opção de ajustar ao conjunto de validação foi adicionada às árvores aumentadas de gradiente no Python (SPARK-24333)
• Adição do transformador RobustScaler (SPARK-28399)
• Adição do classificador e do regressor das Máquinas de Fatoração (SPARK-29224)
• O Naive Bayes Gaussiano (SPARK-16872) e o Complemento Naive Bayes (SPARK-29942) foram adicionados
• A paridade de função de ML entre Scala e Python (SPARK-28958)
• O predictRaw torna-se público em todos os modelos de Classificação. O predictProbability torna-se público em todos os modelos de classificação, exceto LinearSVCModel (Spark-30358)

Alterações de comportamento para MLlib

O guia de migração a seguir lista as alterações de comportamento entre Apache Spark 2.4 e 3.0. Essas alterações podem exigir atualizações para os trabalhos que você está executando em versões mais baixas do Databricks Runtime:

• Guia de migração: MLlib (Machine Learning)

As seguintes alterações de comportamento não são abordadas no guia de migração:

• No Spark 3.0, uma regressão logística de multiclasse no Pyspark agora retornará (corretamente) LogisticRegressionSummary, não a subclasse BinaryLogisticRegressionSummary. Os métodos adicionais expostos pelo BinaryLogisticRegressionSummary não funcionariam nesse caso, de qualquer forma. (SPARK-31681)
• No Spark 3.0, pyspark.ml.param.shared.Has* os mixins não fornecem mais nenhum método setter set*(self, value); use o respectivo self.set(self.*, value). Confira o SPARK-29093 para obter detalhes. (SPARK-29093)

SparkR

• Otimização de Arrow na interoperabilidade do SparkR (SPARK-26759)
• Aprimoramento de desempenho por meio de R gapply(), dapply(), createDataFrame, collect() vetorizados
• "Execução adiantada" para o R Shell, IDE (SPARK-24572)
• R API para clustering de iteração de energia (SPARK-19827)

Alterações de comportamento para SparkR

O guia de migração a seguir lista as alterações de comportamento entre Apache Spark 2.4 e 3.0. Essas alterações podem exigir atualizações para os trabalhos que você está executando em versões mais baixas do Databricks Runtime:

• Guia de migração: SparkR (R no Spark)

Desativações

• Suporte ao Python 2 preterido (SPARK-27884)
• Suporte ao R < 3.4 preterido (SPARK-26014)

Problemas conhecidos

• A análise do dia do ano usando a letra padrão 'D' retornará o resultado errado se o campo de ano estiver ausente. Isso pode acontecer em funções SQL, como to_timestamp, que analisa a cadeia de caracteres datetime como valores datetime usando uma cadeia de caracteres de padrão. (SPARK-31939)
• Junção/janela/agregação dentro de subconsultas pode levar a resultados incorretos se as chaves tiverem valores -0,0 e 0,0. (SPARK-31958)
• Uma consulta de janela pode falhar com um erro de autojunção ambíguo inesperadamente. (SPARK-31956)
• As consultas de streaming com operador dropDuplicates podem não conseguir reiniciar com o ponto de verificação gravado pelo Spark 2.x. (SPARK-31990)

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 7.0.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versão 3.6.3 (29-02-2020)
• Delta Lake 0.7.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 22/4/2020.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)