Databricks Runtime 10.3 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.3 e o Databricks Runtime 10.3 Photon, da plataforma Apache Spark 3.2.1. O Photon está em Visualização Pública. A Databricks lançou essa versão em fevereiro de 2022.

Novos recursos e aprimoramentos

• Os autores Parquet e Avro agora usam o fuso horário da sessão ao rebasear os carimbos de data/hora em fontes de dados Parquet
• Novas funções no Spark SQL
• A mesclagem aleatória baixa agora está em disponibilidade geral
• Novos COPY INTO recursos: modo de validação e evolução do esquema
• Agora há suporte para colunas de identidade em tabelas Delta (Visualização Pública)

Os autores Parquet e Avro agora usam o fuso horário da sessão ao rebasear os carimbos de data/hora em fontes de dados Parquet

Os gravadores do Parquet e Avro agora usam o fuso horário da sessão enquanto trocam a base do carimbo de data/hora no modo legacy em vez de usar o fuso horário JVM padrão. O fuso horário da sessão é definido como o fuso horário JVM por padrão.

Novas funções no Spark SQL

Agora há suporte para as seguintes funções do Spark SQL nesta versão:

• aes_decrypt: descriptografa a entrada usando AES.
• aes_encrypt: criptografa a entrada usando AES.
• contains: determina se uma expressão contém outra expressão.
• endswith: determina se uma expressão termina com outra expressão.
• percentile_cont: retorna um valor de percentil.
• startswith: determina se uma expressão começa com outra expressão.

A mesclagem aleatória baixa agora está em disponibilidade geral

O comando Delta MERGE INTO usa uma técnica chamada mesclagem aleatória baixa, que reduz o embaralhamento de linhas não modificadas. Isso melhora o desempenho do comando e ajuda a preservar o clustering existente na tabela, como a ordenação Z. Essa funcionalidade foi introduzida no Databricks Runtime 9.0 para Visualização Pública e agora atingiu a disponibilidade geral. Para habilitar a mesclagem aleatória baixa, de definido spark.databricks.delta.merge.enableLowShuffle como true. Veja Mesclagem baixa de ordem aleatória no Azure Databricks.

Novos COPY INTO recursos: modo de validação e evolução do esquema

Modo de validação: COPY INTO agora dá suporte a um modo VALIDATE, em que os dados que devem ser carregados em uma tabela são validados, mas não gravados na tabela. Essas validações incluem:

• Se os dados podem ser analisados.
• Se o esquema corresponde ao da tabela ou se o esquema precisa ser desenvolvido.
• Se todas as restrições de nulidade e verificação são atendidas.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

O padrão é validar todos os dados que devem ser carregados. Você pode fornecer um número de linhas a serem validadas com a palavra-chave ROWS, como VALIDATE 15 ROWS. A instrução COPY INTO retorna uma visualização dos dados de 50 linhas ou menos, quando um número menor que 50 é usado com a palavra-chave ROWS).

Evolução do esquema: COPY INTO agora dá suporte à evolução do esquema com a opção mergeSchema em COPY_OPTIONS. Para desenvolver o esquema de uma tabela, você deverá ter permissões OWN na tabela.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Consulte COPY INTO.

Agora há suporte para colunas de identidade em tabelas Delta (Visualização Pública)

O Delta Lake agora dá suporte a colunas de identidade. Quando você escreve em uma tabela Delta que define uma coluna de identidade e não fornece valores para ela, o Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Consulte CREATE TABLE [USING].

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • distlib de 0.3.3 para 0.3.4
  • filelock de 3.4.0 para 3.4.2
  • numpy de 1.19.2 para 1.20.1
  • plotly de 5.3.1 para 5.5.0
• Bibliotecas do R atualizadas:
  • backports de 1.4.0 para 1.4.1
  • brio de 1.1.2 para 1.1.3
  • broom de 0.7.10 para 0.7.11
  • class de 7.3-19 para 7.3-20
  • cpp11 de 0.4.1 para 0.4.2
  • DBI de 1.1.1 para 1.1.2
  • devtools de 2.4.2 para 2.4.3
  • digest de 0.6.28 para 0.6.29
  • dtplyr de 1.1.0 para 1.2.0
  • fansi de 0.5.0 para 1.0.2
  • foreign de 0.8-81 para 0.8-82
  • fs de 1.5.0 para 1.5.2
  • gert de 1.4.3 para 1.5.0
  • glue de 1.5.0 para 1.6.0
  • httpuv de 1.6.3 para 1.6.5
  • jsonlite de 1.7.2 para 1.7.3
  • knitr de 1.36 para 1.37
  • MASS de 7.3-54 para 7.3-55
  • Matriz de 1.3-4 para 1.4-0
  • nlme de 3.1-152 a 3.1-155
  • nnet de 7.3-16 para 7.3-17
  • openssl de 1.4.5 para 1.4.6
  • parallelly de 1.29.0 para 1.30.0
  • pholduild de 1.2.0 para 1.3.1
  • pkgload de 1.2.3 para 1.2.4
  • progressr de 0.9.0 para 0.10.0
  • Rcpp de 1.0.7 para 1.0.8
  • readr de 2.1.0 para 2.1.1
  • remotes de 2.4.1 para 2.4.2
  • RSQLite de 2.2.8 para 2.2.9
  • sessioninfo de 1.2.1 para 1.2.2
  • sparklyr de 1.7.2 para 1.7.4
  • testthat de 3.1.0 para 3.1.1
  • tinytex de 0.35 para 0.36
  • usethis de 2.1.3 para 2.1.5
  • vroom de 1.5.6 para 1.5.7
  • withr de 2.4.2 para 2.4.3
  • xfun de 0.28 para 0.29
  • xml2 de 1.3.2 para 1.3.3
• Bibliotecas do Java atualizadas:
  • dev.ludovic.netlib.arpack de 1.3.2 para 2.2.1
  • dev.ludovic.netlib.blas de 1.3.2 para 2.2.1
  • dev.ludovic.netlib.lapack de 1.3.2 para 2.2.1
  • io.delta.delta-sharing-spark_2.12 de 0.2.0 para 0.3.0

Apache Spark

O Databricks Runtime 10.3 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados aoDatabricks Runtime 10.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-37896] [SQL] Implementa um ConstantColumnVector e melhora o desempenho dos metadados de arquivo ocultos
• [SPARK-37924] [SQL] Classificar propriedades da tabela por chave em SHOW CREATE TABLE VIEW (v1)
• [SPARK-37636] [SQL] Migra CREATE NAMESPACE para usar o comando V2 por padrão
• [SPARK-37381] [SQL] Unificar testes v1 e v2 SHOW CREATE TABLE
• [SPARK-37876] [CORE][sql] Mover SpecificParquetRecordReaderBase.listDirectory para TestUtils
• [SPARK-37854] [CORE] Substitui a verificação de tipo pela correspondência de padrões no código do Spark
• [SPARK-36967] [CORE] Relata tamanho de bloco de embaralhamento preciso se estiver distorcido
• [SPARK-37864] [SQL] Da suporte a valores boolianos de leitura vetorizados usam a codificação RLE com Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator deve ignorar rapidamente a verificação de alinhamento com a plataforma não qualificada
• [SPARK-37855] [SQL] IllegalStateException ao transformar uma matriz dentro de um struct aninhado
• [SPARK-37858] [SQL] Lança SparkRuntimeException com classes de erro de funções AES
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker não deve tentar obter o status de um arquivo ignorado
• [SPARK-37860] [UI] Corrige taskid na linha do tempo do evento da tarefa da página de fase
• [SPARK-36879] [SQL] Suporte à codificação de página de dados Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado
• [SPARK-37828] [SQL] Pushdown de filtros por meio de RebalancePartitions
• [SPARK-37802] [SQL][3.2] O nome do campo composto deve funcionar com pushdown agregado
• [SPARK-37826] [SQL] Usar o nome do codec zstd em nomes de arquivo ORC para hive orc impl
• [SPARK-37820] [SQL] Substitui ApacheCommonBase64 por JavaBase64 para funcs de cadeia de caracteres
• [SPARK-37832] [SQL] O conversor de struct orc deve usar uma matriz para procurar conversores de campo em vez de uma lista vinculada
• [SPARK-37786] [SQL] O suporte a StreamingQueryListener usa SQLConf.get para obter o SQLConf do SessionState correspondente
• [SPARK-37527] [SQL] Move mais funções de agregação padrão para pushdown
• [SPARK-37777] [SQL] Atualizar a sintaxe SQL de SHOW FUNCTIONS
• [SPARK-8582] [CORE] Verificação intensa quando houver solicitação real para isso
• [SPARK-37822] [SQL] StringSplit deve retornar uma matriz em elementos não nulos
• [SPARK-37812] [SQL] Ao remover a serialização de um Orc struct, reutiliza a linha de resultado quando possível
• [SPARK-37367] [SQL] Teste de exceção reabilitável na exibição DDLParserSuite.create – básica
• [SPARK-37796] [SQL] ByteArrayMethods arrayEquals deve ignorar rapidamente a verificação de alinhamento com a plataforma não qualificada
• [SPARK-37817] [SQL][minor] Remover código inacessível em complexTypeExtractors.scala
• [SPARK-37807] [SQL] Corrige um erro de digitação na mensagem HttpAuthenticationException
• [SPARK-37750] [SQL] Modo ANSI: opcionalmente, retornará o resultado nulo se o elemento não existir na matriz/mapa
• [SPARK-37789] [SQL] Adiciona uma classe para representar funções de agregação gerais no DS V2
• [SPARK-37785] [SQL][core] Add Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Suporte ao uso de QueryExecutionListener para obter a configuração SQLConf do SessionState correspondente
• [SPARK-37783] [SS][sql][CORE] Habilitar a recursão final sempre que possível
• [SPARK-37726] [SQL] Adiciona métricas de tamanho de despejo para a junção de mesclagem de classificação
• [SPARK-37800] [SQL] TreeNode.argString formata incorretamente argumentos do tipo Set[_]
• [SPARK-37716] [SQL] Melhora mensagens de erro quando um LateralJoin tem expressões não determinísticas
• [SPARK-37779] [SQL] Torna o plano ColumnarToRowExec canonicalizável após (de)serialização
• [SPARK-37578] [SQL] Atualiza métricas de tarefa nas métricas personalizadas ds v2
• [SPARK-37676] [SQL] Suporte à função de agregação ANSI: percentile_cont
• [SPARK-37724] [SQL] Modo ANSI: desabilita palavras-chave reservadas ANSI por padrão
• [SPARK-37705] [SQL][3.2] Baseia novamente os tempos de data/hora no fuso horário da sessão salvos nos metadados Parquet/Avro
• [SPARK-34755] [SQL] Suporte aos utils para o formato de número de transformação
• [SPARK-36703] [SQL] Remove a classificação se for o filho de RepartitionByExpression
• [SPARK-37369] [SQL] Evitar a transição redundante ColumnarToRow no InMemoryTableScan
• [SPARK-37450] [SQL] Remove campos desnecessários de Gerar
• [SPARK-37728] [SQL] Ler colunas aninhadas com o leitor vetorizado ORC pode causar ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Adiciona geração de código para agregação de classificação sem chaves de grupo
• [SPARK-37659] [UI][3.2] Corrige condição de corrida FsHistoryProvider entre list e delet log info
• [SPARK-37727] [SQL] Mostrar configurações ignoradas e ocultar avisos de configurações já definidas em SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider Informa se modifica o contexto de segurança
• [SPARK-37273] [SQL] Dá suporte a colunas de metadados de arquivo ocultos no Spark SQL
• [SPARK-36876] [SQL] Dá suporte à remoção de partição dinâmica para HiveTableScanExec
• [SPARK-37546] [SQL] O comando ReplaceTableAsSelect V2 deve qualificar o local
• [SPARK-37545] [SQL] O comando CreateTableAsSelect V2 deve qualificar o local
• [SPARK-37707] [SQL] Permite atribuição de armazenamento e conversão implícita entre tipos de datetime
• [SPARK-37644] [SQL] Dá suporte ao pushdown de agregação completa da fonte de dados v2
• [SPARK-37695] [CORE][shuffle] Ignorar diagnóstico de blocos mesclados no shuffle baseado em push
• [SPARK-35295] [ML] Substitui totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Não permite a exclusão de recursos em spark sql cli
• [SPARK-37330] [SQL] Migra o comando ReplaceTableStatement para v2
• [SPARK-27974] [SQL] Suporte à função de agregação ANSI: array_agg
• [SPARK-36902] [SQL] Migra o comando CreateTableAsSelectStatement para v2
• [SPARK-37678] [PYTHON] Corrige a assinatura _cleanup_and_return
• [SPARK-37613] [SQL] Dá suporte à função de agregação ANSI: regr_count
• [SPARK-37689] [SQL] A expansão deve ter suporte em PropagateEmptyRelation
• [SPARK-37654] [SQL] Corrige NPE em Row.getSeq quando o campo for Nulo
• [SPARK-37496] [SQL] Migra o comando ReplaceTableAsSelectStatement para v2
• [SPARK-37483] [SQL] Dá suporte ao pushdown do N superior para a fonte de dados JDBC V2
• [SPARK-37577] [SQL] Corrige o ClassCastException: ArrayType não pode ser convertido para StructType para gerar remoção
• [SPARK-37310] [SQL] Migra ALTER NAMESPACE … SET PROPRIEDADES para usar o comando V2 por padrão
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE deve especificar a localização no comando v2
• [SPARK-37343] [SQL] Implementa createIndex, IndexExists e dropIndex no JDBC (dialeto Postgres)
• [SPARK-37060] [CORE][3.2] Manipula a resposta de status do driver de mestres de backup
• [SPARK-37629] [SQL] Acelera Expression.canonicalized
• [SPARK-37633] [SQL] Uma conversão de decodificação deverá ignorar se o downcast falhar com um...
• [SPARK-37631] [SQL] Limpeza de código na promoção de cadeias de caracteres para o tipo duplo em funções matemáticas
• [SPARK-37569] [SQL] Não marque campos de exibição aninhados como anuláveis
• [SPARK-37557] [SQL] Substituir o hash do objeto por um agregado de ordenação se o subordinado já estiver ordenado
• [SPARK-36850] [SQL] Migrar CreateTableStatement para a estrutura de comando v2
• [SPARK-37592] [SQL] Melhorar o desempenho deJoinSelection
• [SPARK-37217] [SQL] O número de partições dinâmicas deve verificar com antecedência ao gravar em tabelas externas
• [SPARK-37584] [SQL] Nova função SQL: map_contains_key
• [SPARK-37455] [SQL] Substituir o hash por um agregado de ordenação se o subordinado já estiver ordenado
• [SPARK-34735] [SQL][ui] Adicionar configurações modificadas para execução de SQL na interface do usuário
• [SPARK-37540] [SQL] Detecta mais viagem no tempo sem suporte
• [SPARK-37376] [SQL] Introduz uma nova interface HasPartitionKey do DataSource V2
• [SPARK-37666] [SQL] Define GCM como o modo padrão em aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader deve fazer fallback para a versão relacionada, nem sempre hadoop-2.7.4
• [SPARK-37561] [SQL] Evite carregar todas as funções ao obter DelegationToken do hive
• [SPARK-37370] [SQL] Adiciona as configurações de SQL para controlar a geração de código de junção recém-adicionada em 3.3
• [SPARK-37311] [SQL] Migra ALTER NAMESPACE … SET Localidade de configuração para usar o comando V2 como padrão
• [SPARK-37192] [SQL] Migrar SHOW TBLPROPERTIES para usar o comando V2 por padrão
• [SPARK-37219] [SQL] Adiciona suporte à sintaxe AS OF
• [SPARK-37316] [SQL] Adicionar code-gen para a junção de mesclagem de classificação de existência
• [SPARK-37591] [SQL] Suporte ao modo GCM poraes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Adiciona args mode e padding a aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Adiciona as funções inseridas aes_encrypt e aes_decrypt
• [SPARK-37392] [SQL] Corrige o bug de desempenho ao inferir restrições para Gerar
• [SPARK-37481] [Core][webui] Corrigir o desaparecimento de estágios ignorados após uma nova tentativa
• [SPARK-37533] [SQL] Nova função SQL: try_element_at
• [SPARK-37451] [SQL] Corrige o tipo de cadeia de caracteres de cast para o tipo decimal se spark.sql.legacy.allowNegativeScaleOfDecimal estiver habilitado
• [SPARK-37062] [SS] Introduz uma nova fonte de dados para fornecer um conjunto consistente de linhas por microlote
• [SPARK-37552] [SQL] Adiciona a função convert_timezone()
• [SPARK-37555] [SQL] spark-sql não deve passar o último comentário não fechado para o back-end
• [SPARK-37286] [SQL] Move compileAggregates do JDBCRDD para o JdbcDialect
• [SPARK-37485] [CORE][sql] Substitua por map expressões que não produzem resultado com foreach
• [SPARK-37556] [SQL] A classe void do Deser falha com a serialização Java
• [SPARK-37520] [SQL] Adiciona as funções de cadeia de caracteres startswith() e endswith()
• [SPARK-37471] [SQL] Dá suporte a spark-sql ; no comentário entre colchetes aninhado
• [SPARK-37360] [SQL] Dá suporte a TimestampNTZ na fonte de dados JSON
• [SPARK-37508] [SQL] Adiciona a função de cadeia de caracteres CONTAINS()
• [SPARK-37494] [SQL] Unifica a saída de opções v1 e v2 do comando SHOW CREATE TABLE
• [SPARK-37524] [SQL] Devemos remover todas as tabelas após testar a remoção de partições dinâmicas.
• [SPARK-37389] [SQL] Verifica comentários sem colchetes
• [SPARK-37220] [SQL] Não divide o arquivo de entrada para o leitor parquet com pushdown agregado
• [SPARK-37326] [SQL] Dá suporte a TimestampNTZ na fonte de dados CSV
• [SPARK-35867] [SQL] Habilita leitura vetorizada para VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][sql] Substituir get e getOrElse com getOrElse
• [SPARK-37492] [SQL] Otimiza o código de teste do Orc com withAllNativeOrcReaders
• [SPARK-37458] [SS] Remove SerializeFromObject desnecessário do plano de foreachBatch

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 2022-01-19.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)