Tempo de execução do Databricks 10.3 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.3 e o Databricks Runtime 10.3 Photon, alimentado pelo Apache Spark 3.2.1. Photon está em Visualização Pública. A Databricks lançou esta versão em fevereiro de 2022.

Novos recursos e melhorias

• Os escritores do Parquet e do Avro agora usam o fuso horário da sessão ao rebasear carimbos de data/hora em fontes de dados do Parquet
• Novas funções no Spark SQL
• A mesclagem de baixa shuffle agora está disponível para o público em geral
• Novos recursos COPY INTO: modo de validação e evolução do esquema
• As colunas de identidade agora são suportadas em tabelas Delta (Visualização Pública)

Os escritores do Parquet e do Avro agora usam o fuso horário da sessão ao rebasear carimbos de data/hora em fontes de dados do Parquet

Os gravadores Parquet e Avro agora usam o fuso horário da sessão enquanto o carimbo de data/hora é rebaseado no legacy modo em vez de usar o fuso horário padrão da JVM. O fuso horário da sessão é definido como o fuso horário da JVM por padrão.

Novas funções no Spark SQL

As seguintes funções do Spark SQL agora são suportadas nesta versão:

• aes_decrypt: desencripta a entrada usando AES.
• aes_encrypt: criptografa a entrada usando AES.
• contém: determina se uma expressão contém outra expressão.
• Terminacom: Determina se uma expressão termina com outra expressão.
• percentile_cont: Devolve um valor percentil.
• startswith: determina se uma expressão começa com outra expressão.

A mesclagem de baixa shuffle agora está disponível para o público em geral

O comando Delta MERGE INTO usa uma técnica chamada low shuffle merge, que reduz o embaralhamento de linhas não modificadas. Isto melhora o desempenho do comando e ajuda a preservar a clusterização existente na tabela, como a Z-ordering. Essa funcionalidade foi introduzida no Databricks Runtime 9.0 for Public Preview e agora atingiu a disponibilidade geral. Para habilitar a mesclagem com pouco shuffle, defina spark.databricks.delta.merge.enableLowShuffle como true. Consulte Mesclagem de baixa shuffle no Azure Databricks.

Novos recursos COPY INTO: modo de validação e evolução do esquema

Modo de validação: agora suporta um COPY INTO modo em que os dados a serem carregados em uma tabela são validados, VALIDATE mas não gravados na tabela. Essas validações incluem:

• Se os dados podem ser analisados.
• Se o esquema corresponde ao da tabela ou se o esquema precisa ser evoluído.
• Se todas as restrições de anulabilidade e verificação são atendidas.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

O padrão é validar todos os dados que serão carregados. Você pode fornecer várias linhas a serem validadas com a ROWS palavra-chave, como VALIDATE 15 ROWS. A COPY INTO instrução retorna uma visualização dos dados de 50 linhas ou menos, quando um número menor que 50 é usado com a ROWS palavra-chave).

Evolução do esquema: COPY INTO agora suporta a evolução do esquema com a mergeSchema opção em COPY_OPTIONS. Para evoluir o esquema de uma tabela, você deve ter OWN permissões na tabela.

Exemplo de uso:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Ver COPY INTO.

As colunas de identidade agora são suportadas em tabelas Delta (Visualização Pública)

Delta Lake agora suporta colunas de identidade. Quando você grava em uma tabela Delta que define uma coluna de identidade e não fornece valores para essa coluna, a Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Ver CREATE TABLE [UTILIZANDO].

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • distlib de 0.3.3 a 0.3.4
  • filelock de 3.4.0 a 3.4.2
  • numpy de 1.19.2 a 1.20.1
  • plotly de 5.3.1 a 5.5.0
• Bibliotecas R atualizadas:
  • backports de 1.4.0 a 1.4.1
  • brio de 1.1.2 a 1.1.3
  • vassoura de 0.7.10 a 0.7.11
  • classe de 7.3-19 a 7.3-20
  • CPP11 de 0.4.1 a 0.4.2
  • DBI de 1.1.1 a 1.1.2
  • DevTools de 2.4.2 a 2.4.3
  • digest de 0.6.28 a 0.6.29
  • dtplyr de 1.1.0 a 1.2.0
  • fansi de 0.5.0 a 1.0.2
  • estrangeiro de 0,8-81 a 0,8-82
  • fs de 1.5.0 a 1.5.2
  • Gert de 1.4.3 a 1.5.0
  • cola de 1.5.0 a 1.6.0
  • httpuv de 1.6.3 a 1.6.5
  • jsonlite de 1.7.2 a 1.7.3
  • knitr de 1,36 a 1,37
  • MASSA de 7,3-54 a 7,3-55
  • Matriz de 1,3-4 a 1,4-0
  • NLME de 3.1-152 a 3.1-155
  • NNET FRM 7.3-16 a 7.3-17
  • openssl de 1.4.5 a 1.4.6
  • paralelamente de 1.29.0 a 1.30.0
  • pkgbuild de 1.2.0 a 1.3.1
  • pkgload de 1.2.3 a 1.2.4
  • progressor de 0.9.0 a 0.10.0
  • Rcpp de 1.0.7 a 1.0.8
  • Readr de 2.1.0 a 2.1.1
  • Controles remotos de 2.4.1 a 2.4.2
  • RSQLite de 2.2.8 a 2.2.9
  • sessioninfo de 1.2.1 a 1.2.2
  • Sparklyr de 1.7.2 a 1.7.4
  • testisso de 3.1.0 a 3.1.1
  • tinytex de 0,35 a 0,36
  • usethis de 2.1.3 a 2.1.5
  • vroom de 1.5.6 a 1.5.7
  • murchar de 2.4.2 a 2.4.3
  • xfun de 0,28 a 0,29
  • xml2 de 1.3.2 a 1.3.3
• Bibliotecas Java atualizadas:
  • dev.ludovic.netlib.arpack de 1.3.2 a 2.2.1
  • dev.ludovic.netlib.blas de 1.3.2 a 2.2.1
  • dev.ludovic.netlib.lapack de 1.3.2 a 2.2.1
  • io.delta.delta-sharing-spark_2.12 de 0.2.0 a 0.3.0

Faísca Apache

O Databricks Runtime 10.3 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-37896] [SQL] Implementar um ConstantColumnVector e melhorar o desempenho dos metadados de arquivo oculto
• [SPARK-37924] [SQL] Ordenar propriedades da tabela por chave em SHOW CREATE TABLE em VIEW (v1)
• [FAÍSCA-37636] [SQL] Migrar CREATE NAMESPACE para usar o comando V2 por padrão
• [SPARK-37381] [SQL] Unifique testes de SHOW CREATE TABLE v1 e v2
• [SPARK-37876] [CORE][sql] Mover SpecificParquetRecordReaderBase.listDirectory para TestUtils
• [FAÍSCA-37854] [CORE] Substitua a verificação de tipo pela correspondência de padrões no código Spark
• [FAÍSCA-36967] [CORE] Informe o tamanho preciso do bloco aleatório se estiver distorcido
• [FAÍSCA-37864] [SQL] Suporte a valores booleanos de leitura vetorizados usar codificação RLE com Parquet DataPage V2
• [FAÍSCA-37862] [SQL] RecordBinaryComparator deve pular rapidamente a verificação de alinhamento com a plataforma não alinhada
• [FAÍSCA-37855] [SQL] IllegalStateException ao transformar uma matriz dentro de uma estrutura aninhada
• [FAÍSCA-37858] [SQL] Lançar SparkRuntimeException com classes de erro de funções AES
• [FAÍSCA-37841] [SQL] BasicWriteTaskStatsTracker não deve tentar obter o status de um arquivo ignorado
• [FAÍSCA-37860] [UI] Corrigir taskindex na linha do tempo do evento da tarefa da página do estágio
• [FAÍSCA-36879] [SQL] Suporte a codificação de página de dados do Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado
• [FAÍSCA-37828] [SQL] Empurre os filtros para baixo através de RebalancePartitions
• [FAÍSCA-37802] [SQL][3.2] O nome do campo composto deve funcionar com Aggregate push down
• [FAÍSCA-37826] [SQL] Use o nome do codec zstd em nomes de arquivo ORC para hive orc impl
• [FAÍSCA-37820] [SQL] Substitua ApacheCommonBase64 por JavaBase64 para strings funcs
• [FAÍSCA-37832] [SQL] Orc struct converter deve usar uma matriz para procurar conversores de campo em vez de uma lista vinculada
• [SPARK-37786] [SQL] Suporte para StreamingQueryListener para usar SQLConf.get e obter o SQLConf correspondente do SessionState
• [FAÍSCA-37527] [SQL] Traduzir mais funções de agregação padrão para pushdown
• [SPARK-37777] [SQL] Atualizar a sintaxe SQL do SHOW FUNCTIONS
• [FAÍSCA-8582] [CORE] Checkpoint ansiosamente quando solicitado a fazê-lo para valer
• [FAÍSCA-37822] [SQL] StringSplit deve retornar uma matriz em elementos não nulos
• [FAÍSCA-37812] [SQL] Ao desserializar uma estrutura Orc, reutilize a linha de resultados quando possível
• [FAÍSCA-37367] [SQL] Reativar teste de exceção na visualização DDLParserSuite.create – básico
• [FAÍSCA-37796] [SQL] ByteArrayMethods arrayEquals deve ignorar rapidamente a verificação de alinhamento com a plataforma não alinhada
• [SPARK-37817] [SQL][minor] Remova o código inacessível em complexTypeExtractors.scala
• [FAÍSCA-37807] [SQL] Corrigir um erro de digitação na mensagem HttpAuthenticationException
• [FAÍSCA-37750] [SQL] Modo ANSI: opcionalmente retorna resultado nulo se o elemento não existir na matriz/mapa
• [FAÍSCA-37789] [SQL] Adicionar uma classe para representar funções agregadas gerais no DS V2
• [SPARK-37785] [SQL][core] Adicionar Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] O QueryExecutionListener suporta o uso de SQLConf.get para obter o SQLConf correspondente do SessionState
• [SPARK-37783] [SS][sql][CORE] Ative a recursão de cauda sempre que for viável
• [FAÍSCA-37726] [SQL] Adicionar métricas de tamanho de derramamento para junção de mesclagem de classificação
• [FAÍSCA-37800] [SQL] TreeNode.argString formata incorretamente argumentos do tipo set[_]
• [FAÍSCA-37716] [SQL] Melhorar mensagens de erro quando um LateralJoin tem expressões não determinísticas
• [FAÍSCA-37779] [SQL] Tornar o plano ColumnarToRowExec canonizável após a (des)serialização
• [FAÍSCA-37578] [SQL] Atualizar métricas de tarefas a partir de métricas personalizadas do ds v2
• [FAÍSCA-37676] [SQL] Função de agregação ANSI de suporte: percentile_cont
• [FAÍSCA-37724] [SQL] Modo ANSI: desativar palavras-chave reservadas ANSI por padrão
• [FAÍSCA-37705] [SQL][3.2] Rebasear carimbos de data/hora no fuso horário da sessão guardados nos metadados Parquet/Avro
• [FAÍSCA-34755] [SQL] Suporta os utils para o formato de número de transformação
• [FAÍSCA-36703] [SQL] Remova o Sort se for filho de RepartitionByExpression
• [FAÍSCA-37369] [SQL] Evite a transição redundante de ColumnarToRow no InMemoryTableScan
• [FAÍSCA-37450] [SQL] Remover campos desnecessários de Gerar
• [FAÍSCA-37728] [SQL] A leitura de colunas aninhadas com leitor vetorizado ORC pode causar ArrayIndexOutOfBoundsException
• [FAÍSCA-37564] [SQL] Adicionar geração de código para agregação de classificação sem chaves de agrupamento
• [FAÍSCA-37659] [UI][3.2] Corrigir condição de corrida FsHistoryProvider entre informações de log de lista e delet
• [FAÍSCA-37727] [SQL] Mostrar confs ignorados & ocultar avisos para conf já definidos em SparkSession.builder.getOrCreate
• [FAÍSCA-37391] [SQL]JdbcConnectionProvider informa se modifica o contexto de segurança
• [FAÍSCA-37273] [SQL] Suporte a colunas de metadados de arquivos ocultos no Spark SQL
• [FAÍSCA-36876] [SQL] Suporte a poda de partição dinâmica para HiveTableScanExec
• [FAÍSCA-37546] [SQL] O comando V2 ReplaceTableAsSelect deve qualificar o local
• [FAÍSCA-37545] [SQL] O comando V2 CreateTableAsSelect deve qualificar o local
• [FAÍSCA-37707] [SQL] Permitir atribuição de armazenamento e conversão implícita entre tipos de data/hora
• [FAÍSCA-37644] [SQL] Suporte a fonte de dados v2 pushdown agregado completo
• [SPARK-37695] [CORE][shuffle] Ignorar o diagnóstico de blocos mesclados do shuffle baseado em push
• [FAÍSCA-35295] [ML] Substitua totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0
• [FAÍSCA-37694] [SQL] Não permitir excluir recursos na cli do spark sql
• [FAÍSCA-37330] [SQL] Comando Migrar ReplaceTableStatement para v2
• [FAÍSCA-27974] [SQL] Suporte ANSI Aggregate Função: array_agg
• [FAÍSCA-36902] [SQL] Comando Migrar CreateTableAsSelectStatement para v2
• [FAÍSCA-37678] [PYTHON] Corrigir _cleanup_and_return assinatura
• [FAÍSCA-37613] [SQL] Suporte ANSI Aggregate Função: regr_count
• [FAÍSCA-37689] [SQL] Expand deve ser suportado em PropagateEmptyRelation
• [FAÍSCA-37654] [SQL] Corrigir NPE em Row.getSeq quando o campo é Nulo
• [FAÍSCA-37496] [SQL] Comando Migrar ReplaceTableAsSelectStatement para v2
• [FAÍSCA-37483] [SQL] Suporte push down superior N para JDBC fonte de dados V2
• [FAÍSCA-37577] [SQL] Fix ClassCastException: ArrayType não pode ser convertido para StructType para gerar poda
• [FAÍSCA-37310] [SQL] Migrar ALTER NAMESPACE ... SET PROPRIEDADES para usar o comando V2 como padrão
• [SPARK-37501] [SQL] CRIAR/SUBSTITUIR TABLE deve especificar a localização para o comando v2
• [FAÍSCA-37343] [SQL] Implementar createIndex, IndexExists e dropIndex em JDBC (dialeto Postgres)
• [FAÍSCA-37060] [CORE][3.2] Manipular a resposta de status do driver de mestres de backup
• [FAÍSCA-37629] [SQL] Acelere o Expression.canonicalized
• [FAÍSCA-37633] [SQL] Unwrap cast deve pular se o downcast falhou com um...
• [FAÍSCA-37631] [SQL] Limpeza de código na promoção de strings para tipo duplo em funções matemáticas
• [SPARK-37569] [SQL] Não marque campos de exibição aninhados como anuláveis
• [FAÍSCA-37557] [SQL] Substitua o hash do objeto pela agregação de classificação se o filho já estiver classificado
• [FAÍSCA-36850] [SQL] Migrar CreateTableStatement para a estrutura de comando v2
• [FAÍSCA-37592] [SQL] Melhorar o desempenho de JoinSelection
• [FAÍSCA-37217] [SQL] O número de partições dinâmicas deve ser verificado com antecedência ao escrever em tabelas externas
• [FAÍSCA-37584] [SQL] Nova função SQL: map_contains_key
• [FAÍSCA-37455] [SQL] Substitua hash por sort aggregate se o filho já estiver classificado
• [SPARK-34735] [SQL][ui] Adicionar configurações modificadas para execução SQL na interface do usuário
• [FAÍSCA-37540] [SQL] Detetar mais viagens no tempo sem suporte
• [FAÍSCA-37376] [SQL] Introduza uma nova interface DataSource V2 HasPartitionKey
• [FAÍSCA-37666] [SQL] Definir GCM como o modo padrão em aes_encrypt()/aes_decrypt()
• [FAÍSCA-37573] [SQL] IsolatedClientLoader deve fallback para a versão relacionada, nem sempre hadoop-2.7.4
• [SPARK-37561] [SQL] Evite carregar todas as funções ao obter o DelegationToken do hive
• [FAÍSCA-37370] [SQL] Adicionar configurações SQL para controlar o code-gen de junção recém-adicionado no 3.3
• [FAÍSCA-37311] [SQL] Migrar ALTER NAMESPACE ... SET LOCATION para usar o comando V2 por padrão
• [SPARK-37192] [SQL] Migrar SHOW TBLPROPERTIES para usar o comando V2 por padrão
• [FAÍSCA-37219] [SQL] Adicionar suporte de sintaxe AS OF
• [FAÍSCA-37316] [SQL] Adicionar geração de código para existência ordenar mesclagem junção
• [FAÍSCA-37591] [SQL] Apoie o modo GCM por aes_encrypt()/aes_decrypt()
• [FAÍSCA-37586] [SQL] Adicione o e mode args padding aaes_encrypt()/aes_decrypt()
• [FAÍSCA-12567] [SQL] Adicionar aes_encrypt e aes_decrypt funções incorporadas
• [FAÍSCA-37392] [SQL] Corrigir o bug de desempenho ao inferir restrições para Gerar
• [SPARK-37481] [Core][webui] Corrigir o desaparecimento de estágios ignorados após serem tentadas novamente
• [FAÍSCA-37533] [SQL] Nova função SQL: try_element_at
• [FAÍSCA-37451] [SQL] Corrija o tipo de cadeia de caracteres de conversão para o tipo decimal se spark.sql.legacy.allowNegativeScaleOfDecimal estiver habilitado
• [FAÍSCA-37062] [SS] Introduzir uma nova fonte de dados para fornecer um conjunto consistente de linhas por microlote
• [FAÍSCA-37552] [SQL] Adicionar a convert_timezone() função
• [FAÍSCA-37555] [SQL] spark-sql deve passar o último comentário não fechado para back-end
• [FAÍSCA-37286] [SQL] Mover compileAggregates de JDBCRDD para JdbcDialect
• [SPARK-37485] [CORE][sql] Substitua map por expressões que não produzem resultados com foreach
• [FAÍSCA-37556] [SQL] A classe Deser void falha com a serialização Java
• [FAÍSCA-37520] [SQL] Adicionar as startswith() funções e endswith() string
• [FAÍSCA-37471] Suporte a [SQL] spark-sql ; em comentário aninhado entre colchetes
• [FAÍSCA-37360] [SQL] Suporte TimestampNTZ na fonte de dados JSON
• [FAÍSCA-37508] [SQL] Adicionar função de cadeia de caracteres CONTAINS()
• [FAÍSCA-37494] [SQL] Unificar a saída de comando das SHOW CREATE TABLE opções v1 e v2
• [FAÍSCA-37524] [SQL] Devemos descartar todas as tabelas depois de testar a remoção dinâmica de partições.
• [FAÍSCA-37389] [SQL] Verificar comentários entre parênteses não fechados
• [FAÍSCA-37220] [SQL] Não divida o arquivo de entrada para o leitor Parquet com pressão agregada para baixo
• [FAÍSCA-37326] [SQL] Suporte TimestampNTZ na fonte de dados CSV
• [FAÍSCA-35867] [SQL] Habilitar leitura vetorizada para VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][sql] Substitua get e getOrElse por getOrElse
• [FAÍSCA-37492] [SQL] Otimize o código de teste Orc com withAllNativeOrcReaders
• [FAÍSCA-37458] [SS] Remova SerializeFromObject desnecessário do plano de foreachBatch

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.8.10
• R: 4.1.2
• Lago Delta: 1.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-01-19.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)