Databricks Runtime 11.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.0, desenvolvido pelo Apache Spark 3.3.0. A Databricks lançou esta versão em junho de 2022.

Novos recursos e melhorias

• Nova versão do Apache Spark
• Os notebooks Python agora usam o kernel IPython
• Suporte para ipywidgets
• O conector Synapse agora grava dados do Parquet no modo não herdado
• Esquema HTTPS agora aplicado quando o cliente ABFS usa o token SAS
• SQL: DESC agora é um alias para DESCRIBE
• SQL: Nova current_version função produz detalhes da versão
• Descartar uma restrição de tabela Delta ausente agora gera um erro
• SQL: A cláusula New EXCEPT na instrução SELECT exclui colunas da seleção de
• Suporte para eliminar colunas em tabelas Delta (visualização pública)
• COPY INTO melhorias
• CONVERT TO DELTA agora é suportado em ambientes habilitados para Unity Catalog (Visualização pública)

Nova versão do Apache Spark

O Databricks Runtime 11.0 e o Databricks Runtime 11.0 Photon incluem o Apache Spark 3.3.0. Para obter detalhes, consulte Apache Spark.

Os notebooks Python agora usam o kernel IPython

No Databricks Runtime 11.0 e superior, os notebooks Python usam o kernel IPython para executar código Python. Consulte Kernel IPython.

Suporte para ipywidgets

Agora você pode usar ipywidgets para tornar seus notebooks Databricks Python interativos. Veja ipywidgets.

O conector Synapse agora grava dados do Parquet no modo não herdado

O conector do Azure Synapse agora grava dados do Parquet no modo não herdado. Ele preserva o formato de carimbo de data/hora ao usar o INT96 PolyBase e COPY comandos para cargas de trabalho em lote e streaming.

Esquema HTTPS agora aplicado quando o cliente ABFS usa o token SAS

Quando o cliente do Sistema de Arquivos de Blob do Azure (ABFS) usa um token SAS (Assinatura de Acesso Compartilhado), o esquema HTTPS agora é imposto.

SQL: DESC agora é um alias para DESCRIBE

Agora você pode usar DESC como um alias para DESCRIBE ao descrever locais externos ou credenciais de armazenamento. Por exemplo:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nova current_version função produz detalhes da versão

A nova current_version função gera a versão atual do Databricks Runtime, se disponível, a versão atual do Databricks SQL, se disponível, e outros detalhes da versão relacionados. Use essa nova função para consultar informações relacionadas à versão. Consulte a função current_version.

Descartar uma restrição de tabela Delta ausente agora gera um erro

Se você agora tentar descartar uma restrição de tabela Delta pelo nome, e essa restrição não existir, você receberá um erro. Para obter o comportamento anterior, que não gera um erro se a restrição não existir, agora você deve usar a instrução IF EXISTS. Ver ALTER TABLE.

SQL: Nova cláusula EXCEPT na instrução SELECT exclui colunas da seleção

SELECT instruções agora suportam a cláusula EXCEPT para excluir colunas da seleção. Por exemplo, SELECT * EXCEPT (x) FROM table retorna todas as colunas do table, exceto x. Colunas aninhadas também são permitidas. Por exemplo, SELECT * EXCEPT (x.a) FROM table retorna todas as colunas do table, mas omite o campo a de struct x.

Suporte para remover colunas em tabelas Delta (Pré-visualização pública)

Você pode usar ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> ou ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) para soltar uma coluna ou uma lista de colunas, respectivamente, de uma tabela Delta como uma operação somente de metadados. As colunas são efetivamente "excluídas de forma não definitiva", uma vez que ainda permanecem nos ficheiros Parquet subjacentes, mas já não são visíveis para a tabela Delta.

Você pode usar REORG TABLE <table-name> APPLY (PURGE) para disparar uma regravação de arquivo nos arquivos que contêm quaisquer dados excluídos suavemente, como colunas soltas.

Você pode usar VACUUM para remover os arquivos excluídos do armazenamento físico, incluindo os arquivos antigos que contêm colunas soltas e foram reescritos por REORG TABLE.

COPY INTO melhorias

Agora você pode criar tabelas Delta de espaço reservado vazias para que o esquema seja inferido posteriormente durante um comando COPY INTO:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

A instrução SQL anterior é idempotente e pode ser programada para ser executada para ingerir dados exatamente uma vez em uma tabela Delta.

Se os dados que você está ingerindo não podem ser lidos devido a algum problema de corrupção, você pode ignorar arquivos corrompidos definindo ignoreCorruptFiles como true no FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

O comando COPY INTO retorna o número de arquivos que foram ignorados devido a corrupção na coluna num_skipped_corrupt_files. Essa métrica também aparece na coluna operationMetrics em numSkippedCorruptFiles depois de executar DESCRIBE HISTORY na tabela Delta.

Os arquivos corrompidos não são rastreados pelo COPY INTO, portanto, podem ser recarregados em uma execução subsequente se a corrupção for corrigida. Você pode ver quais arquivos estão corrompidos executando COPY INTO no VALIDATE modo.

CONVERT TO DELTA agora é suportado em ambientes habilitados para Unity Catalog (Visualização pública)

Em ambientes habilitados paraUnity-Catalog, com você pode agora:

• Converta arquivos Parquet em locais externos para Delta Lake.
• Converta tabelas externas do Parquet em tabelas Delta.

Alterações de comportamento

• SQL: lpad e rpad as funções agora suportam sequências de bytes
• Formato de cadeia de caracteres em format_string e printf não permite mais %0$
• Os valores nulos em arquivos CSV agora são gravados como cadeias de caracteres vazias sem aspas por padrão
• A propriedade da tabela external agora está reservada
• Log4j é atualizado de Log4j 1 para Log4j 2
• As bibliotecas instaladas a partir do Maven agora são resolvidas em seu plano de computação por padrão

SQL: lpad e rpad as funções agora suportam sequências de bytes

As funções lpad e rpad foram atualizadas para adicionar suporte para sequências de bytes, além de strings.

Formato de cadeia de caracteres em format_string e printf não permite mais %0$

Especificar o formato %0$ nas format_string funções e printf agora gera um erro por padrão. Essa alteração é para preservar o comportamento esperado com versões anteriores do Databricks Runtime e bancos de dados comuns de terceiros. O primeiro argumento deve sempre fazer referência a %1$ quando você usa um índice de argumento para indicar a posição do argumento na lista de argumentos.

Valores nulos em arquivos CSV agora são gravados como cadeias de caracteres vazias sem aspas por padrão

Os valores nulos em arquivos CSV foram previamente gravados como cadeias de caracteres vazias entre aspas. Com esta versão, os valores nulos em arquivos CSV agora são gravados como cadeias de caracteres vazias sem aspas por padrão. Para voltar ao comportamento anterior, defina a opção nullValue como "" para operações de gravação.

A propriedade de tabela external agora está reservada

A propriedade external agora é uma propriedade de tabela reservada por padrão. Exceções agora são lançadas quando você usa a external propriedade com as CREATE TABLE ... TBLPROPERTIES cláusulas e ALTER TABLE ... SET TBLPROPERTIES .

Log4j é atualizado de Log4j 1 para Log4j 2

O Log4j 1 está sendo atualizado para o Log4j 2. As dependências herdadas do Log4j 1 estão sendo removidas.

Se você depender das classes Log4j 1 que foram incluídas anteriormente dentro do Databricks Runtime, essas classes não existem mais. Você deve atualizar suas dependências para o Log4j 2.

Se você tiver plug-ins personalizados ou arquivos de configuração que dependem do Log4j 2, eles podem não funcionar mais com a versão do Log4j 2 nesta versão. Para obter assistência, entre em contato com sua equipe de conta do Azure Databricks.

As bibliotecas instaladas a partir do Maven agora são resolvidas em seu plano de computação por padrão

As bibliotecas Maven agora são resolvidas em seu plano de computação por padrão quando você instala bibliotecas em um cluster. O cluster deve ter acesso ao Maven Central. Como alternativa, você pode reverter para o comportamento anterior definindo a propriedade de configuração do Spark:

spark.databricks.libraries.enableMavenResolution false

Correções de erros

• A compatibilidade binária para LeafNode, UnaryNodee BinaryNode entre o Apache Spark e o Databricks Runtime foi corrigida e as classes agora são compatíveis com o Apache Spark 3.3.0 e superior. Se você encontrar a seguinte mensagem ou uma mensagem semelhante ao usar um pacote de terceiros com o Databricks Runtime, reconstrua o pacote com o Apache Spark 3.3.0 ou superior: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • platformdirs de 2.5.1 a 2.5.2
  • protobuf de 3.20.0 a 3.20.1
• Bibliotecas R atualizadas:
  • blob de 1.2.2 a 1.2.3
  • vassoura de 0.7.12 a 0.8.0
  • Cursor de 6,0-91 a 6,0-92
  • CLI de 3.2.0 a 3.3.0
  • dplyr de 1.0.8 a 1.0.9
  • futuro de 1.24.0 a 1.25.0
  • future.apply de 1.8.1 a 1.9.0
  • Gert de 1.5.0 a 1.6.0
  • ggplot2 de 3.3.5 a 3.3.6
  • glmnet de 4.1-3 a 4.1-4
  • refúgio de 2.4.3 a 2.5.0
  • HTTR de 1.4.2 a 1.4.3
  • knitr de 1,38 a 1,39
  • magrittr de 2.0.2 a 2.0.3
  • paralelamente de 1.30.0 a 1.31.1
  • ps de 1.6.0 a 1.7.0
  • RColorBrewer de 1.1-2 a 1.1-3
  • RcppEigen de 0.3.3.9.1 a 0.3.3.9.2
  • readxl de 1.3.1 a 1.4.0
  • rmarkdown de 2.13 para 2.14
  • rprojroot de 2.0.2 a 2.0.3
  • RSQLite de 2.2.11 a 2.2.13
  • escalas de 1.1.1 a 1.2.0
  • ensaio de 3.1.2 a 3.1.4
  • Tibble de 3.1.6 a 3.1.7
  • tinytex de 0,37 a 0,38
  • TZDB de 0.2.0 a 0.3.0
  • uuid de 1.0-4 a 1.1-0
  • VCTRS de 0.3.8 a 0.4.1
• Bibliotecas Java atualizadas:
  • com.fasterxml.jackson.core.jackson-anotações de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-core de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-databind de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.0 a 2.13.3
  • com.google.crypto.tink.tink de 1.6.0 a 1.6.1
  • com.ning.compress-lzf de 1.0.3 a 1.1
  • dev.ludovic.netlib.arpack de 2.2.0 a 2.2.1
  • dev.ludovic.netlib.blas de 2.2.0 a 2.2.1
  • dev.ludovic.netlib.lapack de 2.2.0 a 2.2.1
  • io.netty.netty-all de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-buffer de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-codec de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-common de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-handler de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-resolver de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-tcnative-classes de 2.0.46.Final a 2.0.48.Final
  • io.netty.netty-transport de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-epoll de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 de 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-unix-common de 4.1.73.Final a 4.1.74.Final
  • joda-time.joda-time de 2.10.12 a 2.10.13
  • org.apache.commons.commons-math3 de 3.4.1 a 3.6.1
  • org.apache.httpcomponents.httpcore de 4.4.12 a 4.4.14
  • org.apache.orc.orc-core de 1.7.3 a 1.7.4
  • org.apache.orc.orc-mapreduce de 1.7.3 para 1.7.4
  • org.apache.orc.orc-shims de 1.7.3 a 1.7.4
  • org.eclipse.jetty.jetty-client de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuação de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-jndi de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlets de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util-ajax de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-webapp de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-client de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-common de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-server de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client de 2.2.5 a 2.7.4
  • org.postgresql.postgresql de 42.2.19 a 42.3.3
  • org.roaringbitmap.RoaringBitmap de 0.9.23 a 0.9.25
  • org.roaringbitmap.shims de 0.9.23 a 0.9.25
  • org.rocksdb.rocksdbjni de 6.20.3 a 6.24.2
  • org.slf4j.jcl-over-slf4j de 1.7.32 a 1.7.36
  • org.slf4j.jul-to-slf4j de 1.7.32 a 1.7.36
  • org.slf4j.slf4j-api de 1.7.30 a 1.7.36

Faísca Apache

O Databricks Runtime 11.0 inclui o Apache Spark 3.3.0.

Nesta secção:

• Spark SQL e Core
• Transmissão em Fluxo Estruturada
• PySpark
• MLLIB
• Faísca
• UI(Interface de Utilizador)
• Compilação

Spark SQL e Core

Modo ANSI

• Novas regras explícitas de sintaxe de transmissão no modo ANSI (SPARK-33354)
• Elt() deve retornar null se index for null no modo ANSI (SPARK-38304)
• Opcionalmente, retorne o resultado nulo se o elemento não existir na matriz/mapa (SPARK-37750)
• Permitir transmissão entre o tipo numérico e o tipo de carimbo de data/hora (SPARK-37714)
• Desativar palavras-chave reservadas ANSI por padrão (SPARK-37724)
• Usar regras de atribuição de armazenamento para resolver a invocação de função (SPARK-37438)
• Adicione uma configuração para permitir a transmissão entre Data/hora e Numérico (SPARK-37179)
• Adicionar uma configuração para impor opcionalmente palavras-chave reservadas ANSI (SPARK-37133)
• Não permitir operações binárias entre literal de intervalo e cadeia de caracteres (SPARK-36508)

Aprimoramentos de recursos

• Suporte a tipos ANSI SQL INTERVAL (SPARK-27790)
• Melhorias na mensagem de erro (SPARK-38781)
• Suporte a metadados de arquivos ocultos para Spark SQL (SPARK-37273)
• Suporte literal de cadeia de caracteres bruta (SPARK-36371)
• Classe auxiliar para o lote Dataset.observe() (SPARK-34806)
• Suporte para especificar o número de partição inicial para reequilíbrio (SPARK-38410)
• Suporte ao modo cascata para dropNamespace API (SPARK-37929)
• Permitir atribuição de armazenamento e conversão implícita entre tipos de data/hora (SPARK-37707)
• Coletar, primeiro e último devem ser determinísticos funções agregadas (SPARK-32940)
• Adicionar ExpressionBuilder para funções com sobrecargas complexas (SPARK-37164)
• Adicionar suporte de matriz à união por nome (SPARK-36546)
• Adicionar df.withMetadata: um açúcar sintático destinado a atualizar os metadados de um dataframe (SPARK-36642)
• Suporte literal de cadeia de caracteres bruta (SPARK-36371)
• Use CAST na análise de datas/carimbos de data/hora com padrão padrão (SPARK-36418)
• Classe de valores de suporte no esquema aninhado para Dataset (SPARK-20384)
• Adicionar suporte de sintaxe AS OF (SPARK-37219)
• Adicione REPEATABLE em TABLESAMPLE para especificar seed (SPARK-37165)
• Adicionar sintaxe ansi set catalog xxx para alterar o catálogo atual (SPARK-36841)
• Suporte ILIKE (TODOS | QUALQUER | ALGUNS) - insensível a maiúsculas e minúsculas LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
• Suportar a fase de consulta para exibir estatísticas de execução em modo de explicação formatado (SPARK-38322)
• Adicionar métricas de tamanho de derramamento para junção de mesclagem de classificação (SPARK-37726)
• Atualizar a sintaxe SQL do SHOW FUNCTIONS (SPARK-37777)
• Suporta a sintaxe DROP COLUMN [IF EXISTS] (SPARK-38939)
• Novas funções integradas e suas extensões (SPARK-38783)
  • Data/hora
    • Adicione a função TIMESTAMPADD() (SPARK-38195)
    • Adicione a função TIMESTAMPDIFF() (SPARK-38284)
    • Adicione o DATEDIFF() alias para TIMESTAMPDIFF() (SPARK-38389)
    • Adicione o DATEADD() alias para TIMESTAMPADD() (SPARK-38332)
    • Adicione a convert\_timezone() função (SPARK-37552, SPARK-37568)
    • Expor make_date expressão em functions.scala (SPARK-36554)
  • Funções AES (SPARK-12567)
    • Adicionar aes_encrypt e aes_decrypt funções incorporadas (SPARK-12567)
    • Suporte ao modo GCM por aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Defina GCM como o modo padrão no aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Adicione o e args mode a paddingaes\_encrypt()/(aes\_decrypt())
  • Função de agregação ANSI (SPARK-37671)
    • Suporte ANSI Aggregate Função: regr_count (SPARK-37613)
    • Suporte ANSI Aggregate Função: regr_avgx & regr_avgy (SPARK-37614)
    • Função de agregação ANSI de suporte: percentile_cont (SPARK-37676, SPARK-38219)
    • Função de agregação ANSI de suporte: percentile_disc (SPARK-37691)
    • Suporte ANSI Aggregate Função: regr_count (SPARK-37613)
    • Suporte ANSI Aggregate Função: array_agg (SPARK-27974)
    • Suporte ANSI Aggregate Função: regr_r2 (SPARK-37641)
    • Nova função SQL: try_avg (SPARK-38589)
  • Coleções
    • Introduzir a função SQL ARRAY_SIZE (SPARK-38345)
    • Nova função SQL: map_contains_key (SPARK-37584)
    • Nova função SQL: try_element_at (SPARK-37533)
    • Nova função SQL: try_sum (SPARK-38548)
  • Formato
    • Adicionar uma nova função SQL to_binary (SPARK-37507, SPARK-38796)
    • Nova função SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Funções de formatação de tipo de dados: to\_number (SPARK-28137)
  • String/binário
    • Adicionar função de cadeia de caracteres CONTAINS() (SPARK-37508)
    • Adicionar as startswith() funções e endswith() string (SPARK-37520)
    • Adicionar funções lpad e rpad para strings binárias (SPARK-37047)
    • Suporte split_part função (SPARK-38063)
  • Adicionar parâmetro de escala às funções de piso e ceil (SPARK-37475)
  • Novas funções SQL: try_subtract e try_multiply (SPARK-38164)
  • Implementa histogram_numeric função de agregação que suporta agregação parcial (SPARK-16280)
  • Adicionar max_by/min_by a sql.functions (SPARK-36963)
  • Adicione novas funções SQL integradas: SEC e CSC (SPARK-36683)
  • array_intersect manipula duplicados Double.NaN e Float.NaN (SPARK-36754)
  • Adicionar berço como funções Scala e Python (SPARK-36660)

Melhorias de desempenho

• Geração de código de estágio completo
  • Adicionar geração de código para agregação de classificação sem chaves de agrupamento (SPARK-37564)
  • Adicionar code-gen para junção de mesclagem externa completa (SPARK-35352)
  • Adicionar geração de código para junção embaralhada de hash externa completa (SPARK-32567)
  • Adicionar code-gen para existence sort merge join (SPARK-37316)
• Empurrar para baixo (filtros)
  • Empurre os filtros para baixo através de RebalancePartitions (SPARK-37828)
  • Empurre para baixo o filtro de coluna booleana (SPARK-36644)
  • Empurre para baixo o limite 1 para o lado direito da junção semi/anti esquerda se a condição de junção estiver vazia (SPARK-37917)
  • Traduzir mais funções agregadas padrão para pushdown (SPARK-37527)
  • Suporte propagar relação vazia através de agregado/união (SPARK-35442)
  • Filtragem de tempo de execução em nível de linha (SPARK-32268)
  • Suporte Left Semi join em filtros de tempo de execução em nível de linha (SPARK-38565)
  • Suporte a pushdown de predicados e poda de coluna para CTEs desenganados (SPARK-37670)
• Vetorização
  • Implementar um ConstantColumnVector e melhorar o desempenho dos metadados de arquivo oculto (SPARK-37896)
  • Habilitar leitura vetorizada para VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Combinar/remover/substituir nós
  • Combinar sindicatos se houver um projeto entre eles (SPARK-37915)
  • Combine com um elenco se pudermos fundir com segurança dois moldes (SPARK-37922)
  • Remova o Sort se for filho de RepartitionByExpression (SPARK-36703)
  • Remove a junção externa se ela tiver apenas DISTINCT no lado transmitido com alias (SPARK-37292)
  • Substitua hash por sort aggregate se o filho já estiver classificado (SPARK-37455)
  • Só recolher projetos se não duplicarmos expressões caras (SPARK-36718)
  • Remover aliases redundantes após RewritePredicateSubquery (SPARK-36280)
  • Mesclar subconsultas escalares não correlacionadas (SPARK-34079)
• Particionamento
  • Não adicione remoção de partição dinâmica se existir remoção de partição estática (SPARK-38148)
  • Melhorar RebalancePartitions em regras do Optimizer (SPARK-37904)
  • Adicionar fator de partição pequeno para reequilibrar partições (SPARK-37357)
• Aderir
  • Ajuste a lógica para rebaixar a junção de hash de transmissão no DynamicJoinSelection (SPARK-37753)
  • Ignore chaves de junção duplicadas ao criar relação para junção hash embaralhada SEMI/ANTI (SPARK-36794)
  • Suporte para otimizar a junção enviesada, mesmo que isso introduza um shuffle extra (SPARK-33832)
• AQE
  • Suporte eliminar limites no AQE Optimizer (SPARK-36424)
  • Otimize o plano de uma única linha no modo normal e no Otimizador AQE (SPARK-38162)
• Aggregate.groupOnly suporta expressões dobráveis (SPARK-38489)
• ByteArrayMethods arrayEquals deve ignorar rapidamente a verificação de alinhamento com a plataforma não alinhada (SPARK-37796)
• Adicionar poda de padrão de árvore à regra CTESubstitution (SPARK-37379)
• Adicionar mais simplificações do operador Não (SPARK-36665)
• Suporte BooleanType em UnwrapCastInBinaryComparison (SPARK-36607)
• Coalesce soltar todas as expressões após a primeira expressão não anulável (SPARK-36359)
• Adicionar um visitante de plano lógico para propagar os atributos distintos (SPARK-36194)

Melhorias no conector integrado

• Geral
  • Serialização leniente de datetime da fonte de dados (SPARK-38437)
  • Trate a localização da tabela como absoluta quando a primeira letra de seu caminho é barrada na tabela create/alter (SPARK-38236)
  • Remova zeros à esquerda da partição de tipo de número estático vazia (SPARK-35561)
  • Suporte ignoreCorruptFiles e ignoreMissingFiles nas opções de fonte de dados (SPARK-38767)
  • Adicionar comando SHOW CATALOGS (SPARK-35973)
• Parquet
  • Ativar a correspondência de nomes de colunas de esquema por IDs de campo (SPARK-38094)
  • Remova o nome do campo de verificação ao ler/gravar dados em parquet (SPARK-27442)
  • Suporte à leitura vetorizada de valores booleanos utilizando codificação RLE com Parquet DataPage V2 (SPARK-37864)
  • Suporte a codificação de página de dados do Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado (SPARK-36879)
  • Rebaseie carimbos de data/hora no fuso horário da sessão salvo nos metadados Parquet/Avro (SPARK-37705)
  • Empurre para baixo grupo por coluna de partição para agregado (SPARK-36646)
  • Agregado (Mín./Máx./Contagem) empurre para baixo para Parquet (SPARK-36645)
  • Parquet: ativar colunas de esquema correspondentes por id de campo (SPARK-38094)
  • Reduza o tamanho da página padrão em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem usados (SPARK-37593)
  • Implementar codificações vetorizadas DELTA_BYTE_ARRAY e DELTA_LENGTH_BYTE_ARRAY para suporte ao Parquet V2 (SPARK-37974)
  • Suporte a tipos complexos para leitor vetorizado Parquet (SPARK-34863)
• ORC
  • Remova o nome do campo de verificação ao ler/gravar dados existentes no Orc (SPARK-37965)
  • Pressão agregada para baixo para ORC (SPARK-34960)
  • Suporte a leitura e gravação de intervalos ANSI de/para fontes de dados ORC (SPARK-36931)
  • Suporte a nomes de coluna somente de números em fontes de dados ORC (SPARK-36663)
• JSON
  • Respeite allowNonNumericNumbers ao analisar valores "NaN" e "Infinity" citados no leitor JSON (SPARK-38060)
  • Usar CAST para datetime em CSV/JSON por padrão (SPARK-36536)
  • Alinhar mensagem de erro para tipos de chave não suportados no MapType no leitor Json (SPARK-35320)
• CSV
  • Correção referente à coluna de registro corrompido do CSV (SPARK-38534)
  • valores nulos devem ser salvos como nada em vez de Strings vazias entre aspas "" por padrão (SPARK-37575)
• JDBC
  • Adicione a instrução IMMEDIATE à implementação truncada do dialeto DB2 (SPARK-30062)
• Colmeia
  • Suporte para escrita de tabela Hive particionada em buckets (formatos de ficheiro Hive com hash do Hive) (SPARK-32712)
  • Usar expressões para filtrar partições do Hive no lado do cliente (SPARK-35437)
  • Suportar a poda de partições dinâmicas para HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir deve usar fonte de dados se for conversível (SPARK-38215)
  • Suporte para escrever tabela particionada do Hive (formato Parquet/ORC com hash Hive) (SPARK-32709)

Desmantelamento do nó

• FallbackStorage não deve tentar resolver nomes de host "remotos" arbitrários (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved deve lidar com ExecutorDecommission como concluído (SPARK-38023)

Outras mudanças notáveis

• Adicione bloqueio refinado ao BlockInfoManager (SPARK-37356)
• Suporte ao mapeamento de tipos de recursos Spark gpu/fpga para o tipo de recurso YARN personalizado (SPARK-37208)
• Informe o tamanho preciso do bloco aleatório se estiver distorcido (SPARK-36967)
• Suporte ao Netty Logging na camada de rede (SPARK-36719)

Transmissão em Fluxo Estruturada

Principais características

• Introduza Trigger.AvailableNow para executar consultas de streaming como Trigger.Once em vários lotes (SPARK-36533)

Outras mudanças notáveis

• Use StatefulOpClusteredDistribution para operadores com monitoração de estado respeitando a compatibilidade com versões anteriores (SPARK-38204)
• Corrigir o tempo limite de flatMapGroupsWithState em lote com dados para chave (SPARK-38320)
• Corrigir problema de precisão na junção externa de fluxo a fluxo com o fornecedor de armazenamento de estado RocksDB (SPARK-38684)
• Suporte Trigger.AvailableNow na fonte de dados Kafka (SPARK-36649)
• Otimizar caminho de gravação no provedor de armazenamento de estado RocksDB (SPARK-37224)
• Introduzir uma nova fonte de dados para fornecer um conjunto consistente de linhas por microlote (SPARK-37062)
• Use HashClusteredDistribution para operadores com monitoração de estado respeitando a compatibilidade com versões anteriores (SPARK-38204)

PySpark

API do Pandas no Apache Spark

Principais melhorias

• Otimização do índice de 'sequência distribuída' como padrão (SPARK-36559, SPARK-36338)
  • Suporte para especificar o tipo de índice e o nome na API pandas no Spark (SPARK-36709)
  • Mostrar tipo de índice padrão em planos SQL para pandas API no Spark (SPARK-38654)

Principais características

• Implementar ps.merge_asof nativo do SparkSQL (SPARK-36813)
• Suporte TimedeltaIndex na API pandas no Spark (SPARK-37525)
• Suporte para o timedelta do Python (SPARK-37275, SPARK-37510)
• Implementar funções em CategoricalAccessor/CategoricalIndex (SPARK-36185)
• Usa o formatador de cadeia de caracteres padrão do Python para API SQL na API pandas no Spark (SPARK-37436)
• Suporte a operações básicas da série/índice timedelta (SPARK-37510)
• Suporte ps. MultiIndex.dtypes (SPARK-36930)
• Implementar Index.map (SPARK-36469)
• Implementar Série.xor e Série.rxor (faísca-36653)
• Implementar operador invert unário de ps integral. Série/Índice (SPARK-36003)
• Implementar DataFrame.cov (SPARK-36396)
• Suporte str e timestamp para (Series|DataFrame).describe() (SPARK-37657)
• Suporte lambda column parâmetro de DataFrame.rename(SPARK-38763)

Outras mudanças notáveis

Alterações interruptivas

• Solte referências ao suporte ao Python 3.6 em docs e python/docs (SPARK-36977)
• Remover namedtuple hack substituindo o pickle integrado por cloudpickle (SPARK-32079)
• Bump versão mínima pandas para 1.0.5 (SPARK-37465)
• Principais melhorias
  • Fornecer um profiler para UDFs Python/Pandas (SPARK-37443)
  • Usa o formatador de cadeia de caracteres padrão do Python para API SQL no PySpark (SPARK-37516)
  • Expor o estado SQL e a classe de erro em exceções do PySpark (SPARK-36953)
  • Tente capturar faulthanlder quando um trabalhador Python falha (SPARK-36062)

Principais características

• Implementar DataFrame.mapInArrow em Python (SPARK-37228)
• Usa o formatador de cadeia de caracteres padrão do Python para API SQL no PySpark (SPARK-37516)
• Adicionar df.withMetadata pyspark API (SPARK-36642)
• Suportar timedelta do Python (SPARK-37275)
• Expor tabelaExiste em pyspark.sql.catalog (SPARK-36176)
• Tornar visível databaseExists em pyspark.sql.catalog (SPARK-36207)
• Expondo função Existe no catálogo SQL de PySpark (SPARK-36258)
• Adicionar Dataframe.observation ao PySpark (SPARK-36263)
• Adicionar API max_by/min_by ao PySpark (SPARK-36972)
• Suporte para inferir ditado aninhado como uma estrutura ao criar um DataFrame (SPARK-35929)
• Adicionar APIs bit/octet_length ao Scala, Python e R (SPARK-36751)
• Suporte a API ILIKE em Python (SPARK-36882)
• Adicionar método isEmpty para a API Python DataFrame (SPARK-37207)
• Adicionar várias colunas com suporte (SPARK-35173)
• Adicionar SparkContext.addArchive no PySpark (SPARK-38278)
• Tornar o tipo sql reprs eval-able (SPARK-18621)
• Dicas de tipo embutido para fpm.py em python/pyspark/mllib (SPARK-37396)
• Implementar dropna parâmetro de SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Principais características

• Adicionar distanceMeasure param a trainKMeansModel (SPARK-37118)
• Exponha LogisticRegression.setInitialModel, como KMeans et al do (SPARK-36481)
• Propor suporte para o CrossValidatorModel obter o desvio padrão das métricas para cada paramMap (SPARK-36425)

Principais melhorias

• Otimize alguns "treeAggregates" no MLlib ao atrasar as alocações (SPARK-35848)
• Reescreva _shared_params_code_gen.py para dicas de tipo embutido para ml/param/shared.py (SPARK-37419)

Outras mudanças notáveis

• Atualização para Breeze 1.2 (SPARK-35310)

Faísca

• Migrar documentos do SparkR para pkgdown (SPARK-37474)
• Expor make_date expressão em R (SPARK-37108)
• Adicionar API max_by/min_by ao SparkR (SPARK-36976)
• Suporte ILIKE API em R (SPARK-36899)
• Adicionar sec e csc como funções R (SPARK-36824)
• Adicionar APIs bit/octet_length ao Scala, Python e R (SPARK-36751)
• Adicionar berço como função R (SPARK-36688)

IU

• Resumo das métricas de especulação no nível do estágio (SPARK-36038)
• Tempo de espera de bloco de leitura aleatório unificado para baralhar o tempo de espera de busca de leitura no StagePage (SPARK-37469)
• Adicionar configurações modificadas para execução de SQL na interface do usuário (SPARK-34735)
• Faça o ThriftServer reconhecer spark.sql.redaction.string.regex (SPARK-36400)
• Anexar e iniciar o manipulador após o aplicativo iniciado na interface do usuário (SPARK-36237)
• Adicionar duração de confirmação ao nó gráfico da guia SQL (SPARK-34399)
• Suporte RocksDB backend no Spark History Server (SPARK-37680)
• Mostrar opções para Pandas API on Spark in UI (SPARK-38656)
• Renomeie 'SQL' para 'SQL / DataFrame' na página da interface do usuário do SQL (SPARK-38657)

Compilar

• Migrando do log4j 1 para o log4j 2 (SPARK-37814)
• Atualizar log4j2 para 2.17.2 (SPARK-38544)
• Atualize para Py4J 0.10.9.5 (SPARK-38563)
• Atualizar ORC para 1.7.4 (SPARK-38866)
• Atualizar tabelas de dados para 1.10.25 (SPARK-38924)

Atualizações de manutenção

Consulte Databricks Runtime 11.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-05-06.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)