Databricks Runtime 15.4 LTS

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 15.4 LTS, da plataforma Apache Spark 3.5.0.

A Databricks lançou essa versão em agosto de 2024.

Alterações comportamentais

• Usar uma VARIANT como o tipo de entrada ou saída com uma UDF, UDAF ou UDTF do Python gera uma exceção
• spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão
• Alterar para o modo de associação de esquema padrão para exibições
• Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões boolianas externas
• Não permitir sintaxe de definição de coluna não documentada em exibições
• Tratamento consistente de erros para decodificação Base64 no Spark e no Photon
• A adição de uma restrição CHECK em uma coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION
• spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão
• pyodbc é atualizado de 4.0.38 para 4.0.39

Usar uma VARIANT como o tipo de entrada ou saída com uma UDF, UDAF ou UDTF do Python gera uma exceção

[Alteração interruptiva] No Databricks Runtime 15.3 e superior, chamar qualquer função definida pelo usuário (UDF) do Python, função agregada definida pelo usuário (UDAF) ou função de tabela definida pelo usuário (UDTF) que usa um tipo VARIANT como argumento ou valor de retorno gera uma exceção. Essa alteração é feita para evitar problemas que possam ocorrer devido a um valor inválido retornado por uma dessas funções. Para saber mais sobre o tipo VARIANT, consulte usar VARIANTs para armazenar dados semiestruturados.

spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão

spark.sql.legacy.jdbc.useNullCalendar agora está definido como true por padrão. Se essa alteração interromper suas consultas (como aquelas que retornam valores TIMESTAMP), defina-o para false em seu código.

Alterar para o modo de associação de esquema padrão para exibições

As exibições agora se adaptam às alterações de esquema na consulta subjacente usando a compensação de esquema com regras de conversão regulares. Essa é uma alteração do padrão anterior do modo BINDING, que gerou erros quando uma conversão segura não pôde ser executada ao referenciar o modo de exibição.

Veja CREATE VIEW e a função cast.

Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões boolianas externas

Com esta versão, o uso de ! como sinônimo para NOT fora de expressões boolianas não é mais permitido. Por exemplo, instruções como a seguinte: CREATE ... IF ! EXISTS, IS ! NULL, uma propriedade de campo ou coluna ! NULL, ! IN e ! BETWEEN, deve ser substituído por: CREATE ... IF NOT EXISTS, IS NOT NULL, propriedade de campo ou coluna NOT NULL, NOT IN e NOT BETWEEN.

Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

O operador de prefixo booliano! (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

Não permitir sintaxe de definição de coluna não documentada em exibições

O Databricks dá suporte a CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, NOT NULL restrições ou DEFAULT foi permitida. Com esta versão, não é mais possível usar essa sintaxe.

Essa alteração garante a consistência, alinha-se com o padrão SQL e dá suporte a melhorias futuras.

Tratamento consistente de erros para decodificação Base64 no Spark e no Photon

Esta versão altera a forma como o Photon trata os erros de decodificação Base64 para corresponder à forma como o Spark trata esses erros. Antes dessas alterações, o caminho de geração de código do Photon e do Spark às vezes não gerava exceções de análise, enquanto a execução interpretada do Spark gerava corretamente IllegalArgumentException ou ConversionInvalidInputError. Essa atualização garante que o Photon gere consistentemente as mesmas exceções que o Spark durante erros de decodificação Base64, fornecendo um tratamento de erros mais previsível e confiável.

A adição de uma restrição CHECK em uma coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e superior, uma instrução ALTER TABLE ADD CONSTRAINT que inclui uma restrição CHECK referenciando um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, era retornado um INTERNAL_ERROR.

spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão

### spark.sql.legacy.jdbc.useNullCalendar agora está definido true como a configuração padrão. Se essa alteração interromper suas consultas (como aquelas que retornam valores TIMESTAMP), defina-o para false em seu código.

pyodbc é atualizado de 4.0.38 para 4.0.39

O pacote pyodbc é atualizado da versão 4.0.38 para a versão 4.0.39. Essa alteração é necessária porque um bug foi encontrado na versão 4.0.38 e essa versão foi removida do PyPI.

Novos recursos e aprimoramentos

• Funções de validação UTF-8
• APIs de Conjuntos de Dados tipadas com UDFs do Scala
• habilitar o Iceberg UniForm usando ALTER TABLE
• função try_url_decode
• Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não forçadas
• Execuções de trabalho paralelizadas para substituições seletivas
• Desempenho aprimorado para o feed de dados de alteração com substituições seletivas
• Melhoria da latência de consulta para o comando COPY INTO
• Suporte à eliminação do recurso de tabela de verificação de restrições
• A computação dedicada (anteriormente computação de usuário único) dá suporte a controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização Pública)
• Suporte ampliado para bibliotecas Java e Scala
• Suporte ampliado para operações de conjunto de dados Scala
• O Scala está em disponibilidade geral na computação Standard do Catálogo do Unity
• Acesso controlado pelo Catálogo do Unity a serviços de nuvem externos usando credenciais de serviço (Visualização Pública)

Funções de validação UTF-8

Esta versão apresenta as seguintes funções para validar strings UTF-8:

• is_valid_utf8 verificou se uma cadeia de caracteres é uma UTF-8 válida.
• make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
• validate_utf8 gerará um erro se a entrada não for uma string UTF-8 válida.
• try_validate_utf8 retornará NULL se a entrada não for uma string UTF-8 válida.

APIs de Conjuntos de Dados Tipada com UDFs do Scala

Esta versão inclui suporte adicional para APIs de conjunto de dados tipados com funções definidas pelo usuário do Scala (excluindo funções de agregação definidas pelo usuário) na computação habilitada para Catálogo do Unity com o modo de acesso padrão (antigo modo de acesso compartilhado). Consulte APIs de Conjuntos de Dados Tipadas.

Habilitar o Iceberg UniForm usando ALTER TABLE

Agora você pode habilitar o Iceberg do UniForm em tabelas existentes sem reescrever arquivos de dados. Consulte Habilitar as leituras do Iceberg em uma tabela existente.

Função try_url_decode

Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada em URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não forçadas

Para melhorar o desempenho da consulta, agora você poderá especificar a palavra-chave RELY em restrições FOREIGN KEY ao usar CREATE ou ALTER em uma tabela.

Execuções de trabalho paralelizadas para substituições seletivas

Substituições seletivas usando replaceWhere trabalhos agora executados que excluem dados e inserem novos dados em paralelo, melhorando o desempenho da consulta e a utilização do cluster.

Desempenho aprimorado para o feed de dados de alteração com substituições seletivas

Substituições seletivas usando replaceWhere em tabelas com feed de dados de alteração já não gravam mais arquivos de dados de alteração separados para dados inseridos. Essas operações usam uma coluna oculta _change_type presente nos arquivos de dados Parquet subjacentes para registrar alterações sem amplificação de gravação.

Latência de consulta aprimorada para o comando COPY INTO

Esta versão inclui uma alteração que melhora a latência de consulta para o comando COPY INTO. Essa melhoria é implementada ao tornarmos o carregamento de estado pelo repositório de estado do RocksDB assíncrono. Com essa alteração, você deverá visualizar uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Suporte para eliminar o recurso de tabela de restrições de verificação

Agora você pode remover o recurso de tabela checkConstraints de uma tabela Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Desabilitar restrições de verificação.

A computação dedicada (anteriormente computação de usuário único) dá suporte a controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização Pública)

Quando um workspace é habilitado para computação sem servidor, o Databricks Runtime 15.4 LTS adiciona suporte para controle de acesso refinado na computação dedicada. Quando uma consulta acessa qualquer um dos seguintes objetos, o recurso de computação dedicado no Databricks Runtime 15.4 LTS passa a consulta para a computação sem servidor para executar a filtragem de dados:

• Exibições definidas sobre tabelas nas quais o usuário não tem o privilégio SELECT.
• Visualizações dinâmicas.
• Tabelas com filtros de linha ou máscaras de coluna aplicadas.
• Exibições materializadas e tabelas de streaming.

Essas consultas não têm suporte na computação dedicada executando o Databricks Runtime 15.3 e abaixo.

Para obter mais informações, consulte o controle de acesso refinado na computação dedicada.

Suporte ampliado para bibliotecas Java e Scala

A partir do Databricks Runtime 15.4 LTS, todas as bibliotecas Java e Scala incluídas no Databricks Runtime estão disponíveis em todos os modos de acesso à computação quando você usa o Catálogo do Unity. Para saber mais sobre o suporte a idiomas na computação habilitada para Catálogo do Unity, consulte os requisitos e limitações de computação Padrão.

Suporte ampliado para operações de conjunto de dados Scala

Com esta versão, os recursos de computação habilitados para o Catálogo do Unity que usam o modo de acesso padrão dão suporte às seguintes operações Scala Dataset, map, mapPartitions, foreachPartition, flatMap, reduce e filter.

O Scala está em disponibilidade geral na computação padrão do Catálogo do Unity

Com esta versão, geralmente, o Scala está disponível na computação habilitada para o Catálogo do Unity no modo de acesso padrão, incluindo suporte para as funções escalares definidas pelo usuário (UDFs). Não há suporte para funções de agregação definidas pelo usuário, UDFs do Hive e Streaming Estruturado. Para obter uma lista completa de limitações, consulte requisitos e limitações de computação Padrão.

Acesso controlado pelo Catálogo do Unity a serviços de nuvem externos usando credenciais de serviço (Visualização Pública)

As credenciais de serviço permitem uma autenticação simples e segura com os serviços do seu locatário de nuvem usando identidades gerenciadas do Azure e o Unity Catalog. Consulte Criar credenciais de serviço.

Correções de bug

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • azure-core de 1.30.1 para 1.30.2
  • google-auth de 2.29.0 para 2.31.0
  • google-cloud-storage de 2.16.0 para 2.17.0
  • google-resumable-media de 2.7.0 para 2.7.1
  • googleapis-common-protos de 1.63.0 para 1.63.2
  • mlflow-skinny de 2.11.3 para 2.11.4
  • proto-plus de 1.23.0 para 1.24.0
  • s3transfer de 0.10.1 para 0.10.2
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • com.databricks.databricks-sdk-java de 0.17.1 para 0.27.0
  • com.ibm.icu.icu4j de 72.1 para 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.2-linux-x86_64

Apache Spark

O Databricks Runtime 15.4 LTS inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.3 (EoS) e as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Permitir o agrupamento de expressões em subconsultas escalares, se estiverem vinculadas a linhas externas
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Desabilitar a entrada/saída variante para UDFs escalares, UDTFs e UDAFs do Python durante a compilação da consulta
• [SPARK-48441] [SC-170980][sql][WARMFIX] Corrigir o comportamento do StringTrim para ordenações não UTF8_BINARY
• [SPARK-48440] [SC-170895][sql][WARMFIX] Corrigir o comportamento do StringTranslate para colações não UTF8_BINARY
• [SPARK-48872] [SC-170866][python] Reduza a sobrecarga de _capture_call_site
• [SPARK-48862] [SC-170845][python][CONNECT] Evite chamar _proto_to_string quando o nível DE INFORMAÇÕES não estiver habilitado
• [SPARK-48852] [SC-170837][connect] Corrigir função de corte de cadeia de caracteres na conexão
• [SPARK-48791] [SC-170658][core] Correção da regressão perf causada pela sobrecarga de registro dos acumuladores usando CopyOnWriteArrayList
• [SPARK-48118] [SQL] Suporte à variável env SPARK_SQL_LEGACY_CREATE_HIVE_TABLE
• [SPARK-48241] [SC-165811][sql] Falha de análise de CSV com colunas de tipo char/varchar
• [SPARK-48168] [SC-166900][sql] Adicionar suporte a operadores de deslocamento bit a bit
• [SPARK-48148] [SC-165630][core] Objetos JSON não devem ser modificados quando lidos como STRING
• [SPARK-46625] [SC-170561] CTE com a cláusula Identificador como referência
• [SPARK-48771] [SC-170546][sql] Acelerar LogicalPlanIntegrity.validateExprIdUniqueness para grandes planos de consulta
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Tornar o nome da cast coluna padrão compatível com o Spark Classic
• [SPARK-48623] [SC-170544][core] Migrações estruturadas de log [Parte 2]
• [SPARK-48296] [SC-166138][sql] Suporte de codegen para to_xml
• [SPARK-48027] [SC-165154][sql] O InjectRuntimeFilter para junção de vários níveis deve verificar o tipo de junção filho
• [SPARK-48686] [SC-170365][sql] Melhorar o desempenho de ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][python] Introdução spark.profile.render à criação de perfil baseada em SparkSession
• [SPARK-48048] [SC-169099] Reverter "[SC-164846][connect][SS] Foi adicionado suporte ao ouvinte do lado do cliente para Scala"
• [SPARK-47910] [SC-168929][core] Fechar o fluxo quando DiskBlockObjectWriter closeResources para evitar perda de memória
• [SPARK-48816] [SC-170547][sql] Abreviação para conversores de intervalo no UnivocityParser
• [SPARK-48589] [SC-170132][sql][SS] Adicionar opção snapshotStartBatchId e snapshotPartitionId à fonte de dados de estado
• [SPARK-48280] [SC-170293][sql] Melhorar a área de superfície de teste de ordenação usando a verificação de expressão
• [SPARK-48837] [SC-170540][ml] No CountVectorizer, somente leia o parâmetro binário uma vez por transformação, não uma vez por linha
• [SPARK-48803] [SC-170541][sql] Gerar erro interno no Orc(De)serializer para se alinhar com ParquetWriteSupport
• [SPARK-48764] [SC-170129][python] Filtrando quadros relacionados ao IPython da pilha de usuários
• [SPARK-48818] [SC-170414][python] Simplificar percentile funções
• [SPARK-48479] [SC-169079][sql] Suporte à criação de UDFs escalares e de tabela sql no analisador
• [SPARK-48697] [SC-170122][lc-4703][SQL] Adicionar filtros de cadeia de caracteres com reconhecimento de ordenação
• [SPARK-48800] [SC-170409][connect][SS] Estabilizar ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][sql] Correto desde a versão do alias de função interno random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
• [SPARK-48638] [SC-169575][connect] Adicionar suporte a ExecutionInfo para DataFrame
• [SPARK-48064] [SC-164697][sql] Atualizar mensagens de erro para categorias de erro associadas a rotinas
• [SPARK-48810] [CONNECT] A API Session stop() deve ser idempotente e não falhar se a sessão já tiver sido fechada pelo servidor
• [SPARK-48650] [15.x][python] Exibir o ponto de chamada correto no IPython Notebook
• [SPARK-48271] [SC-166076][sql] Transformar o erro de correspondência no RowEncoder em UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][sql] Corrigir incompatibilidade de resolução de tipo varchar para DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][sql] Corrigir a regressão para INSERT com lista de colunas parciais em uma tabela com char/varchar
• [SPARK-48767] [SC-170330][sql] Corrigir alguns prompts de erro quando variant os dados de tipo são inválidos
• [SPARK-48719] [SC-170339][sql] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro for nulo
• [SPARK-48815] [SC-170334][conectar] Ambiente de atualização ao parar a sessão de conexão
• [SPARK-48646] [SC-169020][python] Refinar docstring da API de fonte de dados do Python e dicas de tipo
• [SPARK-48806] [SC-170310][sql] Passar exceção real quando url_decode falhar
• [SPARK-47777] [SC-168818] Corrigir o teste de conexão da fonte de dados de streaming do Python
• [SPARK-48732] [SC-169793][sql] Limpeza do uso de API obsoleto relacionado a JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][sql] Corrigir tabela de cache com coluna agrupada
• [SPARK-48623] [SC-169034][core] Migrações estruturadas de log
• [SPARK-48655] [SC-169542][sql] SPJ: Adicionar testes para ignorar embaralhar para consultas de agregação
• [SPARK-48586] [SC-169808][ss] Remova a aquisição de bloqueio no doMaintenance() fazendo uma cópia profunda dos mapeamentos de arquivos no RocksDBFileManager em load()
• [SPARK-48799] [Backport][15.x][SC-170283][ss] Refatorar o controle de versão para leitura/gravação de metadados do operador e chamadores
• [SPARK-48808] [SC-170309][sql] Correção de NPE ao conectar o thriftserver por meio do Hive 1.2.1 e o esquema de resultados está vazio
• [SPARK-48715] [SC-170291][sql] Integrar a validação UTF8String em implementações de função de cadeia de caracteres com reconhecimento de ordenação
• [SPARK-48747] [SC-170120][sql] Adicionar iterador de ponto de código a UTF8String
• [SPARK-48748] [SC-170115][sql] Cache numChars em UTF8String
• [SPARK-48744] [SC-169817][core] A entrada de log deve ser construída apenas uma vez
• [SPARK-46122] [SC-164313][sql] Definir spark.sql.legacy.createHiveTableByDefault para false como padrão
• [SPARK-48765] [SC-170119][deploy] Aprimorar a avaliação de valor padrão para SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][sql] Adicionar um documento de migração para CREATE TABLE como alteração de comportamento SELECT desde o Spark 3.4
• [SPARK-48598] [SC-169484][python][CONNECT] Propagar esquema armazenado em cache em operações de dataframe
• [SPARK-48766] [SC-170126][python] Documente a diferença de comportamento entre extractionelement_at e try_element_at
• [SPARK-48768] [SC-170124][python][CONNECT] Não deve armazenar em cache explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] Alterar para ler metadados do operador uma vez no driver para verificar se podemos encontrar informações para numColsPrefixKey usadas para consultas de agregação de janela de sessão
• [SPARK-48656] [SC-169529][core] Fazer verificação de comprimento e lançar erro COLLECTION_SIZE_LIMIT_EXCEEDED em CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][sql] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
• [SPARK-48472] [SC-169044][sql] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
• [SPARK-48699] [SC-169597][sql] Refinar a API de ordenação
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] Use o ICU na expressão InitCap para cadeias de caracteres UTF8_BINARY
• [SPARK-48282] [SC-169813][sql] Alterar a lógica de pesquisa de cadeia de caracteres para ordenação de UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][sql] Habilitar o suporte de ordenação para a expressão Mode
• [SPARK-48320] [SPARK-48490] Sincronizar a característica de registro em log e os casos de teste mais recentes do OSS Spark
• [SPARK-48629] [SC-169479] Migrar o código residual para a estrutura de registros estruturada
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] Usar A ICU em expressões inferiores/superiores para cadeias de caracteres UTF8_BINARY
• [SPARK-48573] [15.x][sc-169582][SQL] Atualizar versão do ICU
• [SPARK-48687] [Backport][15.x][SS] Adicionar alteração para executar validação do esquema de estado e atualização no driver para consultas com estado
• [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrar logInfo com variáveis para framework de log estruturado
• [SPARK-48008] [SC-167363][1/2] Suporte a UDAFs no Spark Connect
• [SPARK-48578] [SC-169505][sql] adicionar funções relacionadas à validação de cadeia de caracteres UTF8
• [SPARK-48670] [SC-169598][sql] Fornecendo sugestão como parte da mensagem de erro quando um nome de ordenação inválido é fornecido
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPA... ...RK-48291] Estrutura de registro em log estruturado no lado java
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: Migrar logWarn com variáveis para estrutura de log estruturada
• [SPARK-48706] [SC-169589][python] UDF do Python em funções de ordem superior não deve gerar erro interno
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] Sempre fazer preenchimento de caracteres em predicados
• [SPARK-48662] [SC-169533][sql] Corrigir expressão StructsToXml com ordenações
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates e dropDuplicatesWIthinWatermark deve aceitar args de comprimento variável
• [SPARK-48678] [SC-169463][core] Otimizações de desempenho para SparkConf.get(ConfigEntry)
• [SPARK-48576] [SQL] Renomear UTF8_BINARY_LCASE para UTF8_LCASE
• [SPARK-47927] [SC-164123][sql]: corrigir atributo de nulidade no decodificador UDF
• [SPARK-47579] [SC-165297][core][PART1] Migrar logInfo com variáveis para estrutura de log estruturado (novo)
• [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal não usar os métodos preteridos
• [SPARK-48431] [SC-167290][lc-4066][SQL] Não encaminhe predicados em colunas agrupadas para leitores de arquivos
• [SPARK-47579] Revert “[SC-165297][core][PART1] Migrar logInfo com variáveis para a estrutura de registros em log estruturada"
• [SPARK-47585] [SC-164306][sql] SQL core: Migrar logInfo com variáveis para a estrutura de log estruturada
• [SPARK-48466] [SC-169042][sql] Criar um nó dedicado para EmptyRelation no AQE
• [SPARK-47579] [SC-165297][core][PART1] Migrar logInfo com variáveis para a estrutura de log estruturada
• [SPARK-48410] [SC-168320][sql] Corrigir a expressão InitCap para ordenações de UTF8_BINARY_LCASE e ICU
• [SPARK-48318] [SC-167709][sql] Habilitar o suporte de junção de hash para todas as ordenações (tipos complexos)
• [SPARK-48435] [SC-168128][sql] A ordenação UNICODE não deve dar suporte à igualdade binária
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] Suporte usando Colunas como parâmetros para várias funções no pyspark/scala
• [SPARK-48591] [SC-169081][python] Adicionar uma função auxiliar para simplificar Column.py
• [SPARK-48574] [SC-169043][sql] Corrigir o suporte para StructTypes com ordenações
• [SPARK-48305] [SC-166390][sql] Adicionar suporte de ordenação para expressões CurrentLike
• [SPARK-48342] [SC-168941][sql] Introdução ao Analisador de Scripts SQL
• [SPARK-48649] [SC-169024][sql] Adicionar configurações "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" para permitir ignorar caminhos de partição inválidos
• [SPARK-48000] [SC-167194][sql] Habilitar o suporte de junção de hash para todas as ordenações (StringType)
• [SPARK-48459] [SC-168947][connect][PYTHON] Implementar o DataFrameQueryContext no Spark Connect
• [SPARK-48602] [SC-168692][sql] Fazer com que o gerador csv dê suporte a estilos de saída diferentes com spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][sql] Modificar a comparação de cadeia de caracteres para UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][sql] refatoração: Usar o idMap auxiliar em vez de OP_ID_TAG
• [SPARK-48634] [SC-169021][python][CONNECT] Evite inicializar estaticamente o threadpool em ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][sql] Introduz um BinaryFormatter universal para tornar a saída binária consistente
• [SPARK-48642] [SC-168889][núcleo] SparkOutOfMemoryError falso causado por encerrar a tarefa ao ocorrer um despejo
• [SPARK-48572] [SC-168844][sql] Corrigir as expressões DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
• [SPARK-48600] [SC-168841][sql] Corrigir a conversão implícita de expressões FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][sql] Fazer uma verificação de comprimento e gerar um erro COLLECTION_SIZE_LIMIT_EXCEEDED em Hex.hex
• [SPARK-48587] [SC-168824][variant] Evite amplificação de armazenamento ao acessar uma sub-Variant
• [SPARK-48647] [SC-168936][python][CONNECT] Refinar a mensagem de erro em YearMonthIntervalTypedf.collect
• [SPARK-48307] [SC-167802][sql] InlineCTE deve manter relações não embutidas no nó WithCTE original
• [SPARK-48596] [SC-168581][sql] Melhoria de desempenho para calcular a cadeia de caracteres hexa por muito tempo
• [SPARK-48621] [SC-168726][sql] Correção da simplificação Like no Otimizador para cadeias de caracteres agrupadas
• [SPARK-47148] [SC-164179][sql] Evitar materializar o AQE ExchangeQueryStageExec no cancelamento
• [SPARK-48584] [SC-168579][sql] Melhoria do Perf para unescapePathName
• [SPARK-48281] [SC-167260][sql] Alterar a lógica de pesquisa de cadeia de caracteres para ordenação de UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][sql] Substituição de sequência de bytes UTF-8 inválida
• [SPARK-48595] [SC-168580][core] Limpeza do uso preterido da API relacionada a commons-compress
• [SPARK-48030] [SC-164303][sql] SPJ: rowOrdering de cache e structType para InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][sql] Adicionar a característica WriteFilesExecBase para gravação v1
• [SPARK-48551] [SC-168438][sql] Melhoria do Perf para escapePathName
• [SPARK-48565] [SC-168437][interface do usuário] Corrigir a exibição de despejo de thread na interface do usuário
• [SPARK-48364] [SC-166782][sql] Adicionar a conversão de tipo AbstractMapType e corrigir o mapa de parâmetros RaiseError para trabalhar com cadeias de caracteres agrupadas
• [SPARK-48421] [SC-168689][sql] SPJ: Adicionar documentação
• [SPARK-48604] [SC-168698][sql] Substituir a chamada de método preterida new ArrowType.Decimal(precision, scale)
• [SPARK-46947] [SC-157561][core] Atrasar a inicialização do gerenciador de memória até que o plug-in driver seja carregado
• [SPARK-48411] [SC-168576][ss][PYTHON] Adicionar teste E2E para DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][ss] Acompanhar falhas de validação de linha de estado usando a classe de erro explícita
• [SPARK-48221] [SC-167143][sql] Alterar a lógica de pesquisa de cadeia de caracteres para UTF8_BINARY_LCASE collation (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][sql] Adicionar suporte de ordenação para a expressão Levenshtein
• [SPARK-48593] [SC-168719][python][CONNECT] Corrigir a representação de cadeia de caracteres da função lambda
• [SPARK-48622] [SC-168710][sql] Obter o SQLConf uma vez ao resolver nomes de coluna
• [SPARK-48594] [SC-168685][python][CONNECT] Renomear parent campo para child in ColumnAlias
• [SPARK-48403] [SC-168319][sql] Corrigir expressões inferiores e superiores para ordenações de UTF8_BINARY_LCASE e de ICU
• [SPARK-48162] [SC-166062][sql] Adicionar suporte de ordenação para expressões MISC
• [SPARK-48518] [SC-167718][core] Fazer com que a compactação LZF seja capaz de ser executada em paralelo
• [SPARK-48474] [SC-167447][núcleo] Corrigir o nome da classe do log em SparkSubmitArguments e SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ: suporte a expressões de transformação para embaralhamento de um lado
• [SPARK-48552] [SC-168212][sql] Inferência de esquema CSV de várias linhas também deve gerar FAILED_READ_FILE
• [SPARK-48560] [SC-168268][ss][PYTHON] Tornar o StreamingQueryListener.spark configurável
• [SPARK-48569] [SC-168321][ss][CONNECT] Lidar com casos de borda em query.name
• [SPARK-47260] [SC-167323][sql] Atribuir nome à classe de erro _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][python][CONNECT] Propagar esquema armazenado em cache em operações de conjunto
• [SPARK-48155] [SC-165910][sql] O AQEPropagateEmptyRelation para junção deve verificar se o filho restante é apenas BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][core] Nomes abreviados de codecs de compressão são insensíveis a maiúsculas e minúsculas, exceto para log de eventos.
• [SPARK-48447] [SC-167607][ss] Verifique a classe do provedor do repositório de estado antes de invocar o construtor
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd não devem gerar a exceção INTERNAL_ERROR
• [SPARK-48513] [Backport][15.x][SC-168085][ss] Adicionar classe de erro para compatibilidade de esquema de estado e refatoração menor
• [SPARK-48413] [SC-167669][sql] ALTER COLUMN com ordenação
• [SPARK-48561] [SC-168250][ps][CONNECT] Gerar PandasNotImplementedError para funções de plotagem sem suporte
• [SPARK-48465] [SC-167531][sql] Evite no-op propagação de relação vazia
• [SPARK-48553] [SC-168166][python][CONNECT] Armazenar mais propriedades em cache
• [SPARK-48540] [SC-168069][core] Evitar configurações de carregamento de saída ivy para stdout
• [SPARK-48535] [SC-168057][ss] Atualizar documentos de configuração para indicar a possibilidade de perda de dados/problema de corrupção se a configuração de ignorar nulos para junções de fluxo para fluxo estiver habilitada
• [SPARK-48536] [SC-168059][python][CONNECT] Esquema especificado pelo usuário do cache em applyInPandas e applyInArrow
• [SPARK-47873] [SC-163473][sql] Gravar cadeias de caracteres agrupadas no metastore do Hive usando o tipo de cadeia de caracteres regular
• [SPARK-48461] [SC-167442][sql] Substitua NullPointerExceptions pela classe de erro na expressão AssertNotNull
• [SPARK-47833] [SC-163191][sql][CORE] Fornecer o stackstrace de chamador para checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][sql] Porta HIVE-12270: Adicionar suporte DBTokenStore ao token de delegação HS2
• [SPARK-47578] [SC-167497][r] Migrar RPackageUtils com variáveis para estrutura de log estruturada
• [SPARK-47875] [SC-162935][core] Remove spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][núcleo] Definir spark.hadoop.fs.s3a.connection.establish.timeout como 30s se ausente
• [SPARK-47972] [SC-167692][sql] Restringir expressão CAST para ordenações
• [SPARK-48430] [SC-167489][sql] Correção da extração de valor do mapa quando o mapa contém cadeias de caracteres agrupadas
• [SPARK-47318] [SC-162712][core][3.5] Adiciona a rodada HKDF à derivação de chave AuthEngine para seguir as práticas padrão de KEX
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Corrigir subconsultas escalares inválidas com agrupamento em colunas não equivalentes incorretamente permitidas
• [SPARK-48508] [SC-167695][connect][PYTHON] Esquema especificado pelo usuário do cache em DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][windows] Corrigir bug no Windows em que iniciar várias instâncias do Spark no mesmo segundo causa uma falha
• [SPARK-45891] [SC-167608] Reverter " Descrever o esquema de fragmentação da Grade"
• [SPARK-48391] [SC-167554][core]Usando addAll em vez de adicionar função no método fromAccumulatorInfos da Classe TaskMetrics
• [SPARK-48496] [SC-167600][core] Use instâncias de padrão regex estático em JavaUtils.timeStringAs e JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][sql] Corrigir a mensagem de erro NPE para csv de delimitador nulo
• [SPARK-48489] [SC-167598][sql] Gerar um erro melhor voltado para o usuário ao ler o esquema ilegal da Fonte de Dados de texto
• [SPARK-48471] [SC-167324][core] Aprimorar a documentação e o guia de uso do servidor de histórico
• [SPARK-45891] [SC-167597] Descrever o esquema de fragmentação da Grade
• [SPARK-47333] [SC-159043][sql] Usar checkInputDataTypes para verificar os tipos de parâmetro da função to_xml
• [SPARK-47387] [SC-159310][sql] Remover algumas classes de erro não utilizados
• [SPARK-48265] [ES-1131440][sql] Inferir o lote de limite do grupo de janelas deve fazer dobramento constante
• [SPARK-47716] [SC-167444][sql] Evite conflito de nome de exibição no caso de teste de classificação semântica SQLQueryTestSuite
• [SPARK-48159] [SC-167141][sql] Estendendo o suporte para cadeias de caracteres agrupadas em expressões datetime
• [SPARK-48462] [SC-167271][sql][Testes] Usar withSQLConf em testes: Refatorar HiveQuerySuite e HiveTableScanSuite
• [SPARK-48392] [SC-167195][núcleo] Carregar também spark-defaults.conf quando a --properties-file for fornecida
• [SPARK-48468] [SC-167417] Adicionar interface LogicalQueryStage no Catalyst
• [SPARK-47578] [SC-164988][core] Backport manual para Spark PR #46309: Migrar logWarning com variáveis para a estrutura de log estruturada
• [SPARK-48415] [SC-167321]Reverter "[PYTHON] Refatorar TypeName para dar suporte a tipos de dados parametrizados"
• [SPARK-46544] [SC-151361][sql] Suporte a v2 DESCRIBE TABLE EXTENDED com estatísticas de tabela
• [SPARK-48325] [SC-166963][core] Sempre especifique mensagens em ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][sql] Adicionar suporte de ordenação para localidades de ICU e especificadores de ordenação
• [SPARK-47221] [SC-157870][sql] Usa assinaturas de CsvParser para AbstractParser
• [SPARK-47246] [SC-158138][sql] Substitua InternalRow.fromSeq por new GenericInternalRow para salvar uma conversão de coleção
• [SPARK-47597] [SC-163932][streaming] Backport manual para Spark PR #46192: Streaming: Migrar logInfo com variáveis para a estrutura de registros em log estruturada
• [SPARK-48415] [SC-167130][python] Refatoração TypeName para dar suporte a tipos de dados parametrizados
• [SPARK-48434] [SC-167132][python][CONNECT] Fazer uso do esquema armazenado em cache
• [SPARK-48432] [ES-1097114][sql] Evitar unboxing de números inteiros no UnivocityParser
• [SPARK-47463] [SC-162840][sql] Usar V2Predicate para encapsular a expressão com o tipo de retorno de booliano
• [SPARK-47781] [SC-162293][sql] Manipular decimais de escala negativa para fontes de dados JDBC
• [SPARK-48394] [SC-166966][core] Limpar mapIdToMapIndex em mapoutput unregister
• [SPARK-47072] [SC-156933][sql] Corrigir formatos de intervalo com suporte em mensagens de erro
• [SPARK-47001] [SC-162487][sql] Verificação por pushdown no otimizador
• [SPARK-48335] [SC-166387][python][CONNECT] Tornar _parse_datatype_string compatível com o Spark Connect
• [SPARK-48329] [SC-166518][sql] Habilitar spark.sql.sources.v2.bucketing.pushPartValues.enabled por padrão
• [SPARK-48412] [SC-166898][python] Refatorar a análise JSON do tipo de dados
• [SPARK-48215] [SC-166781][sql] Estendendo o suporte para cadeias de caracteres agrupadas em date_format expressão
• [SPARK-45009] [SC-166873][sql][ACOMPANHAMENTO] Adicionar classe de erro e testes para a disposição de subconsultas de predicado na condição de junção que fazem referência a ambos os filhos de junção
• [SPARK-47960] [SC-165295][ss][15.x] Permitir encadeamento de outros operadores com estado após o operador transformWithState.
• [SPARK-48340] [SC-166468][python] Suporte a ignorar a inferência de esquema TimestampNTZ prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][sql] Adicionar suporte de ordenação para expressões CSV
• [SPARK-48158] [SC-165652][sql] Adicionar suporte de ordenação para expressões XML
• [SPARK-48160] [SC-166064][sql] Adicionar suporte de ordenação para expressões XPATH
• [SPARK-48229] [SC-165901][sql] Adicionar suporte de ordenação para expressões inputFile
• [SPARK-48367] [SC-166487][connect] Corrigir lint-scala para que o scalafmt detecte corretamente os arquivos a serem formatados.
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] Refatorando a estrutura para o contexto de erro de DataFrame
• [SPARK-48370] [SC-166787][conectar] Ponto de verificação e localCheckpoint no cliente Scala Spark Connect
• [SPARK-48247] [SC-166028][python] Use todos os valores em um ditado ao inferir o esquema MapType
• [SPARK-48395] [SC-166794][python] Correção StructType.treeString para tipos parametrizados
• [SPARK-48393] [SC-166784][python] Mover um grupo de constantes para pyspark.util
• [SPARK-48372] [SC-166776][spark-45716][PYTHON] Implementar StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] Ponto de verificação e localCheckpoint no Spark Connect

Consulte Atualizações de manutenção do Databricks Runtime 15.4 LTS.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.4 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.15
• Python: 3.11.11
• R: 4.3.2
• Delta Lake: 3.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R são instaladas com base no instantâneo CRAN do Gerenciador de Pacotes do Posit em 05/02/2024: https://packagemanager.posit.co/cran/2024-02-05/.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)