Databricks Tempo de execução 15.4 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.4 LTS, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em agosto de 2024.

Mudanças comportamentais

• Usar a VARIANT como o tipo de entrada ou saída com um Python UDF, UDAF ou UDTF gera uma exceção
• spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão
• Alterar ao modo padrão de vinculação de esquema para vistas
• Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões booleanas externas
• Não permitir sintaxe de definição de coluna não documentada em visões
• Tratamento consistente de erros para decodificação Base64 no Spark e Photon
• Adicionar uma restrição de CHECK numa coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION
• spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão
• pyodbc é atualizado de 4.0.38 para 4.0.39

Usar a VARIANT como o tipo de entrada ou saída com um Python UDF, UDAF ou UDTF gera uma exceção

[Alteração significativa] No Databricks Runtime 15.3 e versões superiores, chamar qualquer função definida pelo utilizador (UDF), função de agregação definida pelo utilizador (UDAF), ou função de tabela definida pelo utilizador (UDTF) que utiliza um tipo VARIANT como argumento ou valor de retorno gera uma exceção. Essa alteração é feita para evitar problemas que podem ocorrer devido a um valor inválido retornado por uma dessas funções. Para saber mais sobre o VARIANT tipo, consulte Usar VARIANTES para armazenar dados semiestruturados.

spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão

spark.sql.legacy.jdbc.useNullCalendar agora está definido como true por padrão. Se essa alteração quebrar suas consultas (como aquelas que retornam TIMESTAMP valores), defina-a como false em seu código.

Alterar para o modo de vinculação de esquema padrão para modos de exibição

As exibições agora se adaptam às alterações de esquema na consulta subjacente usando o ajuste de esquema com regras de conversão regulares. Esta é uma alteração em relação ao padrão anterior do modo, que gerava erros quando uma transmissão segura não podia ser executada BINDING ao fazer referência à exibição.

Consulte CREATE VIEW e função cast.

Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões booleanas externas

Com esta versão, o uso de ! como sinônimo para NOT fora de expressões booleanas não é mais permitido. Por exemplo, afirmações como as seguintes: CREATE ... IF ! EXISTS, IS ! NULL, uma coluna ! NULL ou propriedade de campo, ! IN e ! ENTRE, devem ser substituídas por: CREATE ... IF NOT EXISTS, IS NOT NULL, uma coluna NOT NULL ou propriedade de campo, NOT IN e NOT BETWEEN.

Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

O operador! de prefixo booleano (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

Não permitir sintaxe de definição de coluna não documentada em modos de exibição

O Databricks suporta CREATE VIEW com colunas nomeadas e comentários de coluna. Anteriormente, a especificação de tipos de coluna, restrições de NOT NULL ou DEFAULT era permitida. Com esta versão, você não pode mais usar essa sintaxe.

Essa alteração garante consistência, alinha-se com o padrão SQL e oferece suporte a aprimoramentos futuros.

Tratamento consistente de erros para decodificação Base64 no Spark e Photon

Esta versão altera como o Photon lida com erros de decodificação Base64 para corresponder ao tratamento Spark desses erros. Antes dessas alterações, o caminho de geração de código do Photon e do Spark às vezes falhava em gerar exceções de análise, enquanto o Spark interpretava a execução corretamente gerada IllegalArgumentException ou ConversionInvalidInputError. Esta atualização garante que o Photon gere consistentemente as mesmas exceções que o Spark durante erros de decodificação Base64, fornecendo tratamento de erros mais previsível e confiável.

Adicionar uma restrição de CHECK numa coluna inválida agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e superior, uma instrução ALTER TABLE ADD CONSTRAINT que inclua uma restrição CHECK que faça referência a um nome de coluna inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, um INTERNAL_ERROR foi devolvido.

spark.sql.legacy.jdbc.useNullCalendar agora está habilitado por padrão

### spark.sql.legacy.jdbc.useNullCalendar agora está definido como true a configuração padrão. Se essa alteração quebrar suas consultas (como aquelas que retornam TIMESTAMP valores), defina-a como false em seu código.

pyodbc é atualizado de 4.0.38 para 4.0.39

O pacote pyodbc é atualizado da versão 4.0.38 para a versão 4.0.39. Esta alteração é necessária porque um bug foi encontrado na versão 4.0.38 e essa versão foi removida do PyPI.

Novos recursos e melhorias

• Funções de validação UTF-8
• APIs de conjunto de dados tipadas com UDFs Scala
• Habilite o UniForm Iceberg usando ALTER TABLE
• try_url_decode função
• Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas
• Execuções de trabalho paralelizadas para substituições seletivas
• Desempenho aprimorado para feed de dados de alteração com substituições seletivas
• Latência de consulta melhorada para o COPY INTO comando
• Suporte para descartar o recurso de tabela de restrições de verificação
• A computação dedicada (anteriormente computação de usuário único) suporta controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização pública)
• Suporte expandido para bibliotecas Java e Scala
• Suporte expandido para operações de conjunto de dados Scala
• Scala é GA na computação padrão do Unity Catalog
• Acesso controlado pelo catálogo Unity a serviços de nuvem externos usando credenciais de serviço (Visualização pública)

Funções de validação UTF-8

Esta versão apresenta as seguintes funções para validar cadeias de caracteres UTF-8:

• is_valid_utf8 verificado se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.
• make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
• validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.
• try_validate_utf8 retorna NULL se a entrada não for uma cadeia de caracteres UTF-8 válida.

APIs de conjunto de dados tipadas com UDFs Scala

Esta versão adiciona suporte para APIs de conjunto de dados tipadas com funções definidas pelo usuário em Scala (excluindo funções agregadas definidas pelo usuário) em computação com o Unity Catalog habilitado no modo de acesso padrão (anteriormente modo de acesso compartilhado). Consulte APIs de conjunto de dados tipadas.

Habilite o UniForm Iceberg usando ALTER TABLE

Agora você pode habilitar o UniForm Iceberg em tabelas existentes sem reescrever arquivos de dados. Consulte Ativar leituras do Iceberg numa tabela existente.

try_url_decode função

Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada por URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas

Para melhorar o desempenho das consultas, já é possível especificar o termo RELY nas restrições de FOREIGN KEY quando CREATE ou ALTER uma tabela.

Execuções de trabalho paralelizadas para substituições seletivas

As substituições seletivas usando replaceWhere agora executam trabalhos que excluem dados e inserem novos dados em paralelo, melhorando o desempenho das consultas e a utilização do cluster.

Desempenho aprimorado para feed de dados de alteração com substituições seletivas

As substituições seletivas usando replaceWhere em tabelas que utilizam feed de dados de alterações já não criam arquivos de dados de alteração separados para os dados inseridos. Essas operações usam uma coluna _change_type oculta presente nos arquivos de dados subjacentes do Parquet para registrar alterações sem causar amplificação de escrita.

Latência de consulta melhorada para o COPY INTO comando

Esta versão inclui uma alteração que melhora a latência de consulta para o COPY INTO comando. Essa melhoria é implementada tornando o carregamento do estado pelo armazenamento de estado RocksDB assíncrono. Com essa alteração, você verá uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Suporte para descartar o recurso de tabela de restrições de verificação

Agora pode remover a funcionalidade de tabela checkConstraints de uma tabela Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Desativar restrições de verificação.

A computação dedicada (anteriormente computação de usuário único) suporta controle de acesso refinado, exibições materializadas e tabelas de streaming (Visualização pública)

Quando um espaço de trabalho está habilitado para computação sem servidor, o Databricks Runtime 15.4 LTS adiciona suporte para controle de acesso refinado em computação dedicada. Quando uma consulta acessa qualquer um dos seguintes objetos, o recurso de computação dedicado no Databricks Runtime 15.4 LTS passa a consulta para a computação sem servidor para executar a filtragem de dados:

• Vistas definidas em tabelas nas quais o utilizador não tem o privilégio SELECT.
• Vistas dinâmicas.
• Tabelas com filtros de linha ou máscaras de coluna aplicadas.
• Visualizações materializadas e tabelas de streaming.

Essas consultas não são suportadas em computação dedicada que executa o Databricks Runtime 15.3 e inferior.

Para obter mais informações, consulte Controle de acesso refinado em computação dedicada.

Suporte expandido para bibliotecas Java e Scala

A partir do Databricks Runtime 15.4 LTS, todas as bibliotecas Java e Scala empacotadas com o Databricks Runtime estão disponíveis em todos os modos de acesso de computação quando você usa o Unity Catalog. Para saber mais sobre o suporte a idiomas na computação habilitada para Unity Catalog, consulte Requisitos e limitações de computação padrão.

Suporte expandido para operações de conjunto de dados Scala

Com esta versão, os recursos de computação habilitados para Unity Catalog que usam o modo de acesso padrão suportam as Dataset seguintes operações Scala: map, mapPartitions, foreachPartition, flatMapreducee filter.

Scala é GA na computação padrão do Unity Catalog

Com esta versão, o Scala está geralmente disponível no modo de acesso padrão Unity Catalog-enabled compute, incluindo suporte para funções escalares definidas pelo usuário (UDFs). Não há suporte para Streaming estruturado, UDFs do Hive e funções agregadas definidas pelo usuário do Hive. Para obter uma lista completa de limitações, consulte Requisitos e limitações de computação padrão.

Acesso controlado pelo catálogo Unity a serviços de nuvem externos usando credenciais de serviço (Visualização pública)

As credenciais de serviço permitem uma autenticação simples e segura com os serviços do locatário de nuvem usando identidades gerenciadas do Azure (MI) e o Catálogo Unity. Consulte Criar credenciais de serviço.

Correções de erros

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • azure-core de 1.30.1 a 1.30.2
  • google-auth de 2.29.0 a 2.31.0
  • google-cloud-storage de 2.16.0 a 2.17.0
  • google-retomable-media de 2.7.0 a 2.7.1
  • googleapis-common-protos de 1.63.0 a 1.63.2
  • mlflow-skinny de 2.11.3 a 2.11.4
  • proto-plus de 1.23.0 a 1.24.0
  • s3transfer de 0.10.1 a 0.10.2
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • com.databricks.databricks-sdk-java de 0.17.1 a 0.27.0
  • com.ibm.icu.icu4j de 72.1 a 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.2-linux-x86_64

Apache Spark

O Databricks Runtime 15.4 LTS inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.3 (EoS), além das seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-48503] [DBRRM-1150][sc-172196][SQL] Permitir o agrupamento de expressões em subconsultas escalares, se elas estiverem vinculadas a linhas externas
• [SPARK-48834] [BEHAVE-79][sc-170972][SQL] Desativar a entrada/saída variante para UDFs, UDTFs, UDAFs escalares em python durante a compilação da consulta
• [SPARK-48441] [SC-170980][sql][WARMFIX] Corrigir o comportamento do StringTrim para agrupamentos não UTF8_BINARY
• [SPARK-48440] [SC-170895][sql][WARMFIX] Corrigir o comportamento do StringTranslate para agrupamentos não UTF8_BINARY
• [SPARK-48872] [SC-170866][python] Reduza a sobrecarga de _capture_call_site
• [SPARK-48862] [SC-170845][python][CONNECT] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
• [SPARK-48852] [SC-170837][connect] Corrigir função de corte de string na conexão
• [SPARK-48791] [SC-170658][core] Corrija a regressão perf causada pela sobrecarga de registro dos acumuladores usando CopyOnWriteArrayList
• [FAÍSCA-48118] [SQL] Suporte SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env variável
• [SPARK-48241] [SC-165811][sql] Falha de análise CSV com colunas do tipo char/varchar
• [SPARK-48168] [SC-166900][sql] Adicionar suporte a operadores de deslocamento bit a bit
• [SPARK-48148] [SC-165630][core] Os objetos JSON não devem ser modificados quando lidos como STRING
• [SPARK-46625] [SC-170561] CTE com cláusula de identificador como referência
• [SPARK-48771] [SC-170546][sql] Otimizar LogicalPlanIntegrity.validateExprIdUniqueness para planos de consulta grandes
• [SPARK-48831] [BEHAVE-76][sc-170554][CONNECT] Fazer o nome padrão da coluna cast compatível com o Spark Classic
• [SPARK-48623] [SC-170544][core] Migrações de log estruturado [Parte 2]
• [SPARK-48296] [SC-166138][sql] Suporte de Codegen para to_xml
• [SPARK-48027] [SC-165154][sql] InjectRuntimeFilter para associação de vários níveis deve verificar o tipo de associação filha
• [SPARK-48686] [SC-170365][sql] Melhorar o desempenho de ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][python] Introdução spark.profile.render para criação de perfil baseada em SparkSession
• [SPARK-48048] [SC-169099] Reverter "[SC-164846][connect][SS] Adicionado suporte de ouvinte do lado do cliente para Scala"
• [SPARK-47910] [SC-168929][core] fechar fluxo quando DiskBlockObjectWriter fechaRecursos para evitar vazamento de memória
• [SPARK-48816] [SC-170547][sql] Abreviação para conversores de intervalo no UnivocityParser
• [SPARK-48589] [SC-170132][sql][SS] Adicionar opção snapshotStartBatchId e snapshotPartitionId à fonte de dados de estado
• [SPARK-48280] [SC-170293][sql] Melhore a área de superfície de teste de agrupamento usando a caminhada de expressão
• [SPARK-48837] [SC-170540][ml] No CountVectorizer, leia apenas o parâmetro binário uma vez por transformação, não uma vez por linha
• [SPARK-48803] [SC-170541][sql] Lançar erro interno no Orc(De)serializer para alinhar com ParquetWriteSupport
• [SPARK-48764] [SC-170129][python] Filtrando frames relacionados com IPython da pilha de usuários
• [SPARK-48818] [SC-170414][python] Simplifique percentile funções
• [SPARK-48479] [SC-169079][sql] Suporte à criação de UDFs SQL escalares e de tabela no analisador
• [SPARK-48697] [SC-170122][lc-4703][SQL] Adicionar filtros de cadeia de caracteres com reconhecimento de agrupamento
• [SPARK-48800] [SC-170409][connect][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][sql] Correção do número da versão para a funcionalidade integrada alias random, position, mod, cardinality, current_schema, user, session_user, char_length, character_length
• [SPARK-48638] [SC-169575][connect] Adicionar suporte ExecutionInfo para DataFrame
• [SPARK-48064] [SC-164697][sql] Atualizar mensagens de erro para classes de erro associadas a rotinas
• [FAÍSCA-48810] [CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
• [SPARK-48650] [15.x][python] Exibir o site de chamada correto do IPython Notebook
• [SPARK-48271] [SC-166076][sql] Converta o erro de correspondência no RowEncoder em UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][sql] Corrigir incompatibilidade de resolução de tipo varchar para DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][sql] Corrigir regressão para INSERT com lista de colunas parciais para uma tabela com char/varchar
• [SPARK-48767] [SC-170330][sql] Corrija alguns prompts de erro quando variant os dados de tipo são inválidos
• [SPARK-48719] [SC-170339][sql] Corrija o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
• [SPARK-48815] [SC-170334][connect] Atualize o ambiente ao parar a sessão de conexão
• [SPARK-48646] [SC-169020][python] Refine docstrings e dicas de tipo da API da fonte de dados em Python
• [SPARK-48806] [SC-170310][sql] Passar a exceção real quando a função url_decode falha
• [FAÍSCA-47777] [SC-168818] corrigir python streaming fonte de dados teste de conexão
• [SPARK-48732] [SC-169793][sql] Limpeza do uso de API preterida relacionada a JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][sql] Corrigir tabela de cache com coluna agrupada
• [SPARK-48623] [SC-169034][core] Migrações de registos estruturados
• [SPARK-48655] [SC-169542][sql] SPJ: Adicionar testes para shuffle skipping para consultas agregadas
• [SPARK-48586] [SC-169808][ss] Remova a aquisição de bloqueio em doMaintenance() fazendo uma cópia profunda dos mapeamentos de arquivos no RocksDBFileManager em load()
• [SPARK-48799] [Backport][15.x][SC-170283][ss] Refatoração do sistema de versionamento para a leitura/escrita de metadados do operador e processos que os chamam
• [SPARK-48808] [SC-170309][sql] Corrija o NPE ao conectar o thriftserver através do Hive 1.2.1 e o esquema de resultado está vazio
• [SPARK-48715] [SC-170291][sql] Integre a validação UTF8String em implementações de função de cadeia de caracteres com reconhecimento de agrupamento
• [SPARK-48747] [SC-170120][sql] Adicionar um iterador de ponto de código à UTF8String
• [SPARK-48748] [SC-170115][sql] Cache numChars em UTF8String
• [SPARK-48744] [SC-169817][core] A entrada de log deve ser construída apenas uma vez
• [SPARK-46122] [SC-164313][sql] Definido spark.sql.legacy.createHiveTableByDefault como false por padrão
• [SPARK-48765] [SC-170119][deploy] Aprimore a avaliação de valor padrão para SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][sql] Adicionar documento de migração para a mudança de comportamento do CREATE TABLE AS SELECT desde o Spark 3.4
• [SPARK-48598] [SC-169484][python][CONNECT] Propagar esquema armazenado em cache em operações de dataframe
• [SPARK-48766] [SC-170126][python] Documente a diferença de comportamento entre extractionelement_at e try_element_at
• [SPARK-48768] [SC-170124][python][CONNECT] Não deve armazenar em cache explain
• [SPARK-48770] [Backport][15.x][SC-170133][ss] Altere para ler os metadados do operador uma única vez no driver para verificar se podemos encontrar informação para numColsPrefixKey usado para consultas de agregação de janela de sessão
• [SPARK-48656] [SC-169529][core] Efetuar uma verificação de comprimento e lançar o erro COLLECTION_SIZE_LIMIT_EXCEEDED em CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][sql] Introduza um marcador para a propriedade isStreaming na representação de texto do plano lógico
• [SPARK-48472] [SC-169044][sql] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
• [SPARK-48699] [SC-169597][sql] Refinar API de agrupamento
• [SPARK-48682] [SC-169812][sql][BEHAVE-58] Usar ICU na expressão InitCap para cadeias de caracteres UTF8_BINARY
• [SPARK-48282] [SC-169813][sql] Alterar a lógica de pesquisa de sequência de caracteres para ordenação UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][sql] Habilitar o suporte de agrupamento para a expressão Mode
• [SPARK-48320] [SPARK-48490] Sincronize a característica de registro mais recente e os casos de teste do OSS Spark
• [FAÍSCA-48629] [SC-169479] Migrar o código residual para a estrutura de log estruturada
• [SPARK-48681] [SC-169469][sql][BEHAVE-58] Use o ICU em expressões de minúsculas/maiúsculas para cadeias de caracteres UTF8_BINARY
• [SPARK-48573] [15.x][sc-169582][SQL] Atualizar versão da UTI
• [SPARK-48687] [Backport][15.x][SS] Adicionar alteração para executar a validação do esquema de estado e atualização no driver para consultas com estado
• [SPARK-47579] [15.x][sc-167310][CORE][part4] Migrar logInfo com variáveis para o framework de registos estruturados
• [FAÍSCA-48008] [SC-167363][1/2] Suporta UDAFs no Spark Connect
• [SPARK-48578] [SC-169505][sql] adicionar funções relacionadas à validação de cadeia de caracteres UTF8
• [SPARK-48670] [SC-169598][sql] Fornecendo sugestão como parte da mensagem de erro quando o nome de agrupamento inválido é fornecido
• [FAÍSCA-48059] [FAÍSCA-48145][faísca-48134][FAÍSCA-48182][faísca-48209][SPA... … RK-48291] Estrutura de log estruturada no lado java
• [SPARK-47599] [15.x][sc-166000][MLLIB] MLLib: Migrar logWarn com variáveis para o framework de logging estruturado
• [SPARK-48706] [SC-169589][python] Python UDF em funções de ordem superior não deve lançar erro interno
• [SPARK-48498] [BEHAVE-38][sc-168060][SQL] Sempre faça preenchimento de caracteres em predicados
• [SPARK-48662] [SC-169533][sql] Corrigir expressão StructsToXml com agrupamentos
• [SPARK-48482] [SC-167702][python][15.x] dropDuplicates e dropDuplicatesWIthinWatermark deve aceitar args de comprimento variável
• [SPARK-48678] [SC-169463][core] Otimizações de desempenho para SparkConf.get(ConfigEntry)
• [FAÍSCA-48576] [SQL] Renomear UTF8_BINARY_LCASE para UTF8_LCASE
• [SPARK-47927] [SC-164123][sql]: Corrigir atributo de anulabilidade no decodificador UDF
• [SPARK-47579] [SC-165297][core][PART1] Migrar logInfo com variáveis para a estrutura de log estruturada (novo)
• [SPARK-48695] [SC-169473][python] TimestampNTZType.fromInternal não usa os métodos preteridos
• [SPARK-48431] [SC-167290][lc-4066][SQL] Não encaminhe predicados em colunas agrupadas para leitores de arquivos
• [SPARK-47579] Reverter “[SC-165297][core][PART1] Migrar logInfo com variáveis para o framework de logging estruturado”
• [SPARK-47585] [SC-164306][sql] SQL core: migrar logInfo com variáveis para a estrutura de log estruturada
• [SPARK-48466] [SC-169042][sql] Criar nó dedicado para EmptyRelation no AQE
• [SPARK-47579] [SC-165297][core][PART1] Migrar logInfo com variáveis para a estrutura de log estruturada
• [SPARK-48410] [SC-168320][sql] Corrigir expressão InitCap para conjuntos de agrupamento de UTF8_BINARY_LCASE & ICU
• [SPARK-48318] [SC-167709][sql] Habilitar o suporte de junção de hash para todos os agrupamentos (tipos complexos)
• [SPARK-48435] [SC-168128][sql] O agrupamento UNICODE não deve suportar igualdade binária
• [SPARK-48555] [SC-169041][sql][PYTHON][connect] Suporte usando colunas como parâmetros para várias funções em pyspark/scala
• [SPARK-48591] [SC-169081][python] Adicione uma função auxiliar para simplificar Column.py
• [SPARK-48574] [SC-169043][sql] Corrigir suporte para StructTypes com agrupamentos
• [SPARK-48305] [SC-166390][sql] Adicionar suporte de agrupamento para expressões CurrentLike
• [SPARK-48342] [SC-168941][sql] Introdução do SQL Scripting Parser
• [SPARK-48649] [SC-169024][sql] Adicione as configurações "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" para permitir ignorar caminhos de partição inválidos
• [SPARK-48000] [SC-167194][sql] Habilitar suporte para junção por hash para todos os agrupamentos (StringType)
• [SPARK-48459] [SC-168947][connect][PYTHON] Implementar DataFrameQueryContext no Spark Connect
• [SPARK-48602] [SC-168692][sql] Faça com que o gerador csv suporte um estilo de saída diferente com spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][sql] Modificar a comparação de strings para UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][sql] refatorar: usar mapa de ID auxiliar em vez de OP_ID_TAG
• [SPARK-48634] [SC-169021][python][CONNECT] Evite inicializar estaticamente o threadpool em ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][sql] Introduz um BinaryFormatter universal para tornar a saída binária consistente
• [SPARK-48642] [SC-168889][core] Falsa memória insuficiente reportada pelo Spark causada por eliminar tarefa ao fazer spill
• [SPARK-48572] [SC-168844][sql] Corrigir expressões DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
• [SPARK-48600] [SC-168841][sql] Corrigir transmissão implícita de expressões FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][sql] Faça uma verificação de comprimento e lance COLLECTION_SIZE_LIMIT_EXCEEDED erro no Hex.hex
• [SPARK-48587] [SC-168824][variante] Evite a amplificação de armazenamento ao acessar uma subvariante
• [SPARK-48647] [SC-168936][python][CONNECT] Refine a mensagem de erro para YearMonthIntervalType in df.collect
• [SPARK-48307] [SC-167802][sql] InlineCTE deve manter relações não embutidas no nó WithCTE original
• [SPARK-48596] [SC-168581][sql] Melhoria do Perf para calcular a cadeia hexadecimal por muito tempo
• [SPARK-48621] [SC-168726][sql] Corrigir a simplificação do operador 'Like' no Optimizador para cadeias de caracteres ordenadas
• [SPARK-47148] [SC-164179][sql] Evite materializar AQE ExchangeQueryStageExec no cancelamento
• [SPARK-48584] [SC-168579][sql] Melhoria do Perf para unescapePathName
• [SPARK-48281] [SC-167260][sql] Alterar lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][sql] Substituição inválida da sequência de bytes UTF-8
• [SPARK-48595] [SC-168580][core] Limpeza do uso preterido de API relacionado a commons-compress
• [SPARK-48030] [SC-164303][sql] SPJ: armazenar em cache a rowOrdering e structType para InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][sql] Adicionar característica WriteFilesExecBase para gravação v1
• [SPARK-48551] [SC-168438][sql] Melhoria do Perf para escapePathName
• [SPARK-48565] [SC-168437][ui] Corrigir exibição do thread dump na interface
• [SPARK-48364] [SC-166782][sql] Adicione a transmissão do tipo AbstractMapType e corrija o mapa de parâmetros RaiseError para trabalhar com cadeias de caracteres agrupadas
• [SPARK-48421] [SC-168689][sql] SPJ: Adicionar documentação
• [SPARK-48604] [SC-168698][sql] Substituir chamada de método preterido new ArrowType.Decimal(precision, scale)
• [SPARK-46947] [SC-157561][core] Atrase a inicialização do gerenciador de memória até que o plug-in do driver seja carregado
• [SPARK-48411] [SC-168576][ss][PYTHON] Adicionar teste E2E para DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][ss] Rastrear falhas de validação de linha de estado usando classe de erro explícita
• [SPARK-48221] [SC-167143][sql] Alterar a lógica de pesquisa de cadeias de caracteres para o agrupamento UTF8_BINARY_LCASE (Contém, ComeçaCom, TerminaCom, LocalizarString)
• [SPARK-47415] [SC-168441][sql] Adicionar suporte de agrupamento para expressão Levenshtein
• [SPARK-48593] [SC-168719][python][CONNECT] Corrigir a representação de cadeia de caracteres da função lambda
• [SPARK-48622] [SC-168710][sql] obtenha SQLConf uma vez ao resolver nomes de colunas
• [SPARK-48594] [SC-168685][python][CONNECT] Renomear parent campo para child in ColumnAlias
• [SPARK-48403] [SC-168319][sql] Corrigir expressões Lower & Upper para colações UTF8_BINARY_LCASE & ICU
• [SPARK-48162] [SC-166062][sql] Adicionar suporte de agrupamento para expressões MISC
• [SPARK-48518] [SC-167718][core] Faça com que a compressão LZF possa ser executada em paralelo
• [SPARK-48474] [SC-167447][core] Corrija o nome da classe do login SparkSubmitArguments & SparkSubmit
• [SPARK-48012] [SC-168267][sql] SPJ: Suporte a expressões Transfrom para embaralhamento de um lado
• [SPARK-48552] [SC-168212][sql] A inferência do esquema CSV multilinha também deve lançar o erro FAILED_READ_FILE
• [SPARK-48560] [SC-168268][ss][PYTHON] Tornar possível definir StreamingQueryListener.spark
• [SPARK-48569] [SC-168321][ss][CONNECT] Manipule casos extremos em query.name
• [SPARK-47260] [SC-167323][sql] Atribuir nome à classe de erro _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][python][CONNECT] Propagar esquema armazenado em cache em operações definidas
• [SPARK-48155] [SC-165910][sql] AQEPropagateEmptyRelation para join deve verificar se o filho remanescente é apenas BroadcastQueryStageExec
• [SPARK-48506] [SC-167720][core] Os nomes curtos do codec de compressão não diferenciam maiúsculas de minúsculas, exceto para o registo de eventos
• [SPARK-48447] [SC-167607][ss] Verifique a classe do provedor de armazenamento de estado antes de invocar o construtor
• [FAÍSCA-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd não devem lançar INTERNAL_ERROR exceção
• [SPARK-48513] [Backport][15.x][SC-168085][ss] Adicionar classe de erro para compatibilidade de esquema de estado e refatoração menor
• [SPARK-48413] [SC-167669][sql] ALTER COLUMN com ordenação
• [SPARK-48561] [SC-168250][ps][CONNECT] Lançar PandasNotImplementedError para funções de plotagem não suportadas
• [SPARK-48465] [SC-167531][sql] Evite no-op propagação de relação vazia
• [SPARK-48553] [SC-168166][python][CONNECT] Armazenar em cache mais propriedades
• [SPARK-48540] [SC-168069][core] Evitar carregar as definições de output do ivy para stdout
• [SPARK-48535] [SC-168057][ss] Atualizar a documentação de configuração para indicar a possibilidade de perda ou corrupção de dados, caso a opção de ignorar nulos nas configurações de junção stream-stream esteja ativada.
• [SPARK-48536] [SC-168059][python][CONNECT] Esquema especificado pelo usuário de cache em applyInPandas e applyInArrow
• [SPARK-47873] [SC-163473][sql] Escreva cadeias de caracteres agrupadas no metastore do Hive usando o tipo de cadeia de caracteres regular
• [SPARK-48461] [SC-167442][sql] Substitua NullPointerExceptions pela classe de erro na expressão AssertNotNull
• [SPARK-47833] [SC-163191][sql][CORE] Fornecer stacktrace do chamador para checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][sql] Porta HIVE-12270: Adicionar suporte DBTokenStore ao token de delegação HS2
• [SPARK-47578] [SC-167497][r] Migrar RPackageUtils com variáveis para a estrutura de log estruturada
• [SPARK-47875] [SC-162935][core] Remover spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][core] Defina spark.hadoop.fs.s3a.connection.establish.timeout para 30s caso esteja ausente
• [SPARK-47972] [SC-167692][sql] Restringir expressão CAST para agrupamentos
• [SPARK-48430] [SC-167489][sql] Corrigir a extração do valor do mapa quando o mapa contém cadeias de caracteres agrupadas
• [SPARK-47318] [SC-162712][core][3.5] Adiciona uma rodada do HKDF à derivação de chave do AuthEngine para seguir as práticas padrão de KEX
• [SPARK-48503] [BEHAVE-29][es-1135236][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
• [SPARK-48508] [SC-167695][connect][PYTHON] Esquema especificado pelo usuário de cache em DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][windows] Corrigir bug no Windows em que iniciar várias instâncias do Spark no mesmo segundo causa uma falha
• [FAÍSCA-45891] [SC-167608]Reverter " Descrever esquema de destruição para variante"
• [SPARK-48391] [SC-167554][core]Usando addAll em vez de adicionar função no método fromAccumulatorInfos da classe TaskMetrics
• [SPARK-48496] [SC-167600][core] Usar instâncias de padrão regex estático em JavaUtils.timeStringAs e JavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][sql] corrigir mensagem de erro NPE para null delmiter csv
• [SPARK-48489] [SC-167598][sql] Lançar um erro melhor, voltado para o utilizador ao ler um esquema ilegal da fonte de dados de texto
• [SPARK-48471] [SC-167324][core] Melhorar a documentação e o guia de uso do servidor de histórico
• [FAÍSCA-45891] [SC-167597] Descrever o esquema de destruição para Variant
• [SPARK-47333] [SC-159043][sql] Usar checkInputDataTypes para verificar os tipos de entrada da função to_xml
• [SPARK-47387] [SC-159310][sql] Remover algumas classes de erro não utilizadas
• [SPARK-48265] [ES-1131440][sql] Inferir que o lote de limite de grupo da janela deve realizar a dobra constante
• [SPARK-47716] [SC-167444][sql] Evitar conflito de nome de exibição no caso de teste de classificação semântica SQLQueryTestSuite
• [SPARK-48159] [SC-167141][sql] Estendendo o suporte para cadeias de caracteres agrupadas em expressões datetime
• [SPARK-48462] [SC-167271][sql][Testes] Use withSQLConf em testes: Refactor HiveQuerySuite e HiveTableScanSuite
• [SPARK-48392] [SC-167195][core] Também carrega spark-defaults.conf quando fornecido --properties-file
• [FAÍSCA-48468] [SC-167417] Adicionar interface LogicalQueryStage no catalyst
• [SPARK-47578] [SC-164988][core] Backport manual para o Spark PR #46309: Migrar logWarning com variáveis para o sistema de registo estruturado
• [FAÍSCA-48415] [SC-167321]Reverter "[PYTHON] Refactor TypeName para suportar tipos de dados parametrizados"
• [SPARK-46544] [SC-151361][sql] Suporte v2 DESCRIBE TABLE ESTENDIDO com estatísticas de tabela
• [SPARK-48325] [SC-166963][core] Sempre especifique mensagens em ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][sql] Adicionar suporte de agrupamento para localidades de UTI e especificadores de agrupamento
• [SPARK-47221] [SC-157870][sql] Usa assinaturas de CsvParser para AbstractParser
• [SPARK-47246] [SC-158138][sql] Substitua InternalRow.fromSeq por new GenericInternalRow para salvar uma conversão de coleção
• [SPARK-47597] [SC-163932][streaming] Backport manual para o Spark PR #46192: Streaming: Migrar logInfo com variáveis para a estrutura de log estruturada
• [SPARK-48415] [SC-167130][python] Refatorar TypeName para suportar tipos de dados parametrizados
• [SPARK-48434] [SC-167132][python][CONNECT] Faça printSchema uso do esquema armazenado em cache
• [SPARK-48432] [ES-1097114][sql] Evitar o unboxing de inteiros no UnivocityParser
• [SPARK-47463] [SC-162840][sql] Use V2Predicado para encapsular a expressão com o tipo de retorno de booleano
• [SPARK-47781] [SC-162293][sql] Manipular decimais de escala negativa para fontes de dados JDBC
• [SPARK-48394] [SC-166966][core] Limpeza de mapIdToMapIndex na desregistração de mapoutput
• [SPARK-47072] [SC-156933][sql] Corrigir formatos de intervalo suportados em mensagens de erro
• [SPARK-47001] [SC-162487][sql] Verificação de pushdown no otimizador
• [SPARK-48335] [SC-166387][python][CONNECT] Tornar _parse_datatype_string compatível com o Spark Connect
• [SPARK-48329] [SC-166518][sql] Ativar spark.sql.sources.v2.bucketing.pushPartValues.enabled por padrão
• [SPARK-48412] [SC-166898][python] Reestruturar o tipo de dados na análise do JSON
• [SPARK-48215] [SC-166781][sql] Estendendo o suporte para cadeias de caracteres agrupadas em date_format expressão
• [SPARK-45009] [SC-166873][sql][FOLLOW UP] Adicionar uma classe de erro e testes para descorrelação de subconsultas de predicado na condição de junção que fazem referência a ambos os filhos de junção
• [SPARK-47960] [SC-165295][ss][15.x] Permite encadear outros operadores com estado após o operador transformWithState.
• [SPARK-48340] [SC-166468][python] Suporte TimestampNTZ infer schema miss prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][sql] Adicionar suporte de agrupamento para expressões CSV
• [SPARK-48158] [SC-165652][sql] Adicionar suporte de agrupamento para expressões XML
• [SPARK-48160] [SC-166064][sql] Adicionar suporte de agrupamento para expressões XPATH
• [SPARK-48229] [SC-165901][sql] Adicionar suporte de agrupamento para expressões inputFile
• [SPARK-48367] [SC-166487][connect] Corrigir o lint-scala para scalafmt a fim de detetar corretamente os ficheiros a formatar.
• [SPARK-47858] [SC-163095][spark-47852][PYTHON][sql] Refatoração da estrutura para contexto de erro DataFrame
• [SPARK-48370] [SC-166787][connect] Checkpoint e localCheckpoint no cliente Scala Spark Connect
• [SPARK-48247] [SC-166028][python] Use todos os valores em um ditado ao inferir o esquema MapType
• [SPARK-48395] [SC-166794][python] Correção StructType.treeString para tipos parametrizados
• [SPARK-48393] [SC-166784][python] Mover um grupo de constantes para pyspark.util
• [SPARK-48372] [SC-166776][spark-45716][PYTHON] Implementar StructType.treeString
• [SPARK-48258] [SC-166467][python][CONNECT] Ponto de verificação e localCheckpoint no Spark Connect

Consulte Atualizações de manutenção do Databricks Runtime 15.4 LTS.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.4 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java : Zulu 8.78.0.19-CA-linux64
• Escala: 2.12.15
• Píton: 3.11.11
• R: 4.3.2
• Lago Delta: 3.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas de R são instaladas a partir do instantâneo CRAN fornecido pelo Posit Package Manager em 2024-02-05: https://packagemanager.posit.co/cran/2024-02-05/.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)