Databricks Runtime 16.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.1, alimentado pelo Apache Spark 3.5.0.

O Databricks lançou esta versão em dezembro de 2024.

Alterações comportamentais

Alteração significativa: o tratamento de expressões regulares do Photon agora é consistente com o Apache Spark

No Databricks Runtime 15.4 e posteriores, o tratamento de expressões regulares no Photon é atualizado para corresponder ao comportamento do tratamento de expressões regulares do Apache Spark. Anteriormente, as funções de expressão regular executadas pelo Photon, como split() e regexp_extract(), aceitavam algumas expressões regulares rejeitadas pelo analisador spark. Para manter a consistência com o Apache Spark, as consultas do Photon agora falharão para expressões regulares que o Spark considera não válidas.

Devido a essa alteração, você poderá ver erros se o código do Spark incluir expressões regulares inválidas. Por exemplo, a expressão split(str_col, '{'), que contém uma chave não correspondente e foi aceita anteriormente pelo Photon, agora falha. Para corrigir essa expressão, você pode escapar o caractere de chave: split(str_col, '\\{').

O comportamento de Photon e Spark também difere para algumas correspondências de expressões regulares de caracteres não ASCII. Isso também é atualizado para que o Photon corresponda ao comportamento do Apache Spark.

O tipo de dados VARIANT não pode mais ser usado com operações que exigem comparações

No Databricks Runtime 16.1 e posteriores, você não pode usar as seguintes cláusulas ou operadores em consultas que incluem um tipo de dados VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Além disso, você não pode usar essas funções DataFrame:

• df.dropDuplicates()
• df.repartition()

Essas operações executam comparações e comparações que usam o tipo de dados VARIANT produzem resultados indefinidos e não têm suporte no Databricks. Se você usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Azure Databricks, o Databricks recomendará as seguintes alterações:

• Atualize consultas ou expressões para converter explicitamente os valores VARIANT para tipos de dados que não sejamVARIANT.
• Se você tiver campos que devem ser usados com qualquer uma das operações acima, extraia esses campos do tipo de dados VARIANT e armazene-os usando tipos de dados nãoVARIANT.

Para saber mais, consulte os Dados variantes da consulta.

Novos recursos e melhorias

• Atualização do conector do BigQuery
• Suporte para ordenações no Apache Spark está na versão prévia pública
• O suporte para ordenações no Delta Lake está em Visualização Pública
• O modo LITE para vácuo está em versão prévia pública
• Suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER
• COMMENT ON COLUMN suporte para tabelas e exibições
• novas funções SQL
• Uso de parâmetros nomeados para um maior número de funções
• O parâmetro SYNC METADATA para o comando REPAIR TABLE é compatível com o metastore do Hive
• Integridade aprimorada dos dados para batches compactados do Apache Arrow
• Suporte adicionado para métodos Scala na computação do modo de acesso padrão do Catálogo do Unity (antigo modo de acesso compartilhado)
• Driver JDBC do Teradata embutido
• suporte do StreamingQueryListener para Scala
• Driver JDBC do Oracle embutido
• Erros mais detalhados para Delta Tables acessadas com caminhos

Atualização do conector do BigQuery

• O conector do Google BigQuery foi atualizado para usar a versão 0.41.0 do conector de Spark-BigQuery de software livre.

• O conector do Google BigQuery para a Lakehouse Federation agora usa a API de Armazenamento BigQuery em vez do driver JDBC. Essa migração resolve problemas de desempenho com o driver JDBC e se baseia no conector de Spark-BigQuery de software livre.

  Com essa alteração, os resultados da consulta intermediária para exibições do BigQuery e tabelas externas devem ser gravados em tabelas temporárias. Esses objetos não são armazenados diretamente no armazenamento do BigQuery. As tabelas temporárias serão armazenadas em seu projeto de cobrança do BigQuery. Verifique se as permissões apropriadas estão definidas em suas contas de serviço do BigQuery. Para obter detalhes, consulte Executar consultas federadas no Google BigQuery.

O suporte para ordenações no Apache Spark está em Versão Prévia Pública

Agora você pode atribuir ordenações que não diferenciam o acesso, que consideram a linguagem e que não diferenciam maiúsculas de minúsculas a colunas e expressões STRING. Essas ordenações são usadas em comparações de cadeia de caracteres, classificação, operações de agrupamento e muitas funções de cadeia de caracteres. Consulte Ordenação.

O suporte para ordenações no Delta Lake está em Versão Prévia Pública

Agora você pode definir ordenações para colunas ao criar ou alterar uma tabela Delta. Consulte Suporte de ordenação para Delta Lake.

O modo LITE para funcionamento a vácuo está em Visualização Pública

Agora você pode usar VACUUM table_name LITE para executar uma operação de vácuo de peso mais leve que aproveita os metadados no log de transações Delta. Consulte modo completo versus modo leve e VACUUM.

Suporte para parametrizar a cláusula USE CATALOG with IDENTIFIER

No Databricks Runtime 16.1 e versões posteriores, há suporte para a cláusula IDENTIFIER na instrução USE CATALOG. Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.

COMMENT ON COLUMN suporte para tabelas e exibições

No Databricks Runtime 16.1 e posteriores, a instrução COMMENT ON dá suporte à alteração de comentários para colunas de exibição e tabela.

Novas funções SQL

No Databricks Runtime 16.1 e superior, as seguintes novas funções SQL internas estão disponíveis:

• dayname(expr) retorna o acrônimo inglês de três letras para o dia da semana para a data determinada.
• uniform(expr1, expr2 [,seed]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo de números especificado.
• randstr(length) retorna uma cadeia de caracteres aleatória de length caracteres alfanuméricos.

Invocação de parâmetro nomeado para mais funções

No Databricks Runtime 16.1 e superior, as seguintes funções dão suporte à invocação de parâmetro nomeada:

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

O parâmetro SYNC METADATA para o comando REPAIR TABLE é compatível com o metastore do Hive

No Databricks Runtime 16.1 e superior, você pode usar o parâmetro SYNC METADATA com o comando REPAIR TABLE para atualizar os metadados de uma tabela gerenciada de metastore do Hive. Consulte REPAIR TABLE.

Integridade de dados aprimorada para lotes compactados do Apache Arrow

No Databricks Runtime 16.1 e posterior, para proteger ainda mais contra a corrupção de dados, cada lote compactado de Arrow LZ4 agora inclui o conteúdo LZ4 e as somas de verificação de bloco. Consulte a descrição do formato de quadro LZ4.

Suporte adicionado aos métodos Scala na computação do modo de acesso padrão do Catálogo do Unity (antigo modo de acesso compartilhado)

No Databricks Runtime 16.1 e posterior, na computação em modo de acesso padrão do Unity Catalog, foi adicionado suporte para os seguintes métodos Scala: Dataset.flatMapGroups(), Dataset.mapGroups()e DataStreamWriter.foreach().

Driver JDBC interno do Teradata

No Databricks Runtime 16.1 e superior, o Driver JDBC do Teradata é integrado ao Azure Databricks. Se você usar um JAR de driver JDBC carregado pelo cliente por meio de DriverManager, será necessário reescrever scripts para usar explicitamente o JAR personalizado. Caso contrário, o driver interno será usado. Este driver só suporta a Federação Lakehouse. Quanto a outros casos de uso, você precisa fornecer seu próprio driver.

Suporte do StreamingQueryListener para Scala

Agora você pode usar StreamingQueryListener no Scala na computação configurada com o modo de acesso padrão.

Driver interno JDBC do Oracle

No Databricks Runtime 16.1 e superior, o Driver JDBC do Oracle é integrado ao Azure Databricks. Se você usar um JAR de driver JDBC carregado pelo cliente por meio de DriverManager, será necessário reescrever scripts para usar explicitamente o JAR personalizado. Caso contrário, o driver interno será usado. Este driver só suporta a Federação Lakehouse. Quanto a outros casos de uso, você precisa fornecer seu próprio driver.

Erros mais detalhados para tabelas Delta acessadas com caminhos

Uma nova experiência de mensagem de erro para tabelas Delta acessadas usando caminhos agora está disponível. Todas as exceções agora são encaminhadas para o usuário. A exceção DELTA_MISSING_DELTA_TABLE agora está reservada para quando não for possível ler os arquivos subjacentes como uma tabela Delta.

Outras alterações

Códigos de erro renomeados para a fonte de Streaming Estruturado do cloudFiles

Esta versão inclui uma alteração para renomear os seguintes códigos de erro:

• _LEGACY_ERROR_TEMP_DBR_0143 é renomeado para CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 é renomeado para CF_INCORRECT_BATCH_USAGE .

Correções

Os tipos aninhados agora aceitam corretamente restrições NULL

Esta versão corrige um bug que afeta algumas colunas de tipos aninhados geradas por Delta, por exemplo, STRUCT. Essas colunas às vezes rejeitavam incorretamente expressões com base em restrições NULL ou NOT NULL de campos aninhados. Isso foi corrigido.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
  • ipyflow-core de 0.0.198 a 0.0.201
  • pyccolo de 0.0.52 a 0.0.65
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-client_2.12 de 1.2.1 a 1.2.2
  • org.lz4.lz4-java de 1.8.0 a 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 para 2.4.1-linux-x86_64

Apache Spark

O Databricks Runtime 16.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.0 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-50482] [SC-182879][core] Configuração de no-op spark.shuffle.spill obsoleta
• [SPARK-50032] [SC-182706][sql][16.x] Permissão para usar o nome de ordenação totalmente qualificado
• [SPARK-50467] [SC-182823][python] Adicionar __all__ para funções internas
• [SPARK-48898] [SC-182828][sql] Correção do bug de fragmentação de variantes
• [SPARK-50441] [SC-182668][sql] Corrigir identificadores parametrizados que não funcionam ao referenciar CTEs
• [SPARK-50446] [SC-182639][python] Nível de simultaneidade no UDF do Python otimizado com o Arrow
• [SPARK-50430] [SC-182536][core] Use o método padrão Properties.clone em vez de clonar manualmente
• [SPARK-50471] [SC-182790][python] Suporte para Gravador de Fonte de Dados em Python baseado em Arrow
• [SPARK-50466] [SC-182791][python] Refinar o docstring para funções de cadeia de caracteres - parte 1
• [SPARK-50194] [DBR16.x][sc-182593][SS][python] Integração da nova API de Temporizador e da API de Estado Inicial com o Temporizador
• [SPARK-50437] [SC-182586][ss] Redução da sobrecarga da criação de desserializadores no TransformWithStateExec
• [SPARK-49676] [DBR16.x][sc-182538][SS][PYTHON] Adicionar suporte para o Encadeamento de…
• [SPARK-49294] [SC-182730][iu] Adicionar atributo de largura na caixa de seleção shuffle-write-time.
• [SPARK-50426] [SC-182540][Python] Evite pesquisa de fonte de dados Python estática ao usar fontes de dados nativas ou Java
• [SPARK-48356] [SC-182603][sql] Suporte para instrução FOR
• [SPARK-50333] [SC-182136][sql] O Codegen dá suporte a CsvToStructs (por Invoke e RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Métricas para confirmações nas instâncias do StagedTable
• [SPARK-50081] [SC-182344][sql] O Codegen dá suporte a XPath* (por Invoke e RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refatoração do AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][sql] Suporte de codegen para SchemaOfCsv (invocado por RuntimeReplaceable &)
• [SPARK-49873] [SC-178577][sql] Correção da falha após a mesclagem no teste de erros
• [SPARK-50118] [SC-181259][connet] Redefinir o cache de estado isolado quando as tarefas estiverem em execução
• [SPARK-49873] [SC-178577][sql] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][core] Suporte a spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] Adicionar a função DAYNAME
• [SPARK-50270] [SC-181179][ss][PYTHON] Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
• [SPARK-50118] Reversão de "[SC-181259][connet] Redefinir o cache de estado isolado quando as tarefas estiverem em execução"
• [SPARK-50075] [SC-181820][sql][PYTHON][connect] Adicionar APIs dataframe para funções com valor de tabela
• [SPARK-49470] [SC-175736][ui] Atualizar folhas de estilo de dataTables e javascripts de 1.13.5 para 1.13.11
• [SPARK-50235] Reversão de "[SC-180786][sql] Liberar o recurso ColumnVector após processar todas as linhas no ColumnarToRowExec"
• [SPARK-50324] [SC-182278][python][CONNECT] Disparar o createDataFrame RPC Config no máximo uma vez
• [SPARK-50387] [SC-182441][ss] Condição de atualização para expiração do temporizador e teste relevante
• [SPARK-50287] [SC-182400][sql] Mesclar opções de tabela e relação ao criar WriteBuilder em FileTable
• [SPARK-50066] [SC-181484][sql] O Codegen dá suporte a SchemaOfXml (por Invoke e RuntimeReplaceable)
• [SPARK-50092] [SC-181568][sql] Corrigir o comportamento do conector postgreSQL para matrizes multidimensionais
• [SPARK-50318] [SC-181641][sql] Adicionar IntervalUtils.makeYearMonthInterval para deduplicar código entre interpretado e geração de código
• [SPARK-50312] [SC-181646][sql] Erro de passagem de parâmetro do SparkThriftServer createServer quando kerberos for verdadeiro
• [SPARK-50246] [SC-181468][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] De json/xml não deve alterar ordenações no esquema fornecido
• [SPARK-50250] [SC-181466][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] Redefinir o cache de estado isolado quando as tarefas estiverem em execução
• [SPARK-50235] [SC-180786][sql] Limpar o recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50156] [SC-180781][sql] Integrar _LEGACY_ERROR_TEMP_2113 em UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][sql] Integrar _LEGACY_ERROR_TEMP_0028 ao UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][sql] Suporte de codegen para StructsToJson(to_json)
• [SPARK-50055] [SC-180978][sql] Adicionar alternativa TryMakeInterval
• [SPARK-50397] [SC-182367][core] Remover os argumentos depreciados --ip e -i de Master/Worker
• [SPARK-50238] [SC-181434][python] Adicionar o suporte às variantes nas UDFs do PySpark/UDTFs/UDAFs e UDFs do Python UC
• [SPARK-50079] [SC-179830][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][exemplo] Adicionar submit-sql.sh exemplo de API REST
• [SPARK-49966] [SC-179501][sql] Use Invoke para implementar JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][ss] Garantir tamanhos de índice secundários iguais a tamanhos de índice primário para variáveis com estado TransformWithState com TTL
• [SPARK-50301] [SC-182241][ss][16.x] Fazer com que as métricas TransformWithState reflitam seus significados intuitivos
• [SPARK-50175] [SC-182140][sql] Alteração do cálculo da precedência de ordenação
• [SPARK-50148] [SC-180292][sql] Tornar StaticInvoke compatível com o método que declara a exceção de lançamento
• [SPARK-50280] [SC-181214][python] Refatoração da classificação dos resultados e preenchimento do compartimento vazio em compute_hist
• [SPARK-50190] [SC-182458][python] Remover a dependência direta do Numpy do Histograma
• [SPARK-50382] [SC-182368][connect] Adicione documentação para obter informações gerais sobre o desenvolvimento de aplicativos com/estendendo o Spark Connect
• [SPARK-50296] [SC-181464][python][CONNECT] Evite usar uma classe no threadpool para o cliente Python Connect
• [SPARK-49566] [SC-182239][sql] Adicionar sintaxe de pipe SQL para o operador EXTEND
• [SPARK-50036] [SC-179533][core][PYTHON] Incluir o SPARK_LOG_SCHEMA no contexto do shell REPL
• [SPARK-49859] [SC-178259][connect] Substituição do multiprocessing.ThreadPool por ThreadPoolExecutor
• [SPARK-50141] [SC-182378][python] Fazer lpad e rpad aceitar argumentos do tipo coluna
• [SPARK-50379] [SC-182142][sql] Corrigir manipulação de DayTimeIntevalType no WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Suporte ao Codegen no SchemaOfJson (por Invoke e RuntimeReplaceable)
• [SPARK-50398] [SC-182341][core] Use o 0 do ExitCode para a utilização de --help em scripts do Spark
• [SPARK-50377] [SC-182238][SQL] Permitir a avaliação de RuntimeReplaceable dobrável
• [SPARK-50241] [SC-181444][sql] Substitua NullIntolerant Mixin pelo método Expression.nullIntolerant
• [SPARK-50084] [SC-179672][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] Integrar _LEGACY_ERROR_TEMP_0039 ao UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][ss] Adicionar a métrica personalizada para acompanhar os gastos com o estado inicial do proc em transformWithState
• [SPARK-50029] [SC-179531][sql] Tornar StaticInvoke compatível com o método que retorna Any
• [SPARK-49990] [SC-179497][sql] Melhorar o desempenho do randStr
• [SPARK-50048] [SC-179528][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] Transformar _LEGACY_ERROR_TEMP_2104 em INTERNAL_ERROR
• [SPARK-49665] [SC-180054][sql] Suporte à ordenação de corte para as funções de cadeia de caracteres
• [SPARK-48549] [SC-176472][sql][PYTHON] Melhorar a função SQL sentences
• [SPARK-50022] [SC-179503][core][iu] Correção da MasterPage para ocultar os links da interface do usuário do aplicativo quando a interface do usuário estiver desabilitada
• [SPARK-50087] [SC-182152] Manipulação robusta de expressões boolianas em CASE WHEN para MsSqlServer e conectores futuros
• [SPARK-49991] [SC-179481][sql] Fazer com que o HadoopMapReduceCommitProtocol respeite 'mapreduce.output.basename' para gerar nomes de arquivos
• [SPARK-50038] [SC-179521][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] Corrigir ApplicationPage para ocultar links de UI do aplicativo quando a UI estiver desabilitada
• [SPARK-49911] [SC-179111][sql] Corrigir semântica do suporte à igualdade binária
• [SPARK-50025] [SC-179496][sql] Integrar _LEGACY_ERROR_TEMP_1253 ao EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][s] Correção do bug na otimização na adição de entrada ao repositório de estado na junção fluxo/fluxo
• [SPARK-50004] [SC-179499][sql] Integrar _LEGACY_ERROR_TEMP_3327 ao FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator deve respeitar o contrato de ConstantFolding
• [SPARK-50340] [SC-181859][sql] Desembrulhar UDT na consulta INSERT da entrada de dados
• [SPARK-50237] [SC-181660][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][sql] Corrigir o problema da ordem da coluna de saída alterada após a otimização do AQE
• [SPARK-49773] [SC-178369][sql] Exceção Java não capturada de make_timestamp() com fuso horário incorreto
• [SPARK-49977] [SC-179265][sql] Uso da computação iterativa baseada em pilha para evitar a criação de muitos objetos Scala List nas árvores de expressão complexas
• [SPARK-50153] [SC-181591][sql] Adicionar name a RuleExecutor para tornar os logs de impressão de QueryExecutionMetrics mais claros
• [SPARK-50320] [SC-181668][core] Tornar --remote uma opção oficial removendo experimental aviso
• [SPARK-49909] [SC-179492]Reversão de "[SQL] Correção do nome bonito de algumas expressões"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Adição de dicas aos nós de Classificação e Janela
• [SPARK-50364] [SC-182003][sql] Implementar serialização para o tipo LocalDateTime em Row.jsonValue
• [SPARK-50016] [SC-182139][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Suporte para deleteIfExists em TransformWithStateInPandas
• [SPARK-49757] [SC-177824][sql] Suporte à expressão IDENTIFIER na instrução SETCATALOG
• [SPARK-50315] [SC-181886][sql] Suporte às métricas personalizadas para gravações do V1Fallback
• [SPARK-42838] [SC-181509][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] Refatoração do ResolveSQLOnFile
• [SPARK-48344] [SC-181967][sql] Preparar o SQL Script para adicionar o Execution Framework
• [SPARK-49345] [SC-174786][conectar] Certifique-se de usar a sessão spark em execução atual
• [SPARK-49925] [SC-178882][sql] Adicionar testes para ordem com cadeias de caracteres agrupadas
• [SPARK-50167] [SC-181199][python][CONNECT] Aprimoramento das mensagens de erro e importações do PySpark
• [SPARK-49368] [SC-174999][conectar] Evite acessar classes protobuf lite diretamente
• [SPARK-50056] [SC-181378][sql] Suporte ao Codegen para ParseUrl (por Invoke e RuntimeReplaceable)
• [SPARK-49601] [SC-180770][ss][PYTHON] Suporte ao tratamento de estado inicial para TransformWithStateInPandas
• [SPARK-49908] [SC-178768][sql] Atribuir a condição de erro adequada para _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][ss] Resolva a limitação do cálculo de métricas com fontes de streaming DSv1
• [SPARK-49874] [SC-178303][sql] Remoção dos especificadores de ordenação de corte e ltrim.
• [SPARK-49513] [SC-180339][ss] Adicionar suporte para temporizador na API transformWithStateInPandas
• [SPARK-49119] [SC-175607][sql] Corrigir a inconsistência da sintaxe show columns entre v1 e v2
• [SPARK-49206] [SC-173704][CORE][IU] Adição da tabela Environment Variables ao EnvironmentPage Mestre
• [SPARK-49934] [SC-179581][sql] Adição da conversão implícita para acessar o mapa agrupado com o literal
• [SPARK-50049] [SC-181659][sql] Suporte às métricas do driver personalizadas ao gravar na tabela v2
• [SPARK-50171] [SC-180295][python] Tornar o numpy opcional para a plotagem KDE
• [SPARK-49962] [SC-179320][sql] Simplificar hierarquia de classe AbstractStringTypes
• [SPARK-50226] [SC-181483][sql] Corrigir MakeDTInterval e MakeYMInterval para capturar exceções Java
• [SPARK-48775] [SC-170801][sql][STS] Substituir SQLContext por SparkSession no STS
• [SPARK-49015] [SC-175688][core] O Connect Server deve respeitar spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][sql][16.x] Fatorar a resolução da função para ser reusada no Analisador de passagem única
• [SPARK-49995] [SC-180762][sql] Adicionar suporte de argumento nomeado a mais TVFs
• [SPARK-49268] [SC-174903][core] Exceções de E/S de log no provedor de histórico do SHS
• [SPARK-48123] [SC-164989][core] Forneça um esquema de tabela constante para consultar logs estruturados
• [SPARK-49217] [SC-174904][core] Suporte a configuração de tamanho de buffer separada em UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][sql][16.x] Fatorar a resolução de alias para ser reusada no Analisador de passagem única
• [SPARK-50322] [SC-181665][sql] Corrigir identificador parametrizado em uma subconsulta
• [SPARK-48400] [SC-175283][core] Promover PrometheusServlet para DeveloperApi
• [SPARK-50118] Reversão de "[SC-181259][connet] Redefinir o cache de estado isolado quando as tarefas estiverem em execução"
• [SPARK-50306] [SC-181564][python][CONNECT] Suporte ao Python 3.13 no Spark Connect
• [SPARK-50152] [SC-181264][ss] Suporte ao handleInitialState com o leitor de fonte de dados de estado
• [SPARK-50260] [SC-181271][conectar] Refatorar e otimizar o Spark C...
• [SPARK-47591] [SC-163090][sql] Hive-thriftserver: Migrar logInfo com variáveis para estrutura de log estruturada
• [SPARK-49312] [SC-174672][python] Melhorar a mensagem de erro para assertSchemaEqual
• [SPARK-49439] [SC-175236][sql] Corrigir o nome bonito da expressão FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Corrigir o comportamento do conector postgreSQL para matrizes multidimensionais
• [SPARK-49913] [SC-181565][sql] Adição da verificação dos nomes de rótulo únicos nos escopos rotulados aninhados
• [SPARK-49563] [SC-181465][sql] Adicionar sintaxe de pipe SQL para o operador WINDOW
• [SPARK-49661] [SC-179021][sql] Implementação do hash e comparação da ordenação do corte.
• [SPARK-38912] [SC-181543][python] Remova o comentário relacionado ao classmethod e à propriedade
• [SPARK-49770] [16.x][SC-179802][SC-179270][ss][Endurecimento do RocksDB] Aprimoramento do gerenciamento de mapeamento de arquivos do RocksDB SST e correção do problema com o recarregamento da mesma versão com instantâneo existente
• [SPARK-49002] Reversão de “[SC-172846][SQL] Manipulação consistente de locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][sql] Implementação de suporte à chave de ordenação para a ordenação de corte
• [SPARK-50262] [SC-181193][sql] Proibição da especificação dos tipos complexos durante a alteração da ordenação
• [SPARK-48898] [SC-181435][sql] Adição das funções de fragmentação de variantes
• [SPARK-48273] [SC-181381] Reversão de “[SQL] Correção da regravação tardia de PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][core] Suporte a spark.submit.appName
• [SPARK-50208] [SC-180662][core] Suporte a spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][sql] As substituições de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 devem ser NullIntolerant
• [SPARK-50247] [SC-180962][core] Definir BLOCK_MANAGER_REREGISTRATION_FAILED como ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Simplificação de TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][sql] Permitindo que o operador TransformWithState use a codificação Avro
• [SPARK-50267] [SC-181180][ml] Melhorar TargetEncoder.fit com as APIs do DataFrame
• [SPARK-37178] [SC-180939][ML] Adição da codificação de destino ao ml.feature
• [SPARK-50118] [SC-181259][connet] Redefinir o cache de estado isolado quando as tarefas estiverem em execução
• [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] Fazer lit(ndarray) com np.int8 respeitar o tipo de dado do numpy
• [SPARK-50256] [SC-181048][sql] Adicionar validação leve para verificar se um plano lógico se torna não resolvido após cada regra de otimizador
• [SPARK-50196] [SC-180932][conectar] Corrigir o contexto de erro do Python para usar um contexto adequado
• [SPARK-50274] [SC-181181][core] Proteger contra o uso após o fechamento em DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][python][CONNECT] Suporte ao parâmetro opcional "coluna" nos gráficos de caixa, kde e histograma
• [SPARK-50273] [SC-181178][ss] Aprimorar o registro em log para os casos de aquisição/liberação de bloqueios no RocksDB
• [SPARK-50033] [SC-180720][SC-180659][sql] Adição de uma dica ao nó logical.Aggregate()
• [SPARK-50163] [16.x][SC-180201][SC-180664][ss] Correção da liberação extra de acquireLock no RocksDB devido ao ouvinte de conclusão
• [SPARK-50253] [SC-180969][ss] Stream-Stream Join não deverá buscar a ID do ponto de verificação se não houver suporte.
• [SPARK-50255] [SC-180964][python] Evite o casting desnecessário no compute_hist
• [SPARK-50228] [SC-180780][sql] Mover a regra de RewriteCollationJoin para FinishAnalysis
• [SPARK-50001] [SC-179524][python][PS][connect] Ajuste da "precisão" para fazer parte do kwargs nos gráficos de caixa
• [SPARK-49637] [SC-180160][sql] Mensagem de erro alterada para INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][python] Obter a sessão ativa a partir dos dataframes
• [SPARK-50195] [SC-180654][core] Corrigir StandaloneRestServer para propagar spark.app.name para SparkSubmit corretamente
• [SPARK-50229] [SC-180773] Reduza o uso de memória no driver para esquemas largos reduzindo o tempo de vida dos objetos AttributeReference criados durante o planejamento lógico
• [SPARK-50231] [SC-180815][python] Fazer a função instr aceitar a Coluna substring
• [SPARK-49854] [SC-179812][16.x][SQL] Clonagem do gerenciador de artefatos durante a clonagem da sessão
• [SPARK-50219] [SC-180694][sql] Refatorar ApplyCharTypePadding para que os métodos auxiliares possam ser usados no resolvedor de passagem única
• [SPARK-50077] [SC-179827][sql] Introduza um novo objeto padrão para LogicalRelation para ajudar a evitar o padrão padrão de parâmetros completos
• [SPARK-50128] [Backport][16x][SC-180677][ss] Adicionar APIs de identificador de processador com estado usando codificadores implícitos no Scala
• [SPARK-50061] [SC-179961][sql] Habilitar a tabela de análise nas colunas agrupadas
• [SPARK-49993] [SC-180084][sql] Melhorar as mensagens de erro para Soma e Média
• [SPARK-49638] [SC-179665][sql] Remover a sugestão de configuração ANSI em INVALID_URL
• [SPARK-50204] [SC-180660][sql] Fatorar a resolução do caminho de leitura HiveTableRelation
• [SPARK-50193] [SC-180651][ss] Correção do tratamento de exceção para a validação dos modos de tempo
• [SPARK-50179] [SC-180342][core] Tornar a propriedade spark.app.name opcional na API REST
• [SPARK-50068] [SC-180300][sql] Refatoração de TypeCoercion e AnsiTypeCoercion para separar as transformações de nós individuais
• [SPARK-49411] [SC-179483][ss] Comunicar a ID do Ponto de Verificação do Armazenamento de Estado entre o driver e os operadores com estado
• [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET deve preservar a ordenação de dados
• [SPARK-49506] [SC-180165][sql] Otimizar ArrayBinarySearch na matriz dobrável
• [SPARK-50097] [SC-179908][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][PYTHON] Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
• [SPARK-50054] [SC-180228][python][CONNECT] Suporte aos gráficos de histograma
• [SPARK-50015] [SC-179964][sql] Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Mover arquivos scala e java para suas pastas padrão
• [SPARK-49980] [SC-180353][core][SQL] Corrigir possíveis vazamentos de fluxo de arquivos causados pela interrupção em tarefas canceladas
• [SPARK-49010] [SC-172304][sql][XML] Adição de testes unitários para diferenciação de maiúsculas e minúsculas na inferência do esquema XML
• [SPARK-49562] [SC-180211][sql] Adição da sintaxe do pipe SQL para agregação
• [SPARK-49663] [SC-180239][sql] Habilitação das sugestões RTRIM nas expressões de ordenação
• [SPARK-48965] [SC-175926][sql] Use o esquema correto em Dataset#toJSON
• [SPARK-48493] [SC-175893][python] Aprimorar o Leitor de Fonte de Dados do Python com suporte direto ao Arrow Batch para melhorar o desempenho
• [SPARK-49734] [SC-180226][python] Adicionar seed argumento para a função shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Fatorar a resolução de UnresolvedCatalogRelation
• [SPARK-49989] [SC-179512][python][CONNECT] Suporte aos gráficos de kde/densidade
• [SPARK-49805] [SC-180218][sql][ML] Remoção das funções privadas[xxx] de function.scala
• [SPARK-49808] [SC-179490][sql] Correção de um deadlock na execução da subconsulta devido as vals lentas
• [SPARK-49929] [SC-180144][python][CONNECT] Suporte aos gráficos de caixa
• [SPARK-50008] [SC-179290][ps][CONNECT] Evite operações desnecessárias no attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][ps][CONNECT] Refatoração da invocação da função interna
• [SPARK-49683] [SC-178341][sql] Bloqueio da ordenação de corte
• [SPARK-49939] [SC-178941][sql] Suporte ao Codegen para json_object_keys (por Invoke e RuntimeReplaceable)
• [SPARK-50031] [SC-179582][sql] Adicionar a expressão TryParseUrl
• [SPARK-49766] [SC-178933][sql] Suporte ao Codegen para json_array_length (por Invoke e RuntimeReplaceable)
• [SPARK-50046] [SC-180026][ss] Uso da ordem estável do nó EventTimeWatermark para calcular a marca d'água
• [SPARK-49540] [SC-180145][ps] Unificar o uso de distributed_sequence_id
• [SPARK-50060] [SC-179965][sql] Conversão desabilitada entre diferentes tipos agrupados em TypeCoercion e AnsiTypeCoercion
• [SPARK-49004] [SC-173244][connect] Uso de um registro separado para funções internas da API de Colunas
• [SPARK-49811] [SC-177888][sql]Renomear StringTypeAnyCollation
• [SPARK-49202] [SC-180059][ps] Aplicar ArrayBinarySearch para histograma
• [SPARK-49203] [SC-175734][sql] Adicionar expressão para java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][core] Correção da interpretação errônea de erros fatais como exceções não capturadas em SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][sql] As ordenações que usam a ICU devem ter a versão da biblioteca ICU usada
• [SPARK-49985] [SC-179644][sql] Remoção do suporte para os tipos de intervalo nas variantes
• [SPARK-49103] [SC-173066][core] Suporte a spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refatorar ResolveBinaryArithmetic para separar a transformação de apenas um nó
• [SPARK-49902] [SC-179650][sql] Capturar os erros do runtime subjacentes em RegExpReplace
• [SPARK-49126] [SC-173342][core] Mover a definição da configuração spark.history.ui.maxApplications para History.scala
• [SPARK-50094] [SC-179820][python][CONNECT] Melhor mensagem de erro ao usar a ferramenta de perfil de memória em editores sem números de linha
• [SPARK-50062] [SC-179835][sql] Suporte às ordenações por InSet
• [SPARK-50035] [Backport][16x][SC-179530][ss] Adicionar o suporte para a função explícita handleExpiredTimer como parte do processador com estado
• [SPARK-49982] [SC-179814][sql] Correção de cache negativo em InMemoryRelation
• [SPARK-49082] [SC-173350][sql] Ampliando a promoção de tipos em AvroDeserializer
• [SPARK-50088] [SC-179680][sql] Refatorar UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][ss] Adicionar o suporte para o feed de alterações da leitura de tipos de mapa e de lista usados nos processadores com estado
• [SPARK-49846] [SC-179506][ss] Adicionar métricas numUpdatedStateRows e numRemovedStateRows para uso com o operador transformWithState
• [SPARK-50050] [SC-179643][python][CONNECT][16.X] Fazer com que o lit aceite ndarray numpy do tipo str e bool
• [SPARK-49821] [SC-179527][ss][PYTHON] Implementar suporte a MapState e TTL para TransformWithStateInPandas
• [SPARK-49558] [SC-179485][sql] Adicionar sintaxe de pipe SQL para LIMIT/OFFSET e ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Correção do canPlanAsBroadcastHashJoin para respeitar as dicas de junção em ordem aleatória
• [SPARK-50051] [SC-179571][python][CONNECT] Fazer com que lit funcione com ndarray do numpy vazio
• [SPARK-50018] [SC-179488][sql] Tornar AbstractStringType serializável
• [SPARK-50016] [SC-179491][sql] Aprimorar o erro de incompatibilidade da ordenação explícita
• [SPARK-50010] [SC-179487][sql] Expandir o erro de incompatibilidade de ordenação implícita
• [SPARK-48749] [SC-170116][sql] Simplificar UnaryPositive e eliminar suas regras de catalisador com RuntimeReplaceable
• [SPARK-49857] [SC-178576][sql] Adicionar storageLevel à API localCheckpoint do conjunto de dados
• [SPARK-50058] [SC-179538][sql] Fatorar as funções de normalização do plano para uso posterior no teste do Analisador de passagem única
• [SPARK-50052] [SC-179535][python][16.X] Fazer com que NumpyArrayConverter dê suporte a ndarray de str vazia
• [SPARK-47261] [SC-173665][sql] Atribuir melhor nome para erros _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 e _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][core] marcar KryoRegistrator com a interface DeveloperApi
• [SPARK-48949] [SC-173070][sql] SPJ: filtragem da partição em tempo de execução
• [SPARK-50044] [SC-179523][python] Refinar a docstring de várias funções matemáticas
• [SPARK-48757] [SC-170113][core] Fazer com que IndexShuffleBlockResolver tenha construtores explícitos
• [SPARK-50037] [SQL] Refatorar AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][sql] Adicionar suporte para executar procedimentos em catálogos
• [SPARK-49057] [SC-173081][sql] Não bloqueie o loop do AQE ao enviar estágios de consulta
• [SPARK-48824] [SC-176772][behave-167][SQL] Adicionar a Sintaxe da Coluna de Identidade SQL
• [SPARK-48773] [SC-170773] Configuração do documento "spark.default.parallelism" pela estrutura do construtor de configurações
• [SPARK-48735] [SC-169810][sql] Melhoria de desempenho para a função BIN
• [SPARK-48900] [SC-172433] Adicionar campo reason para todas as chamadas internas de cancelamento de trabalho/estágio
• [SPARK-48488] [SC-167605][core] Corrigir métodos log[info|warning|error] em SparkSubmit
• [SPARK-48708] [SC-169809][core] Remover três registros de tipo desnecessários de KryoSerializer
• [SPARK-49958] [SC-179312][python] API do Python para funções de validação de cadeia de caracteres
• [SPARK-49979] [SC-179264][sql] Correção do problema de suspensão do AQE ao coletar duas vezes em um plano com falha
• [SPARK-48729] [SC-169795][sql] Adicionar uma interface UserDefinedFunction para representar uma função SQL
• [SPARK-49997] [SC-179279][sql] Integrar _LEGACY_ERROR_TEMP_2165 ao MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][ss]Criação da partição com base em tamanho durante a leitura do Kafka
• [SPARK-48129] [SC-165006][python] Forneça um esquema de tabela constante no PySpark para consultar logs estruturados
• [SPARK-49951] [SC-179259][sql] Atribuir condição de erro adequada para LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][sql] Integrar _LEGACY_ERROR_TEMP_1252 ao EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][connect] Livre-se dos bloqueios globais do Serviço Spark Connect
• [SPARK-49957] [SC-179202][sql] API Scala para funções de validação de cadeia de caracteres
• [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener não deve ser afetado por spark.interrupt()
• [SPARK-49643] [SC-179239][sql] Mesclar _LEGACY_ERROR_TEMP_2042 em ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][sql] Correção de ColumnarArray.copy() para acessar valores nulos a partir do deslocamento correto
• [SPARK-49956] Reverter “[SC-179070] Ordenações desabilitadas com a expressão collect_set”
• [SPARK-49987] [SC-179180][sql] Corrigir a mensagem de erro quando seedExpression não é dobrável no randstr
• [SPARK-49948] [SC-179158][ps][CONNECT] Adicionar o parâmetro "precisão" ao pandas no gráfico de caixa do Spark
• [SPARK-49970] [SC-179167][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][sql] Gerar a exceção apropriada da incompatibilidade de tipo entre ColumnType e tipo de dados em algumas linhas
• [SPARK-49956] [SC-179070] Ordenações desabilitadas com a expressão collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Mover resolveRelations(...) para fora do Analyzer.scala
• [SPARK-47259] [SC-176437][sql] Atribuir nomes às condições de erro relacionadas a erros de intervalo
• [SPARK-47430] [SC-173679][sql] Retrabalhar o agrupamento por tipo de mapa para corrigir o erro de referência de associação
• [SPARK-49067] [SC-172616][sql] Mover o literal utf-8 para os métodos internos da classe UrlCodec
• [SPARK-49955] [SC-178989][sql] valor nulo não significa arquivo corrompido ao analisar RDD da cadeia de caracteres JSON
• [SPARK-49393] [SC-175212][sql] Falha por padrão em APIs de plug-in de catálogo preteridas
• [SPARK-49952] [SC-178985][sql] Atribuir a condição de erro adequada para _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][sql] Restringir conjuntos de caracteres em JsonOptions
• [SPARK-49892] [SC-178975][sql] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][sql] Atribuir a condição de erro adequada para _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_105[3-4] e _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][sql] Gerenciar zeros e uns no ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748][core] Uso de acesso somente leitura para configuração em SparkContext quando apropriado
• [SPARK-49666] [SC-177891][sql] Adição do sinalizador de recurso para a funcionalidade de recorte na ordenação
• [SPARK-48885] [SC-171050][sql] Fazer algumas subclasses do RuntimeReplaceable substituírem a substituição por val lenta
• [SPARK-49932] [SC-178931][core] Usar a versão tryWithResource dos recursos JsonUtils#toJsonString para evitar vazamentos de memória
• [SPARK-49949] [SC-178978][ps] Evite uma tarefa de análise desnecessária no attach_sequence_column
• [SPARK-49924] [SC-178935][sql] Manter containsNull após substituição de ArrayCompact
• [SPARK-49121] [SC-174787][sql] Suporte from_protobuf e to_protobuf para funções SQL
• [SPARK-47496] [SC-160529][sql] Suporte a JAVA SPI para registro dinâmico de dialeto JDBC
• [SPARK-49359] [SC-174895][sql] Permitir que implementações StagedTableCatalog retornem à gravação não atômica
• [SPARK-49895] [SC-178543][sql][ES-1270338] Aprimorar o erro ao encontrar a vírgula à direita na cláusula SELECT
• [SPARK-47945] [SC-163457][sql] MsSQLServer: Documentar o mapeamento dos tipos de dados do Spark SQL para o Microsoft SQL Server e adicionar testes.
• [SPARK-46037] [SC-175495][sql] Correção da construção de Junção de Hash embaralhado deixada sem geração de código
• [SPARK-47813] [SC-162615][sql] Substituição de getArrayDimension por updateExtraColumnMeta
• [SPARK-49542] [SC-178765][sql] Erro na avaliação da exceção de transformação de partição
• [SPARK-47172] [SC-169537][core] Adicionar suporte para AES-GCM para criptografia RPC
• [SPARK-47666] [SC-161476][sql] Correção de NPE ao ler a matriz de bits mysql como LongType
• [SPARK-48947] [SC-174239][sql] Use o nome do conjunto de caracteres em letras minúsculas para diminuir o cache ausente em Charset.forName
• [SPARK-49909] [SC-178552][sql] Corrigir o nome bonito de algumas expressões
• [SPARK-47647] [SC-161377][sql] Fazer com que a origem de dados MySQL leia bit(n>1) como BinaryType, assim como o Postgres.
• [SPARK-46622] [SC-153004][core] Sobrescrever o método toString para o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][python] Tornar a nomenclatura de parâmetro de PySparkException consistente com JVM
• [SPARK-49889] [SC-178474][python] Adicionar trim de argumento para funçõestrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] Corrigir mapeamento incorreto de tipos de dados no Conector MySQL/J
• [SPARK-47628] [SC-161257][sql] Corrigir problema de matriz de bits do Postgres 'Não é possível converter em booliano'
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Correção do comentário sobre alterações nas colunas char/varchar
• [SPARK-49549] [SC-178764][sql] Atribuir um nome às condições de erro _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][sql] Tornar DelegatingCatalogExtension mais extensível
• [SPARK-49559] [SC-178551][sql] Adicionar sintaxe de pipe SQL para operações definidas
• [SPARK-49906] [SC-178536][sql] Apresentar e usar o erro CONFLICTING_DIRECTORY_STRUCTURES para PartitioningUtils
• [SPARK-49877] [SC-178392][sql] Alterar assinatura da função classifyException: adicionar argumento isRuntime
• [SPARK-47501] [SC-160532][sql] Adicionar convertDateToDate como o convertTimestampToTimestamp existente para JdbcDialect
• [SPARK-49044] [SC-175746][sql] ValidateExternalType deve retornar o filho em caso de erro
• [SPARK-47462] [SC-160460][sql] Alinhar mapeamentos de outros tipos numéricos não assinados com TINYINT no MySQLDialect
• [SPARK-47435] [SC-160129][sql] Corrigir problema de estouro do MYSQL UNSIGNED TINYINT causado pelo SPARK-45561
• [SPARK-49398] [SC-176377][sql] Melhorar o erro de parâmetros na consulta de CACHE TABLE e CREATE VIEW
• [SPARK-47263] [SC-177012][sql] Atribuir nomes às condições herdadas _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][sql] Correção do prompt quando ascendingOrder for DataTypeMismatch no SortArray
• [SPARK-49806] [SC-178304][sql][CONNECT] Remover blank space redundantes após show nos clientes Scala e Connect
• [SPARK-47258] [SC-175032][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][sql] Adicionar sintaxe de pipe SQL para o operador JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Correção da consulta possivelmente quebrada quando a janela é fornecida à função janela/session_window
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Gerenciar o mapeamento de timestamps SQL para Postgres e MySQL
• [SPARK-49776] [SC-177818][python][CONNECT] Suporte aos gráficos de pizza
• [SPARK-49824] [SC-178251][ss][CONNECT] Aprimorar o registro em log no SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][python][CONNECT] Refinar a representação da cadeia de caracteres das operações do campo da coluna
• [SPARK-49764] [SC-177491][python][CONNECT] Gráficos da área de suporte
• [SPARK-49694] [SC-177376][python][CONNECT] Suporte a gráficos de dispersão
• [SPARK-49744] [SC-178363][ss][PYTHON] Implementar suporte TTL para ListState em TransformWithStateInPandas
• [SPARK-49879] [SC-178334][core] Mover TransportCipherUtil para um arquivo separado para eliminar avisos de compilação Java
• [SPARK-49866] [SC-178353][sql] Melhorar a mensagem de erro para descrever a tabela com colunas de partição
• [SPARK-49867] [SC-178302][es-1260570][SQL] Melhorar a mensagem de erro quando o índice estiver fora dos limites ao chamar GetColumnByOrdinal
• [SPARK-49607] [SC-177373][python] Atualizar a abordagem de amostragem nos gráficos baseados em amostras
• [SPARK-49626] [SC-177276][python][CONNECT] Suporte a gráficos de barras horizontais e verticais
• [SPARK-49531] [SC-177770][python][CONNECT] Suporte ao gráfico de linha com back-end do plotly
• [SPARK-49444] [SC-177692][es-1203248][SQL] UnivocityParser modificado para gerar exceções de runtime causadas por ArrayIndexOutOfBounds com mensagens mais orientadas ao usuário
• [SPARK-49870] [SC-178262][python] Adicionar suporte ao Python 3.13 no Spark Classic
• [SPARK-49560] [SC-178121][sql] Adicionar sintaxe de pipe SQL para o operador TABLESAMPLE
• [SPARK-49864] [SC-178305][sql] Melhorar a mensagem do BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][sql] Tornar os erros no NamedParametersSupport genéricos para lidar com funções e procedimentos
• [SPARK-49358] [SC-178158][sql] Expressão de modo para tipos de mapa com cadeias de caracteres agrupadas
• [SPARK-47341] [SC-178157][sql] Corrigir documentação imprecisa de RuntimeConfig#get
• [SPARK-48357] [SC-178153][sql] Suporte para instrução LOOP
• [SPARK-49845] [SC-178059][core] Tornar appArgs e environmentVariables opcional na API REST
• [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable deve indicar se é para gravação
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Adicionado suporte ao ouvinte do lado do cliente para Scala
• [SPARK-48700] [SC-177978][sql] Expressão de modo para tipos complexos (todas as ordenações)
• [SPARK-48196] [SC-177899][sql] Transformar os planos val lentos de QueryExecution em LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Alterar o nível de log para depurar o BlockManagerInfo
• [SPARK-49561] [SC-177897][sql] Adicionar sintaxe de pipe SQL para os operadores PIVOT e UNPIVOT
• [SPARK-49823] [SC-177885][ss] Evitar a liberação durante o desligamento no caminho de fechamento do rocksdb
• [SPARK-49820] [SC-177855] [PYTHON] Alterar raise IOError para raise OSError
• [SPARK-49653] [SC-177266][sql] Junção única para subconsultas escalares correlacionadas
• [SPARK-49552] [SC-177477][python] Adicionar suporte à API DataFrame para novas funções SQL 'randstr' e 'uniform'
• [SPARK-48303] [16.x][SC-166251][CORE] Reorganizar LogKeys
• [SPARK-49656] [16x][Backport][SS] Adicionar o suporte às variáveis de estado com os tipos de coleção para estado de valor e ler as opções do feed de alterações
• [SPARK-48112] [SC-165129][connectr] Expor sessão no SparkConnectPlanner nos plug-ins
• [SPARK-48126] [16.x][SC-165309][Core] Efetivar o spark.log.structuredLogging.enabled
• [SPARK-49505] [SC-176873][sql] Criar novas funções SQL "randstr" e "uniforme" para gerar cadeias aleatórias ou números dentro de intervalos
• [SPARK-49463] [SC-177474] Suporte a ListState para TransformWithStateInPandas
• [SPARK-48131] [SC-165007][core] Unificar chave MDC mdc.taskName e task_name
• [SPARK-49557] [SC-177227][sql] Adicionar sintaxe de pipe SQL para o operador WHERE
• [SPARK-49323] [16.x][sc-174689][CONNECT] Mover o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor
• [SPARK-49745] [SC-177501][ss] Adicionar a alteração para ler os temporizadores registrados usando o leitor de fonte de dados de estado
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] Remover ColumnFamilyOptions e adicionar as configurações diretamente ao dbOptions no RocksDB

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 16.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.1 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Posit Package Manager em 2024-08-04 : https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)