Databricks Runtime 15.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.2, da plataforma Apache Spark 3.5.0.

A Databricks lançou essa versão em maio de 2024.

Alterações comportamentais

O vácuo limpa COPY INTO os arquivos de metadados

A execução VACUUM em uma tabela escrita com COPY INTO agora limpa metadados não referenciados associados ao acompanhamento de arquivos ingeridos. Não há nenhum impacto na semântica operacional de COPY INTO.

A Lakehouse Federation está geralmente disponível (GA)

No Databricks Runtime 15.2 e posteriores, os conectores da Federação do lakehouse nos seguintes tipos de banco de dados estão em GA (disponibilidade geral):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL do Data Warehouse)
• Databricks

Esta versão também apresenta as seguintes melhorias:

• Suporte para autenticação de SSO (logon único) nos conectores Snowflake e Microsoft SQL Server.

• Suporte ao Link Privado do Azure para o conector do SQL Server de ambientes de computação sem servidor. Confira Etapa 3: criar pontos de extremidade privados.

• Suporte para pushdowns adicionais (cadeia de caracteres, matemática e funções diversas).
• Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.
• Recursos adicionais de depuração de pushdown:
  • A saída EXPLAIN FORMATTED exibe o texto da consulta enviada por push.
  • A interface do usuário do perfil de consulta exibe o texto da consulta pushed-down, os identificadores de nó federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

BY POSITION para mapeamento de coluna usando COPY INTO com arquivos CSV sem cabeçalho

No Databricks Runtime 15.2 e posteriores, você pode usar as palavras-chave BY POSITION (ou a sintaxe alternativa ( col_name [ , <col_name> ... ] )) com COPY INTO para arquivos CSV sem cabeçalho, facilitando o mapeamento de colunas de origem para colunas de tabela de destino. Consulte Parâmetros.

Reduzir o consumo de memória quando as tarefas do Spark falharem com um erro Resubmitted

No Databricks Runtime 15.2 e posterior, o valor retornado do método Spark TaskInfo.accumulables() fica vazio quando as tarefas falham com um erro Resubmitted. Anteriormente, o método retornava os valores de uma tentativa de tarefa bem-sucedida anterior. Essa alteração de comportamento afeta os seguintes consumidores:

• As tarefas do Spark que usam a classe EventLoggingListener.
• Ouvintes personalizados do Spark.

Para restaurar o comportamento anterior, defina spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled como false.

A exibição das versões do plano de execução da consulta adaptável está desabilitada

Para reduzir o consumo de memória, as versões do plano de execução de consulta adaptável (AQE) agora estão desabilitadas por padrão na interface do usuário do Spark. Para habilitar a exibição de versões do plano do AQE na interface do usuário do Spark, configure o spark.databricks.sql.aqe.showPlanChangesInUI.enabled para true.

O limite de consultas retidas é reduzido para reduzir o uso de memória da interface do usuário do Spark

No Databricks Runtime 15.2 e posterior, para reduzir a memória consumida pela interface do usuário do Spark na computação do Azure Databricks, o limite do número de consultas visíveis na interface do usuário é reduzido de 1000 para 100. Para alterar o limite, defina um novo valor usando a configuração do spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY agora mostra as colunas de clustering para as tabelas que usam clustering líquido

Quando você executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por padrão para operações de CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que utiliza agrupamento líquido, o campo clusterBy é preenchido com as colunas de agrupamento da tabela. Se a tabela não utilizar agrupamento líquido, o campo estará vazio.

A sintaxe do widget do notebook foi considerada obsoleta

A partir do Databricks Runtime 15.2, a sintaxe ${param} para acessar valores de widget do notebook nas células SQL foi descontinuada. Use a sintaxe do marcador de parâmetro (:param) em vez disso. A sintaxe do marcador de parâmetro fornece melhor proteção contra injeção de SQL e melhor desempenho de consulta.

Para obter diretrizes e exemplos de migração, consulte widgets herdados de notebook. Para obter informações sobre a abordagem recomendada atual, consulte widgets do Databricks.

Novos recursos e melhorias

O suporte para as chaves primárias e estrangeiras está em GA

O suporte para chaves primárias e estrangeiras no Databricks Runtime geralmente está disponível. A versão GA inclui as seguintes alterações nos privilégios necessários para o uso de chaves primárias e estrangeiras:

• Para definir uma chave estrangeira, você deve ter o privilégio SELECT na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa ter a tabela com a chave primária, que era necessária anteriormente.
• Remover uma chave primária usando a cláusula CASCADE não exige privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava ter as tabelas de referência.
• Remover uma tabela que inclui restrições agora requer os mesmos privilégios que remover tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte CONSTRAINT cláusula, cláusula ADD CONSTRAINTe cláusula DROP CONSTRAINT.

O clustering líquido está em disponibilidade geral

O suporte para clustering líquido agora está em disponibilidade geral usando o Databricks Runtime 15.2 e superior. Consulte Usar clustering líquido para tabelas.

A ampliação de tipo está em Visualização Pública

Agora você pode habilitar a ampliação de tipo em tabelas apoiadas pelo Delta Lake. Tabelas com ampliação de tipo habilitada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Confira Ampliação de tipo.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem do SQL

Agora você pode adicionar a cláusula WITH SCHEMA EVOLUTION a uma instrução de mesclagem do SQL para habilitar a evolução do esquema para a operação. Consulte a sintaxe de evolução do esquema para mesclar.

As fontes de dados personalizadas do PySpark estão disponíveis em Visualização Pública

Um PySpark DataSource pode ser criado usando a API DataSource do Python (PySpark), que permite ler de fontes de dados personalizadas e gravar em coletores de dados personalizados no Apache Spark usando Python. Veja Fontes de dados personalizadas do PySpark

applyInPandas e mapInPandas agora estão disponíveis na computação do Unity Catalog com modo de acesso compartilhado

Como parte de uma versão de manutenção do Databricks Runtime 14.3 LTS, agora há suporte para tipos UDF applyInPandas e mapInPandas na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 e superior.

Use dbutils.widgets.getAll() para obter todos os widgets em um notebook

Use dbutils.widgets.getAll() para obter todos os valores de widget em um notebook. Isso é especialmente útil ao passar vários valores de widgets para uma consulta SQL do Spark.

Suporte para gestão de inventário de vácuo

Agora você pode especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM em uma tabela Delta. Consulte os documentos do Delta OSS.

Suporte para funções de compactação Zstandard

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar dados BINARY.

Correções

Os planos de consulta na interface do usuário do SQL agora são exibidos corretamente PhotonWriteStage

Quando exibidos na interface do usuário do SQL, os comandos write em planos de consulta mostraram incorretamente PhotonWriteStage como um operador. Com essa versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como um estágio. Essa é apenas uma alteração de interface do usuário e não afeta a forma como as consultas são executadas.

O Ray é atualizado para corrigir problemas com a inicialização de clusters Ray

Esta versão inclui uma versão corrigida do Ray que corrige uma alteração interruptiva que impede que os clusters do Ray iniciem com o Databricks Runtime para Machine Learning. Essa alteração garante que a funcionalidade do Ray seja idêntica às versões do Databricks Runtime anteriores à 15.2.

Classe de erro corrigida para as funções DataFrame.sort() e DataFrame.sortWithinPartitions()

Esta versão inclui uma atualização nas funções DataFrame.sort() e DataFrame.sortWithinPartitions() do PySpark para garantir que a classe de erro ZERO_INDEX seja lançada quando 0 é passado como o argumento de índice. Anteriormente, a classe de erro INDEX_NOT_POSITIVE era gerada.

É feito o downgrade de ipywidgets de 8.0.4 para 7.7.2

Para corrigir os erros introduzidos por uma atualização de ipywidgets para 8.0.4 no Databricks Runtime 15.0, os ipywidgets são rebaixados para 7.7.2 no Databricks Runtime 15.2. Essa é a mesma versão incluída nas versões anteriores do Databricks Runtime.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
  • GitPython de 3.1.42 para 3.1.43
  • google-api-core da versão 2.17.1 para a versão 2.18.0
  • google-auth de 2.28.1 para 2.29.0
  • google-cloud-storage de 2.15.0 para 2.16.0
  • googleapis-common-protos de 1.62.0 a 1.63.0
  • ipywidgets de 8.0.4 para 7.7.2
  • mlflow-skinny de 2.11.1 para 2.11.3
  • s3transfer de 0.10.0 para 0.10.1
  • sqlparse de 0.4.4 para 0.5.0
  • typing_extensions de 4.7.1 para 4.10.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-config de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-core de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-directory de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-ecs de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-efs de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-emr de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-glacier de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-glue de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-iam de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-importexport de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-kms de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-lambda de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-logs de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-rds de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-redshift de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-route53 de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-s3 de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-ses de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-sns de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-sqs de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-ssm de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway da versão 1.12.390 para a versão 1.12.610
  • com.amazonaws.aws-java-sdk-sts de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-support de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 para 1.12.610
  • com.amazonaws.jmespath-java de 1.12.390 para 1.12.610

Apache Spark

O Databricks Runtime 15.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-47941] [SC-163568] [SS] [Connect] Propagar erros de inicialização de trabalho do ForeachBatch para usuários do PySpark
• [SPARK-47412] [SC-163455][sql] Adicionar suporte de ordenação para LPad/RPad.
• [SPARK-47907] [SC-163408][sql] Colocar bang sob uma configuração
• [SPARK-46820] [SC-157093][python] Corrigir regressão de mensagem de erro restaurando new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Resource managers: migração de log estruturada
• [SPARK-47890] [SC-163324][connect][PYTHON] Adicionar funções variantes ao Scala e ao Python.
• [SPARK-47894] [SC-163086][core][WEBUI] Adicionar Environment página à interface do usuário mestra
• [SPARK-47805] [SC-163459][ss] Implementando TTL para MapState
• [SPARK-47900] [SC-163326] Correção de verificação da ordenação implícita (UTF8_BINARY)
• [SPARK-47902] [SC-163316][sql]Tornando as expressões de cálculo do tempo atual simplificáveis
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] Suportar tipo de coluna na função de divisão para Scala e Python
• [SPARK-47754] [SC-162144][sql] Postgres: Suporte à leitura de matrizes multidimensionais
• [SPARK-47416] [SC-163001][sql] Adicionar novas funções a CollationBenchmark #90339
• [SPARK-47839] [SC-163075][sql] Corrigir bug de agregação em RewriteWithExpression
• [SPARK-47821] [SC-162967][sql] Implementar expressão is_variant_null
• [SPARK-47883] [SC-163184][sql] Tornar CollectTailExec.doExecute lento com RowQueue
• [SPARK-47390] [SC-163306][sql] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
• [SPARK-47924] [SC-163282][core] Adicionar um log de DEBUG a DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Corrigir regressão de desempenho do ExpressionSet no scala 2.12
• [SPARK-47565] [SC-161786][python] Resiliência de falha do pool de trabalho do PySpark
• [SPARK-47885] [SC-162989][python][CONNECT] Tornar pyspark.resource compatível com pyspark-connect
• [SPARK-47887] [SC-163122][connect] Remover importação spark/connect/common.proto não utilizada de spark/connect/relations.proto
• [SPARK-47751] [SC-161991][python][CONNECT] Tornar pyspark.worker_utils compatível com pyspark-connect
• [SPARK-47691] [SC-161760][sql] Postgres: Suporte para matriz multidimensional no lado de gravação
• [SPARK-47617] [SC-162513][sql] Adicionar TPC-DS infraestrutura de teste para ordenações
• [SPARK-47356] [SC-162858][sql] Adicionar suporte para ConcatWs &Elt (todas as ordenações)
• [SPARK-47543] [SC-161234][connect][PYTHON] Inferindo dict como MapType de um DataFrame Pandas para permitir a criação de DataFrame
• [SPARK-47863] [SC-162974][sql] Correção na implementação de 'startsWith' e 'endsWith' sensível à ordenação para ICU
• [SPARK-47867] [SC-162966][sql] Variante de suporte na verificação JSON.
• [SPARK-47366] [SC-162475][sql][PYTHON] Adicionar VariantVal para PySpark
• [SPARK-47803] [SC-162726][sql] Suporte convertido em variante.
• [SPARK-47769] [SC-162841][sql] Adicionar expressão schema_of_variant_agg.
• [SPARK-47420] [SC-162842][sql] Corrigir saída de teste
• [SPARK-47430] [SC-161178][sql] Suporte para MapType
• [SPARK-47357] [SC-162751][sql] Adicionar suporte para Superior, Inferior, InitCap (todas as ordenações)
• [SPARK-47788] [SC-162729][ss] Verifique o mesmo particionamento de hash para operações com estado de streaming
• [SPARK-47776] [SC-162291][ss] Não permitir que a ordenação de desigualdade binária seja usada no esquema de chave do operador com estado
• [SPARK-47673] [SC-162824][ss] Implementando TTL para ListState
• [SPARK-47818] [SC-162845][connect] Introduzir cache de plano no SparkConnectPlanner para melhorar o desempenho das solicitações de análise
• [SPARK-47694] [SC-162783][conectar] Torne o tamanho máximo da mensagem configurável no lado do cliente
• [SPARK-47274] Reverter "[SC-162479][python][SQL] Fornecer mais útil...
• [SPARK-47616] [SC-161193][sql] Adicionar documento de usuário para mapear tipos de dados SQL do Spark do MySQL
• [SPARK-47862] [SC-162837][python][CONNECT]Corrigir geração de arquivos proto
• [SPARK-47849] [SC-162724][python][CONNECT] Alterar script de versão para liberar pyspark-connect
• [SPARK-47410] [SC-162518][sql] Refatorar UTF8String e CollationFactory
• [SPARK-47807] [SC-162505][python][ML] Tornar pyspark.ml compatível com pyspark-connect
• [SPARK-47707] [SC-161768][sql] Tratamento especial do tipo JSON para o Conector MySQL/J 5.x
• [SPARK-47765] Reverter "[SC-162636][sql] Adicionar SET ORDENAÇÃO a pars...
• [SPARK-47081] [SC-162151][connect][FOLLOW] Melhorando a funcionalidade do Manipulador de Progresso
• [SPARK-47289] [SC-161877][sql] Permitir que as extensões registrem informações estendidas no plano de explicação
• [SPARK-47274] [SC-162479][python][SQL] Forneça um contexto mais útil para erros da API de DataFrame do PySpark
• [SPARK-47765] [SC-162636][sql] Adicionar SET ORDENAÇÃO às regras de análise
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite falha devido a um plano inválido
• [SPARK-47812] [SC-162696][connect] Suporte à serialização do SparkSession para o worker ForEachBatch
• [SPARK-47253] [SC-162698][core] Permitir que o LiveEventBus pare sem o esvaziamento completo da fila de eventos
• [SPARK-47827] [SC-162625][python] Avisos ausentes para recursos obsoletos
• [SPARK-47733] [SC-162628][ss] Adicionar métricas personalizadas para o operador transformWithState parte do progresso da consulta
• [SPARK-47784] [SC-162623][ss] Mesclar TTLMode e TimeoutMode em um único TimeMode.
• [SPARK-47775] [SC-162319][sql] Suporte aos tipos escalares restantes na especificação variante.
• [SPARK-47736] [SC-162503][sql] Adicionar suporte para AbstractArrayType
• [SPARK-47081] [SC-161758][connect] Suporte ao andamento da execução da consulta
• [SPARK-47682] [SC-162138][sql] Suporte à conversão de tipo a partir de variant.
• [SPARK-47802] [SC-162478][sql] Reverter o significado de struct() de volta para o significado *
• [SPARK-47680] [SC-162318][sql] Adicionar expressão variant_explode.
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression deve conferir os erros para cada modo de codegen
• [SPARK-41811] [SC-162470][python][CONNECT] Implementar SQLStringFormatter com WithRelations
• [SPARK-47693] [SC-162326][sql] Adicionar otimização para comparação de UTF8String em minúsculo usada na ordenação UTF8_BINARY_LCASE
• [SPARK-47541] [SC-162006][sql] Cadeias de caracteres agrupadas em tipos complexos que dão suporte a operações inversas, array_join, concat, map
• [SPARK-46812] [SC-161535][connect][PYTHON] Tornar mapInPandas / mapInArrow compatíveis com ResourceProfile
• [SPARK-47727] [SC-161982][python] Elevar SparkConf ao nível raiz para ambos SparkSession e SparkContext
• [SPARK-47406] [SC-159376][sql] Manipular TIMESTAMP e DATETIME em MYSQLDialect
• [SPARK-47081] Reverta "[SC-161758][connect] Support Query Executi...
• [SPARK-47681] [SC-162043][sql] Adicionar expressão schema_of_variant.
• [SPARK-47783] [SC-162222] Adicione alguns SQLSTATEs ausentes e limpe o YY000 a ser usado…
• [SPARK-47634] [SC-161558][sql] Adicione suporte herdado para desabilitar a normalização da chave do mapa
• [SPARK-47746] [SC-162022] Implementar codificação de intervalo baseada em ordinal no RocksDBStateEncoder
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec sempre deve usar context.session
• [SPARK-47643] [SC-161534][ss][PYTHON] Adicionar teste de pyspark para fonte de streaming do Python
• [SPARK-47582] [SC-161943][sql] Migrar o logInfo do Catalyst com variáveis para a estrutura de log estruturada
• [SPARK-47558] [SC-162007][ss] Suporte de TTL de estado para ValueState
• [SPARK-47358] [SC-160912][sql][COLLATION] Melhorar o suporte à expressão de repetição para retornar o tipo de dados correto
• [SPARK-47504] [SC-162044][sql] Resolução de AbstractDataType simpleStrings para StringTypeCollated
• [SPARK-47719] Reverter para “[SC-161909][sql] Alterar spark.sql.legacy.t...
• [SPARK-47657] [SC-162010][sql] Implementar o suporte para otimização do filtro de collation por fonte de arquivo
• [SPARK-47081] [SC-161758][connect] Suporte ao andamento da execução da consulta
• [SPARK-47744] [SC-161999] Adicionar suporte para bytes com valor negativo no codificador de intervalo
• [SPARK-47713] [SC-162009][sql][CONNECT] Corrigir uma falha de auto-junção
• [SPARK-47310] [SC-161930][ss] Adicionar micro-benchmark para operações de mesclagem para vários valores na parte de valor do repositório de estado
• [SPARK-47700] [SC-161774][sql] Corrigir formatação de mensagens de erro com treeNode
• [SPARK-47752] [SC-161993][ps][CONNECT] Tornar pyspark.pandas compatível com pyspark-connect
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementar a API logWarning/logInfo na estrutura de log estruturada
• [SPARK-47107] [SC-161201][ss][PYTHON] Implementar leitor de partição para fonte de dados de streaming do Python
• [SPARK-47553] [SC-161772][ss] Adicionar suporte a Java para APIs de operador transformWithState
• [SPARK-47719] [SC-161909][sql] Altere spark.sql.legacy.timeParserPolicy padrão para CORRECTED
• [SPARK-47655] [SC-161761][ss] Integrar temporizador ao tratamento de estado inicial para state-v2
• [SPARK-47665] [SC-161550][sql] Use SMALLINT para gravar ShortType no MYSQL
• [SPARK-47210] [SC-161777][sql] Adição de conversão implícita sem suporte indeterminado
• [SPARK-47653] [SC-161767][ss] Adicionar suporte para tipos numéricos negativos e codificador de chave de verificação de intervalo
• [SPARK-46743] [SC-160777][sql] Erro de contagem após otimização de constantes
• [SPARK-47525] [SC-154568][sql] Suporte para junção de correlação de subconsulta em atributos de mapa
• [SPARK-46366] [SC-151277][sql] Use a expressão WITH em BETWEEN para evitar expressões duplicadas
• [SPARK-47563] [SC-161183][sql] Adicionar normalização de mapa na criação
• [SPARK-42040] [SC-161171][sql] SPJ: introduzir uma nova API para partição de entrada V2 para relatar estatísticas de partição
• [SPARK-47679] [SC-161549][sql] Usar HiveConf.getConfVars ou usar nomes de configuração do Hive diretamente
• [SPARK-47685] [SC-161566][sql] Restaurar o suporte para o tipo Stream em Dataset#groupBy
• [SPARK-47646] [SC-161352][sql] Fazer try_to_number retornar NULL para entrada malformada
• [SPARK-47366] [SC-161324][python] Adicionar sinônimos parse_json para pyspark e dataframe
• [SPARK-47491] [SC-161176][core] Adicionar slf4j-api jar ao caminho da classe antes dos outros do diretório jars
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty projeta CommandResults localmente
• [SPARK-47364] [SC-158927][core] Fazer PluginEndpoint avisar quando os plug-ins responderem à mensagem unidirecional
• [SPARK-47280] [SC-158350][sql] Remover limitação de fuso horário para ORACLE TIMESTAMP WITH TIMEZONE
• [SPARK-47551] [SC-161542][sql] Adicionar expressão variant_get.
• [SPARK-47559] [SC-161255][sql] Suporte de codegen para variante parse_json
• [SPARK-47572] [SC-161351][sql] Assegurar que partitionSpec da janela seja ordenável.
• [SPARK-47546] [SC-161241][sql] Melhorar a validação ao ler Variant de Parquet
• [SPARK-47543] [SC-161234][connect][PYTHON] Inferindo dict como MapType de um DataFrame Pandas para permitir a criação de DataFrame
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] Criar coluna com ordenações na API de dataframe
• [SPARK-47641] [SC-161376][sql] Melhorar o desempenho para UnaryMinus e Abs
• [SPARK-47631] [SC-161325][sql] Remover método não utilizado SQLConf.parquetOutputCommitterClass
• [SPARK-47674] [SC-161504][core] Habilitar spark.metrics.appStatusSource.enabled por padrão
• [SPARK-47273] [SC-161162][ss][PYTHON] implementar a interface de escrita de fluxo de dados em Python.
• [SPARK-47637] [SC-161408][sql] Use errorCapturingIdentifier em mais locais
• [SPARK-47497] Reverter "[SC-160724][sql] Fazer to_csv dar suporte à saída de matriz/struct/map/binary como cadeias de caracteres bonitas""
• [SPARK-47492] [SC-161316][sql] Ampliar regras de espaço em branco no lexer
• [SPARK-47664] [SC-161475][python][CONNECT] Valide o nome da coluna com o esquema armazenado em cache
• [SPARK-47638] [SC-161339][ps][CONNECT] Ignorar validação de nome de coluna no PS
• [SPARK-47363] [SC-161247][ss] Estado Inicial sem implementação de leitor de estado para a API de Estado v2.
• [SPARK-47447] [SC-160448][sql] Permitir a leitura de Parquet TimestampLTZ como TimestampNTZ
• [SPARK-47497] Reverter “[SC-160724][sql] Tornar to_csv compatível com a saída de array/struct/map/binary em cadeias de caracteres formatadas”
• [SPARK-47434] [SC-160122][webui] Corrigir statistics link em StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] As cadeias de caracteres entre aspas em um caminho JSON devem dar suporte ao caractere '?'? characters
• [SPARK-46915] [SC-155729][sql] Simplificar UnaryMinusAbs e alinhar a classe de erro
• [SPARK-47431] [SC-160919][sql] Adicionar ordenação padrão no nível da sessão
• [SPARK-47620] [SC-161242][python][CONNECT] Adicionar uma função auxiliar para classificar colunas
• [SPARK-47570] [SC-161165][ss] Integrar alterações do codificador de varredura de intervalo com a implementação do temporizador
• [SPARK-47497] [SC-160724][sql] Dê to_csv suporte à saída de array/struct/map/binary como cadeias de caracteres formatadas de forma legível
• [SPARK-47562] [SC-161166][connect] Tratamento literal do fator fora do plan.py
• [SPARK-47509] [SC-160902][sql] Bloquear expressões de subconsulta em funções lambda e de ordem superior
• [SPARK-47539] [SC-160750][sql] Faça com que o valor retornado do método castToString seja Any => UTF8String
• [SPARK-47372] [SC-160905][ss] Adicionar suporte para o codificador de estado de chave baseado em varredura de intervalo para uso com o provedor de armazenamento de estado
• [SPARK-47517] [SC-160642][core][SQL] Prefira Utils.bytesToString para exibir tamanho
• [SPARK-47243] [SC-158059][ss] Corrigir o nome do pacote de StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Suporte a fontes de dados do Python com o Spark Connect
• [SPARK-47521] [SC-160666][core] Usar Utils.tryWithResource durante a leitura de dados de embaralhamento do armazenamento externo
• [SPARK-47474] [SC-160522][core] Reverter SPARK-47461 e adicionar alguns comentários
• [SPARK-47560] [SC-160914][python][CONNECT] Evite RPC para validar o nome da coluna com o esquema armazenado em cache
• [SPARK-47451] [SC-160749][sql] Implementação de suporte para to_json(variant).
• [SPARK-47528] [SC-160727][sql] Adicionar o suporte UserDefinedType a DataTypeUtils.canWrite
• [SPARK-44708] Reverter "[SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual"
• [SPARK-47506] [SC-160740][sql] Adicionar suporte a todos os formatos de origem de arquivo para tipos de dados agrupados
• [SPARK-47256] [SC-160784][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] Correção do jar de recurso primário adicionado ao spark.jars duas vezes no modo de cluster k8s
• [SPARK-47398] [SC-160572][sql] Extraia uma característica para InMemoryTableScanExec para permitir a extensão da funcionalidade
• [SPARK-47479] [SC-160623][sql] A otimização não pode gravar dados nas relações com o log de erros de vários caminhos
• [SPARK-47483] [SC-160629][sql] Adicionar suporte para operações de agregação e junção em matrizes de cadeias de caracteres agrupadas
• [SPARK-47458] [SC-160237][core] Corrigir o problema com o cálculo das tarefas simultâneas máximas para o estágio de barreira
• [SPARK-47534] [SC-160737][sql] Mover o.a.s.variant para o.a.s.types.variant
• [SPARK-47396] [SC-159312][sql] Adicionar um mapeamento geral para TIME WITHOUT TIME ZONE a TimestampNTZType
• [SPARK-44708] [SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML: adicionar testes de inferência de esquema para marcas de valor
• [SPARK-47007] [SC-160630][sql] Adicionar a MapSort expressão
• [SPARK-47523] [SC-160645][sql] Substituir preterido JsonParser#getCurrentName por JsonParser#currentName
• [SPARK-47440] [SC-160635][sql] Corrigir o envio de sintaxe não suportada para o MsSqlServer
• [SPARK-47512] [SC-160617][ss] Tipo de operação de tag usado com a aquisição/liberação do bloqueio da instância do repositório de estado RocksDB
• [SPARK-47346] [SC-159425][python] Tornar o modo daemon configurável ao criar trabalhadores do planejador Python
• [SPARK-47446] [SC-160163][core] Avisar BlockManager antes removeBlockInternal
• [SPARK-46526] [SC-156099][sql] Suporte LIMIT sobre subconsultas correlacionadas em que predicados fazem referência apenas à tabela externa
• [SPARK-47461] [SC-160297][core] Remover função totalRunningTasksPerResourceProfile privada de ExecutorAllocationManager
• [SPARK-47422] [SC-160219][sql] Suporte a cadeias de caracteres agrupadas em operações de matriz
• [SPARK-47500] [SC-160627][python][CONNECT] Isolar o tratamento do nome da coluna fora do plan.py
• [SPARK-47383] [SC-160144][core] Configuração de suporte spark.shutdown.timeout
• [SPARK-47342] [SC-159049]Reverter “Suporte [SQL] TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE”
• [SPARK-47486] [SC-160491][connect] Remover método privado ArrowDeserializers.getString não utilizado
• [SPARK-47233] [SC-154486][connect][SS][2/2] Lógica do cliente & servidor para o escutador de consulta de streaming no lado do cliente
• [SPARK-47487] [SC-160534][sql] Simplificar código em AnsiTypeCoercion
• [SPARK-47443] [SC-160459][sql] Suporte de função de agregação em janela para ordenações
• [SPARK-47296] [SC-160457][sql][COLLATION] Falha de funções sem suporte para ordenações não binárias
• [SPARK-47380] [SC-160164][conectar] Verifique no lado do servidor se o SparkSession é o mesmo
• [SPARK-47327] [SC-160069][sql] Mover teste de simultaneidade de chaves de classificação para CollationFactorySuite
• [SPARK-47494] [SC-160495][doc] Adicionar documento de migração para a mudança de comportamento na inferência de carimbo de data/hora Parquet a partir do Spark 3.3
• [SPARK-47449] [SC-160372][ss] Refatorar e dividir testes de unidade da lista e do temporizador
• [SPARK-46473] [SC-155663][sql] Método de reutilização getPartitionedFile
• [SPARK-47423] [SC-160068][sql] Ordenações – Definir suporte de operação para cadeias de caracteres com ordenações
• [SPARK-47439] [SC-160115][python] Documentar a API de Fonte de Dados do Python na página de referência da API
• [SPARK-47457] [SC-160234][sql] Correção IsolatedClientLoader.supportsHadoopShadedClient para lidar com Hadoop 3.4+
• [SPARK-47366] [SC-159348][sql] Implementar parse_json.
• [SPARK-46331] [SC-152982][sql] Removendo CodegenFallback do subconjunto de expressões DateTime e expressão version()
• [SPARK-47395] [SC-159404] Adicionar ordenação a outras APIs
• [SPARK-47437] [SC-160117][python][CONNECT] Corrija a classe de erro para DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] SparkConnectListenerBusListener para o ouvinte de consultas de streaming do lado do cliente
• [SPARK-47324] [SC-158720][sql] Adicionar conversão ausente de carimbo de data/hora para tipos aninhados JDBC
• [SPARK-46962] [SC-158834][ss][PYTHON] Adicionar interface para a API de fonte de dados de streaming do Python e implementar o python Worker para executar a fonte de dados de streaming do Python
• [SPARK-45827] [SC-158498][sql] Mover verificações de tipo de dados para CreatableRelationProvider
• [SPARK-47342] [SC-158874][sql] Suporte a TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE
• [SPARK-47399] [SC-159378][sql] Desabilitar colunas geradas em expressões com colações
• [SPARK-47146] [SC-158247][core] Possível vazamento de thread ao fazer a junção de mesclagem baseada em ordenação
• [SPARK-46913] [SC-159149][ss] Adicionar suporte para timers baseados em tempo de processamento/evento com o operador transformWithState
• [SPARK-47375] [SC-159063][sql] Adicionar diretrizes para mapeamento de timestamp em JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] Suporte a TIMESTAMP COM FUSO HORÁRIO para H2Dialect
• [SPARK-45827] Reverter "[SC-158498][sql] Mover verificações de tipo de dados para...
• [SPARK-47208] [SC-159279][core] Permitir a substituição da memória de sobrecarga base
• [SPARK-42627] [SC-158021][spark-26494][SQL] Suporte a ORACLE TIMESTAMP COM FUSO HORÁRIO LOCAL
• [SPARK-47055] [SC-156916][python] Atualizar MyPy 1.8.0
• [SPARK-46906] [SC-157205][ss] Adicionar uma verificação de alteração de operação com estado para streaming
• [SPARK-47391] [SC-159283][sql] Remova a solução alternativa de caso de teste para JDK 8
• [SPARK-47272] [SC-158960][ss] Adicionar implementação mapState para a API de Estado v2.
• [SPARK-47375] [SC-159278][doc][FollowUp] Corrigir um erro no documento de opção preferTimestampNTZ do JDBC
• [SPARK-42328] [SC-157363][sql] Remover _LEGACY_ERROR_TEMP_1175 de classes de erro
• [SPARK-47375] [SC-159261][doc][FollowUp] Corrigir a descrição da opção preferTimestampNTZ no documento JDBC
• [SPARK-47344] [SC-159146] Estender INVALID_IDENTIFIER erro além de capturar '-' em um identificador não coqueado e corrigir "IS ! NULL" et al.
• [SPARK-47340] [SC-159039][sql] Alterar "collate" no nome do tipo StringType para letras minúsculas
• [SPARK-47087] [SC-157077][sql] Gerar exceção do Spark com uma classe de erro na verificação de valor de configuração
• [SPARK-47327] [SC-158824][sql] Corrigir problema de segurança de thread no Collator do ICU
• [SPARK-47082] [SC-157058][sql] Corrigir a condição de erro fora dos limites
• [SPARK-47331] [SC-158719][ss] Serialização usando classes de caso/primitivas/POJO com base no codificador SQL para API de Estado Arbitrário v2.
• [SPARK-47250] [SC-158840][ss] Adicionar validações adicionais e alterações de NERF para o provedor de estado RocksDB e o uso de famílias de colunas
• [SPARK-47328] [SC-158745][sql] Renomeie colação UCS_BASIC para UTF8_BINARY
• [SPARK-47207] [SC-157845][core] Suporte spark.driver.timeout e DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] Adicionar documento de migração: inferência de tipo TimestampNTZ em arquivos Parquet
• [SPARK-47309] [SC-158827][sql][XML] Adicionar testes de unidade de inferência de esquema
• [SPARK-47295] [SC-158850][sql] Adicionado ICU StringSearch para as funções startsWith e endsWith
• [SPARK-47343] [SC-158851][sql] Corrigir NPE quando sqlString o valor da variável for uma cadeia de caracteres nula em execução imediata
• [SPARK-46293] [SC-150117][connect][PYTHON] Usar protobuf dependência transitiva
• [SPARK-46795] [SC-154143][sql] Substituir UnsupportedOperationException por SparkUnsupportedOperationException in sql/core
• [SPARK-46087] [SC-149023][python] Sincronizar dependências do PySpark em documentos e requisitos de desenvolvimento
• [SPARK-47169] [SC-158848][sql] Desabilitar bucketing em colunas agrupadas
• [SPARK-42332] [SC-153996][sql] Alterando o requisito para um SparkException em ComplexTypeMergingExpression
• [SPARK-45827] [SC-158498][sql] Mover verificações de tipo de dados para CreatableRelationProvider
• [SPARK-47341] [SC-158825][connect] Substituir comandos por relações em alguns testes no SparkConnectClientSuite
• [SPARK-43255] [SC-158026][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2020 por um erro interno
• [SPARK-47248] [SC-158494][sql][COLLATION] Suporte aprimorado à função de cadeia de caracteres: contém
• [SPARK-47334] [SC-158716][sql] Reutilizar withColumnRenamed a implementação de withColumnsRenamed
• [SPARK-46442] [SC-153168][sql] DS V2 suporta o rebaixamento de PERCENTILE_CONT e PERCENTILE_DISC
• [SPARK-47313] [SC-158747][sql] Adicionado tratamento de erro scala.MatchError dentro de QueryExecution.toInternalError
• [SPARK-45827] [SC-158732][sql] Adicionar tipo singleton variante para Java
• [SPARK-47337] [SC-158743][sql][DOCKER] Atualizar a versão da imagem do docker DB2 para 11.5.8.0
• [SPARK-47302] [SC-158609][sql] Colacionar palavra-chave como identificador
• [SPARK-46817] [SC-154196][core] Corrigir spark-daemon.sh o uso adicionando decommission comando
• [SPARK-46739] [SC-153553][sql] Adicionar a classe de erro UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] Adicionar a COLLATION_ENABLED flag de configuração
• [SPARK-46774] [SC-153925][sql][AVRO] Use mapreduce.output.fileoutputformat.compress em vez de mapred.output.compress obsoleto em tarefas de escrita do Avro
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Tempo limite se o trabalho não se conectar novamente.
• [SPARK-46835] [SC-158355][sql][Ordenações] Suporte de junção para ordenações não binárias
• [SPARK-47131] [SC-158154][sql][COLLATION] Suporte à função string: contém, começa com, termina com
• [SPARK-46077] [SC-157839][sql] Considere o tipo gerado por TimestampNTZConverter em JdbcDialect.compileValue.
• [SPARK-47311] [SC-158465][sql][PYTHON] Suprimir exceções do Python em que PySpark não está no caminho do Python
• [SPARK-47319] [SC-158599][sql] Melhorar o cálculo da entrada ausente
• [SPARK-47316] [SC-158606][sql] Corrigir TimestampNTZ no array do Postgres
• [SPARK-47268] [SC-158158][sql][Ordenações] Suporte para redistribuição com ordenações
• [SPARK-47191] [SC-157831][sql] Evite a pesquisa de relação desnecessária ao desacompactar tabela/exibição
• [SPARK-47168] [SC-158257][sql] Desabilitar pushdown de filtro parquet ao trabalhar com cadeias de caracteres não padrão agrupadas
• [SPARK-47236] [SC-158015][core] Correção deleteRecursivelyUsingJavaIO para ignorar a entrada de arquivo não existente
• [SPARK-47238] [SC-158466][sql] Reduzir o uso de memória do executor tornando o código gerado no WSCG uma variável de difusão
• [SPARK-47249] [SC-158133][connect] Correção de bug em que todas as execuções de conexão são consideradas abandonadas independentemente de seu status real
• [SPARK-47202] [SC-157828][python] Corrigir erro de digitação que quebra datetimes com tzinfo
• [SPARK-46834] [SC-158139][sql][Colações] Suporte para agregações
• [SPARK-47277] [SC-158351][3.5] Função util PySpark assertDataFrameEqual não deve dar suporte ao DF de streaming
• [SPARK-47155] [SC-158473][python] Corrigir problema de classe de erro
• [SPARK-47245] [SC-158163][sql] Melhorar o código de erro para INVALID_PARTITION_COLUMN_DATA_TYPE
• [SPARK-39771] [SC-158425][core] Adicionar uma mensagem de aviso em Dependency quando um número muito grande de blocos de embaralhamento estiver para ser criado.
• [SPARK-47277] [SC-158329] Função util PySpark assertDataFrameEqual não deve dar suporte ao DF de streaming
• [SPARK-47293] [SC-158356][core] Compilar batchSchema com sparkSchema em vez de acrescentar um por um
• [SPARK-46732] [SC-153517][connect] Fazer o thread de Subconsulta/Transmissão funcionar com o gerenciamento de artefatos do Connect
• [SPARK-44746] [SC-158332][python] Adicione mais documentação do Python UDTF para funções que aceitam tabelas de entrada
• [SPARK-47120] [SC-157517][sql] Comparação nula efetua push do filtro de dados da subconsulta produzida em NPE no filtro Parquet
• [SPARK-47251] [SC-158291][python] Bloquear tipos inválidos do args argumento para sql comando
• [SPARK-47251] Reverter “[SC-158121][python] Bloquear tipos inválidos do argumento para o comando args”
• [SPARK-47015] [SC-157900][sql] Desabilitar o particionamento em colunas agrupadas
• [SPARK-46846] [SC-154308][core] Fazer WorkerResourceInfo estender Serializable explicitamente
• [SPARK-46641] [SC-156314][ss] Adicionar limite maxBytesPerTrigger
• [SPARK-47244] [SC-158122][conectar] SparkConnectPlanner tornar as funções internas privadas
• [SPARK-47266] [SC-158146][connect] Fazer ProtoUtils.abbreviate retornar o mesmo tipo que a entrada
• [SPARK-46961] [SC-158183][ss] Usando ProcessorContext para armazenar e recuperar identificador
• [SPARK-46862] [SC-154548][sql] Desabilitar a poda de coluna CSV no modo de várias linhas
• [SPARK-46950] [SC-155803][core][SQL] Alinhar not available codec classe de erro
• [SPARK-46368] [SC-153236][core] Suporte readyz na API de Envio REST
• [SPARK-46806] [SC-154108][python] Melhorar a mensagem de erro para spark.table quando o tipo de argumento estiver errado
• [SPARK-47211] [SC-158008][connect][PYTHON] Correção para colação de cadeia de caracteres do PySpark Connect que estava sendo ignorada
• [SPARK-46552] [SC-151366][sql] Substituir UnsupportedOperationException por SparkUnsupportedOperationException in catalyst
• [SPARK-47147] [SC-157842][python][SQL] Corrigir erro de conversão de cadeia de caracteres agrupada do PySpark
• [SPARK-47144] [SC-157826][connect][SQL][python] Corrigir erro de ordenação do Spark Connect adicionando o campo protobuf collateId
• [SPARK-46575] [SC-153200][sql][HIVE] Tornar HiveThriftServer2.startWithContext DevelopApi retratável e corrigir a instabilidade de ThriftServerWithSparkContextInHttpSuite
• [SPARK-46696] [SC-153832][core] No ResourceProfileManager, as chamadas de função devem ocorrer após declarações variáveis
• [SPARK-47214] [SC-157862][python] Criar a API UDTF para o método 'analyze' para diferenciar argumentos NULL constantes e outros tipos de argumentos
• [SPARK-46766] [SC-153909][sql][AVRO] Suporte ao pool de buffers ZSTD para fonte de dados AVRO
• [SPARK-47192] [SC-157819] Converter alguns erros de _LEGACY_ERROR_TEMP_0035
• [SPARK-46928] [SC-157341][ss] Adicionar suporte para ListState na API de Estado Arbitrário v2.
• [SPARK-46881] [SC-154612][core] Suporte spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] Suporte spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] Corrigir o bug que usa o codec de compactação parquet lz4raw incorreto
• [SPARK-46791] [SC-154018][sql] Suporte a Java Set em JavaTypeInference
• [SPARK-46332] [SC-150224][sql] Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] Fazer com que o valor padrão de um literal estreito derivado de um tipo mais amplo na v2 se comporte da mesma forma que na v1
• [SPARK-46664] [SC-153181][core] Melhorar Master para se recuperar rapidamente no caso de zero trabalhadores e aplicações
• [SPARK-46759] [SC-153839][sql][AVRO] Codecs xz e zstandard suportam nível de compressão para arquivos avro

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 15.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Gerenciador de Pacotes Posit.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)