Databricks Runtime 15.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.2, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em maio de 2024.

Mudanças comportamentais

Vacuum limpa ficheiros de metadados COPY INTO

Executar VACUUM em uma tabela escrita com COPY INTO agora limpa metadados não referenciados associados ao rastreamento de arquivos ingeridos. Não há impacto na semântica operacional de COPY INTO.

Lakehouse Federation está geralmente disponível (GA)

No Databricks Runtime 15.2 e posterior, conectores Lakehouse Federation nos seguintes tipos de banco de dados estão geralmente disponíveis (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (Armazém de Dados SQL)
• Databricks

Esta versão também apresenta as seguintes melhorias:

• Suporte para autenticação de logon único (SSO) no Snowflake e conectores do Microsoft SQL Server.

• Suporte do Azure Private Link para o conector do SQL Server a partir de ambientes de computação sem servidor. Consulte Etapa 3: Criar regras de ponto final privado.

• Suporte para pushdowns adicionais (string, matemática e funções diversas).
• Taxa de sucesso de pushdown melhorada em diferentes tipos de consulta.
• Capacidades adicionais de depuração em pushdown:
  • A saída EXPLAIN FORMATTED exibe o texto da consulta pressionado.
  • A interface de utilizador do perfil de consulta exibe o texto da consulta transferido, os identificadores dos nós federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

BY POSITION para mapeamento de colunas usando COPY INTO com arquivos CSV sem cabeçalho

No Databricks Runtime 15.2 e posterior, você pode usar as palavras-chave BY POSITION (ou sintaxe alternativa ( col_name [ , <col_name> ... ] )) com COPY INTO para arquivos CSV sem cabeçalho para simplificar a coluna de origem para o mapeamento de coluna da tabela de destino. Consulte Parâmetros.

Reduzir o consumo de memória quando as tarefas do Spark falharem com um erro de Resubmitted

No Databricks Runtime 15.2 e posterior, o valor de retorno do método Spark TaskInfo.accumulables() fica vazio quando as tarefas falham com um erro Resubmitted. Anteriormente, o método retornava os valores de uma tentativa de tarefa bem-sucedida anterior. Essa alteração de comportamento afeta os seguintes consumidores:

• Tarefas do Spark que usam a classe EventLoggingListener.
• Ouvintes personalizados do Spark.

Para restaurar o comportamento anterior, defina spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled como false.

A visualização de versões do plano de execução de consulta adaptável está desativada

Para reduzir o consumo de memória, as versões do plano de execução de consulta adaptável (AQE) agora estão desabilitadas por padrão na interface do usuário do Spark. Para habilitar a visualização de versões do plano AQE na interface do usuário do Spark, defina o spark.databricks.sql.aqe.showPlanChangesInUI.enabled como true.

O limite de consultas retidas é reduzido para reduzir o uso de memória da interface do usuário do Spark

No Databricks Runtime 15.2 e posterior, para reduzir a memória consumida pela interface do usuário do Spark na computação do Azure Databricks, o limite do número de consultas visíveis na interface do usuário é reduzido de 1000 para 100. Para alterar o limite, defina um novo valor usando a configuração do spark.sql.ui.retainedExecutions Spark.

DESCRIBE HISTORY agora mostra colunas de agrupamento para tabelas que usam clustering líquido

Quando você executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por padrão para operações CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que usa clustering líquido, o clusterBy campo é preenchido com as colunas de agrupamento da tabela. Se a tabela não usar agrupamento líquido, o campo estará vazio.

A sintaxe do widget de notebook está obsoleta

A partir do Databricks Runtime 15.2, a sintaxe ${param} para acessar valores de widget de notebook em células SQL foi declarada obsoleta. Em vez disso, use a sintaxe do marcador de parâmetro (:param). A sintaxe do marcador de parâmetro fornece melhor proteção contra injeção de SQL e melhor desempenho de consulta.

Para orientações e exemplos de migração, consulte Widgets de cadernos antigos. Para obter informações sobre a abordagem recomendada atual, consulte Widgets Databricks.

Novos recursos e melhorias

Suporte para chaves primárias e estrangeiras é GA

O suporte para chaves primárias e estrangeiras no Databricks Runtime está geralmente disponível. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

• Para definir uma chave estrangeira, você deve ter o privilégio de SELECT na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa possuir a tabela com a chave primária, que era exigida anteriormente.
• Soltar uma chave primária usando a cláusula CASCADE não requer privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava possuir as tabelas de referência.
• Descartar uma tabela que inclui restrições agora requer os mesmos privilégios que descartar tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte CONSTRAINT cláusula, ADD CONSTRAINT cláusulae DROP CONSTRAINT cláusula.

O agrupamento líquido é GA

O suporte para clustering líquido agora está geralmente disponível usando o Databricks Runtime 15.2 e versões superiores. Veja Utilizar clustering líquido para tabelas.

A expansão de tipo está na Vista Pública Prévia

Agora é possível habilitar o alargamento de tipos em tabelas suportadas pelo Delta Lake. As tabelas com alargamento de tipo ativado permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Consulte Alargamento de tipo.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem SQL

Agora você pode adicionar a cláusula WITH SCHEMA EVOLUTION a uma instrução de mesclagem SQL para habilitar a evolução do esquema para a operação. Consulte sintaxe de evolução do esquema para mesclar.

As fontes de dados personalizadas do PySpark estão disponíveis no Public Preview

Um PySpark DataSource pode ser criado usando a API DataSource Python (PySpark), que permite ler fontes de dados personalizadas e gravar em coletores de dados personalizados no Apache Spark usando Python. Consulte fontes de dados personalizadas do PySpark

applyInPandas e mapInPandas agora disponíveis no Unity Catalog compute com modo de acesso compartilhado

Como parte de uma versão de manutenção do Databricks Runtime 14.3 LTS, os tipos UDF applyInPandas e mapInPandas agora são suportados na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 e superior.

Use dbutils.widgets.getAll() para obter todos os widgets em um bloco de anotações

Use dbutils.widgets.getAll() para obter todos os valores de widget em um bloco de anotações. Isso é especialmente útil ao passar vários valores de widgets para uma consulta SQL do Spark.

Suporte de inventário de vácuo

Agora você pode especificar um inventário de arquivos a ser considerado ao executar o comando VACUUM em uma tabela Delta. Consulte os documentos OSS Delta.

Suporte para funções de compressão Zstandard

Agora você pode usar as funções zst_compress, zstd_decompresse try_zstd_decompress para compactar e descompactar BINARY dados.

Correções de erros

Os planos de consulta na interface do usuário do SQL agora exibem corretamente PhotonWriteStage

Quando os comandos write eram apresentados na interface de utilizador do SQL, estes planos de consulta mostravam incorretamente PhotonWriteStage como um operador. Com esta versão, a interface é atualizada para mostrar PhotonWriteStage como uma fase. Esta é apenas uma alteração da interface do usuário e não afeta como as consultas são executadas.

O Ray é atualizado para corrigir problemas com a inicialização de clusters Ray

Esta versão inclui uma versão corrigida do Ray que resolve uma alteração significativa que impede os clusters Ray de iniciar com o Databricks Runtime for Machine Learning. Essa alteração garante que a funcionalidade do Ray seja idêntica às versões do Databricks Runtime anteriores à 15.2.

Classe de erro corrigida para funções DataFrame.sort() e DataFrame.sortWithinPartitions()

Esta versão inclui uma atualização para as funções DataFrame.sort() e DataFrame.sortWithinPartitions() do PySpark para garantir que a classe de erro ZERO_INDEX seja gerada quando 0 seja passada como o argumento de índice. Anteriormente, foi lançada a classe de erro INDEX_NOT_POSITIVE.

ipywidgets é rebaixado de 8.0.4 para 7.7.2

Para corrigir erros introduzidos por uma atualização de ipywidgets para 8.0.4 no Databricks Runtime 15.0, ipywidgets é rebaixado para 7.7.2 no Databricks Runtime 15.2. Esta é a mesma versão incluída em versões anteriores do Databricks Runtime.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • GitPython de 3.1.42 a 3.1.43
  • google-api-core da versão 2.17.1 para a 2.18.0
  • google-auth de 2.28.1 para 2.29.0
  • google-cloud-storage de 2.15.0 para 2.16.0
  • googleapis-common-protos de 1.62.0 a 1.63.0
  • ipywidgets da versão 8.0.4 para a versão 7.7.2
  • mlflow-skinny de 2.11.1 a 2.11.3
  • s3transfer de 0.10.0 para 0.10.1
  • sqlparse de 0.4.4 para 0.5.0
  • typing_extensions de 4.7.1 a 4.10.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-config de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-core de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-directory de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-dynamoDB de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ecs de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-efs de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-emr de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-glacier de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-glue de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-iam de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-importexport de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-kms de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-lambda de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-logs de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-rds de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-redshift de 1.12.390 para 1.12.610
  • com.amazonaws.aws-java-sdk-route53 de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-s3 de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ses de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-sns de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-sqs de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-ssm de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-sts de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-support de 1.12.390 a 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 a 1.12.610
  • com.amazonaws.jmespath-java de 1.12.390 a 1.12.610

Apache Spark

O Databricks Runtime 15.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-47941] [SC-163568] [SS] [Conectar] Propagar erros de inicialização do trabalhador ForeachBatch aos usuários para o PySpark
• [SPARK-47412] [SC-163455][sql] Adicionar suporte de agrupamento para LPad/RPad.
• [SPARK-47907] [SC-163408][sql] Coloque bang sob uma configuração
• [SPARK-46820] [SC-157093][python] Corrigir regressão de mensagem de erro restaurando new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/Gestores de Recursos: migração de log estruturado
• [SPARK-47890] [SC-163324][connect][PYTHON] Adicione funções variantes ao Scala e ao Python.
• [SPARK-47894] [SC-163086][core][WEBUI] Adicionar Environment página à interface do usuário principal
• [SPARK-47805] [SC-163459][ss] Implementando TTL para MapState
• [SPARK-47900], [SC-163326] Corrigir a validação de agrupamento implícito (UTF8_BINARY)
• [SPARK-47902] [SC-163316][sql]Tornando dobráveis as expressões de Compute Current Time*
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] Suportar o tipo de coluna na função split para Scala e Python
• [SPARK-47754] [SC-162144][sql] Postgres: Suporte à leitura de matrizes multidimensionais
• [SPARK-47416] [SC-163001][sql] Adicionar novas funções ao CollationBenchmark #90339
• [SPARK-47839] [SC-163075][sql] Corrigir bug agregado em RewriteWithExpression
• [SPARK-47821] [SC-162967][sql] Implementar expressão is_variant_null
• [SPARK-47883] [SC-163184][sql] Torne CollectTailExec.doExecute preguiçoso com RowQueue
• [SPARK-47390] [SC-163306][sql] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
• [SPARK-47924] [SC-163282][core] Adicionar um log DEBUG a DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Corrigir regressão de desempenho do ExpressionSet no scala 2.12
• [SPARK-47565] [SC-161786][python] Resiliência a falhas do pool de trabalhadores PySpark
• [SPARK-47885] [SC-162989][python][CONNECT] Torne pyspark.resource compatível com pyspark-connect
• [SPARK-47887] [SC-163122][connect] Remover importação spark/connect/common.proto não utilizada de spark/connect/relations.proto
• [SPARK-47751] [SC-161991][python][CONNECT] Torne pyspark.worker_utils compatível com pyspark-connect
• [SPARK-47691] [SC-161760][sql] Postgres: Suporte a matriz multidimensional no lado da gravação
• [SPARK-47617] [SC-162513][sql] Adicionar TPC-DS a infraestrutura de teste para agrupamentos
• [SPARK-47356] [SC-162858][sql] Adicionar suporte para ConcatWs & Elt (todos os agrupamentos)
• [SPARK-47543] [SC-161234][connect][PYTHON] Inferindo dict como MapType no Pandas DataFrame para permitir a criação de um DataFrame
• [SPARK-47863] [SC-162974][sql] Fix startsWith & endsCom implementação com reconhecimento de agrupamento para UTI
• [SPARK-47867] [SC-162966][sql] Suporte a variantes na análise JSON.
• [SPARK-47366] [SC-162475][sql][PYTHON] Adicionar VariantVal para PySpark
• [SPARK-47803] [SC-162726][sql] Suporte para conversão para variante.
• [SPARK-47769] [SC-162841][sql] Adicione schema_of_variant_agg expressão.
• [SPARK-47420] [SC-162842][sql] Corrigir saída de teste
• [SPARK-47430] [SC-161178][sql] Suporte GROUP BY para MapType
• [SPARK-47357] [SC-162751][sql] Adicionar suporte para Superior, Inferior, InitCap (todos os agrupamentos)
• [SPARK-47788] [SC-162729][ss] Garanta o mesmo particionamento de hash para operações stateful em streaming
• [SPARK-47776] [SC-162291][ss] Não permitir que a ordenação por desigualdade binária seja usada no esquema de chave do operador com estado
• [SPARK-47673] [SC-162824][ss] Implementando TTL para ListState
• [SPARK-47818] [SC-162845][connect] Implementar cache de planeamento no SparkConnectPlanner para melhorar o desempenho de analisar pedidos
• [SPARK-47694] [SC-162783][connect] Torne o tamanho máximo da mensagem configurável no lado do cliente
• [SPARK-47274] Reverter “[SC-162479][python][SQL] Fornecer informações mais útil...
• [SPARK-47616] [SC-161193][sql] Adicionar documento de usuário para mapear tipos de dados SQL do Spark do MySQL
• [SPARK-47862] [SC-162837][python][CONNECT]Correção da geração de arquivos proto
• [SPARK-47849] [SC-162724][python][CONNECT] Altere o script de lançamento para liberar pyspark-connect
• [SPARK-47410] [SC-162518][sql] Refatorar UTF8String e CollationFactory
• [SPARK-47807] [SC-162505][python][ML] Torne pyspark.ml compatível com pyspark-connect
• [SPARK-47707] [SC-161768][sql] Tratamento especial do tipo JSON para MySQL Connector/J 5.x
• [SPARK-47765] Reverter "[SC-162636][sql] Adicionar SET COLLATION a pars...
• [SPARK-47081] [SC-162151][connect][FOLLOW] Melhorando a usabilidade do gestor de progresso
• [SPARK-47289] [SC-161877][sql] Permitir que extensões registrem informações estendidas no plano explicativo
• [SPARK-47274] [SC-162479][python][SQL] Fornece contexto mais útil para erros da API do PySpark DataFrame
• [SPARK-47765] [SC-162636][sql] Adicionar SET COLLATION às regras do analisador
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite falha devido a um plano inválido
• [SPARK-47812] [SC-162696][connect] Suporte a serialização de SparkSession para o trabalhador ForEachBatch
• [SPARK-47253] [SC-162698][core] Permita que o LiveEventBus pare sem esgotar completamente a fila de eventos
• [SPARK-47827] [SC-162625][python] Faltam avisos para funcionalidades obsoletas
• [SPARK-47733] [SC-162628][ss] Adicionar métricas personalizadas para a parte do operador transformWithState do progresso da consulta
• [SPARK-47784] [SC-162623][ss] Mescle TTLMode e TimeoutMode em um único TimeMode.
• [SPARK-47775] [SC-162319][sql] Suporta tipos escalares restantes na especificação da variante.
• [SPARK-47736] [SC-162503][sql] Adicionar suporte para AbstractArrayType
• [SPARK-47081] [SC-161758][connect] Suportar o progresso da execução da consulta
• [SPARK-47682] [SC-162138][sql] Suporte para conversão a partir de variante.
• [SPARK-47802] [SC-162478][sql] Reverter () do significado struct() de volta para o significado *
• [SPARK-47680] [SC-162318][sql] Adicione variant_explode expressão.
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression deve verificar erro para cada modo codegen
• [SPARK-41811] [SC-162470][python][CONNECT] Implementar SQLStringFormatter com WithRelations
• [SPARK-47693] [SC-162326][sql] Adicionar otimização para comparação de minúsculas de UTF8String usada no agrupamento UTF8_BINARY_LCASE
• [SPARK-47541] [SC-162006][sql] Cadeias de caracteres agrupadas em tipos complexos que suportam operações reverter, array_join, concat, mapear
• [SPARK-46812] [SC-161535][connect][PYTHON] Permitir que mapInPandas / mapInArrow suporte ResourceProfile
• [SPARK-47727] [SC-161982][python] Colocar o SparkConf no nível raiz para o SparkSession e SparkContext
• [SPARK-47406] [SC-159376][sql] Manipular TIMESTAMP e DATETIME em MYSQLDialect
• [SPARK-47081] Reverter "[SC-161758][connect] Suporte à Execução de Consultas..."
• [SPARK-47681] [SC-162043][sql] Adicione schema_of_variant expressão.
• [SPARK-47783] [SC-162222] Adicione alguns SQLSTATEs ausentes e limpe o YY000 para usar...
• [SPARK-47634] [SC-161558][sql] Adicionar suporte legado para desativar a normalização de chaves de mapa
• [SPARK-47746] [SC-162022] Implementar codificação de intervalo baseada em ordinal no RocksDBStateEncoder
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec deve sempre usar o context.session
• [SPARK-47643] [SC-161534][ss][PYTHON] Adicionar teste pyspark para fonte de streaming python
• [SPARK-47582] [SC-161943][sql] Migrar o Catalyst logInfo com variáveis para a estrutura de log estruturada
• [SPARK-47558] [SC-162007][ss] Suporte TTL de estado para ValueState
• [SPARK-47358] [SC-160912][sql][COLLATION] Melhorar o suporte a expressões repetidas para retornar o tipo de dados correto
• [SPARK-47504] [SC-162044][sql] Resolve AbstractDataType simpleStrings para StringTypeCollated
• [SPARK-47719] Reverter "[SC-161909][sql] Alterar spark.sql.legacy.t...
• [SPARK-47657] [SC-162010][sql] Implementar o suporte de push down do filtro de agrupamento por fonte de arquivo
• [SPARK-47081] [SC-161758][connect] Suportar o progresso da execução da consulta
• [SPARK-47744] [SC-161999] Adicionar suporte para bytes com valor negativo no codificador de intervalo
• [SPARK-47713] [SC-162009][sql][CONNECT] Corrigir uma falha de associação automática
• [SPARK-47310] [SC-161930][ss] Adicionar micro-benchmark para operações de mesclagem para vários valores na parte de valor do armazenamento de estado
• [SPARK-47700] [SC-161774][sql] Corrigir a formatação de mensagens de erro com treeNode
• [SPARK-47752] [SC-161993][ps][CONNECT] Torne pyspark.pandas compatível com pyspark-connect
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Implementar a API logWarning/logInfo na estrutura de log estruturada
• [SPARK-47107] [SC-161201][ss][PYTHON] Implementar leitor de partição para fonte de dados de streaming python
• [SPARK-47553] [SC-161772][ss] Adicionar suporte Java para APIs do operador transformWithState
• [SPARK-47719] [SC-161909][sql] Alterar o padrão de spark.sql.legacy.timeParserPolicy para CORRIGIDO
• [SPARK-47655] [SC-161761][ss] Integre o temporizador com a gestão do estado inicial no estado-v2
• [SPARK-47665] [SC-161550][sql] Use SMALLINT para escrever ShortType no MYSQL
• [SPARK-47210] [SC-161777][sql] Adição de conversão implícita sem suporte indeterminado
• [SPARK-47653] [SC-161767][ss] Adicionar suporte para tipos numéricos negativos e codificador de chave de varredura de intervalo
• [SPARK-46743] [SC-160777][sql] Erro de contagem após dobragem constante
• [SPARK-47525] [SC-154568][sql] Suporte a junção de correlação de subconsulta em atributos de mapa
• [SPARK-46366] [SC-151277][sql] Use a expressão WITH em BETWEEN para evitar expressões duplicadas
• [SPARK-47563] [SC-161183][sql] Adicionar normalização de mapa na criação
• [SPARK-42040] [SC-161171][sql] SPJ: Introduza uma nova API para partição de entrada V2 para relatar estatísticas de partição
• [SPARK-47679] [SC-161549][sql] Use HiveConf.getConfVars ou nomes de configuração do Hive diretamente
• [SPARK-47685] [SC-161566][sql] Restaure o suporte para Stream digitar Dataset#groupBy
• [SPARK-47646] [SC-161352][sql] Fazer try_to_number retornar NULL para entrada malformada
• [SPARK-47366] [SC-161324][python] Adicionar sinónimos parse_json para pyspark e dataframe
• [SPARK-47491] [SC-161176][core] Adicione slf4j-api jar ao caminho da classe primeiro antes dos outros do jars diretório
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty projeta resultados de comando localmente
• [SPARK-47364] [SC-158927][core] Avise PluginEndpoint quando os plugins respondem por mensagem unidirecional
• [SPARK-47280] [SC-158350][sql] Remova a limitação de fuso horário para ORACLE TIMESTAMP WITH TIMEZONE
• [SPARK-47551] [SC-161542][sql] Adicione variant_get expressão.
• [SPARK-47559] [SC-161255][sql] Suporte ao Codegen para variante parse_json
• [SPARK-47572] [SC-161351][sql] Enforce que o Window partitionSpec seja ordenável.
• [SPARK-47546] [SC-161241][sql] Melhorar a validação ao ler Variant do Parquet
• [SPARK-47543] [SC-161234][connect][PYTHON] Inferindo dict como MapType no Pandas DataFrame para permitir a criação de um DataFrame
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] Criar coluna com agrupamentos na API de dataframe
• [SPARK-47641] [SC-161376][sql] Melhorar o desempenho para UnaryMinus e Abs
• [SPARK-47631] [SC-161325][sql] Remover método não utilizado SQLConf.parquetOutputCommitterClass
• [SPARK-47674] [SC-161504][core] Ativar spark.metrics.appStatusSource.enabled por padrão
• [SPARK-47273] [SC-161162][ss][PYTHON] implementa a interface do gravador de fluxo de dados Python.
• [SPARK-47637] [SC-161408][sql] Use errorCapturingIdentifier em mais locais
• [SPARK-47497] Reverter o “Reverter “[SC-160724][sql] Tornar o to_csv capaz de suportar a saída de array/struct/map/binary como strings legíveis””
• [SPARK-47492] [SC-161316][sql] Expandir regras de espaço em branco no léxico
• [SPARK-47664] [SC-161475][python][CONNECT] Valide o nome da coluna com o esquema armazenado em cache
• [SPARK-47638] [SC-161339][ps][CONNECT] Ignorar validação de nome de coluna no PS
• [SPARK-47363] [SC-161247][ss] Estado inicial sem implementação de leitor de estado para API de estado v2.
• [SPARK-47447] [SC-160448][sql] Permitir a leitura do Parquet TimestampLTZ como TimestampNTZ
• [SPARK-47497] Revert "[SC-160724][sql] Fazer com que to_csv suporte a saída de array/struct/map/binary como strings bonitas"
• [SPARK-47434] [SC-160122][webui] Corrigir statistics link em StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] Strings cotadas em um caminho JSON devem suportar ? characters
• [SPARK-46915] [SC-155729][sql] Simplifique UnaryMinusAbs e alinhe a classe de erro
• [SPARK-47431] [SC-160919][sql] Adicionar agrupamento padrão no nível da sessão
• [SPARK-47620] [SC-161242][python][CONNECT] Adicionar uma função auxiliar para classificar colunas
• [SPARK-47570] [SC-161165][ss] Integre as alterações do codificador de varredura de intervalo com a implementação do temporizador
• [SPARK-47497] [SC-160724][sql] Faça to_csv suporte à saída de array/struct/map/binary como strings bonitas
• [SPARK-47562] [SC-161166][connect] Manipulação literal de fator fora de plan.py
• [SPARK-47509] [SC-160902][sql] Bloquear expressões de subconsulta em funções lambda e de ordem superior
• [SPARK-47539] [SC-160750][sql] Faça com que o valor de retorno do método castToString seja Any => UTF8String
• [SPARK-47372] [SC-160905][ss] Adicionar suporte para codificador de estado de chave baseado em varredura de intervalo para uso com provedor de armazenamento de estado
• [SPARK-47517] [SC-160642][core][SQL] Prefira Utils.bytesToString para exibição de tamanho
• [SPARK-47243] [SC-158059][ss] Corrija o nome do pacote de StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Suporta fontes de dados Python com o Spark Connect
• [SPARK-47521] [SC-160666][core] Usar Utils.tryWithResource durante a leitura de dados de repartição a partir de armazenamento externo
• [SPARK-47474] [SC-160522][core] Reverta SPARK-47461 e adicione alguns comentários
• [SPARK-47560] [SC-160914][python][CONNECT] Evite RPC para validar o nome da coluna com esquema armazenado em cache
• [SPARK-47451] [SC-160749][sql] Suporte para to_json(variante).
• [SPARK-47528] [SC-160727][sql] Adicionar suporte UserDefinedType a DataTypeUtils.canWrite
• [SPARK-44708] Reverter “[SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual”
• [SPARK-47506] [SC-160740][sql] Adicionar suporte a todos os formatos de origem de arquivo para tipos de dados agrupados
• [SPARK-47256] [SC-160784][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] Corrigir jar de recurso primário adicionado no spark.jars duas vezes no modo de cluster k8s
• [SPARK-47398] [SC-160572][sql] Extraia uma característica para InMemoryTableScanExec para permitir a extensão da funcionalidade
• [SPARK-47479] [SC-160623][sql] O Otimize não pode gravar dados em relações com o log de erros de vários caminhos
• [SPARK-47483] [SC-160629][sql] Adicione suporte para operações de agregação e junção em matrizes de cadeias de caracteres agrupadas
• [SPARK-47458] [SC-160237][core] Corrija o problema com o cálculo do máximo de tarefas simultâneas para o estágio de barreira
• [SPARK-47534] [SC-160737][sql] Mover o.a.s.variant para o.a.s.types.variant
• [SPARK-47396] [SC-159312][sql] Adicione um mapeamento geral para TIME WITHOUT TIME ZONE ao TimestampNTZType
• [SPARK-44708] [SC-160734][python] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Adicionar testes de inferência de esquema para marcas de valor
• [SPARK-47007] [SC-160630][sql] Adicione a MapSort expressão
• [SPARK-47523] [SC-160645][sql] Substituir preterido JsonParser#getCurrentName por JsonParser#currentName
• [SPARK-47440] [SC-160635][sql] Corrigir o envio de sintaxe não suportada para MsSqlServer
• [SPARK-47512] [SC-160617][ss] Tipo de operação de etiqueta usado com a aquisição e liberação de bloqueio de instância do armazenamento de estado RocksDB
• [SPARK-47346] [SC-159425][python] Torne o modo daemon configurável ao criar trabalhadores do planejador Python
• [SPARK-47446] [SC-160163][core] Avise BlockManager antes removeBlockInternal
• [SPARK-46526] [SC-156099][sql] Suporte LIMIT sobre subconsultas correlacionadas onde predicados apenas referenciam tabela externa
• [SPARK-47461] [SC-160297][core] Remover função totalRunningTasksPerResourceProfile privada de ExecutorAllocationManager
• [SPARK-47422] [SC-160219][sql] Suporte a cadeias de caracteres agrupadas em operações de array
• [SPARK-47500] [SC-160627][python][CONNECT] Manipulação do nome da coluna de fator fora de plan.py
• [SPARK-47383] [SC-160144][core] Configuração de suporte spark.shutdown.timeout
• [SPARK-47342] [SC-159049]Reverter "[SQL] Suporte TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE"
• [SPARK-47486] [SC-160491][connect] Remover método privado ArrowDeserializers.getString não utilizado
• [SPARK-47233] [SC-154486][connect][SS][2/2] Lógica de Cliente e Servidor para ouvinte de consulta em fluxo do lado do Cliente
• [SPARK-47487] [SC-160534][sql] Simplifique o código em AnsiTypeCoercion
• [SPARK-47443] [SC-160459][sql] Suporte para agregação de janela para ordenações
• [SPARK-47296] [SC-160457][sql][COLLATION] Falha em funções não suportadas para agrupamentos não binários
• [SPARK-47380] [SC-160164][connect] Certifique-se no lado do servidor de que o SparkSession é o mesmo
• [SPARK-47327] [SC-160069][sql] Mover teste de simultaneidade de chaves de classificação para CollationFactorySuite
• [SPARK-47494] [SC-160495][doc] Adicionar documento de migração para a mudança de comportamento da inferência de carimbo de data/hora do Parquet desde o Spark 3.3
• [SPARK-47449] [SC-160372][ss] Refatorar e dividir testes de unidade de lista/temporizador
• [SPARK-46473] [SC-155663][sql] Método de reutilização getPartitionedFile
• [SPARK-47423] [SC-160068][sql] Agrupamentos - Definir suporte de operação para cadeias de caracteres com agrupamentos
• [SPARK-47439] [SC-160115][python] Documente a API de fonte de dados Python na página de referência da API
• [SPARK-47457] [SC-160234][sql] Correção IsolatedClientLoader.supportsHadoopShadedClient para manipular o Hadoop 3.4+
• [SPARK-47366] [SC-159348][sql] Implementar parse_json.
• [SPARK-46331] [SC-152982][sql] Removendo CodegenFallback do subconjunto de expressões DateTime e expressão version()
• [SPARK-47395] [SC-159404] Adicionar classificação e ordenação a outras APIs
• [SPARK-47437] [SC-160117][python][CONNECT] Corrija a classe de erro para DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] Ouvinte SparkConnectListenerBus do lado do servidor para ouvinte de consultas de streaming no lado do cliente
• [SPARK-47324] [SC-158720][sql] Adicionar conversão de carimbo de data/hora ausente para tipos aninhados JDBC
• [SPARK-46962] [SC-158834][ss][PYTHON] Adicionar interface para API de fonte de dados de streaming python e implementar python worker para executar fonte de dados de streaming python
• [SPARK-45827] [SC-158498][sql] Mover verificações de tipo de dados para CreatableRelationProvider
• [SPARK-47342] [SC-158874][SQL] Suporte TimestampNTZ para DB2 TIMESTAMP COM FUSO HORÁRIO
• [SPARK-47399] [SC-159378][sql] Desativar colunas geradas em expressões com agrupamentos
• [SPARK-47146] [SC-158247][core] Possível fuga de threads ao realizar a junção de mesclagem por ordenação
• [SPARK-46913] [SC-159149][ss] Adicione suporte para temporizadores baseados em tempo de processamento/evento com o operador transformWithState
• [SPARK-47375] [SC-159063][sql] Adicionar diretrizes para o mapeamento de carimbos de data/hora em JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] Suporte TIMESTAMP COM FUSO HORÁRIO para H2Dialect
• [SPARK-45827] Reverter "[SC-158498][sql] Mover verificações de tipo de dados para ..."
• [SPARK-47208] [SC-159279][core] Permitir a substituição da memória de sobrecarga básica
• [SPARK-42627] [SC-158021][spark-26494][SQL] Suporte Oracle TIMESTAMP COM FUSO HORÁRIO LOCAL
• [SPARK-47055] [SC-156916][python] Atualização MyPy 1.8.0
• [SPARK-46906] [SC-157205][ss] Adicionar uma verificação para alteração de operador com estado para streaming
• [SPARK-47391] [SC-159283][sql] Remova a solução alternativa do caso de teste para JDK 8
• [SPARK-47272] [SC-158960][ss] Adicionar implementação MapState para State API v2.
• [SPARK-47375] [SC-159278][doc][FollowUp] Corrigir um erro no doc da opção preferTimestampNTZ do JDBC
• [SPARK-42328] [SC-157363][sql] Remover _LEGACY_ERROR_TEMP_1175 das classes de erro
• [SPARK-47375] [SC-159261][doc][FollowUp] Corrija a descrição da opção preferTimestampNTZ no documento JDBC
• [SPARK-47344] [SC-159146] Estenda INVALID_IDENTIFIER erro além de capturar '-' em um identificador não citado e corrija "IS ! «NULL» et al.
• [SPARK-47340] [SC-159039][sql] Altere "collate" em StringType typename para minúsculas
• [SPARK-47087] [SC-157077][sql] Aumentar a exceção do Spark com uma classe de erro na verificação do valor de configuração
• [SPARK-47327] [SC-158824][sql] Corrigir problema de segurança de thread no Collator da UTI
• [SPARK-47082] [SC-157058][sql] Corrigir condição de erro fora dos limites
• [SPARK-47331] [SC-158719][ss] Serialização usando classes de caso/primitivos/POJO com base no codificador SQL para API de Estado Arbitrário v2.
• [SPARK-47250] [SC-158840][ss] Adicione validações adicionais e alterações NERF para o provedor de estado RocksDB e uso de famílias de colunas
• [SPARK-47328] [SC-158745][sql] Renomear a ordenação UCS_BASIC para UTF8_BINARY
• [SPARK-47207] [SC-157845][core] Suporte para spark.driver.timeout e DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] Adicionar documento de migração: inferência de tipo TimestampNTZ em ficheiros Parquet
• [SPARK-47309] [SC-158827][sql][XML] Adicionar testes de unidade de inferência de esquema
• [SPARK-47295] [SC-158850][sql] Adicionado ICU StringSearch para as funções startsWith e endsWith
• [SPARK-47343] [SC-158851][sql] Corrigir o NPE quando o valor da variável é uma cadeia de caracteres nula na execução imediata
• [SPARK-46293] [SC-150117][connect][PYTHON] Usar protobuf dependência transitiva
• [SPARK-46795] [SC-154143][sql] Substituir UnsupportedOperationException por SparkUnsupportedOperationException in sql/core
• [SPARK-46087] [SC-149023][python] Sincronize dependências do PySpark em documentos e requisitos de desenvolvimento
• [SPARK-47169] [SC-158848][sql] Desativar bucketing em colunas agrupadas
• [SPARK-42332] [SC-153996][sql] Alterando a necessidade para uma SparkException em ComplexTypeMergingExpression
• [SPARK-45827] [SC-158498][sql] Mover verificações de tipo de dados para CreatableRelationProvider
• [SPARK-47341] [SC-158825][connect] Substitua comandos por relações em alguns testes no SparkConnectClientSuite
• [SPARK-43255] [SC-158026][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2020 por um erro interno
• [SPARK-47248] [SC-158494][sql][COLLATION] Suporte melhorado à função string: contém
• [SPARK-47334] [SC-158716][sql] Fazer withColumnRenamed reutilizar a implementação de withColumnsRenamed
• [SPARK-46442] [SC-153168][sql] DS V2 suporta push down PERCENTILE_CONT e PERCENTILE_DISC
• [SPARK-47313] [SC-158747][sql] Adicionado tratamento de scala.MatchError dentro de QueryExecution.toInternalError
• [SPARK-45827] [SC-158732][sql] Adicionar variantes de tipo singleton para Java
• [SPARK-47337] [SC-158743][sql][DOCKER] Atualize a versão da imagem docker do DB2 para 11.5.8.0
• [SPARK-47302] [SC-158609][sql] Agrupar palavra-chave como identificador
• [SPARK-46817] [SC-154196][core] Corrija spark-daemon.sh o uso adicionando decommission o comando
• [SPARK-46739] [SC-153553][sql] Adicione a classe de erro UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] Adicione o COLLATION_ENABLED sinalizador de configuração
• [SPARK-46774] [SC-153925][sql][AVRO] Use mapreduce.output.fileoutputformat.compress em vez de mapred.output.compress preterido em trabalhos de gravação de Avro
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Tempo limite se o trabalhador não se conectar novamente.
• [SPARK-46835] [SC-158355][sql][Agrupamentos] Junte-se ao suporte para agrupamentos não-binários
• [SPARK-47131] [SC-158154][sql][COLLATION] Suporte à função string: contém, começa com, termina com
• [SPARK-46077] [SC-157839][sql] Considere o tipo gerado por TimestampNTZConverter em JdbcDialect.compileValue.
• [SPARK-47311] [SC-158465][sql][PYTHON] Suprimir exceções do Python onde o PySpark não está no caminho do Python
• [SPARK-47319] [SC-158599][sql] Melhorar o cálculo missingInput
• [SPARK-47316] [SC-158606][sql] Corrigir timestampNTZ no Postgres Array
• [SPARK-47268] [SC-158158][sql][Collations] Suporte para repartição com agrupamentos
• [SPARK-47191] [SC-157831][sql] Evite pesquisas de relação desnecessárias ao remover do cache tabela/view
• [SPARK-47168] [SC-158257][sql] Desativar a pressão do filtro de parquet ao trabalhar com cadeias de caracteres agrupadas não padrão
• [SPARK-47236] [SC-158015][core] Correção deleteRecursivelyUsingJavaIO para ignorar a entrada de arquivo não existente
• [SPARK-47238] [SC-158466][sql] Reduza o uso de memória do executor tornando o código gerado no WSCG uma variável de difusão
• [SPARK-47249] [SC-158133][connect] Corrigir bug em que todas as execuções de conexão são consideradas abandonadas, independentemente de seu status real
• [SPARK-47202] [SC-157828][python] Corrigir erro de digitação que afeta datas e horas com tzinfo
• [SPARK-46834] [SC-158139][sql][Collations] Suporte para agregações
• [SPARK-47277] [SC-158351][3.5] PySpark util function assertDataFrameEqual não deve suportar streaming DF
• [SPARK-47155] [SC-158473][python] Corrigir problema de classe de erro
• [SPARK-47245] [SC-158163][sql] Melhorar o código de erro para INVALID_PARTITION_COLUMN_DATA_TYPE
• [SPARK-39771] [SC-158425][core] Adicione uma mensagem de aviso em Dependency quando um número demasiado grande de blocos de shuffle tiver de ser criado.
• [SPARK-47277] [SC-158329] PySpark util function assertDataFrameEqual não deve suportar streaming DF
• [SPARK-47293] [SC-158356][core] Crie batchSchema com sparkSchema em vez de acrescentar um por um
• [SPARK-46732] [SC-153517][connect]Faça o thread Subquery/Broadcast funcionar com o gerenciamento de artefatos do Connect
• [SPARK-44746] [SC-158332][python] Adicione mais documentação Python UDTF para funções que aceitam tabelas de entrada
• [SPARK-47120] [SC-157517][sql] Propagação de comparação nula em filtro de dados de subconsulta produz NPE no filtro Parquet
• [SPARK-47251] [SC-158291][python] Bloquear tipos inválidos do args argumento para sql comando
• [FAÍSCA-47251] Reverter "[SC-158121][python] Bloquear tipos inválidos do argumento para o comando args"
• [SPARK-47015] [SC-157900][sql] Desativar particionamento em colunas agrupadas
• [SPARK-46846] [SC-154308][core] Fazer com que WorkerResourceInfo estenda Serializable explicitamente
• [SPARK-46641] [SC-156314][ss] Adicionar limite maxBytesPerTrigger
• [SPARK-47244] [SC-158122][connect] SparkConnectPlanner tornar as funções internas privadas
• [SPARK-47266] [SC-158146][connect] Faça ProtoUtils.abbreviate retornar o mesmo tipo da entrada
• [SPARK-46961] [SC-158183][ss] Usando ProcessorContext para armazenar e recuperar identificador
• [SPARK-46862] [SC-154548][sql] Desativar a remoção de coluna CSV no modo de várias linhas
• [SPARK-46950] [SC-155803][core][SQL] Alinhar not available codec classe de erro
• [SPARK-46368] [SC-153236][core] Suporte readyz na API de envio REST
• [SPARK-46806] [SC-154108][python] Melhorar a mensagem de erro para spark.table quando o tipo de argumento está errado
• [SPARK-47211] [SC-158008][connect][PYTHON] Corrigir a ordenação de cadeias de caracteres ignorada no PySpark Connect
• [SPARK-46552] [SC-151366][sql] Substituir UnsupportedOperationException por SparkUnsupportedOperationException in catalyst
• [SPARK-47147] [SC-157842][python][SQL] Corrigir erro de conversão de cadeia de caracteres agrupada PySpark
• [SPARK-47144] [SC-157826][connect][SQL][python] Corrija o erro de agrupamento do Spark Connect adicionando o campo protobuf collateId
• [SPARK-46575] [SC-153200][sql][HIVE] Permita que HiveThriftServer2.startWithContext DevelopApi seja passível de recuperação e corrija a instabilidade de ThriftServerWithSparkContextInHttpSuite
• [SPARK-46696] [SC-153832][core] Em ResourceProfileManager, chamadas de função devem ocorrer após declarações de variáveis
• [SPARK-47214] [SC-157862][python] Crie a API UDTF para o método 'analyze' para diferenciar argumentos NULL constantes e outros tipos de argumentos
• [SPARK-46766] [SC-153909][sql][AVRO] Suporte a pool de buffer ZSTD para fonte de dados AVRO
• [SPARK-47192] [SC-157819] Converter alguns erros _LEGACY_ERROR_TEMP_0035
• [SPARK-46928] [SC-157341][ss] Adicione suporte para ListState na API de estado arbitrário v2.
• [SPARK-46881] [SC-154612][core] Suporte spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] Suporte spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] Corrija o bug que usa o codec de compressão de parquet incorreto lz4raw
• [SPARK-46791] [SC-154018][sql] Suporte a Java Set em JavaTypeInference
• [SPARK-46332] [SC-150224][sql] Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] Fazer com que o valor padrão do tipo mais amplo, literal estreito de v2, se comporte da mesma forma que em v1
• [SPARK-46664] [SC-153181][core] Melhore Master para recuperar rapidamente em caso de zero trabalhadores e aplicativos
• [SPARK-46759] [SC-153839][sql][AVRO] Codec xz e zstandard suportam nível de compressão para arquivos avro

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixar ODBC, baixar JDBC).

Consulte atualizações de manutenção do Databricks Runtime 15.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.4 LTS
• Java : Zulu 8.74.0.17-CA-linux64
• Escala: 2.12.15
• Píton: 3.11.0
• R: 4.3.2
• Lago Delta: 3.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)