Databricks Runtime 16.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.2, alimentado pelo Apache Spark 3.5.2.

O Databricks lançou esta versão em fevereiro de 2025.

Alterações comportamentais

O ANALYZE agora ignora colums com tipos sem suporte

ANALYZE TABLE não resulta mais em uma mensagem de erro quando executada em uma tabela com tipos sem suporte, como ARRAY ou MAP. As colunas sem suporte agora são ignoradas automaticamente. Os usuários que implementaram a lógica que espera esses erros devem atualizar seu código.

No Compartilhamento Delta, o histórico de tabelas é habilitado por padrão

Os compartilhamentos criados usando o comando SQL ALTER SHARE <share> ADD TABLE <table> agora têm o compartilhamento de histórico (WITH HISTORY) habilitado por padrão. Consulte ALTER SHARE.

Instruções SQL de credencial retornam um erro quando há uma incompatibilidade de tipo de credencial

Com essa versão, se o tipo de credencial especificado em uma instrução SQL de gerenciamento de credenciais não corresponder ao tipo do argumento de credencial, um erro será retornado e a instrução não será executada. Por exemplo, para a instrução DROP STORAGE CREDENTIAL 'credential-name', se credential-name não for uma credencial de armazenamento, a instrução falhará com um erro.

Essa alteração é feita para ajudar a evitar erros do usuário. Anteriormente, essas instruções eram executadas com êxito, mesmo que fosse passada uma credencial que não correspondesse ao tipo de credencial especificado. Por exemplo, a instrução a seguir removeria storage-credentialcom êxito: DROP SERVICE CREDENTIAL storage-credential.

Essa mudança afeta as seguintes declarações:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… EM... CREDENCIAL
• REVOKE… EM... CREDENCIAL
• SHOW GRANTS SOBRE... CREDENCIAL

Novos recursos e aprimoramentos

• Criar aplicativos personalizados com estado com transformWithState
• Autenticar no armazenamento de objetos de nuvem com credenciais de serviço
• Agora, o acesso controlado pelo Catálogo do Unity nos serviços de nuvem externos que usam as credenciais de serviço está em disponibilidade geral
• Há suporte para notebooks como arquivos de workspace
• Usar as timestampdiff expressões de coluna & timestampadd in geradas
• Suporte para sintaxe de pipeline do SQL
• Fazer solicitação HTTP usando a http_request função
• Atualizar para DESCRIBE TABLE retornar metadados como JSON estruturado
• Agrupamentos insensíveis em branco à direita
• Converter tabelas do Apache Iceberg com particionamento de bucket em tabelas Delta não particionadas
• A computação do modo de acesso padrão (antigo modo de acesso compartilhado) agora dá suporte aos métodos foreachforeachBatchDo Spark Scala eflatMapGroupsWithState

Criar aplicativos personalizados com estado com transformWithState

Agora você pode usar transformWithState e apIs relacionadas para implementar aplicativos com estado personalizados como parte de consultas de Streaming Estruturado. Consulte Criar um aplicativo com estado personalizado.

Autenticar no armazenamento de objetos de nuvem com credenciais de serviço

Agora você pode usar as credenciais de serviço do Databricks para autenticar no armazenamento de objetos de nuvem com o Carregador Automático. Consulte Configurar fluxos do Carregador Automático no modo de notificação de arquivo.

O acesso controlado pelo Catálogo do Unity a serviços de nuvem externos usando credenciais de serviço agora é GA

As credenciais de serviço habilitam a autenticação simples e segura com os serviços do locatário de nuvem do Azure Databricks. Com o Databricks Runtime 16.2, as credenciais de serviço geralmente estão disponíveis e agora dão suporte a SDKs do Scala, além do SDK do Python com suporte na Visualização Pública. Consulte Criar credenciais de serviço.

Há suporte para notebooks como arquivos de workspace

No Databricks Runtime 16.2 e superior, há suporte para notebooks como arquivos de workspace. Agora você pode interagir programaticamente com notebooks de qualquer lugar em que o sistema de arquivos do workspace esteja disponível, incluindo escrever, ler e excluir blocos de anotações como qualquer outro arquivo. Para saber mais, consulte Programaticamente criar, atualizar e excluir arquivos e diretórios.

Usar o timestampdiff & timestampadd em expressões de coluna geradas

No Databricks Runtime 16.2 e superior, você pode usar as funções timestampdiff e timestampadd em expressões de coluna geradas pelo Delta Lake. Confira Colunas geradas pelo Delta Lake.

Suporte para a sintaxe dos pipelines do SQL

No Databricks Runtime 16.2 e superior, você pode redigir pipelines SQL. Um pipeline do SQL estrutura uma consulta padrão, como SELECT c2 FROM T WHERE c1 = 5, em uma sequência passo a passo, conforme mostrado no exemplo a seguir:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Para saber mais sobre a sintaxe com suporte para pipelines SQL, consulte SQL Pipeline Syntax.

Para obter informações básicas sobre essa extensão intersetorial, consulte O SQL tem problemas. Podemos corrigi-los: Sintaxe de pipe no SQL (por Google Research).

Fazer solicitação HTTP usando a http_request função

No Databricks Runtime 16.2 e superior, você pode criar conexões HTTP e, por meio delas, fazer solicitações HTTP usando a função http_request .

Atualizar para DESCRIBE TABLE retorna metadados como JSON estruturado

No Databricks Runtime 16.2 e superior, você pode usar o DESCRIBE TABLE AS JSON comando para retornar metadados de tabela como um documento JSON. A saída JSON é mais estruturada do que o relatório legível por humanos padrão e pode ser usada para interpretar o esquema de uma tabela programaticamente. Para saber mais, consulte DESCRIBE TABLE AS JSON.

Ordenações que não diferenciam branco à direita

O Databricks Runtime 16.2 adiciona suporte para agrupamentos insensíveis à direita, adicionando ao suporte de ordenação adicionado ao Databricks Runtime 16.1. Por exemplo, essas colações tratam 'Hello' e 'Hello ' como sendo iguais. Para saber mais, consulte Ordenação RTRIM.

Converter tabelas do Apache Iceberg com particionamento de bucket em tabelas Delta não particionadas

As CONVERT TO DELTA instruções e CREATE TABLE CLONE agora dão suporte à conversão de uma tabela Apache Iceberg com particionamento de bucket em uma tabela Delta não particionada.

A computação do modo de acesso padrão (antigo modo de acesso compartilhado) agora dá suporte aos métodos foreachforeachBatchDo Spark Scala eflatMapGroupsWithState

No Databricks Runtime 16.2 e superior, a computação do modo de acesso padrão agora dá suporte aos métodos DataStreamWriter.foreachBatch Scala e KeyValueGroupedDataset.flatMapGroupsWithState. No Databricks Runtime 16.1 e superior, a computação do modo de acesso padrão agora dá suporte ao método DataStreamWriter.foreachScala.

Correções

Processamento do clone incremental aprimorado

Esta versão inclui uma correção para um caso extremo em que um CLONE incremental pode recopiar arquivos já copiados de uma tabela de origem para uma tabela de destino. Consulte Clonar uma tabela no Azure Databricks.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • org.json4s.json4s-ast_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 a 4.0.7

Apache Spark

O Databricks Runtime 16.2 inclui o Apache Spark 3.5.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.1 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-49966] Reverter "[SC-179501][sql] Usar Invoke para implementar JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Correção da execução da consulta do andador de expressão de ordenação
• [SPARK-49666] [SQL] Habilitar testes de corte para a expressão InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Alterar a assinatura da expressão TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Carimbo de data/hora da Loja como long tipo no describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Adicionar o fuso horário ao converter em carimbo de data/hora em V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Falha em ExecuteResponseObserver resulta em solicitações de reanexação infinita
• [SPARK-50522] [SC-186500][sql] Suporte para ordenação indeterminada
• [SPARK-50525] [SC-186058][sql] Definir a Regra do Otimizador InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Expressões comuns duplicadas em diferentes Com devem ser projetadas apenas uma vez
• [SPARK-50847] [SC-186916] [SQL] Negar a aplicação de ApplyCharTypePadding em expressões específicas
• [SPARK-50714] [SC-186786][sql][SS] Habilitar a evolução do esquema para TransformWithState quando a codificação Avro é usada
• [SPARK-50795] [SC-186390][sql] Exibir todas as datas DESCRIBE AS JSON no formato ISO-8601 e tipos como dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Aprimorar a coerção do tipo e a verificação de limites para a função SQL UNIFORME
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog dá builtin suporte a valor mágico
• [SPARK-50831] [SC-186736][sql] Habilitar a ordenação de corte por padrão
• [SPARK-50263] [SC-186793][conectar] Substituir System.currentTimeMillis por System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementar CreateSQLFunctionCommand para Funções Escalares e de Tabela SQL
• [SPARK-50830] [SC-186718] [SQL] Retornar resultado de passe único como o resultado da análise de execução dupla
• [SPARK-50707] [SC-186098][sql] Habilitar a conversão para/de char/varchar
• [SPARK-49490] [SC-182137][sql] Adicionar parâmetros de comparação para o initCap
• [SPARK-50529] [SC-184535][sql] Alterar o comportamento char/varchar sob a spark.sql.preserveCharVarcharTypeInfo configuração
• [SPARK-49632] [SC-184179][sql] Remova a sugestão de configuração ANSI no CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Corrigir bug em que passar variantes nulas no createDataFrame faz com que ele falhe e adicione suporte variant em createDataFrame no Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Preterir pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Conjunto analisado sobre falha na análise
• [SPARK-50824] [SC-186472][python] Evite importar pacotes opcionais do Python para verificação
• [SPARK-50755] [SC-185521][sql] Exibição de plano bonita para InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] As entradas para agregações tipadas devem ser analisadas
• [SPARK-50791] [SC-185867][sc-186338][SQL] Corrigir NPE no tratamento de erros do Repositório de Estado
• [SPARK-50801] [SC-186365] [SQL] Aprimorar PlanLogger.logPlanResolution para que ele mostre apenas planos não resolvidos e resolvidos
• [SPARK-50749] [SC-185925][sql] Corrigir bug de ordenação no método CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonicalize o nome e o layout do arquivo de resultados do criador de perfil JVM no DFS
• [SPARK-50790] [SC-186354][python] Implementar json de análise no pyspark
• [SPARK-50738] [SC-184856][python] Atualizar preto para 23.12.1
• [SPARK-50764] [SC-185930][python] Refinar a docstring de métodos relacionados ao xpath
• [SPARK-50798] [SC-186277][sql] Aprimorar NormalizePlan
• [SPARK-49883] [SC-183787][ss] Integração da Estrutura de Checkpoint da State Store V2 com RocksDB e RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Adicionando sinalizador de recurso para ordenações no nível do objeto
• [SPARK-50778] [SC-186183][python] Adicionar metadadosColumn ao PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Aprimorar aliases de expressão gerada automaticamente com operadores SQL de pipe
• [SPARK-50541] [16.x][sc-184937] Descrever tabela como JSON
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Manter aliases de tabela após SET, EXTEND, operadores DROP
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizar a diferença de código Delta com a DBR
• [SPARK-50752] [SC-185547][python][SQL] Introduza configurações para ajustar o UDF do Python sem seta
• [SPARK-50705] [SC-185944][sql] Tornar QueryPlan sem bloqueio
• [SPARK-50690] [16.x][sc-184640][SQL] Corrigir discrepância nas DESCRIBE TABLE colunas de saída da consulta de exibição entre aspas
• [SPARK-50746] [SC-184932][sql] Substitua por VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder define as configurações em lote
• [SPARK-50480] [SC-183359][sql] Estender CharType e VarcharType de StringType
• [SPARK-50675] [SC-184539][sql] Suporte a ordenações de nível de tabela e exibição
• [SPARK-50409] [SC-184516][sql] Correção da instrução set para ignorar ; no final de SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalize IDs CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] As entradas para TypedScalaUdf devem ser analisadas
• [SPARK-50744] [SC-184929][sql] Adicionar um caso de teste para precedência de resolução de nome de exibição/CTE
• [SPARK-50710] [SC-184767][connect] Adicionar suporte para reconexão opcional do cliente às sessões após a versão
• [SPARK-50703] [SC-184843][python] Refinar a docstring de regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Corrigir a lógica de limpeza para links simbólicos no JavaUtils.deleteRecursivelyUsingJavaIO método
• [SPARK-50630] [SC-184443][sql] Corrigir GROUP BY suporte ordinal para operadores DE AGREGAÇÃO DE SQL de pipe
• [SPARK-50614] [SC-184729][sql] Adicionar suporte de fragmentação Variant para Parquet
• [SPARK-50661] [SASP-4936] Adicionar compatibilidade com versões anteriores para FEB do cliente antigo.
• [SPARK-50676] [SC-184641][sql] Remover não utilizado private lazy val mapValueContainsNullElementAt
• [SPARK-50515] [SC-183813][core] Adicionar interface somente leitura a SparkConf
• [SPARK-50697] [SC-184702][sql] Habilitar a recursão final sempre que possível
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrigir o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não houver estado inicial
• [SPARK-50701] [SC-184704][python] Fazer plotagem exigir a versão de plotagem mínima
• [SPARK-50702] [SC-184727][python] Refinar a docstring de regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Expor métricas do BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Adicionar suporte a pushdown do RPAD
• [SPARK-50682] [SC-184579][sql] O alias interno deve ser canonizado
• [SPARK-50699] [SC-184695][python] Analisar e gerar cadeia de caracteres DDL com uma sessão especificada
• [SPARK-50573] [SC-184568][ss] Adicionando id de esquema de estado a linhas de estado à evolução do esquema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correção do Spark Connect Scala foreachBatch impl. para dar suporte ao conjunto de dados[T].
• [SPARK-50689] [SC-184591][sql] Impor ordenação determinística em listas de projetos LCA
• [SPARK-50696] [SC-184667][python] Otimizar chamada Py4J para método de análise de DDL
• [SPARK-49670] [SC-182902][sql] Habilitar ordenação de corte para todas as expressões de passagem
• [SPARK-50673] [SC-184565][ml] Evite atravessar coeficientes de modelo duas vezes no Word2VecModel construtor
• [SPARK-50687] [SC-184588][python] Otimize a lógica para obter rastreamentos de pilha para DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Armazene o esquema analisado para MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Correção da verificação da existência do método 'terminate' na avaliação UDTF
• [SPARK-50684] [SC-184582][python] Melhorar o desempenho de Py4J no DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Adicionar suporte para a nova versão dos metadados de estado para TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Corrigir transposição para mostrar uma mensagem de erro adequada quando colunas de índice inválidas são especificadas
• [SPARK-50650] [SC-184532][sql] Melhorar o registro em log no Analisador de passagem única
• [SPARK-50665] [SC-184533][sql] Substituir LocalRelation por ComparableLocalRelation em NormalizePlan
• [SPARK-50644] [SC-184486][sql] Ler struct variant no leitor Parquet.
• [SPARK-49636] [SC-184089][sql] Remova a sugestão de configuração ANSI em INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refatorar cálculo de saída da União para reutilizá-lo no Analisador de única passagem.
• [SPARK-50659] [SC-184512][sql] Mover erros relacionados à União para QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Corrigir cálculo de contexto de tipo de cadeia de caracteres implícita incorreta
• [SPARK-50546] [SC-183807][sql] Adicionar suporte de conversão de subconsultas à coerção do tipo de ordenação
• [SPARK-50405] [SC-182889][sql] Manipular coerção de tipo de ordenação de tipos de dados complexos corretamente
• [SPARK-50637] [SC-184434][sql] Corrigir o estilo de código para o Analisador de passagem única
• [SPARK-50638] [SC-184435][sql] Refatorar a resolução de exibição para o arquivo separado para reutilizá-la no Analisador de passagem única
• [SPARK-50615] [SC-184298][sql] Empurrar variante na varredura.
• [SPARK-50619] [SC-184210][sql] Refatorar VariantGet.cast para empacotar os argumentos de conversão
• [SPARK-50599] [SC-184058][sql] Criar a característica do DataEncoder que permite a codificação Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Corrigir teclas de log
• [SPARK-50597] [SC-183972][sql] Refatorar a construção em lote em Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Habilitar a caixa de alteração para armazenar informações de linhagem
• [SPARK-50526] [SC-183811][ss] Adicionar configuração de formato de codificação do repositório ao log de deslocamento e impedir que operadores com estado sem suporte usem avro
• [SPARK-50540] [SC-183810][python][SS] Corrigir esquema de cadeia de caracteres para StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Usando SQLConf fornecido primeiro pelo SparkSession.
• [SPARK-48898] [SC-183793][sql] Definir a nulidade corretamente no esquema Variant
• [SPARK-50559] [SC-183814][sql] Armazenar saídas de Exceto, Intersecção e União como valores preguiçosos
• [SPARK-48416] [SC-183643][sql] Suporte aninhado com expressão
• [SPARK-50428] [SC-183566][ss][PYTHON] Suporte a TransformWithStateInPandas em consultas em lote
• [SPARK-50063] [SC-183350][sql][CONNECT] Adicionar suporte para Variant no cliente Do Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementar StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Corrigindo erros de build do Maven introduzidos pelo cache Guava no RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Corrigir bug em que blocos BEGIN END vazios geram um erro
• [SPARK-50536] [SC-183443][core] O log baixou tamanhos de arquivo morto dentro e dentro SparkContextExecutor
• [SPARK-45891] [SC-183439][sql] Recompilar binário variante de dados desfiados.
• [SPARK-49565] [SC-183465][sql] Adicionar sintaxe de pipe SQL para o operador FROM
• [SPARK-50497] [SC-183338][sql] Falhar consultas com mensagem adequada se MultiAlias contiver função não-geradora
• [SPARK-50460] [SC-183375][python][CONNECT] Generalize e simplifique o tratamento de exceções do Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Corrigir a opção de compactação que está sendo substituída em df.write.parquet
• [SPARK-50329] [SC-183358][sql] fix InSet$toString
• [SPARK-50524] [SC-183364][sql] Mensagem de aviso inferior RowBasedKeyValueBatch.spill ao nível de depuração
• [SPARK-50528] [SC-183385][conectar] Mover InvalidCommandInput para o módulo comum
• [SPARK-50017] [SC-182438][ss] Suporte à codificação Avro para o operador TransformWithState
• [SPARK-50463] [SC-182833][sql] Correção ConstantColumnVector com a conversão Columnar to Row
• [SPARK-50235] [SC-180786][sql] Limpar o recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Corrigir o teste relacionado ao estado de inicialização para usar StreamManualClock
• [SPARK-50478] [SC-183188][sql] Corrigir a correspondência stringType
• [SPARK-50492] [SC-183177][ss] Corrigir java.util.NoSuchElementException quando a coluna de hora do evento é descartada após dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Adicionar sintaxe de pipe SQL para o SET operador
• [SPARK-50449] [SC-183178][sql] Corrigir gramática de script SQL permitindo corpos vazios para loops, SE e CASE
• [SPARK-50251] [SC-180970][python] Adicionar getSystemProperty ao PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Correção da configuração de memória relacionada ao executor incorreta quando vários perfis de recurso funcionavam
• [SPARK-49461] [SC-179572][ss] ID de ponto de verificação persistente para confirmar logs e lê-la de volta
• [SPARK-50343] [SC-183119][spark-50344][SQL] Adicionar sintaxe de pipe SQL para os operadores DROP e AS
• [SPARK-50481] [SC-182880][core] Melhorar SortShuffleManager.unregisterShuffle para ignorar a lógica do arquivo de soma de verificação se a soma de verificação estiver desabilitada
• [SPARK-50498] [SC-183090][python] Evite chamadas py4j desnecessárias em listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Corrigir a autojunção após applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fixe push-down do xor

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 16.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.1 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Bibliotecas do Python instaladas

Bibliotecas do R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)