Databricks Tempo de execução 13.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, alimentado pelo Apache Spark 3.4.1.

A Databricks lançou esta versão em agosto de 2023.

Novos recursos e melhorias

• Suporte Scala para clusters compartilhados
• A lista de permissões para scripts de inicialização, JARs e coordenadas Maven em clusters padrão do Unity Catalog (anteriormente clusters compartilhados) está em Visualização Pública
• O suporte a volumes para scripts de inicialização e JARs está em Pré-visualização Pública
• Conversões seguras ativadas por predefinição para operações Delta Lake
• Introdução de tags com o Unity Catalog
• O Databricks Runtime retornará um erro se um arquivo for modificado entre o planejamento da consulta e a invocação
• Substituir esquema de bloco ao usar substituições de partição dinâmica
• Integre a API copyFile em dbutils.fs.cp
• Suporte ao driver ODBC/JDBC do Databricks
• Suporte para marcadores de parâmetros sem nome (posicionais)
• Ativar rotulagem de colunas de séries cronológicas
• Novas funções SQL bitmap
• Funções de encriptação melhoradas
• Suporte do Catálogo Unity para REFRESH FOREIGN
• INSERT PELO NOME
• Partilhe vistas materializadas com a Delta Sharing

Suporte Scala para clusters compartilhados

Os clusters compartilhados habilitados para Unity Catalog agora suportam Scala, ao usar o Databricks Runtime 13.3 e superior.

A lista de permissões para scripts de inicialização, JARs e coordenadas Maven em clusters padrão do Unity Catalog (anteriormente clusters compartilhados) está em Visualização Pública

Agora você pode usar o Unity Catalog allowlist para controlar a instalação de scripts de inicialização, JARs e coordenadas Maven na computação com o modo de acesso padrão que executa o Databricks Runtime 13.3 e superior. Consulte bibliotecas de Lista de Permissões e scripts de inicialização em computadores com o modo de acesso padrão (anteriormente modo de acesso compartilhado).

O suporte a volumes para scripts init e JARs está em Visualização Pública

Agora você pode usar os volumes do Unity Catalog para armazenar scripts de inicialização e JARs em computação com modos de acesso dedicados ou padrão executando o Databricks Runtime 13.3 e superior. Consulte Onde os scripts init podem ser instalados? e Bibliotecas com Escopo de Computação.

Conversões seguras ativadas por predefinição para operações Delta Lake

Delta UPDATE e MERGE operações agora resultam em um erro quando os valores não podem ser convertidos com segurança para o tipo no esquema da tabela de destino. Todos os elencos implícitos no Delta agora seguem spark.sql.storeAssignmentPolicy em vez de spark.sql.ansi.enabled. Consulte Conformidade ANSI em Databricks Runtime.

Apresentando tags com o Unity Catalog

Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar tags aos seus objetos protegíveis. As tags ajudam a organizar objetos protegíveis e simplificam a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags a objetos securizáveis do Unity Catalog.

O Databricks Runtime retornará um erro se um arquivo for modificado entre o planejamento da consulta e a invocação

As consultas do Databricks Runtime agora retornam um erro se um arquivo for atualizado entre o planejamento e a chamada da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre esses estágios, o que ocasionalmente levava a resultados imprevisíveis.

Impedir a substituição do esquema ao usar substituições dinâmicas de partição

Não é possível definir overwriteSchema para true em combinação com substituições de partição dinâmica no Delta Lake. Isso evita possíveis danos na tabela devido à incompatibilidade de esquema. Consulte Substituições de partição dinâmica.

Integre a API copyFile em dbutils.fs.cp

O comando dbutils copy, dbutils.fs.cp agora está otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, inclusive para montagens de Volumes de Catálogo Unity e do Sistema de Arquivos Databricks.

Suporte ao driver ODBC/JDBC do Databricks

O Azure Databricks suporta drivers ODBC e JDBC lançados nos últimos 2 anos. Baixe o driver mais recente em Download ODBC Driver e Download JDBC Driver.

Suporte para marcadores de parâmetros sem nome (posicionais)

A SparkSession.sql() API agora suporta consultas parametrizadas usando a ? sintaxe, além de consultas parametrizadas usando a :parm sintaxe. Consulte os marcadores de parâmetro.

Ativar rotulagem de colunas de séries cronológicas

Agora você pode rotular colunas de séries cronológicas ao criar restrições de chave primária.

Novas funções SQL bitmap

O Azure Databricks agora forneceu um conjunto de funções que podem ser usadas para mapear valores numéricos integrais em um bitmap e agregá-los. Isso pode ser usado para pré-calcular o número de valores distintos.

• bitmap_bit_position
• número_do_recipiente_de_bitmap
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Funções de encriptação melhoradas

As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram melhoradas com suporte para vetores de inicialização (IV) e dados adicionais autenticados (AAD).

Suporte do Catálogo Unity para REFRESH FOREIGN

Agora você pode atualizar catálogos, esquemas e tabelas estrangeiros no Unity Catalog usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAe REFRESH FOREIGN TABLE. Ver REFRESH FOREIGN (CATALOG, SCHEMAe TABLE).

INSERT PELO NOME

Ao inserir linhas numa tabela, agora pode deixar que o Azure Databricks mapeie automaticamente as colunas e campos na consulta de origem para as colunas da tabela pelo seu nome. Veja INSERT INTO.

Partilhe vistas materializadas com a Delta Sharing

A ALTER SHARE declaração agora suporta visões materializadas.

Alterações interruptivas

Alterações na conversão implícita ao armazenar linhas numa tabela com MERGE INTO e UPDATE

O Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy para transmissão implícita ao armazenar linhas em uma tabela. O valor ANSI padrão gera um erro ao armazenar valores que transbordam. Anteriormente, os valores eram armazenados como NULL padrão.

Como no exemplo a seguir, pode resolver excessos reescrevendo a tabela para utilizar um tipo de dados mais amplo para a coluna que causa o erro.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Alterações na inferência do esquema de Parquet

Ao inferir esquemas de arquivos Parquet não escritos pelo Spark, as colunas de timestamp anotadas com int64 terão agora como tipo padrão isAdjustedToUTC=false. Anteriormente, estes eram inferidos como TIMESTAMP tipo. Esta atualização melhora a precisão do mapeamento de tipos de Parquet para os tipos de Spark SQL.

Como resultado, a leitura de dados de arquivos Parquet externos em uma tabela Delta pode levar a um erro se o timestampNtz recurso não estiver habilitado. O erro será exibido da seguinte forma:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para manter o comportamento anterior e evitar esse erro, você pode definir o parâmetro spark.sql.parquet.inferTimestampNTZ.enabled de configuração do Spark como false.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • depuração de 1.5.1 a 1.6.0
  • distlib de 0.3.6 a 0.3.7
  • fastjsonschema de 2.16.3 a 2.18.0
  • filelock de 3.12.0 a 3.12.2
• Bibliotecas R atualizadas:
  • SparkR de 3.4.0 a 3.4.1
• Bibliotecas Java atualizadas:
  • org.apache.orc.orc-core de 1.8.3-shaded-protobuf para 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf para 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
  • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuação de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.xerial.snappy.snappy-java de 1.1.8.4 a 1.1.10.1

Apache Spark

O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• Agora você pode definir a variável SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 de ambiente de cluster para usar o conector Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] Rever “[SC-133100][sql] Corrigir a conversão do tipo de dados Avro...”
• [FAÍSCA-44504] [Backport][13.2][13.x][13.3] Descarrega o provedor forçando o fechamento da instância de banco de dados e liberando recursos em caso de erro na tarefa de manutenção
• [FAÍSCA-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
• [SPARK-44485] [SC-137653][sql] Otimizar TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch em Python
• [SPARK-44446] [SC-136994][python] Adicionar verificações para casos especiais do tipo de lista esperado
• [SPARK-44439] [SC-136973][connect][SS] Corrigiu listListeners para apenas enviar ids de volta ao cliente
• [FAÍSCA-44216] [SC-136941] [PYTHON] Tornar a API assertSchemaEqual pública
• [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para Streaming Listener no Scala for Spark Connect
• [SPARK-43915] [SC-134766][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Reverter “[SC-133990][sql][PYTHON] Suportar funções de tabela definidas pelo utilizador em Python”
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-44476] [SC-137169][core][CONNECT] Corrigir a população de artefatos para um JobArtifactState sem artefatos associados
• [SPARK-44269] [SC-135817][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][sql] Atualize os argumentos TVF para exigir parênteses em torno do identificador após TABLE a palavra-chave
• [SPARK-43915] [SC-134766][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Adicionar suporte para UDFRegistration ao cliente Connect Scala
• [SPARK-44109] [SC-134755][core] Remova locais preferenciais duplicados de cada partição RDD
• [SPARK-44169] [SC-135497][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] Atribua nome a _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-44153] [SC-134977][core][UI] Suporte à coluna Heap Histogram na aba Executors
• [SPARK-44044] [SC-135695][ss] Melhorar a mensagem de erro para funções de janela com streaming
• [SPARK-43914] [SC-135414][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][python] Permitir precisão personalizada para igualdade fp aprox.
• [SPARK-44370] [SC-136575][connect] Migrar a geração remota alfa do Buf para plugins remotos
• [SPARK-44410] [SC-136930][python][CONNECT] Definir sessão ativa em create, não apenas getOrCreate
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Reative test_artifact com alterações relevantes
• [SPARK-44145] [SC-136698][sql] Retorno de chamada quando pronto para execução
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler Classe
• [SPARK-43986] [SC-135623][sql] Criar classes de erro para falhas de chamada de função HyperLogLog
• [SPARK-44139] [SC-134967][sql] Descartar filtros completamente pressionados em operações MERGE baseadas em grupo
• [SPARK-44338] [SC-136718][sql] Corrigir mensagem de erro de incompatibilidade de esquema de exibição
• [SPARK-44208] [SC-135505][core][SQL] Atribua nomes de classe de erro claros para alguma lógica que usa exceções diretamente
• [SPARK-44364] [SC-136773] [PYTHON] Adicionar suporte para o tipo de dados List[Row] conforme esperado
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils deve aplicar ResolveTimeZone
• [SPARK-43389] [SC-136772][sql] Adicionada uma verificação nula para a opção lineSep
• [SPARK-44388] [SC-136695][connect] Corrigir problema de transmissão de protobuf quando a instância UDF é atualizada
• [SPARK-44352] [SC-136373][connect] Coloque de volta sameType e amigos em DataType.
• [SPARK-43975] [SC-134265][sql] DataSource V2: Gerir UPDATE comandos para fontes baseadas em grupos
• [SPARK-44360] [SC-136461][sql] Suportar a poda de esquema em operações MERGE baseadas em delta
• [SPARK-44138] [SC-134907][sql] Proibir expressões não determinísticas, subconsultas e agregações em condições MERGE
• [SPARK-43321] [SC-136678][connect][Followup] Melhores nomes para APIs usadas no Scala Client joinWith
• [SPARK-44263] [SC-136447][connect] Suporte a intercetores personalizados
• [SPARK-39851] [SC-123383][sql] Melhorar a estimativa de estatísticas de junções se um lado puder preservar a exclusividade.
• [SPARK-44390] [SC-136677][core][SQL] Renomear SparkSerDerseUtils para SparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] Atribuir nome e melhorar a mensagem de erro para erros frequentes do LEGACY.
• [SPARK-44322] [SC-136204][connect] Faça o analisador usar SqlApiConf em vez de SQLConf.
• [SPARK-44271] [SC-136347][sql] Mover funções de valores padrão de StructType para ResolveDefaultColumns
• [SPARK-44332] [SC-136413][core][WEBUI] Corrija o erro de classificação da coluna ID do executor na página da interface do usuário dos executores
• [SPARK-44282] [SC-135948][connect] Preparar a análise de DataType para uso no Cliente Scala do Spark Connect
• [SPARK-44349] [SC-136581][r] Adicionar funções matemáticas ao SparkR
• [SPARK-44397] [SC-136647][python] Disponibilizar assertDataFrameEqual em pyspark.testing.utils
• [SPARK-42981] [SC-136620][connect] Adicionar serialização de seta direta
• [SPARK-44373] [SC-136577][sql] Wrap withActive for Dataset API com lógica de análise para fazer a configuração relacionada ao analisador funcionar
• [SPARK-44340] [SC-136574][sql] Defina a lógica de computação através da API PartitionEvaluator e use-a em WindowGroupLimitExec
• [SPARK-43665] [SC-136573][connect][PS] Habilite o PandasSQLStringFormatter.vformat para funcionar com o Spark Connect
• [SPARK-44325] [SC-136572][sql] Use a API PartitionEvaluator em SortMergeJoinExec
• [SPARK-44315] [SC-136171][sql][CONNECT] Mover DefinedByConstructorParams para sql/api
• [SPARK-44275] [SC-136184][connect] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] Migrar as utilidades usadas pelo cliente Scala para os módulos comuns
• [SPARK-43321] [SC-136156][connect] Conjunto de dados#Joinwith
• [SPARK-44343] [SC-136372][connect] Prepare o ScalaReflection para a mudança para SQL/API
• [SPARK-44313] [SC-136081][sql] Corrija a validação de expressão de coluna gerada quando há uma coluna char/varchar no esquema
• [SPARK-43963] [SC-134145][sql] DataSource V2: Manipular comandos MERGE para fontes baseadas em grupo
• [FAÍSCA-44363] [SC-136433] [PYTHON] Exibir porcentagem de linhas desiguais na comparação de DataFrame
• [SPARK-44251] [SC-136432][sql] Definir anulável corretamente na chave de junção coalescida na junção externa completa USING
• [SPARK-43948] [SC-133366][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt ao Scala e Python
• [SPARK-44351] [SC-136353][sql] Faça alguma simplificação sintática
• [SPARK-44281] [SC-135963][sql] Mover o erro QueryCompilation utilizado por DataType para sql/api como DataTypeErrors.
• [SPARK-44283] [SC-136109][connect] Mover origem para SQL/API
• [SPARK-43926] [SC-135590][connect][PYTHON] Adicionar arrayagg, array_size, cardinality, count_min_sketch,mask,named_struct,json* ao Scala e Python
• [SPARK-44327] [SC-136187][sql][CONNECT] Adicionar funções any e len ao Scala
• [SPARK-44290] [SC-136300][connect] Ficheiros e arquivos baseados em sessão no Spark Connect
• [SPARK-44061] [SC-136299][python] Adicionar função util assertDataFrameEqual
• [SPARK-44331] [SC-136324][connect][PYTHON] Adicionar funções de bitmap ao Scala e Python
• [SPARK-44342] [SC-136334][sql] Substitua SQLContext por SparkSession para GenTPCDSData
• [SPARK-42583] [SC-124190][sql] Remova a junção externa se todas forem funções agregadas distintas
• [SPARK-44333] [SC-136206][connect][SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] Atribua nomes à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Adicionar funções try_* ao Scala e Python
• [SPARK-44193] [SC-135886][connect] Implementar intercetação de exceções GRPC para conversão
• [SPARK-44284] [SC-136107][connect] Criar sistema conf simples para sql/api
• [SPARK-43913] [SC-133368][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Reverter “[SC-135924][spark-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo”
• [SPARK-44312] [SC-136185][connect][PYTHON] Permite definir um agente de usuário com uma variável de ambiente
• [FAÍSCA-44154] [SC-136060] Implementar funções de bitmap
• [SPARK-43885] [SC-133996][sql] DataSource V2: Manipular comandos MERGE para fontes baseadas em delta
• [SPARK-43924] [SC-135161][connect][PYTHON] Adicionar funções misc ao Scala e Python
• [SPARK-43969] [SC-134556][sql] Refatorar e atribuição de nomes à classe de erro _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] Corrigir a qualificação de caminho inconsistente entre operações de catálogo e dados
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Adicionar funções de string ao Scala e Python - parte 1
• [SPARK-44266] [SC-135813][sql] Mover Util.truncatedString para sql/api
• [SPARK-44195] [SC-135722][r] Adicionar APIs JobTag ao SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] Suporte para a regra do analisador de argumentos para TableValuedFunction
• [SPARK-44254] [SC-135709][sql] Transferir QueryExecutionErrors utilizados pelo DataType para sql/api como DataTypeErrors
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo
• [SPARK-43922] [SC-135612][sql] Adicionar suporte a parâmetros nomeados no analisador para chamadas de função
• [SPARK-44300] [SC-135882][connect] Corrigir limpeza de artefactos para limitar o âmbito de eliminação a artefactos específicos da sessão
• [SPARK-44293] [SC-135849][connect] Corrigir URI inválido para JARs personalizados no Spark Connect
• [SPARK-44215] [SC-135850][shuffle] Se o número de chunks for 0, o servidor deve lançar uma excepção de tempo de execução (RuntimeException)
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests devem ser apenas ilustrativos
• [SPARK-44274] [SC-135814][connect] Mover as funções utilitárias usadas pelo ArtifactManager para common/utils
• [SPARK-44194] [SC-135815][python][CORE] Adicionar APIs JobTag ao PySpark SparkContext
• [SPARK-42828] [SC-135733][python][SQL] Anotações de tipo Python mais explícitas para GroupedData
• [SPARK-44079] [SC-135486][sql] Correção ArrayIndexOutOfBoundsException ao analisar matriz como struct usando o modo PERMISSIVO com registro corrompido
• [SPARK-44255] [SC-135809][sql] Realoque StorageLevel para common/utils
• [FAÍSCA-42169] [SC-135795] [SQL] Implementar geração de código para to_csv função (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refatore PythonUDTFRunner para enviar seu tipo de retorno separadamente
• [SPARK-43353] [SC-132734][python] Migrar os erros de sessão restantes para a classe de erros
• [SPARK-44211] [SC-135718][python][CONNECT] Implementar sessão do Spark is_stopped
• [FAÍSCA-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
• [FAÍSCA-41599] [SC-135616] Vazamento de memória no FileSystem.CACHE ao enviar aplicativos para cluster seguro usando InProcessLauncher
• [SPARK-44241] [SC-135613][core] Definir erroneamente io.connectionTimeout/connectionCreationTimeout como zero ou negativo causará contras/destruições incessantes do executor
• [SPARK-44133] [SC-134795][13.x][PYTHON] Atualize o MyPy de 0,920 para 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de eventos em formato JSON
• [SPARK-44188] [SC-135173][core] Remover método inútil resetAllPartitions em ActiveJob
• [SPARK-43757] [SC-135418][connect] Alterar a compatibilidade do cliente da lista de permissões para a lista de negação
• [FAÍSCA-43474] [SC-135521] [SS] [CONECTAR] Adicione um acesso de conexão de faísca a Dataframes de tempo de execução por ID.
• [SPARK-44183] [SC-135209][python] Aumentar PyArrow versão mínima para 4.0.0
• [SPARK-44248] [SC-135554][ss][SQL][kafka] Adicionar localização preferencial na fonte kafka v2
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Adicionar funções de data e hora ao Scala, Python e API Connect - parte 1
• [SPARK-44161] [SC-135326][connect] Manipular entrada de linha de dados para UDFs
• [SPARK-44227] [SC-135520][sql] Extrair SchemaUtils de StructField
• [SPARK-44064] [SC-135116][core][SQL] Adicionar uma nova apply função a NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] & excluir algumas classes de erro não utilizadas
• [SPARK-44056] [SC-134758][sql] Incluir nome UDF na mensagem de erro de falha de execução UDF quando disponível
• [SPARK-44205] [SC-135422][sql] Extraia o código do Catalyst do DecimalType
• [SPARK-44220] [SC-135484][sql] Mover StringConcat para sql/api
• [SPARK-44146] [SC-135230][connect] Isolar os jars e arquivos de classe da sessão do Spark Connect
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr âmbito Session.active
• [SPARK-40850] [SC-135417][sql] Corrigir o problema em que consultas interpretadas em casos de teste podem executar Codegen.
• [SPARK-44204] [SC-135253][sql][HIVE] Adicionar recordHiveCall em falta para getPartitionNames
• [SPARK-44237] [SC-135485][core] Simplifique a lógica de pesquisa do construtor DirectByteBuffer
• [SPARK-44189] [SC-135170][connect][PYTHON] Suporta parâmetros posicionais por sql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Suporte a parâmetros posicionais em Python sql()
• [SPARK-44164] [SC-135158][sql] Extrair o método toAttribute de StructField para a classe Util
• [SPARK-44178] [SC-135113][connect] Suporta parâmetros posicionais em sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
• [SPARK-43063] [SC-128382][sql] df.show identificador null deve imprimir NULL em vez de null
• [SPARK-42539] [SC-124464][sql][HIVE] Elimine o carregador de classes separado ao usar a versão 'integrada' do Hive para o cliente de metadados
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-44066] [SC-134878][sql] Suporte a parâmetros posicionais em Scala/Java sql()
• [SPARK-44078] [SC-134869][connect][CORE] Adicionar suporte para isolamento de carregador de classes/recursos
• [SPARK-43470] [SC-135187][core] Adicionar informações de versão do SO, Java, Python ao log do aplicativo
• [SPARK-43136] [SC-135238][connect][Followup] Adicionando testes para KeyAs
• [SPARK-39740] [SC-135093][ui]: Atualizou a linha do tempo vis para a versão 7.7.2 para corrigir o CVE-2020-28487
• [SPARK-42298] [SC-133952][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listTables
• [FAÍSCA-44026] [SC-135181] Permitir o fornecimento de valor inicial para SQLMetrics
• [SPARK-44202] [SC-135244][core] Adicionar APIs JobTag ao JavaSparkContext
• [SPARK-44030] [SC-135237][sql] Implemente DataTypeExpression para oferecer a funcionalidade de "Unapply" para expressões
• [SPARK-43876] Reverter "[SC-134603][sql] Ativar o uso de hashmap rápido para consultas de distinção"
• [FAÍSCA-40082] [SC-126437] Agendar mesclagemFinalizar quando a mesclagem por push shuffleMapStage tentar novamente, mas sem tarefas em execução
• [SPARK-43888] [SC-132893][core] Realoque o registro em log para common/utils
• [FAÍSCA-43474] [SC-134400] [SS] [CONECTAR] Adicionar SessionHolder ao SparkConnectPlanner
• [SPARK-43944] [SC-134490][connect][PYTHON] Adicionar funções de string ao Scala e Python - parte 2
• [SPARK-44134] [SC-134954][core] Corrija os recursos de configuração (GPU/FPGA) para 0 quando são definidos em spark-defaults.conf
• [SPARK-44142] [SC-134947][python] Substitua o tipo por tpe no utilitário para converter tipos Python em tipos Spark
• [SPARK-43952] [SC-134695][core][CONNECT][sql] Adicionar APIs SparkContext para cancelamento de consultas por tag
• [SPARK-44000] [SC-133634][sql] Adicione uma sugestão para desativar a transmissão e a replicação de um lado da junção
• [SPARK-43937] [SC-134362][connect][PYTHON] Adicionar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 ao Scala e Python
• [SPARK-43624] [13.x][sc-134557][PS][connect] Adicionar EWM ao SparkConnectPlanner.
• [SPARK-44040] [SC-134366][sql] Corrigir estatísticas de cálculo quando o nó AggregateExec está acima de QueryStageExec
• [SPARK-43485] [SC-131264][sql] Corrija a mensagem de erro para o unit argumento das funções add/diff datetime
• [SPARK-43794] [SC-132561][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][connect][SS]APIs MapGroupsWithState e FlatMapGroupsWithState implementadas para o Spark Connect
• [SPARK-43529] [SQL] Suporte CRIAR/SUBSTITUIR TABLE OPÇÕES expressões + limpeza de código
• [SPARK-44106] [SC-134750][python][CONNECT] Adicionar __repr__ para GroupedData
• [FAÍSCA-42299] [SC-133190] Atribuir nome a _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][sql] Adiciona suporte para aes_encrypt IVs e AAD
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Adicionar current funções semelhantes ao Scala e Python
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Adicionar funções regexp_* ao Scala e Python
• [SPARK-44107] [SC-134746][connect][PYTHON] Ocultar métodos de coluna não suportados do preenchimento automático
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de eventos em formato JSON
• [SPARK-43773] [SC-132659][connect][PYTHON] Implemente a função 'levenshtein(str1, str2[, threshold])' no cliente Python
• [SPARK-44125] [SC-134745][r] Suporte Java 21 no SparkR
• [SPARK-43919] [SC-133374][sql] Extraia a funcionalidade JSON da linha
• [SPARK-43769] [SC-132520][connect] Implementar funções 'levenshtein(str1, str2[, threshold])'
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer para imprimir algum status de leitura
• [SPARK-43876] [SC-134603][sql] Habilite o hashmap rápido para consultas distintas
• [SPARK-44024] [SC-134497][sql] Alteração a utilizar map quando unzip utilizado apenas para extrair um único elemento
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Adicionar operações de bit ao Scala, Python e API Connect
• [SPARK-44092] [SC-134506][core] Adicionar Utils.isJavaVersionAtLeast21 e garantir que o módulo core passe com Java 21
• [SPARK-44018] [SC-134512][sql] Melhorar o hashCode e toString para algumas expressões DS V2
• [SPARK-44105] [SC-134582][sql] LastNonNull deve ser resolvido de forma preguiçosa
• [FAÍSCA-44081] [SC-134434] Simplifique um pouco a API PartitionedFileUtil
• [SPARK-43791] [SC-132531][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1336
• [FAÍSCA-44071] [SC-134435] Definir e usar Unresolved[Leaf|Unário]Traços do nó.
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] Refatorar a resolução do valor da coluna padrão
• [SPARK-43493] [SC-132063][sql] Adicionar um argumento de distância máxima à função levenshtein()
• [SPARK-44075] [SC-134382][connect] Tornar transformStatCorr preguiçoso
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Adicione alguns, bool_or.bool_and, todos ao Scala, Python e Connect
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Adicionar funções make_* ao Scala e Python
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] Melhorar as mensagens de erro: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][connect][PYTHON] Adicionar funções to_* ao Scala e Python
• [SPARK-44055] [SC-134321][core] Remova funções redundantes override de CheckpointRDD
• [SPARK-43802] [SC-132597][sql] Corrija codegen para unhex e unbase64 com failOnError=true
• [SPARK-43798] [SC-133990][sql][PYTHON] Suporta funções de tabela definidas pelo usuário Python
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Adicione any_value, approx_percentile, count_if, first_value, histogram_numeric last_value, reduza para Scala, Python e Connect API
• [SPARK-43380] [SC-133100][sql] Corrija problemas de conversão de tipo de dados Avro para evitar a produção de resultados incorretos
• [FAÍSCA-43803] [SC-133729] [SS] [CONECTAR] Melhorar awaitTermination() para lidar com desconexões de cliente
• [SPARK-43179] [SC-129070][shuffle] Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Embaralhamento Externo

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 13.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java: Zulu 8.70.0.23-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.2.2
• Lago Delta: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)