Databricks Runtime 13.3 LTS

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, da plataforma Apache Spark 3.4.1.

O Databricks lançou esta versão em agosto de 2023.

Novos recursos e aprimoramentos

• Suporte do Scala para clusters compartilhados
• A lista de permissões para scripts de inicialização, jars e coordenadas maven em clusters padrão do Catálogo do Unity (clusters anteriormente compartilhados) está em Visualização Pública
• O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública
• Conversões seguras habilitadas por padrão nas operações do Delta Lake
• Apresentando marcas com o Catálogo do Unity
• O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento e a invocação da consulta
• Bloqueio da substituição de esquema ao usar substituições de partição dinâmica
• Integrar a API copyFile em dbutils.fs.cp
• Suporte ao driver ODBC/JDBC do Databricks
• Suporte para marcadores de parâmetros não nomeados (posicionais)
• Habilitação da rotulagem de coluna de série temporal
• Novas funções SQL de bitmap
• Funções de criptografia aprimoradas
• Suporte do Catálogo Unity para REFRESH FOREIGN
• INSERT POR NOME
• Compartilhamento de exibições materializadas com o Compartilhamento Delta

Suporte Scala para clusters compartilhados

Os clusters compartilhados habilitados para Catálogo do Unity agora dão suporte ao Scala, ao usar o Databricks Runtime 13.3 e superior.

A lista de autorização para scripts de inicialização, JARs e coordenadas Maven em clusters padrão do Unity Catalog (clusters anteriormente compartilhados) está em Visualização Pública.

Agora você pode usar o Catálogo do Unity allowlist para controlar a instalação de scripts de inicialização, JARs e coordenadas Maven em ambientes de computação com o modo de acesso padrão executando o Databricks Runtime 13.3 e superior. Veja Bibliotecas da lista de permitidos e scripts de inicialização na computação com modo de acesso padrão (antigo modo de acesso compartilhado).

O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública

Agora você pode usar volumes do Catálogo do Unity para armazenar scripts de inicialização e JARs na computação com modos de acesso dedicados ou padrão executando o Databricks Runtime 13.3 e superior. Consulte Onde os scripts de inicialização podem ser instalados? e Bibliotecas com escopo de computação.

Conversões seguras habilitadas por padrão nas operações do Delta Lake

As operações UPDATE e MERGE Delta já resultam em um erro quando os valores não podem ser convertidos com segurança no tipo do esquema da tabela de destino. Todas as conversões implícitas no Delta já seguem spark.sql.storeAssignmentPolicy em vez de spark.sql.ansi.enabled. Confira Conformidade com o ANSI no Databricks Runtime.

Apresentando marcas com o Catálogo do Unity

Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar marcas aos objetos protegíveis. As marcas ajudam você a organizar objetos protegíveis e simplificar a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar marcas a objetos protegíveis do Catálogo do Unity.

O Databricks Runtime retorna um erro se um arquivo é modificado entre o planejamento e a invocação da consulta

As consultas do Databricks Runtime já retornam um erro se um arquivo é atualizado entre o planejamento e a invocação da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre essas fases, o que ocasionalmente gerava resultados imprevisíveis.

Bloqueio da substituição de esquema ao usar substituições de partição dinâmica

Não é possível definir overwriteSchema como true em combinação com substituições de partição dinâmica no Delta Lake. Isso evita a possível corrupção de tabela devido à incompatibilidade de esquema. Confira Substituições de partição dinâmica.

Integração da API copyFile a dbutils.fs.cp

O comando dbutils copy, dbutils.fs.cp, foi otimizado para uma cópia mais rápida. Com esse aprimoramento, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, incluindo para os volumes de catálogo do Unity e montagens do Sistema de Arquivos do Databricks.

Suporte ao driver ODBC/JDBC do Databricks

O Azure Databricks dá suporte a drivers ODBC e JDBC lançados nos últimos dois anos. Baixe o último driver em Baixar driver ODBC e Baixar driver JDBC.

Suporte para marcadores de parâmetros não nomeados (posicionais)

A API SparkSession.sql() já dá suporte a consultas parametrizadas por meio da sintaxe ?, além de consultas parametrizadas com a sintaxe :parm. Confira Marcadores de parâmetros.

Habilitação da rotulagem de coluna de série temporal

Agora você pode rotular colunas de série temporal ao criar restrições de chave primária.

Novas funções SQL de bitmap

O Azure Databricks agora forneceu um conjunto de funções que podem ser usadas para mapear valores numéricos integrais em um bitmap e agregá-los. Isso pode ser usado para pré-calcular o número de valores distintos.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Funções de criptografia aprimoradas

As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram aprimoradas com suporte para IV (vetores de inicialização) e AAD (dados adicionais autenticados).

Suporte para Unity Catalog em REFRESH FOREIGN

Agora você pode atualizar catálogos, esquemas e tabelas estrangeiros no Catálogo do Unity usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA e REFRESH FOREIGN TABLE. Veja REFRESH FOREIGN (CATALOG, SCHEMAe TABLE).

INSERT POR NOME

Ao inserir linhas em uma tabela, agora você pode permitir que o Azure Databricks mapeie colunas e campos na consulta de origem automaticamente para as colunas da tabela pelo nome. Consulte INTOINSERT.

Compartilhamento de exibições materializadas com o Compartilhamento Delta

A ALTER SHARE instrução agora dá suporte a visões materializadas.

Alterações de quebra

Alterações na conversão implícita ao armazenar linhas em uma tabela com MERGE INTO e UPDATE

O Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy para conversão implícita ao armazenar linhas em uma tabela. O valor padrão ANSI gera um erro ao armazenar valores que causa estouro. Anteriormente, os valores seriam armazenados como NULL por padrão.

Como no exemplo a seguir, você pode resolver estouros reescrevendo a tabela para usar um tipo mais amplo para a coluna que está causando o erro.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Alterações na inferência de esquema do Parquet

Ao inferir esquemas de arquivos Parquet não escritos pelo Spark, colunas de carimbo de data/hora int64 anotadas com isAdjustedToUTC=false agora serão padrão para o tipo TIMESTAMP_NTZ. Anteriormente, elas eram inferidas como tipo TIMESTAMP. Esta atualização melhora a precisão na correspondência dos tipos Parquet com os tipos SQL do Spark.

Como resultado, a leitura de dados de arquivos Parquet externos para uma tabela Delta pode resultar em erro se o recurso timestampNtz não estiver habilitado. O erro será exibido da seguinte maneira:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para manter o comportamento anterior e evitar esse erro, você pode definir o parâmetro de configuração spark.sql.parquet.inferTimestampNTZ.enabled do Spark como false.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • debugpy de 1.5.1 a 1.6.0
  • distlib de 0.3.6 para 0.3.7
  • fastjsonschema de 2.16.3 para 2.18.0
  • filelock de 3.12.0 para 3.12.2
• Bibliotecas do R atualizadas:
  • SparkR de 3.4.0 a 3.4.1
• Bibliotecas do Java atualizadas:
  • org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
  • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
  • org.xerial.snappy.snappy-java de 1.1.8.4 para 1.1.10.1

Apache Spark

O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• Agora você pode definir a variável de ambiente de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar o conector Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] Reverter "[SC-133100][sql] Corrigir conversão do tipo de dados Avro...
• [SPARK-44504] [Backport][13.2][13.x][13.3] Descarregar provedor forçando assim o fechamento da instância do BD e liberando recursos no erro da tarefa de manutenção
• [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
• [SPARK-44485] [SC-137653][sql] Otimizar TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][ss][PYTHON] Streaming ForeachBatch em Python
• [SPARK-44446] [SC-136994][python] Adicionar verificações para casos especiais de tipo de lista esperados
• [SPARK-44439] [SC-136973][connect][SS]Corrigido listListeners para enviar apenas IDs de volta para o cliente
• [SPARK-44216] [SC-136941] [PYTHON] Tornar pública a API assertSchemaEqual
• [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para o Ouvinte de Streaming no Scala para Spark Connect
• [SPARK-43915] [SC-134766][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Reverter “[SC-133990][sql][PYTHON] Suporte para funções de tabela definidas pelo usuário em Python”
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-44476] [SC-137169][core][CONNECT] Corrigir população de artefatos para um JobArtifactState sem artefatos associados
• [SPARK-44269] [SC-135817][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][sql] Atualizar argumentos TVF para exigir parênteses em torno do identificador após TABLE a palavra-chave
• [SPARK-43915] [SC-134766][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Adicionar suporte para UDFRegistration ao cliente Connect Scala
• [SPARK-44109] [SC-134755][core] Remover locais preferenciais duplicados de cada partição RDD
• [SPARK-44169] [SC-135497][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-44153] [SC-134977][core][interface do usuário] Coluna de suporte Heap Histogram na Executors guia
• [SPARK-44044] [SC-135695][ss] Melhorar mensagem de erro para funções de janela com streaming
• [SPARK-43914] [SC-135414][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][python] Permitir precisão personalizada para igualdade de aproximação de fp
• [SPARK-44370] [SC-136575][conectar] Migrar a geração remota do Buf alfa para plug-ins remotos
• [SPARK-44410] [SC-136930][python][CONNECT] Definir sessão ativa na criação, não apenas getOrCreate
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] Reenable test_artifact com alterações relevantes
• [SPARK-44145] [SC-136698][sql] Retorno de chamada quando estiver pronto para execução
• [SPARK-44264] [SC-136870][python][ML] Classe FunctionPickler
• [SPARK-43986] [SC-135623][sql] Criar classes de erro para falhas de chamada de função HyperLogLog
• [SPARK-44139] [SC-134967][sql] Descartar totalmente os filtros aplicados em operações MERGE baseadas em grupo
• [SPARK-44338] [SC-136718][sql] Corrigir mensagem de erro de incompatibilidade de esquema de exibição
• [SPARK-44208] [SC-135505][core][SQL] Atribuir nomes de classe de erro claros para alguma lógica que usa diretamente exceções
• [SPARK-44364] [SC-136773] [PYTHON] Adicionar suporte ao tipo de dados List[Row] para o esperado
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils deve aplicar o ResolveTimeZone
• [SPARK-43389] [SC-136772][sql] Adicionada uma verificação nula para a opção lineSep
• [SPARK-44388] [SC-136695][connect] Corrigir problema de conversão de protobuf quando a instância de UDF é atualizada
• [SPARK-44352] [SC-136373][connect] Colocar de volta sameType e amigos no DataType.
• [SPARK-43975] [SC-134265][sql] DataSource V2: manipular UPDATE comandos para fontes baseadas em grupo
• [SPARK-44360] [SC-136461][sql] Suporte à poda de esquema em operações MERGE baseadas em delta
• [SPARK-44138] [SC-134907][sql] Proibir expressões, subconsultas e agregações não determinísticas em condições MERGE
• [SPARK-43321] [SC-136678][connect][Followup] Melhores nomes para APIs usadas no joinWith do Cliente Scala
• [SPARK-44263] [SC-136447][conectar] Suporte a interceptadores personalizados
• [SPARK-39851] [SC-123383][sql] Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade
• [SPARK-44390] [SC-136677][core][SQL] Renomear SparkSerDerseUtils para SparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] Atribuir nome e melhorar a mensagem de erro para erros LEGACY frequentes.
• [SPARK-44322] [SC-136204][connect] Fazer o analisador usar SqlApiConf em vez de SQLConf.
• [SPARK-44271] [SC-136347][sql] Mover funções de valores padrão de StructType para ResolveDefaultColumns
• [SPARK-44332] [SC-136413][core][WEBUI] Corrigir o erro de classificação da coluna ID do Executor na interface do usuário de executores
• [SPARK-44282] [SC-135948][connect] Preparar a análise de DataType para uso no cliente do Spark Connect Scala
• [SPARK-44349] [SC-136581][r] Adicionar funções matemáticas ao SparkR
• [SPARK-44397] [SC-136647][python] Expor assertDataFrameEqual em pyspark.testing.utils
• [SPARK-42981] [SC-136620][conectar] Adicionar serialização de seta direta
• [SPARK-44373] [SC-136577][sql] Aplicar withActive para a API do Dataset com lógica de análise para fazer a configuração relacionada ao parser funcionar.
• [SPARK-44340] [SC-136574][sql] Definir a lógica de computação por meio da API PartitionEvaluator e usá-la em WindowGroupLimitExec
• [SPARK-43665] [SC-136573][connect][PS] Habilitar PandasSQLStringFormatter.vformat para trabalhar com o Spark Connect
• [SPARK-44325] [SC-136572][sql] Usar a API do PartitionEvaluator no SortMergeJoinExec
• [SPARK-44315] [SC-136171][sql][CONNECT] Mover DefinedByConstructorParams para sql/api
• [SPARK-44275] [SC-136184][connect] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
• [SPARK-44326] [SC-136208][sql][CONNECT] Mover utils que são usados do cliente Scala para os módulos comuns
• [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][conectar] Preparar ScalaReflection para a mudança para SQL/API
• [SPARK-44313] [SC-136081][sql] Corrigir validação de expressão de coluna gerada quando houver uma coluna char/varchar no esquema
• [SPARK-43963] [SC-134145][sql] DataSource V2: Manipular comandos MERGE para fontes baseadas em grupo
• [SPARK-44363] [SC-136433] [PYTHON] Exibe porcentagem de linhas desiguais na comparação de DataFrame
• [SPARK-44251] [SC-136432][sql] Definir anulável corretamente na chave de junção mesclada na junção completa externa USING
• [SPARK-43948] [SC-133366][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt para Scala e Python
• [SPARK-44351] [SC-136353][sql] Fazer alguma simplificação sintactica
• [SPARK-44281] [SC-135963][sql] Mover o erro de QueryCompilation usado por DataType para sql/api como DataTypeErrors.
• [SPARK-44283] [SC-136109][connect] Transferir Origem para SQL/API
• [SPARK-43926] [SC-135590][connect][PYTHON] Adicionar array_agg, array_size, cardinality, count_min_sketch, mask, named_struct, json* ao Scala e Python
• [SPARK-44327] [SC-136187][sql][CONNECT] Adicionar funções any e len ao Scala
• [SPARK-44290] [SC-136300][Spark Connect] Arquivos e coleções de arquivos baseados em sessão no Spark Connect
• [SPARK-44061] [SC-136299][python] Adicionar função util assertDataFrameEqual
• [SPARK-44331] [SC-136324][connect][PYTHON] Adicionar funções de bitmap a Scala e Python
• [SPARK-44342] [SC-136334][sql] Substituir SQLContext por SparkSession para GenTPCDSData
• [SPARK-42583] [SC-124190][sql] Remova a junção externa se todas elas forem funções de agregação distintas
• [SPARK-44333] [SC-136206][connect][SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
• [SPARK-43824] [SC-132655][spark-43825] [SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Adicionar funções try_* a Scala e Python
• [SPARK-44193] [SC-135886][connect] Implementar interceptação de exceções GRPC para conversão
• [SPARK-44284] [SC-136107][connect] Criar sistema de configuração simples para SQL/API
• [SPARK-43913] [SC-133368][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Reverter "[SC-135924][spark-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo"
• [SPARK-44312] [SC-136185][connect][PYTHON] Permitir definir um agente de usuário com uma variável de ambiente
• [SPARK-44154] [SC-136060] Implementar funções de bitmap
• [SPARK-43885] [SC-133996][sql] DataSource V2: Manipular comandos MERGE para fontes baseadas em delta
• [SPARK-43924] [SC-135161][connect][PYTHON] Adicionar funções diversas a Scala e Python
• [SPARK-43969] [SC-134556][sql] Refatorar & atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] Corrige discrepâncias na especificação de caminho entre o catálogo e as operações de dados
• [SPARK-44073] [SC-134562][sql][PYTHON][conectar] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
• [SPARK-43942] [SC-134527][connect][PYTHON] Adicionar funções de cadeia de caracteres a Scala e Python - parte 1
• [SPARK-44266] [SC-135813][sql] Mover Util.truncatedString para sql/api
• [SPARK-44195] [SC-135722][r] Adicionar APIs JobTag ao SparkR SparkContext
• [SPARK-44200] [SC-135736][sql] Regra do analisador de argumentos de suporte TABLE para TableValuedFunction
• [SPARK-44254] [SC-135709][sql] Mover QueryExecutionErrors usados pelo DataType para sql/api como DataTypeErrors
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo
• [SPARK-43922] [SC-135612][sql] Adicionar suporte a parâmetro nomeado no analisador para chamadas de função
• [SPARK-44300] [SC-135882][conexão] Corrigir a limpeza de artefatos para limitar o escopo de exclusão a artefatos específicos da sessão
• [SPARK-44293] [SC-135849][connect] Corrigir URI inválido para JARs personalizados no Spark Connect
• [SPARK-44215] [SC-135850][shuffle] Se o número de partes for 0, o servidor deverá lançar uma RuntimeException
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests devem ser apenas ilustrativos
• [SPARK-44274] [SC-135814][connect] Transferir funções utilitárias usadas pelo ArtifactManager para common/utils
• [SPARK-44194] [SC-135815][python][CORE] Adicionar APIs JobTag ao PySpark SparkContext
• [SPARK-42828] [SC-135733][python][SQL] Anotações de tipo Python mais explícitas para GroupedData
• [SPARK-44079] [SC-135486][sql] Corrigir ArrayIndexOutOfBoundsException ao analisar uma matriz como uma struct usando o modo PERMISSIVO com registro corrompido
• [SPARK-44255] [SC-135809][sql] Realocar StorageLevel para common/utils
• [SPARK-42169] [SC-135795] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
• [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
• [SPARK-44211] [SC-135718][python][CONNECT] Implementar SparkSession.is_stopped
• [SPARK-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
• [SPARK-41599] [SC-135616] Vazamento de memória em FileSystem.CACHE ao enviar aplicativos para um cluster seguro usando InProcessLauncher
• [SPARK-44241] [SC-135613][core] Definir erroneamente io.connectionTimeout/connectionCreationTimeout como zero ou negativo causará contras/destruição incessantes do executor
• [SPARK-44133] [SC-134795][13.x][PYTHON] Atualizar MyPy de 0,920 para 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de Evento no formato JSON
• [SPARK-44188] [SC-135173][core] Remover método inútil resetAllPartitions em ActiveJob
• [SPARK-43757] [SC-135418][connect] Alterar a compatibilidade do cliente de lista de permissões para lista de exclusão
• [SPARK-43474] [SC-135521] [SS] [CONNECT] Adicione um acesso do Spark Connect aos Dataframes de runtime por ID.
• [SPARK-44183] [SC-135209][python] Aumentar PyArrow a versão mínima para 4.0.0
• [SPARK-44248] [SC-135554][ss][SQL][kafka] Adicionar localização preferencial na fonte kafka v2
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Adicionar funções de data e hora à API Scala, Python e Connect – parte 1
• [SPARK-44161] [SC-135326][conectar] Manipular entrada de linha para UDFs
• [SPARK-44227] [SC-135520][sql] Extrair SchemaUtils de StructField
• [SPARK-44064] [SC-135116][core][SQL] Adicionar uma nova apply função a NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] & excluir algumas classes de erro não utilizados
• [SPARK-44056] [SC-134758][sql] Incluir nome UDF na mensagem de erro de falha de execução UDF quando disponível
• [SPARK-44205] [SC-135422][sql] Extrair código catalisador de DecimalType
• [SPARK-44220] [SC-135484][sql] Mover StringConcat para sql/api
• [SPARK-44146] [SC-135230][connect] Isolar jars e arquivos de classe da Sessão Spark Connect
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][sql] Corrigir o caso de teste onde consultas interpretadas podem executar Codegen
• [SPARK-44204] [SC-135253][sql][HIVE] Adicionar recordHiveCall ausente para getPartitionNames
• [SPARK-44237] [SC-135485][core] Simplificar a lógica de pesquisa do construtor DirectByteBuffer
• [SPARK-44189] [SC-135170][connect][PYTHON] Suporte a parâmetros posicionais através de
• [SPARK-44140] [SC-134893][sql][PYTHON] Suporte a parâmetros posicionais no Python sql()
• [SPARK-44164] [SC-135158][sql] Extrair método toAttribute de StructField para classe Util
• [SPARK-44178] [SC-135113][connect] Suporte a parâmetros posicionais em sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
• [SPARK-43063] [SC-128382][sql] df.show identificador nulo deve imprimir NULL em vez de nulo
• [SPARK-42539] [SC-124464][sql][HIVE] Eliminar o carregador de classes separado ao usar a versão do Hive 'builtin' para o cliente de metadados
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-44066] [SC-134878][sql] Suporte a parâmetros posicionais em Scala/Java sql()
• [SPARK-44078] [SC-134869][connect][CORE] Adicionar suporte para isolamento de carregador de classe/recurso
• [SPARK-43470] [SC-135187][core] Adicionar informações de versão do SISTEMA OPERACIONAL, Java, Python ao log de aplicativos
• [SPARK-43136] [SC-135238][connect][Seguimento] Adicionando testes para KeyAs
• [SPARK-39740] [SC-135093][ui]: atualizar vis timeline para 7.7.2 para corrigir CVE-2020-28487
• [SPARK-42298] [SC-133952][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listTables
• [SPARK-44026] [SC-135181] Permitir fornecer valor inicial para SQLMetrics
• [SPARK-44202] [SC-135244][core] Adicionar APIs JobTag ao JavaSparkContext
• [SPARK-44030] [SC-135237][sql] Implementar DataTypeExpression para oferecer a funcionalidade Unapply para expressões
• [SPARK-43876] Reverter "[SC-134603][sql] Habilitar hashmap rápido para consultas distintas"
• [SPARK-40082] [SC-126437] Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução
• [SPARK-43888] [SC-132893][core] Realocar registro de logs para common/utils
• [SPARK-43474] [SC-134400] [SS] [CONNECT] Adicionar SessionHolder ao SparkConnectPlanner
• [SPARK-43944] [SC-134490][connect][PYTHON] Adicionar funções de cadeia de caracteres a Scala e Python - parte 2
• [SPARK-44134] [SC-134954][core] Correção de recursos de configuração (GPU/FPGA) para 0 quando eles são definidos em spark-defaults.conf
• [SPARK-44142] [SC-134947][python] Substitua o tipo por tpe no utilitário para converter tipos de python em tipos spark
• [SPARK-43952] [SC-134695][core][CONNECT][sql] Adicionar APIs SparkContext para cancelamento de consulta por marca
• [SPARK-44000] [SC-133634][sql] Adicionar dica para desabilitar a transmissão e replicar um lado da junção
• [SPARK-43937] [SC-134362][connect][PYTHON] Adicionar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 para Scala e Python
• [SPARK-43624] [13.x][sc-134557][PS][connect] Adicionar EWM ao SparkConnectPlanner.
• [SPARK-44040] [SC-134366][sql] Corrigir o cálculo de estatísticas quando o nó AggregateExec está acima de QueryStageExec
• [SPARK-43485] [SC-131264][sql] Corrigir a mensagem de erro para o unit argumento das funções de adição/subtração de datetime
• [SPARK-43794] [SC-132561][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][connect][SS]Implementado MapGroupsWithState e FlatMapGroupsWithState APIs para Spark Connect
• [SPARK-43529] [SQL] Dar suporte a expressões de CREATE/REPLACE TABLE OPTIONS + limpeza de código
• [SPARK-44106] [SC-134750][python][CONNECT] Adicionar __repr__ para GroupedData
• [SPARK-42299] [SC-133190][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][sql] Adiciona suporte para IVs aes_encrypt e AAD
• [SPARK-43932] [SC-134138][sql][PYTHON][conectar] Adicionar current funções semelhantes a Scala e Python
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Adicionar funções regexp_* ao Scala e Python
• [SPARK-44107] [SC-134746][connect][PYTHON] Ocultar métodos de coluna sem suporte do preenchimento automático
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de Evento no formato JSON
• [SPARK-43773] [SC-132659][connect][PYTHON] Implementar a função 'levenshtein(str1, str2[, threshold])' no cliente Python
• [SPARK-44125] [SC-134745][r] Suporte a Java 21 no SparkR
• [SPARK-43919] [SC-133374][sql] Extrair funcionalidade JSON fora da linha
• [SPARK-43769] [SC-132520][connect] Implementar função 'levenshtein(str1, str2[, limite])'
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer para imprimir algum status de leitura
• [SPARK-43876] [SC-134603][sql] Habilitar hashmap rápido para consultas distintas
• [SPARK-44024] [SC-134497][sql] Alteração para usar map quando unzip usado apenas para extrair um único elemento
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Adicionar operações de bits à API Scala, Python e Connect
• [SPARK-44092] [SC-134506][core] Adicionar Utils.isJavaVersionAtLeast21 e fazer com que core o módulo passe com Java 21
• [SPARK-44018] [SC-134512][sql] Aprimorar o hashCode e toString para alguma expressão DS V2
• [SPARK-44105] [SC-134582][sql] LastNonNull deve ser resolvido lentamente
• [SPARK-44081] [SC-134434] Simplificar um pouco a API PartitionedFileUtil
• [SPARK-43791] [SC-132531][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Definir e usar características Unresolved[Leaf|Unary]Node.
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][sql] Refatorar resolução de valor de coluna padrão
• [SPARK-43493] [SC-132063][sql] Adicionar um argumento de distância máxima à função levenshtein()
• [SPARK-44075] [SC-134382][connect] Tornar transformStatCorr preguiçoso
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Adicione alguns, bool_or,bool_and, todos ao Scala, Python e Connect
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Adicionar funções make_* ao Scala e Python
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] Aprimorar mensagens de erro: CANNOT_DECODE_URL, , CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][connect][PYTHON] Adicionar funções to_* a Scala e Python
• [SPARK-44055] [SC-134321][core] Remover funções redundantes override de CheckpointRDD
• [SPARK-43802] [SC-132597][sql] Corrigir o codegen para unhex e unbase64 com failOnError=true
• [SPARK-43798] [SC-133990][sql][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Adicionar any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduzir à API Scala, Python e Connect
• [SPARK-43380] [SC-133100][sql] Corrigir problemas de conversão de tipo de dados do Avro para evitar a produção de resultados incorretos
• [SPARK-43803] [SC-133729] [SS] [CONNECT] Aprimorar awaitTermination() para lidar com desconexões de cliente
• [SPARK-43179] [SC-129070][shuffle] Permitindo que os aplicativos controlem se seus metadados serão salvos no banco de dados pelo Serviço de Embaralhamento Externo

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 13.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2023-02-10: https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)