Tempo de execução do Databricks 14.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.2, desenvolvido pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em novembro de 2023.

Novos recursos e melhorias

• CACHE SELECT agora é ignorado
• Comportamento de cache aprimorado
• Tratamento de ficheiros corrompidos corrigido em comandos DML
• Suporte ao Registro de Esquema para funções relacionadas a protobuf e Avro em clusters compartilhados
• foreachBatch e StreamingListener apoio
• A simultaneidade no nível da linha está geralmente disponível e ativada por padrão
• Compartilhamento Delta: os destinatários podem executar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização pública)
• Clone raso para tabelas externas do Unity Catalog (Pré-visualização pública)
• Novo algoritmo de atribuição de cache de disco
• from_avro O Schema Registry Connector adiciona suporte à evolução de esquemas
• Recolha de estatísticas multi-threaded mais rápida
• Filtros de redução no DeltaSource em arquivos Delta
• Suporte para funções escalares definidas pelo usuário Scala em clusters compartilhados (Visualização pública)

CACHE SELECT agora é ignorado

O comando CACHE SELECT SQL agora é ignorado em favor de um algoritmo de cache aprimorado. Consulte Otimizar o desempenho com cache no Azure Databricks.

Comportamento de cache aprimorado

O posicionamento do DiskCache pelo agendador do Spark agora tem atribuição de partição mais rápida, melhor balanceamento durante o dimensionamento automático do cluster e execução de consulta mais consistente.

Corrigido tratamento de arquivos corrompidos em comandos DML

Os comandos DELETEDML , UPDATEe MERGE INTO não respeitam mais as opções ignoreCorruptFiles de leitura e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falham, mesmo que essas opções sejam especificadas.

Suporte ao Registro de Esquema para funções relacionadas a protobuf e Avro em clusters compartilhados

Agora pode usar as funções Python from_avro, to_avro, from_protobuf e to_protobuf com o Registro de Esquemas em clusters partilhados.

foreachBatch e StreamingListener apoio

Agora pode usar as APIs foreachBatch() e StreamingListener com Streaming Estruturado em clusters partilhados. Consulte Usar foreachBatch para escrever em destinos de dados arbitrários e Monitorização das consultas de Structured Streaming no Azure Databricks.

A simultaneidade no nível da linha está geralmente disponível e ativada por padrão

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas detetando alterações no nível da linha. A concorrência ao nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com agrupamento líquido. A simultaneidade em nível de linha é habilitada por padrão em tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com concorrência ao nível de linha.

Compartilhamento Delta: os destinatários podem executar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização pública)

Os destinatários do Delta Sharing agora podem executar consultas em lote, CDF e streaming em tabelas compartilhadas que usam vetores de exclusão. No Databricks Runtime 14.1, eles só podem executar consultas em lote. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de coluna a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado e Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado.

Clone raso para tabelas externas do Unity Catalog (Pré-visualização pública)

Agora podes usar clones superficiais com tabelas externas do Unity Catalog. Consulte Clone superficial para tabelas do Catálogo Unity.

Novo algoritmo de atribuição de cache de disco

O agendador do Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partições entre nós, com atribuição mais rápida tanto inicialmente quanto após eventos de dimensionamento de cluster. A atribuição de cache mais estável melhora a consistência entre as execuções e reduz os dados movidos durante as operações de reequilíbrio.

from_avro Com o Schema Registry Connector adiciona suporte para a evolução do esquema

Agora você pode habilitar seus pipelines para reiniciar quando registros evoluídos forem detetados. Anteriormente, se a evolução do esquema acontecesse com o from_avro conector, as novas colunas retornariam null. Veja Ler e gravar dados Avro em streaming.

Recolha de estatísticas multi-threaded mais rápida

A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou clonar a partir de tabelas Apache Iceberg e Parquet. Veja Converter para Delta Lake e Clonar tabelas Parquet e Iceberg.

Filtros pushdown no DeltaSource em arquivos Delta

Para uma melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são empurrados para Delta antes do limite de taxa.

Suporte para funções escalares definidas pelo usuário Scala em clusters compartilhados (Visualização pública)

Agora você pode usar funções escalares definidas pelo usuário Scala em clusters habilitados para Unity Catalog configurados com o modo de acesso compartilhado. Consulte Funções escalares definidas pelo usuário - Scala.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • fastjsonschema de 2.18.0 a 2.19.0
  • filelock de 3.12.3 a 3.12.4
  • googleapis-common-protos de 1.60.0 a 1.61.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:

Apache Spark

O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-45592] [DBRRM-624] Reverter "[SC-146977][sql] Problema de correção no AQE com InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Reverter "[SC-146319][python][SQL] Suporte inicial para...
• [SPARK-45433] [DBRRM-621] Reverter "[SC-145163][sql] Corrigir inferência de esquema CSV/JSON..."
• [SPARK-45592] [SC-146977][sql] Problema de precisão no AQE com InMemoryTableScanExec
• [SPARK-45354] Reverter "[SC-143991][sql] Resolver funções de baixo para cima"
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Ajustar testes
• [SPARK-45680] [CONNECT] Libertar sessão
• [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir lentidão na leitura Avro
• [SPARK-45649] [SC-146742][sql] Uniformize a estrutura de preparação para OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Criando StructType a partir de Json
• [SPARK-45620] [SC-146225][python] Corrija APIs voltadas para o usuário relacionadas ao Python UDTF para usar camelCase
• [SPARK-45727] [SC-146978][ss] Remover mapa não utilizado na simulação de propagação de marca d'água
• [SPARK-45723] [SC-146890][python][CONNECT] Os métodos de catálogo evitam a conversão de pandas
• [SPARK-45574] [SC-146106][sql] Adicionar :: sintaxe como abreviatura para transmissão
• [SPARK-45670] [SC-146725][core][3.5] O SparkSubmit não suporta --total-executor-cores a implementação no K8s
• [SPARK-45661] [SC-146594][sql][PYTHON] Adicionar toNullable em StructType, MapType e ArrayType
• [SPARK-45524] [SC-146319][python][SQL] Suporte inicial para API de leitura de fonte de dados Python
• [SPARK-45542] [SC-145892][core] Substitua setSafeMode(HdfsConstants.SafeModeAction, boolean) por setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: Manipular partições de entrada vazias após filtragem dinâmica
• [SPARK-45454] [SC-144846][sql] Defina o proprietário padrão da tabela como current_user
• [SPARK-45554] [SC-146875][python] Introduza o parâmetro flexível para assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] Use DataFrame ID para validar semanticamente CollectMetrics
• [SPARK-45674] [SC-146862][connect][PYTHON] Melhore a mensagem de erro para atributos dependentes da JVM no Spark Connect.
• [SPARK-45646] [SC-146276][sql] Remova variáveis de tempo de codificação anteriores ao Hive 2.0
• [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir lentidão na leitura Avro
• [SPARK-45545] [SC-146484][core] Passe SSLOptions onde quer que criemos um SparkTransportConf
• [SPARK-45641] [SC-146260][ui] Exibir a hora de início do aplicativo em AllJobsPage
• [SPARK-40154] [SC-146491][python][Docs] Nível de armazenamento correto em Dataframe.cache docstring
• [SPARK-45626] [SC-146259][sql] Converter _LEGACY_ERROR_TEMP_1055 para REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][sql] Correção para subconsultas escalares aninhadas correlacionadas com agregados COUNT
• [SPARK-45619] [SC-146226][connect][PYTHON] Aplique as métricas observadas ao objeto de observação
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Melhoria do Scaladoc para StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][core] Evite ParVector, que não propaga ThreadLocals ou SparkSession
• [SPARK-45604] [SC-146105][sql] Adicionar verificação LogicalType em INT64 -> conversão DateTime no Parquet Vectorized Reader
• [SPARK-44649] [SC-145891][sql] O Filtro de Tempo de Execução suporta a passagem de expressões de lado de criação equivalentes
• [SPARK-41674] [SC-128408][sql] O filtro de tempo de execução deve suportar o lado da junção de shuffle de vários níveis como o lado da criação do filtro
• [SPARK-45547] [SC-146228][ml] Validar vetores com função integrada
• [SPARK-45558] [SC-145890][ss] Introduza um ficheiro de metadados para o operador com estado em streaming
• [SPARK-45618] [SC-146252][core] Remover BaseErrorHandler
• [SPARK-45638] [SC-146251][sql][Avro] Melhorar a cobertura de teste da conversão decimal
• [SPARK-44837] [SC-146020][sql] Alterar ALTER TABLE mensagem de erro da coluna ALTER PARTITION
• [SPARK-45561] [SC-146264][sql] Adicione conversões adequadas para TINYINT no MySQLDialect
• [SPARK-45632] [SC-146255][sql] O cache de tabela deve evitar ColumnarToRow desnecessário ao habilitar o AQE
• [SPARK-45569] [SC-145932][sql] Atribuir um nome ao erro _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] Torne herméticos os testes do SBT.
• [SPARK-45452] [SC-144836][sql] Melhorar InMemoryFileIndex para utilizar FileSystem.listFiles a API
• [SPARK-44735] [SC-146186][sql] Adicionar mensagem de aviso ao inserir colunas com o mesmo nome por linha quando não coincidem
• [SPARK-45351] [SC-144791][core] Altere spark.shuffle.service.db.backend o valor padrão para ROCKSDB
• [SPARK-45553] [SC-145906][ps] Depreciar assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] Expor DeterministicLevel como uma Api de Desenvolvedor
• [SPARK-45549] [SC-145895][core] Remover não utilizado numExistingExecutors em CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] Incluir SqlState na mensagem proto do SparkThrowable
• [FAÍSCA-45595] [SC-146037] revelar sqlstate na mensagem de erro
• [SPARK-45628] [SC-146123][ml] Melhorar vector_to_array para .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] Desativar a descorrelação nas condições de junção para o teste AQE InSubquery
• [SPARK-45576] [SC-145883][core] Remoção de logs de depuração desnecessários no ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][connect] Melhorias no agente do usuário: use a variável de ambiente SPARK_CONNECT_USER_AGENT e inclua atributos específicos do ambiente
• [SPARK-45508] [SC-145513][core] Adicione "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que a plataforma possa acessar o Cleaner no Java 9+
• [SPARK-45595] Reverter "[SC-146037] Expor SQLSTATE na mensagem de erro"
• [SPARK-45595] [SC-146037] Expor SQLSTATE na mensagem de erro
• [SPARK-45112] Reverter "[SC-143259][sql] Use UnresolvedFunction ba...
• [SPARK-45257] [SC-143411][core] Ativar spark.eventLog.compress por padrão
• [SPARK-45586] [SC-145899][sql] Reduza a latência do compilador para planos com grandes árvores de expressão
• [SPARK-45517] [SC-145691][connect][14.x] Expanda mais construtores de exceção para suportar parâmetros de estrutura de erro
• [SPARK-45581] [SC-145896] Torne o SQLSTATE obrigatório.
• [SPARK-45427] [SC-145590][core] Adicionar configurações de SSL RPC a SSLOptions e SparkTransportConf
• [SPARK-45261] [SC-143357][core] Correção EventLogFileWriters para manipular none como um codec
• [SPARK-45582] [SC-145897][ss] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: Tornar 'rowTag' uma opção necessária
• [SPARK-45392] [SC-144362][core][SQL][ss] Substituir Class.newInstance() por Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não correspondem ao timestampFormat especificado
• [SPARK-45458] [SC-145011][sql] Converter IllegalArgumentException em SparkIllegalArgumentException em bitwiseExpressions
• [SPARK-45564] [SC-145735][sql] Simplifique 'DataFrameStatFunctions.bloomFilter' com a expressão 'BloomFilterAggregate'
• [SPARK-45566] [SC-145777][ps] Suporta utilitários de teste semelhantes a Pandas para a API do Pandas no Spark
• [SPARK-45498] [SC-145509][core] Acompanhamento: Ignorar a conclusão de tarefas do estágio antigo...
• [SPARK-45483] [SC-145152][connect] Corrija os grupos de funções em connect.functions
• [SPARK-45577] [SC-145781][python] Corrija UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
• [SPARK-45009] [SC-138223][follow-up] Desativar a descorrelação nas condições de junção para AetherSQLQuerySuite
• [FAÍSCA-45415] [SC-145344] Permitir a desativação seletiva de "fallocate" no armazenamento de estado RocksDB
• [SPARK-45500] [SC-145134][core][WEBUI] Mostrar o número de drivers terminados anormalmente na MasterPage
• [SPARK-44120] [SC-144349][python] Suporte Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] Reduzir o uso de memória de LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][ui] Loop desnecessário de JSON.stringify e JSON.parse para a lista de tarefas no detalhe do estágio
• [SPARK-45567] [SC-145718][connect] Remover o if redundante em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][sql] Usar a resolução baseada em UnresolvedFunction em funções de conjunto de dados SQL
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Torne a solicitação add_artifact idempotente
• [SPARK-44913] [SC-144326][sql] DS V2 suporta o push down de UDF V2 que possui um método especial
• [SPARK-45538] [SC-145635][python][CONNECT] Problema com a função 'overwrite_partitions' no pyspark connect
• [SPARK-45491] [SC-145622] Adicionar ausentes SQLSTATES 2/2
• [SPARK-45009] [SC-145620][sc-138223][SQL] Descorrelacionar subconsultas de predicados na cláusula de junção
• [SPARK-45377] [SC-144377][core] Manipular InputStream no NettyLogger
• [SPARK-45248] [SC-143759][core]Defina o tempo limite para o servidor spark ui
• [SPARK-44594] [SC-145611][ss] Remover parâmetro de método redundante no conector Kafka
• [SPARK-45539] [SC-145621][ss] Adicionar declaração e log para indicar que a definição de marca d'água é necessária para consultas de agregação de streaming no modo de acréscimo
• [SPARK-44262] [SC-145639][sql] Adicionar dropTable e getInsertStatement ao JdbcDialect
• [SPARK-45516] [SC-145480][connect] Incluir QueryContext na mensagem proto do SparkThrowable
• [SPARK-45310] [SC-145127][core] O estado do bloco de shuffle do relatório deve respeitar o serviço de shuffle durante a migração de descomissionamento
• [SPARK-45521] [SC-145487][ml] Evite o recálculo de nnz em VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] Altere o alias da coluna current_database() para current_schema()
• [SPARK-45116] [SC-145142][sql] Adicionar comentários para o parâmetro de JdbcDialect createTable
• [SPARK-45495] [SC-145529][core] Suporte para perfil de recursos de tarefas em nível de estágio para cluster k8s quando a alocação dinâmica está desativada
• [SPARK-45487] [SC-145559] Corrigir SQLSTATEs e erros temporários
• [SPARK-45505] [SC-145550][python] Refatorar analyzeInPython para torná-la reutilizável
• [SPARK-45132] [SC-145425][sql] Correção de erro IDENTIFIER para a invocação de uma função
• [SPARK-45213] [SC-145020][sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][connect] Verificação da consistência dos resultados do Arrow
• [SPARK-45163] [SC-143386][sql] Mesclar UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION & corrigir algum problema
• [SPARK-45421] [SC-144814][sql] Capturar AnalysisException em InlineCTE
• [SPARK-43664] [SC-145404][connect][PS] Levante exceção para ps.sql com o objeto Pandas-on-Spark no Spark Connect.
• [SPARK-45402] [SC-145371][sql][PYTHON] Adicionar a API UDTF para os métodos 'eval' e 'terminate' de modo a consumir o resultado anterior da 'análise'
• [SPARK-36112] [SC-67885] [SQL] Suportar subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][sql] Corrigir mensagem de erro para viagem no tempo com tabela não existente
• [SPARK-43254] [SC-143318][sql] Atribua um nome ao erro _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Adicionar ExecuteHolder opcional ao SparkConnectPlanner
• [SPARK-45451] [SC-145144][sql] Torne o nível de armazenamento padrão do cache do conjunto de dados configurável
• [SPARK-45192] [SC-143194][ui] Corrigir parâmetro lineInterpolate atrasado para borda graphviz
• [SPARK-45467] [SC-145146][core] Substitua Proxy.getProxyClass() por Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Adicionar transformador de características do montador de arrays
• [SPARK-44855] [SC-145226][connect] Pequenos ajustes para anexar ExecuteGrpcResponseSender a ExecuteResponseObserver
• [SPARK-45398] [SC-144796][sql] Acrescentar ESCAPE em sql() da expressão Like
• [SPARK-45494] [SC-145129][core][PYTHON] Introduza funções utilitárias para leitura/escrita de uma matriz de bytes para o PythonWorkerUtils
• [SPARK-45464] [SC-145125][core] Corrigir a compilação de distribuição network-yarn
• [SPARK-45461] [SC-144851][core][SQL][mllib] Introduza um mapeador para StorageLevel
• [SPARK-45450] [SC-145009][python] Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (core)
• [SPARK-45475] [SC-145018][sql] Usa DataFrame.foreachPartition em vez de RDD.foreachPartition em JdbcUtils
• [SPARK-45271] [SC-143778][sql] Mesclar _LEGACY_ERROR_TEMP_1113 em TABLE_OPERATION & excluir algum método não utilizado em QueryCompilationErrors
• [SPARK-45449] [SC-145013][sql] Problema de invalidação de cache com a tabela JDBC
• [SPARK-45473] [SC-145017][sql] Corrigir mensagem de erro incorreta para RoundBase
• [SPARK-43299] [SC-145022][ss][CONNECT] Converter StreamingQueryException no cliente Scala
• [SPARK-45474] [SC-145014][core][WEBUI] Suporta filtragem de nível superior na API JSON MasterPage
• [SPARK-45205] [SC-145012][sql] CommandResultExec para substituir métodos de iteração para evitar o disparo de múltiplas tarefas.
• [SPARK-45472] [SC-145004][ss] RocksDB State Store não precisa verificar novamente a existência do caminho do ponto de verificação
• [SPARK-45470] [SC-145010][sql] Evite colar o valor da cadeia de caracteres do tipo de compressão orc hive
• [SPARK-45448] [SC-144829][python] Corrija as importações de acordo com o PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
• [SPARK-45446] [SC-144828][python] Corrigir importações de acordo com PEP8: pyspark.errors e pyspark.ml
• [SPARK-45239] [SC-144832][connect] Reduzir o valor padrão spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][python][CONNECT] Os métodos DataFrame verificam a mesma sessão
• [SPARK-45413] [SC-144847][core] Adicionar aviso para preparar a remoção do suporte ao LevelDB
• [SPARK-45462] [SC-144848][core][WEBUI] Mostrar Duration em ApplicationPage
• [SPARK-44527] [SC-144855][sql] Substituir ScalarSubquery por null se o seu maxRows for 0
• [SPARK-45401] [SC-144854][python] Adicione um novo método cleanup na interface UDTF
• [SPARK-43704] [SC-144849][connect][PS] Suporte MultiIndex para to_series()
• [SPARK-45424] [SC-144888][sql] Fix TimestampFormatter retorna resultados de análise opcionais quando apenas o prefixo corresponde
• [SPARK-45441] [SC-144833][python] Introduza mais funções util para PythonWorkerUtils
• [SPARK-45412] [SC-144803][python][CONNECT] Valide o plano e a sessão em DataFrame.__init__
• [SPARK-45408] [SC-144810][core] Adicionar configurações de SSL RPC ao TransportConf
• [SPARK-45432] [SC-144818][core] Remover construtor Hadoop-2 LocatedFileStatus obsoleto
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression verifica os rótulos de treinamento
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] Adicionar DataType.fromDDL ao PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] Eliminar schema do construtor da DataFrame
• [SPARK-45404] [SC-144799][core] Suporte AWS_ENDPOINT_URL env variável
• [SPARK-43620] [SC-144792][connect][PS] Fix Pandas APIs depende de recursos não suportados
• [SPARK-45354] [SC-143991][sql] Resolver funções de baixo para cima
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Adicionar repetições para a API de artefato. Melhorar o tratamento de erros (acompanhamento de [SPARK-45093]).
• [SPARK-45120] [SC-142780][spark-45150][UI] Atualize o d3 de v3 para v7(v7.8.5) e aplique alterações de api na interface do usuário
• [SPARK-44838] [SC-143983][sql] melhoria na função raise_error
• [SPARK-45312] [SC-143754][sql][UI] Suportar a alternância entre exibir e ocultar o plano em SVG na página de execução
• [SPARK-45378] [SC-144448][core] Adicionar convertToNettyForSsl ao ManagedBuffer
• [SPARK-44762] [SC-144338][connect][CORE] Documentação para SparkConnect.addJobTag e Connect SparkSession.addTag
• [FAÍSCA-45383] Lidar com RelationTimeTravel não resolvido de forma adequada
• [SPARK-45347] [SC-144512][sql][CONNECT] Incluir SparkThrowable em FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][sql] CheckAnalysis deve lançar plano embutido em AnalysisException
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} deve gerar exceções quando o plano é inválido
• [SPARK-45227] [SC-144233][core] Corrija um problema sutil de segurança de threads com CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][python] Regra do analisador Refactor ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são usados
• [SPARK-45266] Reverter "[SC-144171][python] Refactor a regra do analisador ResolveFunctions para adiar a realização de junções laterais quando são usados argumentos de tabela"
• [SPARK-45371] [SC-144389][connect] Corrigir problemas de sombreamento no cliente Spark Connect Scala
• [SPARK-45057] [SC-144214][core] Evite adquirir bloqueio de leitura quando "keepReadLock" é falso
• [SPARK-45385] [SC-144357][sql] Descontinuar spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Remova a configuração do SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Regra do analisador Refactor ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são usados
• [SPARK-45362] [SC-144198][python] Projete expressões PARTITION BY antes que o método Python UDTF 'eval' as consuma
• [SPARK-45346] [SC-143925][sql] A inferência do esquema Parquet deve respeitar o indicador sensível a maiúsculas e minúsculas ao unir os esquemas
• [SPARK-45341] [SC-143933][core] Corrigir o nível do título nos comentários de KVStore.java para garantir a execução bem-sucedida no Java 17
• [SPARK-45334] [SC-143914][sql] Remover comentário enganoso no parquetSchemaConverter
• [SPARK-45337] [SC-143932][core] Refatorar AbstractCommandBuilder#getScalaVersion para remover a verificação do Scala 2.12
• [SPARK-45329] [SC-143918][python][CONNECT] Os métodos DataFrame ignoram a conversão de pandas
• [SPARK-43662] [SC-143923][ps][CONNECT] Suporte de merge_asof no Spark Connect
• [SPARK-44126] [SC-143751][core] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino for desativado
• [SPARK-44550] [SC-119768][sql] Ativar correções de precisão para null IN (empty list) de acordo com ANSI
• [SPARK-45316] [SC-143783][core][SQL] Adicione novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a e HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Relatório de erros para consulta addArtifacts
• [SPARK-44756] [SC-143787][core] O executor trava quando RetryingBlockTransferor falha ao iniciar a nova tentativa
• [SPARK-45333] [SC-143768][core] Corrigir um erro de unidade relacionado a spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][sql][CONNECT] Manipular nome de ficheiro nulo em rastreamentos de pilha de exceções
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId adiciona informações colunares
• [SPARK-45235] [SC-143314][connect][PYTHON] Suporta parâmetros de mapa e matriz por sql()
• [SPARK-45138] [SC-143309][ss] Defina uma nova classe de erro e aplique-a quando o estado de verificação do DFS falhar
• [SPARK-45297] [SC-143644][sql] Remover solução alternativa para o formatador de datas que foi adicionado no SPARK-31827
• [SPARK-44345] [SC-143593][core] Reduzir nível de log para avisar se a migração de shuffle estiver ativada
• [SPARK-44463] [SC-143251][ss][CONNECT] Melhorar o tratamento de erros para o processo Python de transmissão do Connect
• [SPARK-45207] [SC-143603][sql][CONNECT] Implementar enriquecimento de erro para cliente de Scala
• [SPARK-45240] [SC-143602][sql][CONNECT] Implementar enriquecimento de erro para cliente Python
• [SPARK-45216] [SC-143288][sql] Corrigir APIs de Dataset com sementes não determinísticas
• [SPARK-45251] [SC-143419][connect] Adicionar campo client_type para FetchErrorDetails
• [SPARK-45137] [SC-143001][connect] Suporta parâmetros de mapa/matriz parametrizados sql()
• [SPARK-45224] [SC-143257][python] Adicione exemplos com mapa e matriz como parâmetros de sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Implementar FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Reversão para executar um único lote para Trigger.AvailableNow com fontes sem suporte em vez de utilizar wrapper
• [SPARK-44823] [14.x][sc-142979][PYTHON] Atualizar black para 23.9.1 e corrigir verificação errónea.
• [SPARK-45078] [SC-142954][sql] Corrigir array_insert ImplicitCastInputTypes não funciona
• [SPARK-44579] [SC-138428][sql] Interrupção de suporte ao cancelar no SQLExecution
• [SPARK-45252] [SC-143371][core] Fuja dos símbolos maiores/menores que nos comentários para executar sbt doc com êxito
• [SPARK-45189] [SC-142973][sql] A criação de UnresolvedRelation a partir de TableIdentifier deve incluir o campo de catálogo
• [SPARK-45229] [SC-143254][core][UI] Mostrar o número de drivers aguardando no status ENVIADO na MasterPage
• [SPARK-43453] Reverter "[SC-143135][ps] Ignorar o names de MultiIndex quando axis=1 para concat"

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 14.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.3.1
• Lago Delta: 3.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Foram instaladas as bibliotecas R a partir do CRAN snapshot do Posit Package Manager em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)