Databricks Runtime 14.2 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.2, da plataforma Apache Spark 3.5.0.

O Databricks lançou esta imagem em novembro de 2023.

Novos recursos e aprimoramentos

• CACHE SELECT agora é ignorado
• Comportamento de cache aprimorado
• Correção de tratamento de arquivos corrompidos em comandos DML
• Suporte ao Registro de Esquema para protobuf e funções relacionadas ao Avro em clusters compartilhados
• foreachBatch e StreamingListener dão suporte
• A simultaneidade em nível de linha está em Disponibilidade Geral e ativada por padrão
• Compartilhamento Delta: Os destinatários podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização Pública)
• Clone superficial para tabelas externas do Catálogo do Unity (Visualização Pública)
• Novo algoritmo de atribuição de cache de disco
• from_avro com o conector do registro de esquema adiciona suporte para a evolução do esquema
• Coleção de estatísticas multi-threaded mais rápida
• Filtros pushdown nos arquivos DeltaSource no Delta
• Suporte para funções escalares do Scala definidas pelo usuário em clusters compartilhados (Visualização Pública)

CACHE SELECT agora é ignorado

O comando SQL CACHE SELECT agora é ignorado em favor de um algoritmo de cache aprimorado. Veja Otimizar o desempenho com o uso do cache no Azure Databricks.

Comportamento de cache aprimorado

O posicionamento do DiskCache pelo agendador do Spark agora tem uma atribuição de partição mais rápida, melhor balanceamento durante o dimensionamento automático do cluster e execução de consulta mais consistente.

Correção de tratamento de arquivos corrompidos em comandos DML

Os comandos DML DELETE, UPDATE e MERGE INTO não respeitam mais as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falharão mesmo se essas opções forem especificadas.

Suporte ao Registro de Esquema para protobuf e funções relacionadas ao Avro em clusters compartilhados

Agora você pode usar as funções from_avro, to_avro, from_protobuf e to_protobuf Python com o Registro de Esquema em clusters compartilhados.

Suporte a foreachBatch e StreamingListener

Agora você pode usar as APIs foreachBatch() e StreamingListener com Streaming Estruturado em clusters compartilhados. Consulte Usar foreachBatch para gravar em coletores de dados arbitrários e Monitoramento de consultas de Fluxo Estruturado no Azure Databricks.

A simultaneidade em nível de linha está em Disponibilidade Geral e ativada por padrão

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas com a detecção de alterações no nível da linha. A simultaneidade em nível de linha só tem suporte para tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha está habilitada por padrão nas tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

Compartilhamento Delta: os destinatários podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização Pública)

Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas que usam vetores de exclusão. No Azure Databricks Runtime 14.1, eles só podem realizar consultas em lote. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.

Clone superficial para tabelas externas do Catálogo do Unity (Visualização Pública)

Agora você pode usar um clone superficial com tabelas externas do Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.

Novo algoritmo de atribuição de cache de disco

O agendador do Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partição entre nós, com atribuição mais rápida inicialmente e após eventos de dimensionamento de cluster. A atribuição de cache mais complicada melhora a consistência entre execuções e reduz os dados movidos durante operações de rebalanceamento.

from_avro com o conector do registro de esquema adiciona suporte para a evolução do esquema

Agora você pode habilitar seus pipelines para reiniciar quando registros evoluídos são detectados. Anteriormente, se a evolução do esquema ocorresse com o conector from_avro, as novas colunas retornariam null. Confira Ler e gravar dados de streaming do Avro.

Coleção de estatísticas multi-threaded mais rápida

A coleta de estatísticas é até 10 vezes mais rápida em clusters pequenos ao executar CONVERT TO DELTA ou na clonagem de tabelas Apache Iceberg e Parquet. Confira Converter para Delta Lake e Tabelas Clone Parquet e Iceberg.

Filtros pushdown nos arquivos DeltaSource no Delta

Para melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são enviados para o Delta antes da limitação de taxa.

Suporte para funções escalares do Scala definidas pelo usuário em clusters compartilhados (Visualização Pública)

Agora você pode usar funções escalares do Scala definidas pelo usuário em clusters habilitados para o Catálogo do Unity e configurados com o modo de acesso compartilhado. Confira Funções escalares definidas pelo usuário – Scala.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • fastjsonschema de 2.18.0 para 2.19.0
  • filelock de 3.12.3 para 3.12.4
  • googleapis-common-protos de 1.60.0 para 1.61.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:

Apache Spark

O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.1 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-45592] [DBRRM-624] Reverter "[SC-146977][sql] Questão de precisão no AQE com InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Reverter "[SC-146319][python][SQL] Suporte inicial para..."
• [SPARK-45433] [DBRRM-621] Revert "[SC-145163][sql] Fix CSV/JSON schema infer...
• [SPARK-45592] [SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec
• [SPARK-45354] Reverter "[SC-143991][sql] Resolver funções de baixo para cima"
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Corrigir testes
• [SPARK-45680] Sessão de versão [CONNECT]
• [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir lentidão na leitura do Avro
• [SPARK-45649] [SC-146742][sql] Unificar a estrutura de preparação para OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Criando StructType do Json
• [SPARK-45620] [SC-146225][python] Corrigir APIs voltadas para o usuário relacionadas ao Python UDTF para usar camelCase
• [SPARK-45727] [SC-146978][ss] Remover mapa não utilizado na simulação de propagação de marca d'água
• [SPARK-45723] [SC-146890][python][CONNECT] Métodos de catálogo evitam a conversão do pandas
• [SPARK-45574] [SC-146106][sql] Adicionar :: sintaxe como uma abreviação para conversão
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit não dá suporte --total-executor-cores ao implantar em K8s
• [SPARK-45661] [SC-146594][sql][PYTHON] Adicionar toNullable em StructType, MapType e ArrayType
• [SPARK-45524] [SC-146319][python][SQL] Suporte inicial para a API de leitura da fonte de dados do Python
• [SPARK-45542] [SC-145892][core] Substituir setSafeMode(HdfsConstants.SafeModeAction, boolean) por setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: manipular partições de entrada vazias após a filtragem dinâmica
• [SPARK-45454] [SC-144846][sql] Defina o proprietário padrão da tabela como current_user
• [SPARK-45554] [SC-146875][python] Introduzir parâmetro flexível para assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] Use a ID do DataFrame para validar semanticamente CollectMetrics
• [SPARK-45674] [SC-146862][connect][PYTHON] Melhorar a mensagem de erro para atributos dependentes de JVM no Spark Connect.
• [SPARK-45646] [SC-146276][sql] Remover variáveis de tempo de codificação antes do Hive 2.0
• [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir lentidão na leitura do Avro
• [SPARK-45545] [SC-146484][core] Passe SSLOptions onde quer que criemos um SparkTransportConf
• [SPARK-45641] [SC-146260][ui] Exibir a hora de início do aplicativo em AllJobsPage
• [SPARK-40154] [SC-146491][python][Docs] Nível de armazenamento correto em Dataframe.cache docstring
• [SPARK-45626] [SC-146259][sql] Converter _LEGACY_ERROR_TEMP_1055 para REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][sql] Correção de precisão para subconsultas escalares correlacionadas e aninhadas com agregações de CONTAGEM
• [SPARK-45619] [SC-146226][connect][PYTHON] Aplicar as métricas observadas ao objeto Observação
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Melhoria no Scaladoc para StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][core] Evite ParVector, que não propaga ThreadLocals ou SparkSession
• [SPARK-45604] [SC-146105][sql] Adicionar verificação LogicalType em INT64 –> Conversão DateTime no Parquet Vectorized Reader
• [SPARK-44649] [SC-145891][sql] O filtro de tempo de execução dá suporte à passagem de expressões equivalentes no lado da criação
• [SPARK-41674] [SC-128408][sql] O filtro de tempo de execução deve dar suporte ao lado de junção de embaralhamento de vários níveis para a criação de filtro
• [SPARK-45547] [SC-146228][ml] Validar vetores com função interna
• [SPARK-45558] [SC-145890][ss] Introduzir um arquivo de metadados para o operador com estado de streaming
• [SPARK-45618] [SC-146252][core] Remover BaseErrorHandler
• [SPARK-45638] [SC-146251][sql][Avro] Melhorar a cobertura de teste da conversão decimal
• [SPARK-44837] [SC-146020][sql] Alterar ALTER TABLE mensagem de erro da coluna ALTER PARTITION
• [SPARK-45561] [SC-146264][sql] Adicionar conversões adequadas para TINYINT no MySQLDialect
• [SPARK-45632] [SC-146255][sql] O cache de tabela deve evitar ColumnarToRow desnecessário ao habilitar o AQE
• [SPARK-45569] [SC-145932][sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] Torne o teste hermético do SBT.
• [SPARK-45452] [SC-144836][sql] Aprimorar InMemoryFileIndex para usar API FileSystem.listFiles
• [SPARK-44735] [SC-146186][sql] Adicionar msg de aviso ao inserir colunas com o mesmo nome por linha que não correspondem
• [SPARK-45351] [SC-144791][core] Alterar spark.shuffle.service.db.backend o valor padrão para ROCKSDB
• [SPARK-45553] [SC-145906][ps] Preterir assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] Tornar DeterministicLevel visível como uma API para desenvolvedores
• [SPARK-45549] [SC-145895][core] Remover não utilizado numExistingExecutors em CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] Incluir SqlState na mensagem proto SparkThrowable
• [SPARK-45595] [SC-146037] Expõe o sqlstate na mensagem de erro
• [SPARK-45628] [SC-146123][ml] Aprimorar vector_to_array para .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] Desative a decorrelação nas condições de junção para o teste InSubquery do AQE
• [SPARK-45576] [SC-145883][core] Remover os logs de depuração desnecessários no ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][connect] Aprimoramentos do agente de usuário: Use a variável de ambiente SPARK_CONNECT_USER_AGENT e incluir atributos específicos do ambiente
• [SPARK-45508] [SC-145513][core] Adicione "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que a Plataforma possa acessar o Cleaner no Java 9+
• [SPARK-45595] Reverter “[SC-146037] Expõe o SQLSTATE na mensagem de erro”
• [SPARK-45595] [SC-146037] Expõe o SQLSTATE na mensagem de erro
• [SPARK-45112] Reverter “[SC-143259][sql] Usar UnresolvedFunction base...”
• [SPARK-45257] [SC-143411][core] Habilitar spark.eventLog.compress por padrão
• [SPARK-45586] [SC-145899][sql] Reduzir a latência do compilador para planos com árvores de expressão grandes
• [SPARK-45517] [SC-145691][connect][14.x] Expanda mais construtores de exceção para dar suporte a parâmetros da estrutura de erros
• [SPARK-45581] [SC-145896] Torna o SQLSTATE obrigatório.
• [SPARK-45427] [SC-145590][core] Adicionar configurações de RPC SSL a SSLOptions e SparkTransportConf
• [SPARK-45261] [SC-143357][core] Correção EventLogFileWriters para manipular none como um codec
• [SPARK-45582] [SC-145897][ss] Garanta que a instância de armazenamento não seja usada após a chamada de commit na agregação de streaming no modo de saída
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: tornar 'rowTag' uma opção necessária
• [SPARK-45392] [SC-144362][core][SQL][ss] Substituir Class.newInstance() por Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Corrigir a inferência de esquema CSV/JSON quando os carimbos de data/hora não correspondem ao formato de carimbo de data/hora especificado.
• [SPARK-45458] [SC-145011][sql] Converter IllegalArgumentException em SparkIllegalArgumentException em bitwiseExpressions
• [SPARK-45564] [SC-145735][sql] Simplificar 'DataFrameStatFunctions.bloomFilter' com a expressão 'BloomFilterAggregate'
• [SPARK-45566] [SC-145777][ps] Suporte a ferramentas de teste semelhantes ao Pandas para a API Pandas no Spark
• [SPARK-45498] [SC-145509][core] Acompanhamento: Ignorar conclusão de tarefa de estágio antigo...
• [SPARK-45483] [SC-145152][conectar] Corrija os grupos de funções em connect.functions
• [SPARK-45577] [SC-145781][python] Corrigir UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
• [SPARK-45009] [SC-138223][acompanhamento] Desative a decorrelação em condições de junção para AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Permite desabilitar seletivamente o "fallocate" no statestore do RocksDB
• [SPARK-45500] [SC-145134][core][WEBUI] Mostrar o número de drivers finalizados anormalmente na página mestre
• [SPARK-44120] [SC-144349][python] Suporte ao Python 3.12
• [SPARK-45439] [SC-145589][sql][interface do usuário] Reduza o uso de memória de LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][ui] Loop desnecessário JSON.stringify e JSON.parse para lista de tarefas em detalhes do estágio
• [SPARK-45567] [SC-145718][connect] Remover 'if' redundante em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] Usar a resolução baseada em UnresolvedFunction em funções SQL Dataset
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Tornar solicitação add_artifact idempotente
• [SPARK-44913] [SC-144326][sql] DS V2 dá suporte a push down V2 UDF que tem método mágico
• [SPARK-45538] [SC-145635][python][CONNECT] erro de sobrescrição de partições no pyspark connect
• [SPARK-45491] [SC-145622] Adiciona SQLSTATES ausentes 2/2
• [SPARK-45009] [SC-145620][sc-138223][SQL] Decorrelacionar subconsultas de predicado na condição de junção
• [SPARK-45377] [SC-144377][core] Manipular InputStream no NettyLogger
• [SPARK-45248] [SC-143759][core]Definir o tempo limite para o servidor UI do Spark
• [SPARK-44594] [SC-145611][ss] Remover parâmetro de método redundante no conector Kafka
• [SPARK-45539] [SC-145621][ss] Adicionar afirmação e log para indicar que a definição de marca d'água é necessária para consultas de agregação de streaming no modo anexar
• [SPARK-44262] [SC-145639][sql] Adicionar dropTable e getInsertStatement ao JdbcDialect
• [SPARK-45516] [SC-145480][connect] Incluir QueryContext na mensagem proto SparkThrowable
• [SPARK-45310] [SC-145127][núcleo] O status do bloco de embaralhamento de relatório deve respeitar o serviço de embaralhamento durante a migração de encerramento
• [SPARK-45521] [SC-145487][ml] Evite a re computação de nnz em VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] Altere o alias da coluna current_database() para current_schema()
• [SPARK-45116] [SC-145142][sql] Adicionar algum comentário para o param de JdbcDialect createTable
• [SPARK-45495] [SC-145529] [core] Suporte ao perfil de recurso de tarefa no nível do estágio para o cluster k8s quando a alocação dinâmica desabilitada
• [SPARK-45487] [SC-145559] Corrige o SQLSTATE e os erros temporários
• [SPARK-45505] [SC-145550][python] Refatorar analyzeInPython para torná-lo reutilizável
• [SPARK-45132] [SC-145425][sql] Correção IDENTIFIER para invocação de função
• [SPARK-45213] [SC-145020][sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][connect] Verificação de consistência dos resultados no Arrow
• [SPARK-45163] [SC-143386][sql] Mesclar UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION & corrigir algum problema
• [SPARK-45421] [SC-144814][sql] Catch AnalysisException over InlineCTE
• [SPARK-43664] [SC-145404][connect][PS] Gerar exceção para ps.sql o objeto Pandas-on-Spark no Spark Connect.
• [SPARK-45402] [SC-145371][sql][PYTHON] Adicione a API UDTF para os métodos 'eval' e 'terminate', que consomem o resultado anterior de 'analyze'
• [SPARK-36112] [SC-67885] [SQL] Suporte a subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][sql] Corrigir mensagem de erro para viagem no tempo com tabela não existente
• [SPARK-43254] [SC-143318][sql] Atribuir um nome ao erro _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Adicionar ExecuteHolder opcional ao SparkConnectPlanner
• [SPARK-45451] [SC-145144][sql] Torne configurável o nível de armazenamento padrão do cache do conjunto de dados
• [SPARK-45192] [SC-143194][ui] Correção do parâmetro lineInterpolate vencido para a borda do graphviz
• [SPARK-45467] [SC-145146][core] Substituir Proxy.getProxyClass() por Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Adicionar transformador de recurso do assembler de matriz
• [SPARK-44855] [SC-145226][connect] Pequenos ajustes para anexar ExecuteGrpcResponseSender ao ExecuteResponseObserver
• [SPARK-45398] [SC-144796][sql] Acrescentar ESCAPE na sql()Like expressão
• [SPARK-45494] [SC-145129][core][PYTHON] Introduza funções úteis para ler/gravar uma matriz de bytes no PythonWorkerUtils
• [SPARK-45464] [SC-145125][core] Corrigir build de distribuição Yarn de rede
• [SPARK-45461] [SC-144851][core][SQL][mllib] Introduza um mapeador para StorageLevel
• [SPARK-45450] [SC-145009][python] Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (núcleo)
• [SPARK-45475] [SC-145018][sql] Usa DataFrame.foreachPartition em vez de RDD.foreachPartition em JdbcUtils
• [SPARK-45271] [SC-143778][sql] Mesclar _LEGACY_ERROR_TEMP_1113 em TABLE_OPERATION e excluir algum método não utilizado em QueryCompilationErrors
• [SPARK-45449] [SC-145013][sql] Problema de invalidação de cache com a tabela JDBC
• [SPARK-45473] [SC-145017][sql] Corrigir mensagem de erro incorreta para RoundBase
• [SPARK-43299] [SC-145022][ss][CONNECT] Converte StreamingQueryException no cliente Scala
• [SPARK-45474] [SC-145014][core][WEBUI] Suporte à filtragem de nível superior na API JSON do MasterPage
• [SPARK-45205] [SC-145012][sql] CommandResultExec deve substituir os métodos de iterador para evitar o acionamento de múltiplos trabalhos.
• [SPARK-45472] [SC-145004][ss] O Repositório de Estado RocksDB não precisa verificar novamente a existência do caminho do ponto de verificação
• [SPARK-45470] [SC-145010][sql] Evite colar o valor da string do tipo de compressão hive orc
• [SPARK-45448] [SC-144829][python] Corrigir importações de acordo com PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
• [SPARK-45446] [SC-144828][python] Corrigir importações de acordo com PEP8: pyspark.errors e pyspark.ml
• [SPARK-45239] [SC-144832][connect] Reduzir o tamanho padrão de spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][python][CONNECT] Os métodos DataFrame verificam a mesma sessão
• [SPARK-45413] [SC-144847][core] Adicionar aviso para preparar a remoção do suporte ao LevelDB
• [SPARK-45462] [SC-144848][core][WEBUI] Mostrar Duration em ApplicationPage
• [SPARK-44527] [SC-144855][sql] Substitua ScalarSubquery por nulo se maxRows for 0
• [SPARK-45401] [SC-144854][python] Adicionar um novo método cleanup na interface UDTF
• [SPARK-43704] [SC-144849][connect][PS] Suporte MultiIndex para to_series()
• [SPARK-45424] [SC-144888][sql] Corrigir TimestampFormatter para retornar resultados opcionais de análise de tempo quando houver apenas correspondência de prefixo
• [SPARK-45441] [SC-144833][python] Introduza mais funções util para PythonWorkerUtils
• [SPARK-45412] [SC-144803][python][CONNECT] Valide o plano e a sessão em DataFrame.__init__
• [SPARK-45408] [SC-144810][core] Adicionar configurações de RPC SSL ao TransportConf
• [SPARK-45432] [SC-144818][core] Remover construtor obsoleto Hadoop-2 LocatedFileStatus
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression verifica os rótulos de treinamento
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] Adicionar DataType.fromDDL ao PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] Excluir schema do construtor DataFrame
• [SPARK-45404] [SC-144799][core] Variável de env de suporte AWS_ENDPOINT_URL
• [SPARK-43620] [SC-144792][connect][PS] Corrigir APIs do Pandas que dependem de recursos sem suporte
• [SPARK-45354] [SC-143991][sql] Resolver funções de baixo para cima
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Adicionar repetição para a API de artefatos. Aprimore o tratamento de erros (acompanhamento para [SPARK-45093]).
• [SPARK-45120] [SC-142780][spark-45150][interface do usuário] Atualizar d3 da v3 para v7(v7.8.5) e aplicar alterações de api na interface do usuário
• [SPARK-44838] [SC-143983][sql] melhoria na função raise_error
• [SPARK-45312] [SC-143754][sql][interface do usuário] Suporte para exibir/ocultar svg de plano de execução na página de execução
• [SPARK-45378] [SC-144448][core] Adicionar convertToNettyForSsl ao ManagedBuffer
• [SPARK-44762] [SC-144338][connect][CORE] Documento para SparkConnect.adicionarEtiquetaDeTrabalho e Conectar SessãoSpark.adicionarEtiqueta
• [SPARK-45383] Lidar normalmente com RelationTimeTravel não resolvido
• [SPARK-45347] [SC-144512][sql][CONNECT] Inclua SparkThrowable em FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][sql] CheckAnalysis deve lançar um plano embutido em AnalysisException
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} deve gerar exceções quando o plano for inválido
• [SPARK-45227] [SC-144233][core] Corrigir um problema sutil de segurança de thread com CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][python] Refatorar a regra do analisador ResolveFunctions para adiar a realização de junção lateral quando os argumentos da tabela são usados
• [SPARK-45266] Reverter a regra do analisador "[SC-144171][python] Refatorar ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela forem usados"
• [SPARK-45371] [SC-144389][Connect] Corrigir problemas de sombreamento no cliente Scala do Spark Connect
• [SPARK-45057] [SC-144214][core] Evitar adquirir bloqueio de leitura quando keepReadLock é falso
• [SPARK-45385] [SC-144357][sql] Desaprovar spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Remover a configuração do SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Refatorar a regra do analisador ResolveFunctions para adiar a realização de junção lateral quando os argumentos da tabela são usados
• [SPARK-45362] [SC-144198][python] Projetar PARTITION expressões BY antes que o método 'eval' do Python UDTF as consuma
• [SPARK-45346] [SC-143925][sql] A inferência de esquema Parquet deve respeitar o flag de sensibilidade a maiúsculas e minúsculas ao mesclar esquemas
• [SPARK-45341] [SC-143933][core] Corrija o nível de título nos comentários de KVStore.java para executar sbt doc com êxito com o Java 17
• [SPARK-45334] [SC-143914][sql] Remover comentário enganoso em parquetSchemaConverter
• [SPARK-45337] [SC-143932][core] Refatorar AbstractCommandBuilder#getScalaVersion para remover a verificação do Scala 2.12
• [SPARK-45329] [SC-143918][python][CONNECT] Os métodos DataFrame ignoram a conversão de pandas
• [SPARK-43662] [SC-143923][ps][CONNECT] Suporte merge_asof no Spark Connect
• [SPARK-44126] [SC-143751][núcleo] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino for desativado
• [SPARK-44550] [SC-119768][sql] Habilitar correções de precisão para null IN (empty list) no padrão ANSI
• [SPARK-45316] [SC-143783][core][SQL] Adicionar novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a e HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Relatório de erros para consulta addArtifacts
• [SPARK-44756] [SC-143787][core] Executor trava quando RetryingBlockTransferor falha ao iniciar nova tentativa
• [SPARK-45333] [SC-143768][core] Corrigir um erro de unidade relacionado a spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][sql][CONNECT] Tratar nome de arquivo nulo em rastreamentos de pilha de exceções
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId adiciona informações de coluna
• [SPARK-45235] [SC-143314][connect][PYTHON] Suporte a parâmetros de mapa e matriz por sql()
• [SPARK-45138] [SC-143309][ss] Definir uma nova classe de erro e aplicá-la quando o estado de ponto de verificação para DFS falhar
• [SPARK-45297] [SC-143644][sql] Remover solução alternativa para o formatador de data adicionado ao SPARK-31827
• [SPARK-44345] [SC-143593][core] Reduzir o nível de log para WARN se a migração de shuffle estiver habilitada
• [SPARK-44463] [SC-143251][ss][CONNECT] Melhorar o tratamento de erros para o trabalhador Python de streaming do Connect
• [SPARK-45207] [SC-143603][sql][CONNECT] Implementar melhoria do tratamento de erros para o cliente Scala
• [SPARK-45240] [SC-143602][sql][CONNECT] Implementar o enriquecimento de erros para o cliente Python
• [SPARK-45216] [SC-143288][sql] Corrigir APIs de conjunto de dados semeados não determinísticos
• [SPARK-45251] [SC-143419][connect] Adicionar client_type campo para FetchErrorDetails
• [SPARK-45137] [SC-143001][connect] Suporte a parâmetros de mapa/array em consultas parametrizadas sql()
• [SPARK-45224] [SC-143257][python] Adicionar exemplos de mapa e matriz como parâmetros de sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Implementar FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Fazer fallback para executar um único lote para Trigger.AvailableNow com fontes sem suporte ao invés de usar o wrapper
• [SPARK-44823] [14.x][sc-142979][PYTHON] Atualizar Black para 23.9.1 e corrigir verificação errônea
• [SPARK-45078] [SC-142954][sql] Correção array_insert implicitCastInputTypes não funciona
• [SPARK-44579] [SC-138428][sql] Suporte à interrupção ao cancelar no SQLExecution
• [SPARK-45252] [SC-143371][core] Escape dos símbolos maiores/menores que nos comentários para executar sbt doc com êxito
• [SPARK-45189] [SC-142973][sql] A criação de UnresolvedRelation de TableIdentifier deve incluir o campo catálogo
• [SPARK-45229] [SC-143254][core][interface do usuário] Mostrar o número de drivers aguardando no status SUBMITTED no MasterPage
• [SPARK-43453] Reverter "[SC-143135][ps] Ignorar o names de MultiIndex quando axis=1 para concat"

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 14.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)