Tempo de execução do Databricks 14.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.3 LTS, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em fevereiro de 2024.

Novos recursos e melhorias

• Suporte ao sistema de arquivos Workspace no PySpark User-Defined Functions (UDFs) em clusters de modo de acesso padrão (anteriormente modo de acesso compartilhado)
• MERGE
• APIs de catálogo do Spark agora totalmente suportadas no modo de acesso padrão
• Delta UniForm agora está disponível para o público em geral
• Nova função SQL EXECUTE IMMEDIATE
• Recalcular estatísticas de pulo de dados para tabelas Delta
• Informações de estado de consulta para consultas de streaming com estado
• Usar o Microsoft Entra ID para autenticação Kafka em clusters padrão
• Suporte adicionado para remoção de arquivos e partições para melhorar o desempenho da consulta
• Declarar variáveis temporárias em uma sessão SQL
• Atualizações do Thriftserver para remover recursos não utilizados
• Utilize os ficheiros truststore e keystore em volumes do Unity Catalog
• Suporte ao formato de arquivo XML nativo (Visualização pública)
• Suporte para armazenamento Cloudflare R2 (visualização pública)
• Acesso ao Spark e ao dbutils aos ficheiros do espaço de trabalho em clusters de acesso padrão do Unity Catalog
• Scripts de inicialização e suporte de biblioteca de cluster em clusters do Unity Catalog com acesso padrão

Suporte ao sistema de ficheiros do espaço de trabalho em Funções Definidas pelo Utilizador (UDFs) do PySpark em clusters no modo de acesso normalizado (anteriormente modo de acesso compartilhado)

UDFs do PySpark em clusters padrão agora podem importar módulos Python de pastas Git, arquivos de espaço de trabalhoou volumes UC.

Para obter mais informações sobre como trabalhar com módulos em pastas Git ou arquivos de espaço de trabalho, consulte Trabalhar com módulos Python e R.

Suporte para otimizações de vetores de exclusão MERGE sem Photon

Já não é necessário utilizar o Photon para que as operações MERGE tirem partido das otimizações de vetores de eliminação. Consulte O que são vetores de exclusão?.

APIs de catálogo do Spark agora totalmente suportadas no modo de acesso padrão

Agora você pode usar todas as funções na API spark.catalog em Python e Scala na computação configurada com o modo de acesso padrão.

Delta UniForm agora está disponível para o público em geral

O UniForm está agora geralmente disponível e utiliza o recurso de tabela IcebergCompatV2. Agora você pode habilitar ou atualizar o UniForm em tabelas existentes. Veja Como ler tabelas Delta com clientes Iceberg.

Nova função SQL EXECUTE IMMEDIATE

Agora você pode usar a sintaxe EXECUTE IMMEDIATE para dar suporte a consultas parametrizadas em SQL. Consulte EXECUTE IMMEDIATE.

Recalcular estatísticas de salto de dados para as tabelas Delta

Agora você pode recalcular as estatísticas armazenadas no log Delta depois de alterar as colunas usadas para pular dados. Consulte Especificação das colunas de estatísticas delta.

Informações de estado de consulta para consultas de streaming com monitoração de estado

Agora você pode consultar dados e metadados de estado do Streaming Estruturado. Consulte Ler informações de estado do Structured Streaming.

Usar o Microsoft Entra ID para autenticação Kafka em clusters padrão

Agora pode autenticar serviços do Event Hubs via OAuth com o Microsoft Entra ID em sistema computacional configurado com o modo de acesso padrão. Consulte Autenticação do Principal do Serviço com o Microsoft Entra ID e Azure Event Hubs.

Suporte adicionado para remoção de arquivos e partições para melhorar o desempenho da consulta

Para acelerar algumas consultas que dependem da igualdade tolerante a nulos em condições JOIN, agora oferecemos suporte a DynamicFilePruning e DynamicPartitionPruning para o operador EqualNullSafe em JOINs.

Declarar variáveis temporárias em uma sessão SQL

Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que pode ser definida e, em seguida, referida a partir de consultas. Consulte Variáveis.

Atualizações do Thriftserver para remover recursos não utilizados

O código do Thriftserver foi atualizado para remover o código relacionado a funcionalidades obsoletas. Devido a essas alterações, as seguintes configurações não são mais suportadas:

• Os JARs auxiliares do Hive, configurados usando a hive.aux.jars.path propriedade, não são mais suportados para hive-thriftserver conexões.
• O arquivo de inicialização global do Hive (.hiverc), cujo local é configurado usando a hive.server2.global.init.file.location propriedade ou a HIVE_CONF_DIR variável de ambiente, não é mais suportado para hive-thriftserver conexões.

Utilizar arquivos de truststore e keystore em volumes do Unity Catalog

Agora, pode usar ficheiros truststore e keystore nos volumes do Unity Catalog para autenticar num Confluent Schema Registry para dados avro ou de buffer de protocolo. Consulte a documentação para avro ou protocol buffers.

Suporte ao formato de arquivo XML nativo (Visualização pública)

O suporte ao formato de arquivo XML nativo agora está em Visualização Pública. O suporte ao formato de arquivo XML permite a ingestão, consulta e análise de dados XML para processamento em lote ou streaming. Ele pode inferir e evoluir automaticamente esquemas e tipos de dados, suporta expressões SQL como from_xml, e pode gerar documentos XML. Não requer JARs externos e funciona perfeitamente com Auto Loader, read_files, COPY INTO e DLT. Consulte Ler e gravar arquivos XML.

Suporte para armazenamento Cloudflare R2 (visualização pública)

Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Unity Catalog. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 suporta todos os dados Databricks e ativos de IA compatíveis com o AWS S3, o Azure Data Lake Storage e o Google Cloud Storage. Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Acesso do Spark e dbutils ao suporte para ficheiros no espaço de trabalho em clusters de acesso padrão do Unity Catalog

O acesso de leitura e gravação do Spark e dbutils aos arquivos do espaço de trabalho agora é suportado nos clusters do Unity Catalog no modo de acesso padrão . Consulte Trabalhar com ficheiros de espaço de trabalho.

Suporte a scripts de inicialização e biblioteca de clusters em clusters do Unity Catalog de acesso padrão

A instalação de scripts init com escopo de cluster e bibliotecas Python e JAR em clusters do Unity Catalog em modo de acesso padrão, incluindo a instalação usando políticas de cluster, está agora geralmente disponível. O Databricks recomenda a instalação de scripts init e bibliotecas a partir de volumes do Unity Catalog.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • fastjsonschema de 2.19.0 para 2.19.1
  • filelock de 3.12.4 a 3.13.1
  • googleapis-common-protos de 1.61.0 a 1.62.0
  • embalagem de 22,0 a 23,2
• Bibliotecas R atualizadas:
  • estrangeiro de 0,8-82 a 0,8-85
  • nlme de 3.1-162 a 3.1-163
  • parte de 4.1.19 a 4.1.21
• Bibliotecas Java atualizadas:
  • com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
  • org.apache.orc.orc-core de 1.9.1-shaded-protobuf para 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf para 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims de 1.9.1 a 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0

Faísca Apache

O Databricks Runtime 14.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-46541] [SC-153546][sql][CONNECT] Corrigir a referência de coluna ambígua na auto-união
• [SPARK-45433] Revert «[SC-145163][sql] Corrigir CSV/JSON schema infer…
• [SPARK-46723] [14.3][sasp-2792][SC-153425][connect][SCALA] Tornar addArtifact repetível
• [SPARK-46660] [SC-153391][connect] ReattachExecute solicita atualizações sobre a vitalidade do SessionHolder
• [SPARK-46670] [SC-153273][python][SQL] Torne o DataSourceManager autoclonável separando fontes de dados Python estáticas e de tempo de execução
• [SPARK-46720] [SC-153410][sql][PYTHON] Refatore a fonte de dados Python para alinhar com outras fontes de dados internas do DSv2
• [SPARK-46684] [SC-153275][python][CONNECT] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente
• [SPARK-46667] [SC-153271][sc-153263][SQL] XML: Gerar erro em várias fontes de dados XML
• [SPARK-46382] [SC-151881][sql]XML: Padrão ignoreSurroundingSpaces para verdadeiro
• [SPARK-46382] [SC-153178][sql] XML: Documento de atualização para ignoreSurroundingSpaces
• [SPARK-45292] Reverter "[SC-151609][sql][HIVE] Remover Guava de classes compartilhadas de IsolatedClientLoader"
• [SPARK-45292] [SC-151609][sql][HIVE] Remover Guava de classes compartilhadas de IsolatedClientLoader
• [SPARK-46311] [SC-150137][core] Registe o estado final dos drivers durante Master.removeDriver
• [SPARK-46413] [SC-151052][python] Validar o returnType do Python UDF do Arrow
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Corrija o leitor Avro para lidar com blocos de comprimento zero
• [SPARK-46537] [SC-151286][sql] Converter NPE e declarações de comandos para erros internos
• [SPARK-46179] [SC-151678][sql] Adicione CrossDbmsQueryTestSuites, que executa testes em outros DBMS contra ficheiros de referência com outros DBMS, começando com Postgres
• [SPARK-44001] [SC-151413][protobuf] Adicionar opção para permitir desembrulhar os tipos de invólucro bem conhecidos do protobuf
• [SPARK-40876] [SC-151786][sql] Expansão da promoção de tipo para decimais com maior escala em leitores Parquet
• [SPARK-46605] [SC-151769][connect] Fazer com que lit/typedLit função no módulo de conexão suporte s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] validação literal não deve aprofundar em campos nulos
• [SPARK-37039] [SC-153094][ps] Corrigir Series.astype para funcionar corretamente quando há um valor em falta
• [SPARK-46312] [SC-150163][core] Use lower_camel_case no store_types.proto
• [SPARK-46630] [SC-153084][sql] XML: Validar o nome do elemento XML durante a gravação
• [SPARK-46627] [SC-152981][ss][UI] Corrigir o conteúdo da dica de linha do tempo na interface de streaming
• [SPARK-46248] [SC-151774][sql] XML: Suporte para as opções ignoreCorruptFiles e ignoreMissingFiles
• [SPARK-46386] [SC-150766][python] Melhorar asserções de observação (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Comentário de atualização sobre isZero no AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Corrigir erro de log em handleStatusMessage
• [SPARK-46568] [SC-151685][python] Tornar as opções de fonte de dados Python um dicionário que não diferencia maiúsculas de minúsculas
• [SPARK-46611] [SC-151783][core] Remova ThreadLocal substituindo SimpleDateFormat por DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Suportar Literal.apply a s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Corrija o nome de saída de pyspark.sql.functions.user e session_user
• [SPARK-46621] [SC-151794][python] Corrigir o valor null de Exception.getMessage na exceção capturada pelo Py4J
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader deve respeitar o modo de memória ao criar vetores de coluna para a coluna ausente
• [SPARK-46613] [SC-151778][sql][PYTHON] Registar exceção completa ao falhar em procurar fontes de dados em Python
• [SPARK-46559] [SC-151364][mllib] Envolva o export no nome do pacote com aspas invertidas
• [SPARK-46522] [SC-151784][python] Bloquear o registo de uma fonte de dados Python com conflitos de nome
• [SPARK-45580] [SC-149956][sql] Gerir a situação em que uma subconsulta aninhada se torna uma junção de existência
• [SPARK-46609] [SC-151714][sql] Evite explosão exponencial em PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][sql] Corrigir NPE ao descrever detalhadamente uma coluna sem estatísticas de coluna
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Use TypeCoercion.findTightestCommonType para verificação de compatibilidade
• [SPARK-40876] [SC-151129][sql] Ampliando promoções de tipo em leitores Parquet
• [SPARK-46179] [SC-151069][sql] Extrair código para funções reutilizáveis no SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Suporte s.c.immutable.ArraySeq como customCollectionCls em MapObjects
• [SPARK-46585] [SC-151622][core] Construir diretamente metricPeaks como um immutable.ArraySeq em vez de usar mutable.ArraySeq.toSeq em Executor
• [SPARK-46488] [SC-151173][sql] Ignorando a chamada da função trimAll durante a análise de carimbos de data/hora
• [SPARK-46231] [SC-149724][python] Migrar todos os NotImplementedError & TypeError restantes para a estrutura de erro do PySpark
• [SPARK-46348] [SC-150281][core] Suporte spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][core] Duração da recuperação do log Spark HA
• [SPARK-46358] [SC-150307][connect] Simplifique a verificação de condições no ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Substitua a data/hora atual antes de avaliar expressões de tabela internas.
• [SPARK-46563] [SC-151441][sql] Vista simpleString não segue conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][core][SQL][mllib][SS][r][CONNCT][graphx] Reduzir a profundidade da pilha ao substituir (string|array).size por (string|array).length
• [SPARK-46539] [SC-151469][sql] SELECT * EXCETO(todos os campos de uma estrutura) resulta numa falha de asserção
• [SPARK-46565] [SC-151414][python] Refine classes de erro e mensagens de erro para fontes de dados Python
• [SPARK-46576] [SC-151614][sql] Melhorar mensagens de erro para o modo de salvamento de fonte de dados sem suporte
• [SPARK-46540] [SC-151355][python] Respeitar os nomes das colunas quando a fonte de dados Python ler saídas de função denominadas Row objects
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite vaza o SessionState do Hive
• [SPARK-44556] [SC-151562][sql] Reutilizar OrcTail ao ativar vectorizedReader
• [SPARK-46587] [SC-151618][sql] XML: Corrigir a conversão de XSD para grandes inteiros
• [SPARK-46382] [SC-151297][sql] XML: Capturar valores intercalados entre elementos
• [SPARK-46567] [SC-151447][core] Remover ThreadLocal para ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Registro automático de Python Data Source na inicialização
• [SPARK-28386] [SC-151014][sql] Não é possível resolver ORDER BY colunas com GROUP BY e HAVING
• [SPARK-46524] [SC-151446][sql] Melhorar mensagens de erro para modo de salvamento inválido
• [SPARK-46294] [SC-150672][sql] Clarificar a semântica de init em comparação com valor zero
• [SPARK-46301] [SC-150100][core] Suporte spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][sql] Remova a verificação de c>=0 do ExternalCatalogUtils#needsEscaping, já que é sempre verdadeira
• [SPARK-46553] [SC-151360][ps] FutureWarning para interpolate com objeto dtype
• [SPARK-45914] [SC-151312][python] Suporte para confirmação e anulação de API para gravação de fonte de dados em Python
• [SPARK-46543] [SC-151350][python][CONNECT] Faça json_tuple lance PySparkValueError para campos vazios
• [SPARK-46520] [SC-151227][python] Suporte para modo de substituição na gravação da fonte de dados Python
• [SPARK-46502] [SC-151235][sql] Suporta tipos de carimbo de data/hora em UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][connect] Transmitir parâmetros de mensagem no metadado de ErrorInfo
• [SPARK-46397] Revert "[SC-151311][python][CONNECT] Função sha2 deve lançar PySparkValueError para numBitsinválido"
• [SPARK-46170] [SC-149472][sql] Suportar a injeção de regras de estratégia de pós-planeamento de consulta adaptável em SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable não deve carregar a tabela
• [SPARK-46397] [SC-151311][python][CONNECT] Função sha2 deve lançar PySparkValueError para numBits inválidos
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada
• [SPARK-46272] [SC-151012][sql] Suporte CTAS usando fontes DSv2
• [SPARK-46480] [SC-151127][core][SQL] Corrigir NPE ao tentar tarefa de cache de tabela
• [SPARK-46100] [SC-149051][core][PYTHON] Reduza a profundidade da pilha substituindo (string|array).size por (string|array).length
• [SPARK-45795] [SC-150764][sql] DS V2 suporta o modo push down
• [SPARK-46485] [SC-151133][sql] V1Write não deve adicionar Sort quando não for necessário
• [SPARK-46468] [SC-151121] [SQL] Resolver o bug COUNT para subconsultas EXISTS com Aggregate sem grupos de chaves
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE suporte SQL
• [SPARK-46498] [SC-151199][core] Remover shuffleServiceEnabled do o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Definir as configurações de rebase para o modo CORRECTED por padrão
• [SPARK-45525] [SC-151120][sql][PYTHON] Suporte para gravação de fonte de dados Python usando DSv2
• [SPARK-46505] [SC-151187][connect] Torne o limite de bytes configurável no ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][sql] Remova as configurações SQL herdadas de rebaseamento de data/hora
• [SPARK-46443] [SC-151123][sql] A precisão decimal e a escala devem ser decididas pelo dialeto H2.
• [SPARK-46384] [SC-150694][spark-46404][SS][ui] Corrigir gráfico de duração das operações em pilha na página de streaming estruturado
• [SPARK-46207] [SC-151068][sql] Suporte MergeInto em DataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Adicionar uma nova API no DataWriter para escrever um iterador de registros
• [SPARK-46273] [SC-150313][sql] Suporte INSERT INTO/OVERWRITE usando fontes DSv2
• [SPARK-46344] [SC-150267][core] Avisar corretamente quando um driver existe com êxito, mas o mestre está desconectado
• [SPARK-46284] [SC-149944][python][CONNECT] Adicionar session_user função ao Python
• [SPARK-46043] [SC-149786][sql] Suporte criar tabela usando fontes DSv2
• [SPARK-46323] [SC-150191][python] Corrigir o nome de saída de pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][python][CONNECT] Adicionar Column.isNaN no PySpark
• [SPARK-46456] [SC-151050][core] Adicione spark.ui.jettyStopTimeout para definir o tempo limite de parada do servidor Jetty para desbloquear o desligamento do SparkContext
• [SPARK-43427] [SC-150356][protobuf] Spark Protobuf: permitir a transmissão de tipos inteiros não assinados
• [SPARK-46399] [SC-151013][14.x][Núcleo] Adicionar código de saída ao evento Application End para uso do Spark Listener
• [SPARK-46423] [SC-150752][python][SQL] Crie a instância Python Data Source em DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][python][SQL] Suporte a métricas Python em Python Data Source
• [SPARK-46330] [SC-151015] Carregamento de blocos da UI do Spark demorando muito tempo quando o HybridStore está ativado
• [SPARK-46378] [SC-150397][sql] Continuar a remover ordenação após converter agregação em projeto
• [SPARK-45506] [SC-146959][connect] Adicionar suporte a URI de Ivy no SparkConnect addArtifact
• [SPARK-45814] [SC-147871][connect][SQL]Make ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória
• [SPARK-46427] [SC-150759][python][SQL] Altere a descrição da fonte de dados Python para ser bonita na explicação
• [SPARK-45597] [SC-150730][python][SQL] Suporte à criação de tabela usando uma fonte de dados Python em SQL (DSv2 exec)
• [SPARK-46402] [SC-150700][python] Adicionar suporte a getMessageParameters e getQueryContext
• [SPARK-46453] [SC-150897][connect] Lançar exceção de internalError() em SessionHolder
• [SPARK-45758] [SC-147454][sql] Introduzir um mapeador para codecs de compressão hadoop
• [SPARK-46213] [PYTHON] Introduzir PySparkImportError para a estrutura de erros
• [SPARK-46230] [SC-149960][python] Migrar RetriesExceeded para erro no PySpark
• [SPARK-45035] [SC-145887][sql] Corrigir ignoreCorruptFiles/ignoreMissingFiles com arquivos CSV/JSON de várias linhas irá gerar um erro.
• [SPARK-46289] [SC-150846][sql] Suporte para ordenação de UDTs no modo interpretado
• [SPARK-46229] [SC-150798][python][CONNECT] Adicionar applyInArrow ao groupBy e cogroup em Spark Connect
• [SPARK-46420] [SC-150847][sql] Remover transporte não utilizado no SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Migrar o restante para a estrutura de erros do PySpark
• [SPARK-45796] [SC-150613][sql] Suporte para MODE() dentro do grupo (ORDER BY col)
• [SPARK-40559] [SC-149686][python][14.X] Adicionar applyInArrow ao groupBy e ao cogroup
• [SPARK-46069] [SC-149672][sql] Suporte a conversão de tipo de carimbo de data/hora para tipo de data
• [SPARK-46406] [SC-150770][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Converter IllegalStateException em internalError em iteradores de sessão
• [SPARK-45807] [SC-150751][sql] Melhorar a API ViewCatalog
• [SPARK-46009] [SC-149771][sql][CONNECT] Mesclar a regra de análise de PercentileCont e PercentileDisc em functionCall
• [SPARK-46403] [SC-150756][sql] Decodificar binário de Parquet com o método getBytesUnsafe
• [SPARK-46389] [SC-150779][core] Feche manualmente a instância de RocksDB/LevelDB quando checkVersion lançar exceção
• [SPARK-46360] [SC-150376][python] Melhorar a depuração de mensagens de erro com a nova API getMessage
• [SPARK-46233] [SC-149766][python] Migrar todos os restantes AttributeError para o quadro de erros do PySpark
• [SPARK-46394] [SC-150599][sql] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true
• [SPARK-45964] [SC-148484][sql] Remover o acessor SQL privado nos pacotes XML e JSON sob o pacote catalyst
• [SPARK-45856] [SC-148691] Move o ArtifactManager do Spark Connect para o SparkSession (sql/core)
• [SPARK-46409] [SC-150714][connect] Corrigir script de inicialização spark-connect-scala-client
• [SPARK-46416] [SC-150699][core] Adicionar @tailrec a HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Restringir conjuntos de caracteres no encode()
• [SPARK-46253] [SC-150416][python] Planejar a leitura da fonte de dados Python usando MapInArrow
• [SPARK-46339] [SC-150266][ss] Diretório com nome de número de lote não deve ser tratado como log de metadados
• [SPARK-46353] [SC-150396][núcleo] Refatorar para melhorar a cobertura dos testes unitários RegisterWorker
• [SPARK-45826] [SC-149061][sql] Adicionar uma configuração SQL para rastreamentos de pilha no contexto de consulta DataFrame
• [SPARK-45649] [SC-150300][sql] Unifique a estrutura de preparação para OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][core] Corrigir o Master para atualizar um worker de UNKNOWN para ALIVE na mensagem RegisterWorker
• [SPARK-46388] [SC-150496][sql] HiveAnalysis falha em reconhecer a verificação de padrão de query.resolved
• [SPARK-46401] [SC-150609][core] Use !isEmpty() no RoaringBitmap em vez de getCardinality() > 0 no RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] Classificar exceções no catálogo de tabelas JDBC
• [SPARK-45798] [SC-150513][connect] Seguimento: adicionar serverSessionId a SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: Adicionar suporte a TimestampNTZType
• [SPARK-46075] [SC-150393][connect] Melhorias no SparkConnectSessionManager
• [FAÍSCA-46357] [SC-150596] Substituir o uso incorreto de setConf na documentação por conf.set
• [SPARK-46202] [SC-150420][connect] Expor novas APIs do ArtifactManager para oferecer suporte a diretórios de destino personalizados
• [SPARK-45824] [SC-147648][sql] Aplicar a classe de erro no ParseException
• [SPARK-45845] [SC-148163][ss][UI] Adicionar número de linhas de estado removidas à interface do usuário de streaming
• [SPARK-46316] [SC-150181][core] Ativar buf-lint-action no módulo core
• [SPARK-45816] [SC-147656][sql] Retornar NULL em caso de estouro durante a conversão de carimbo de data/hora para inteiros
• [SPARK-46333] [SC-150263][sql] Substitua IllegalStateException por SparkException.internalError no catalisador
• [SPARK-45762] [SC-148486][core] Suporte para gestores de shuffle definidos nos pacotes de utilizador alterando a ordem de arranque
• [SPARK-46239] [SC-149752][core] Ocultar informações Jetty
• [SPARK-45886] [SC-148089][sql] Exibir rastreamento completo da pilha em callSite no contexto de DataFrame
• [SPARK-46290] [SC-150059][python] Alterar saveMode para um sinalizador booleano para DataSourceWriter
• [SPARK-45899] [SC-148097][connect] Definir errorClass em errorInfoToThrowable
• [SPARK-45841] [SC-147657][sql] Expor rastreamento de pilha através de DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Suporte killall na API de envio REST
• [SPARK-46234] [SC-149711][python] Introduza PySparkKeyError para a estrutura de erro do PySpark
• [SPARK-45606] [SC-147655][sql] Levantar restrições no filtro de tempo de execução multicamadas
• [SPARK-45725] [SC-147006][sql] Remover o filtro de execução não padrão da subconsulta IN
• [SPARK-45694] [SC-147314][spark-45695][SQL] Eliminar View.force e ScalaNumberProxy.signum do uso de APIs preteridas
• [SPARK-45805] [SC-147488][sql] Tornar withOrigin mais genérico
• [SPARK-46292] [SC-150086][core][UI] Mostrar um resumo dos trabalhadores na MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Use LazyList em vez de Stream
• [SPARK-45888] [SC-149945][ss] Aplicar estrutura de classe de erro à fonte de dados de estado (metadados)
• [SPARK-46261] [SC-150111][connect] DataFrame.withColumnsRenamed deve manter a ordem do dicionário/mapa
• [SPARK-46263] [SC-149933][sql][SS][ml][MLLIB][ui] Limpar SeqOps.view e ArrayOps.view conversões
• [SPARK-46029] [SC-149255][sql] Fuja da cotação simples, _ e % para DS V2 pushdown
• [FAÍSCA-46275] [SC-150189] Protobuf: Retorna nulo em modo permissivo quando a desserialização falha.
• [SPARK-46320] [SC-150187][core] Suporte spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Não empurre para baixo os filtros de grupo de linhas do Parquet que transbordam
• [SPARK-46300] [SC-150097][python][CONNECT] Ajustar correspondência de comportamento menor em coluna com cobertura total de testes
• [SPARK-46298] [SC-150092][python][CONNECT] Aviso de descontinuação, caso de teste e erro relacionados com Catalog.createExternalTable
• [SPARK-45689] [SC-146898][spark-45690][SPARK-45691][core][SQL] Limpar o uso obsoleto da API relacionado a StringContext/StringOps/RightProjection/LeftProjection/Either e o uso de tipo de BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][sql] Suportar SHOW TABLE EXTENDED na v2
• [SPARK-45737] [SC-147011][sql] Remover .toArray[InternalRow] desnecessário no SparkPlan#executeTake
• [SPARK-46249] [SC-149797][ss] Exigir bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano
• [SPARK-46260] [SC-149940][python][SQL] DataFrame.withColumnsRenamed deve respeitar a ordem do dicionário
• [FAÍSCA-46274] [SC-150043] [SQL] Corrigir o operador Intervalo computeStats() para verificar a validade do tipo long antes de converter
• [SPARK-46040] [SC-149767][sql][Python] Atualize a API UDTF para 'analisar' colunas de particionamento/ordenação para suportar expressões gerais
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty deve funcionar com todos os tipos de dados
• [SPARK-45678] [SC-146825][core] Capa BufferReleasingInputStream.available/reset em tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Limpe o uso preterido da API relacionado ao IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][sql] introduzindo a select * except sintaxe
• [SPARK-46269] [SC-149816][ps] Ativar mais testes de compatibilidade com funções NumPy
• [SPARK-45807] [SC-149851][sql] Adicionar createOrReplaceView(..) / replaceView(..) a ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introduza uma função implícita para o Scala Array ser encapsulado em immutable.ArraySeq.
• [SPARK-46205] [SC-149655][core] Melhore o desempenho PersistenceEngine com KryoSerializer
• [SPARK-45746] [SC-149359][python] Retorna mensagens de erro específicas se o método UDTF 'analyze' ou 'eval' aceitar ou retornar valores errados
• [SPARK-46186] [SC-149707][connect] Corrige a transição de estado ilegal quando o ExecuteThreadRunner foi interrompido antes de ser iniciado
• [SPARK-46262] [SC-149803][ps] Habilite o teste para np.left_shift para o objeto Pandas-on-Spark.
• [SPARK-45093] [SC-149679][connect][PYTHON] Suporta corretamente a manipulação e conversão de erros para AddArtifactHandler
• [SPARK-46188] [SC-149571][doc][3.5] Corrija o CSS das tabelas geradas pelo Spark doc
• [SPARK-45940] [SC-149549][python] Adicionar InputPartition à interface DataSourceReader
• [SPARK-43393] [SC-148301][sql] Erro de estouro de expressão de sequência de endereço.
• [SPARK-46144] [SC-149466][sql] Falhar INSERT INTO ... Instrução SE a condição contiver uma subconsulta REPLACE
• [SPARK-46118] [SC-149096][sql][SS][connect] Use SparkSession.sessionState.conf em vez de SQLContext.conf e marque SQLContext.conf como preterido
• [SPARK-45760] [SC-147550][sql] Adicionar com expressão para evitar duplicação de expressões
• [SPARK-43228] [SC-149670][sql] As chaves de junção também correspondem a PartitioningCollection em CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][ps] Teste SparkPandasNotImplementedError com limpeza de código não utilizado
• [SPARK-46119] [SC-149205][sql] Redefinir o método toString para UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Usar uma exceção de escopo mais restrito para o processador SQL
• [SPARK-46191] [SC-149565][core] Melhorar FileSystemPersistenceEngine.persist mensagem de erro no caso do arquivo existente
• [SPARK-46036] [SC-149356][sql] Remover a classe de erro da função raise_error
• [SPARK-46055] [SC-149254][sql] Reescrever a implementação das APIs do Catálogo de Base de Dados
• [SPARK-46152] [SC-149454][sql] XML: Adicionar suporte a DecimalType na inferência de esquema XML
• [SPARK-45943] [SC-149452][sql] Mover DetermineTableStats para regras de resolução
• [SPARK-45887] [SC-148994][sql] Alinhar codegen e implementação não-codegen de Encode
• [SPARK-45022] [SC-147158][sql] Fornecer contexto para erros de API de conjunto de dados
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Substitua toIterator por iterator para IterableOnce
• [SPARK-46141] [SC-149357][sql] Alterar o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRIGIDO
• [SPARK-45663] [SC-146617][core][MLLIB] Substitua IterableOnceOps#aggregate por IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][sql] Reutilizar objetos literais na regra ComputeCurrentTime
• [SPARK-45803] [SC-147489][core] Remova o RpcAbortException não mais usado
• [SPARK-46148] [SC-149350][ps] Corrigir teste pyspark.pandas.mlflow.load_model (Python 3.12)
• [SPARK-46110] [SC-149090][python] Utilize categorias de erro nos módulos catalog, conf, connect, observation, pandas
• [SPARK-45827] [SC-149203][sql] Correção de variantes com codegen e leitores vetorizados desativados
• [SPARK-46080] Reverter "[SC-149012][python] Atualizar Cloudpickle para 3.0.0"
• [SPARK-45460] [SC-144852][sql] Substitua scala.collection.convert.ImplicitConversions por scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Remover a resolução especial de UnresolvedNamespace para determinados comandos
• [SPARK-45600] [SC-148976][python] Fazer com que o registo da fonte de dados Python seja ao nível da sessão
• [SPARK-46074] [SC-149063][connect][SCALA] Detalhes insuficientes na mensagem de erro sobre falha UDF
• [SPARK-46114] [SC-149076][python] Adicionar PySparkIndexError para a estrutura de erro
• [SPARK-46120] [SC-149083][connect][PYTHON] Remover a função auxiliar DataFrame.withPlan
• [SPARK-45927] [SC-148660][python] Atualização do gerenciamento de caminhos para fonte de dados Python
• [SPARK-46062] [14.x][sc-148991][SQL] Sincronize o sinalizador isStreaming entre a definição de CTE e a referência
• [SPARK-45698] [SC-146736][core][SQL][ss] Limpe o uso preterido da API relacionado ao Buffer
• [SPARK-46064] [SC-148984][sql][SS] Mover EliminateEventTimeWatermark para o analisador e alterar para se aplicar apenas ao filho resolvido
• [SPARK-45922] [SC-149038][connect][CLIENT] Refatoração de tentativas mínimas (acompanhamento de várias políticas)
• [SPARK-45851] [SC-148419][connect][SCALA] Suporte a várias políticas no cliente scala
• [SPARK-45974] [SC-149062][sql] Adicionar verificação para garantir que scan.filterAttributes não esteja vazio no RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][connect] Dataset.groupingSets no cliente Scala Spark Connect
• [SPARK-45136] [SC-146607][connect] Melhore o ClosureCleaner com suporte para amonite
• [SPARK-46084] [SC-149020][ps] Refatore a operação de conversão de tipos de dados para o tipo Categórico.
• [SPARK-46083] [SC-149018][python] Faça SparkNoSuchElementException como uma API de erro canônico
• [SPARK-46048] [SC-148982][python][CONNECT] Suporte para DataFrame.groupingSets no Python Spark Connect
• [SPARK-46080] [SC-149012][python] Atualize o Cloudpickle para 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Corrigir a representação de cadeia de caracteres protobuf para a API do Pandas Functions com o Spark Connect
• [SPARK-46065] [SC-148985][ps] Refatorar (DataFrame|Series).factorize() para usar create_map.
• [SPARK-46070] [SC-148993][sql] Compilar padrão regex em SparkDateTimeUtils.getZoneId fora do hot loop
• [SPARK-46063] [SC-148981][python][CONNECT] Melhorar mensagens de erro relacionadas aos tipos de argumento em cute, rollup, groupby e pivot
• [SPARK-44442] [SC-144120][mesos] Remover o suporte do Mesos
• [SPARK-45555] [SC-147620][python] Inclui um objeto depurável para falha de asserção
• [SPARK-46048] [SC-148871][python][SQL] Suporta DataFrame.groupingSets no PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Tornar o faulthandler uma configuração de tempo de execução para execução Python em SQL
• [SPARK-45996] [SC-148586][python][CONNECT] Mostrar mensagens de requisito de dependência adequadas para o Spark Connect
• [SPARK-45681] [SC-146893][ui] Clone uma versão js de UIUtils.errorMessageCell para renderização consistente de erros na UI
• [SPARK-45767] [SC-147225][core] Excluir TimeStampedHashMap e sua UT
• [SPARK-45696] [SC-148864][core] Corrigir método tryCompleteWith no traço Promise foi preterido
• [SPARK-45503] [SC-146338][ss] Adicionar Conf para definir a compressão RocksDB
• [SPARK-45338] [SC-143934][core][SQL] Substitua scala.collection.JavaConverters para scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Corrigir ArrayIndexOutOfBoundsException no conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Aprimoramento da API XSDToSchema: Alterar para a API HDFS para acessibilidade de armazenamento em nuvem
• [SPARK-45819] [SC-147570][core] Suporte a clear na API de submissão REST
• [SPARK-45552] [14.x][sc-146874][PS] Introduza parâmetros flexíveis para assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Fornecer uma interface para que outras fontes de streaming possam adicionar _metadata colunas
• [SPARK-45929] [SC-148692][sql] Suporte a operação groupingSets na api de dataframe
• [SPARK-46012] [SC-148693][core] O EventLogFileReader não deve ler logs contínuos se o arquivo de status do aplicativo estiver ausente
• [SPARK-45965] [SC-148575][sql] Mover expressões de particionamento DSv2 para functions.partitioning
• [SPARK-45971] [SC-148541][core][SQL] Corrija o nome do pacote de SparkCollectionUtils para org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Limpar o uso preterido da "API" relacionado à MapOps e corrigir method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Remova treatEmptyValuesAsNulls e use a opção nullValue em substituição no XML
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Corrigir dicas de tipo para lidar com list GenericAlias em Python 3.11+
• [SPARK-45999] [SC-148595][ps] Usar PandasProduct dedicado em cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Corrigir pyspark.ml.torch.tests.test_distributor no Python 3.11
• [SPARK-45994] [SC-148581][python] Alterar description-file para description_file
• [SPARK-45575] [SC-146713][sql] Suporte a opções de viagem no tempo para a df read API
• [SPARK-45747] [SC-148404][ss] Usar informações de chave de prefixo em metadados de estado para manipular o estado de leitura para agregação de janela de sessão
• [SPARK-45898] [SC-148213][sql] Reescrever APIs de tabela de catálogo para utilizar um plano lógico não resolvido
• [SPARK-45828] [SC-147663][sql] Remover método preterido em dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Atualize protobuf para 4.25.1 para suportar Python 3.11
• [SPARK-45911] [SC-148226][core] Tornar TLS1.3 o padrão para RPC SSL
• [SPARK-45955] [SC-148429][ui] Fechar Suporte para Flamegraph e detalhes de despejo de thread
• [SPARK-45936] [SC-148392][ps] Otimizar Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Regra de correspondência MetaException correta ao obter metadados de partição
• [SPARK-45655] [SC-148085][sql][SS] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics
• [SPARK-45946] [SC-148448][ss] Corrigir o uso dos métodos de gravação do FileUtils que foram preteridos para passar o charset padrão no RocksDBSuite
• [SPARK-45511] [SC-148285][ss] Fonte de Dados de Estado - Leitor
• [SPARK-45918] [SC-148293][ps] Otimizar MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][connect][PYTHON] Retornar as métricas observadas dos comandos
• [SPARK-45867] [SC-147916][core] Suporte spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Adicionar uma função auxiliar para parser
• [SPARK-45930] [SC-148399][sql] Suporta UDFs não determinísticas em MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Criar API UDTF Python para parar de consumir linhas da tabela de entrada
• [SPARK-45731] [SC-147929][sql] Atualize também as estatísticas de partição com ANALYZE TABLE comando
• [SPARK-45868] [SC-148355][connect] Certifique-se spark.table usar o mesmo analisador com faísca de baunilha
• [SPARK-45882] [SC-148161][sql] A propagação do particionamento em BroadcastHashJoinExec deve respeitar o CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][sql] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] Trate decimal(x, 0) da mesma forma que IntegralType em PromoteStrings
• [SPARK-45786] [SC-147552][sql] Corrigir resultados imprecisos de multiplicação e divisão decimal
• [SPARK-45871] [SC-148084][connect] Otimizações na conversão de coleção relacionadas a .toBuffer nos módulos connect
• [SPARK-45822] [SC-147546][connect] SparkConnectSessionManager pode tentar aceder um sparkcontext que foi parado
• [SPARK-45913] [SC-148289][python] Torne os atributos internos privados de erros do PySpark.
• [SPARK-45827] [SC-148201][sql] Adicionar tipo de dados Variant no Spark.
• [SPARK-44886] [SC-147876][sql] Introduza CLUSTER BY cláusula para CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][core] Suporte spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][connect] Afirmar ID de sessão do lado do servidor
• [SPARK-45896] [SC-148091][sql] Construa ValidateExternalType com o tipo esperado correto
• [SPARK-45902] [SC-148123][sql] Remover funções não utilizadas do resolvePartitionColumns de DataSource
• [SPARK-45909] [SC-148137][sql] Remova NumericType cast se puder ser convertido com segurança no IsNotNull
• [SPARK-42821] [SC-147715][sql] Remover parâmetros não utilizados em métodos splitFiles
• [SPARK-45875] [SC-148088][core] Remover MissingStageTableRowData do módulo core
• [SPARK-45783] [SC-148120][python][CONNECT] Melhorar as mensagens de erro quando o modo Spark Connect está ativado, mas o URL remoto não está definido
• [SPARK-45804] [SC-147529][ui] Adicionar configuração spark.ui.threadDump.flamegraphEnabled para ativar/desativar o gráfico de chama
• [SPARK-45664] [SC-146878][sql] Introduzir um mapeador para codecs de compressão orc
• [SPARK-45481] [SC-146715][sql] Introduzir um mapeador para codecs de compressão de parquet
• [SPARK-45752] [SC-148005][sql] Simplifique o código para verificar relações CTE não referenciadas
• [SPARK-44752] [SC-146262][sql] XML: Atualizar o Spark Docs
• [SPARK-45752] [SC-147869][sql] CTEs não referenciados devem ser todos verificados por meio de CheckAnalysis0
• [SPARK-45842] [SC-147853][sql] Refatorar APIs das Funções do Catálogo para usar analisador
• [SPARK-45639] [SC-147676][sql][PYTHON] Suporte ao carregamento de fontes de dados Python no DataFrameReader
• [SPARK-45592] [SC-146977][sql] Problema de precisão no AQE com InMemoryTableScanExec
• [SPARK-45794] [SC-147646][ss] Introduzir uma fonte de metadados de estado para consultar as informações de metadados do estado do streaming
• [SPARK-45739] [SC-147059][python] Catch IOException em vez de apenas EOFException para faulthandler
• [SPARK-45677] [SC-146700] Melhor log de erros para a API de Observação
• [SPARK-45544] [SC-146873][core] Integrar suporte SSL no TransportContext
• [SPARK-45654] [SC-147152][python] Adicionar API de escrita da origem de dados Python
• [SPARK-45771] [SC-147270][core] Ativar spark.eventLog.rolling.enabled por padrão
• [SPARK-45713] [SC-146986][python] Suporte ao registro de fontes de dados Python
• [SPARK-45656] [SC-146488][sql] Corrigir observação quando ocorrem observações nomeadas com o mesmo nome em conjuntos de dados diferentes
• [SPARK-45808] [SC-147571][connect][PYTHON] Melhor tratamento de erros para exceções SQL
• [SPARK-45774] [SC-147353][core][UI] Suporte spark.master.ui.historyServerUrl em ApplicationPage
• [SPARK-45776] [SC-147327][core] Remova a verificação de nulidade defensiva para MapOutputTrackerMaster#unregisterShuffle adicionada em SPARK-39553
• [SPARK-45780] [SC-147410][connect] Propagar todos os threadlocals do cliente Spark Connect em InheritableThread
• [SPARK-45785] [SC-147419][core] Suporte spark.deploy.appNumberModulo para alterar o número da aplicação
• [SPARK-45793] [SC-147456][core] Melhorar os codecs de compressão incorporados
• [SPARK-45757] [SC-147282][ml] Evite o recálculo da NNZ no Binarizer
• [SPARK-45209] [SC-146490][core][UI] Suporte para gráfico de chamas na página de registo de threads do executor
• [SPARK-45777] [SC-147319][core] Suporte spark.test.appId em LocalSchedulerBackend
• [SPARK-45523] [SC-146331][python] Refatore a verificação de nulos para ter atalhos
• [SPARK-45711] [SC-146854][sql] Introduzir um mapeador para codecs de compressão avro
• [SPARK-45523] [SC-146077][python] Retornar uma mensagem de erro útil se a UDTF devolver None para qualquer coluna não anulável
• [SPARK-45614] [SC-146729][sql] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] Melhore Dataset.isEmpty() aplicando limite global 1
• [SPARK-45569] [SC-145915][sql] Atribuir um nome ao erro _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Corrigir Spark History Server para classificar corretamente a coluna Duration
• [SPARK-45754] [SC-147169][core] Suporte spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Simplifique DataFrameStatFunctions.countMinSketch com CountMinSketchAgg
• [SPARK-45753] [SC-147167][core] Suporte spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][UI] Melhorar MasterPage para mostrar a coluna Resource apenas quando ela existir
• [SPARK-45112] [SC-143259][sql] Usar a resolução baseada em UnresolvedFunction em funções de conjunto de dados SQL

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 14.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.3 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java: Zulu 8.74.0.17-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.3.1
• Lago Delta: 3.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot do CRAN do Posit Package Manager em 13/07/2023: https://packagemanager.posit.co/cran/2023-07-13/.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)