Azure Databricks Runtime 14.3 LTS

As notas de lançamento a seguir fornecem informações sobre o Databricks Runtime 14.3 LTS, com tecnologia Apache Spark 3.5.0.

O Databricks lançou esta versão em fevereiro de 2024.

Novos recursos e aprimoramentos

• Suporte ao sistema de arquivos do workspace em UDFs (funções definidas pelo usuário) do PySpark em clusters de modo de acesso padrão (anteriormente compartilhados no modo de acesso)
• Suporte para otimizações MERGE de vetor de exclusão sem o Photon
• APIs do catálogo do Spark agora têm suporte total no modo de acesso padrão
• O Delta UniForm agora está em disponibilidade geral
• nova função SQL EXECUTE IMMEDIATE
• Recomputar dados ignorando estatísticas de tabelas Delta
• Informações de estado de consulta para consultas de streaming com estado
• Usar o Microsoft Entra ID para autenticação no Kafka em clusters padrão
• Suporte adicionado para a remoção de partição e arquivo para melhorar o desempenho da consulta
• Declarar variáveis temporárias em uma Sessão SQL
• Atualizações do Thriftserver para remover recursos não utilizados
• Usar arquivos truststore e repositório de chaves nos volumes do Catálogo do Unity
• Suporte ao formato de arquivo XML nativo (Visualização Pública)
• Suporte para armazenamento cloudflare R2 (versão prévia pública)
• O acesso do Spark e do dbutils aos arquivos de workspace dá suporte em clusters do Catálogo do Unity de acesso padrão
• Init scripts e suporte à biblioteca de clusters em clusters do Catálogo do Unity de acesso padrão

Suporte ao sistema de arquivos do workspace em UDFs (funções definidas pelo usuário) do PySpark em clusters de modo de acesso padrão (anteriormente compartilhados no modo de acesso)

As UDFs do PySpark em clusters padrão agora podem importar módulos Python de pastas Git, arquivos de espaços de trabalho ou volumes UC.

Para obter mais informações sobre como trabalhar com módulos em pastas Git e arquivos de workspace, consulte Trabalhar com módulos Python e R.

Suporte para otimizações MERGE de vetor de exclusão sem o Photon

O Photon não é mais necessário para operações MERGE para aproveitar otimizações de vetores de exclusão. Confira O que são vetores de exclusão?

As APIs do catálogo do Spark agora têm suporte total no modo de acesso padrão

Agora você pode usar todas as funções na API spark.catalog em Python e Scala na computação configurada com o modo de acesso padrão.

O Delta UniForm agora está em disponibilidade geral

O UniForm agora está em disponibilidade geral e usa o recurso de tabela IcebergCompatV2. Agora você pode habilitar ou atualizar o UniForm em tabelas existentes. Consulte Ler tabelas Delta com os clientes do Iceberg.

Nova função SQL EXECUTE IMMEDIATE

Agora você pode usar a sintaxe EXECUTE IMMEDIATE para dar suporte a consultas parametrizadas no SQL. Consulte EXECUTE IMMEDIATE.

Recomputar dados ignorando estatísticas de tabelas Delta

Agora você pode recomputar estatísticas armazenadas no log Delta depois de alterar colunas usadas para ignorar dados. Confira Especificar as colunas de estatísticas Delta.

Informações de estado de consulta para consultas de streaming com estado

Agora você pode consultar dados de estado e metadados de Streaming Estruturado. Consulte a seção Ler informações de estado do Streaming Estruturado.

Usar a ID do Microsoft Entra para autenticação kafka em clusters padrão

Agora você pode autenticar os serviços dos Hubs de Eventos por meio do OAuth com o Microsoft Entra ID em máquinas configuradas com o modo de acesso padrão. Confira Autenticação de Entidade de Serviço com Microsoft Entra ID e Hubs de Eventos do Azure.

Suporte adicionado para a poda de arquivos e partições para melhorar o desempenho da consulta

Para acelerar algumas consultas que dependem da igualdade tolerante a nulos em condições JOIN, agora damos suporte a DynamicFilePruning e DynamicPartitionPruningpara o operador EqualNullSafe em JOINs.

Declarar variáveis temporárias em uma Sessão SQL

Esta versão apresenta a capacidade de declarar variáveis temporárias em uma sessão, que podem ser definidas e, em seguida, referenciadas de dentro de consultas. Veja Variáveis.

Atualizações do Thriftserver para remover recursos não utilizados

O código do Thriftserver foi atualizado para remover o código de recursos obsoletos. Devido a essas alterações, as seguintes configurações não têm mais suporte:

• Os JARs auxiliares do Hive, configurados usando a propriedade hive.aux.jars.path, não têm mais suporte para conexões hive-thriftserver.
• O arquivo de inicialização global do Hive (.hiverc), cuja localização está configurada usando a propriedade hive.server2.global.init.file.location ou a variável de ambiente HIVE_CONF_DIR, não tem mais suporte para conexões hive-thriftserver.

Use arquivos truststore e repositório de chaves em volumes do Catálogo do Unity

Agora você pode usar os arquivos truststore e repositório de chaves nos volumes do Catálogo do Unity para autenticar um Registro de Esquema Confluente para dados de buffer de protocolo ou avro. Consulte a documentação sobre avro ou buffers de protocolo.

Suporte ao formato de arquivo XML nativo (Visualização Pública)

O suporte ao formato de arquivo XML nativo está agora em Visualização Pública. O suporte ao formato de arquivo XML permite ingestão, consulta e análise de dados XML para processamento em lotes ou streaming. Ele pode inferir e evoluir automaticamente tipos de esquema e dados, dá suporte a expressões SQL como from_xml e pode gerar documentos XML. Ele não requer jars externos e funciona perfeitamente com o Auto Loader, read_files, COPY INTO e DLT. Consulte Leitura e gravação de arquivos XML.

Suporte para armazenamento Cloudflare R2 (visualização Pública)

Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Catálogo do Unity. O Cloudflare R2 destina-se principalmente a casos de uso de compartilhamento Delta em que você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 dá suporte a todos os dados do Databricks e ativos de IA com suporte na AWS S3, no Azure Data Lake Storage e no Google Cloud Storage. Confira Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

O acesso do Spark e do dbutils aos arquivos de workspace dá suporte em clusters do Catálogo do Unity de acesso padrão

Agora há suporte para acesso de leitura e gravação do dbutils e do Spark a arquivos de workspace em clusters do Catálogo do Unity no modo de acesso padrão. Confira Trabalhar com arquivos da área de trabalho.

Init scripts e suporte à biblioteca de clusters em clusters do Catálogo do Unity de acesso padrão

A instalação de scripts de inicialização com escopo de cluster e bibliotecas Python e JAR em clusters do Catálogo do Unity no modo de acesso padrão, incluindo a instalação usando políticas de cluster, agora está em disponibilidade geral. O Databricks recomenda a instalação de scripts e bibliotecas de inicialização de volumes do Catálogo do Unity.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • fastjsonschema de 2.19.0 a 2.19.1
  • filelock de 3.12.4 a 3.13.1
  • googleapis-common-protos de 1.61.0 a 1.62.0
  • empacotamento de 22.0 a 23.2
• Bibliotecas do R atualizadas:
  • externa de 0.8-82 a 0.8-85
  • nlme de 3.1-162 a 3.1-163
  • rpart de 4.1.19 a 4.1.21
• Bibliotecas do Java atualizadas:
  • com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
  • org.apache.orc.orc-core de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims a 1.9.1 a 1.9.2
  • org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0

Apache Spark

O Databricks Runtime 14.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-46541] [SC-153546][SQL][CONNECT] Corrige a referência de coluna ambígua na autojunção
• [SPARK-45433] Reverte "[SC-145163][SQL] Corrige a inferência do esquema CSV/JSON...
• [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Possibilita novas tentativas do addArtifact
• [SPARK-46660] [SC-153391][CONNECT] ReattachExecute solicita atualizações de vivacidade de SessionHolder
• [SPARK-46670] [SC-153273][python][SQL] Tornar o DataSourceManager auto clone-able separando fontes de dados python estáticas e de runtime
• [SPARK-46720] [SC-153410][SQL][PYTHON] Refatora a Fonte de Dados do Python para se alinhar com outras Fontes de Dados DSv2 internas
• [SPARK-46684] [SC-153275][python][CONNECT] Corrigir CoGroup.applyInPandas/Arrow para passar argumentos corretamente
• [SPARK-46667] [SC-153271][SC-153263][SQL] XML: gera erro em várias fontes de dados XML
• [SPARK-46382] [SC-151881][sql]XML: definir ignoreSurroundingSpaces como verdadeiro por padrão
• [SPARK-46382] [SC-153178][sql] XML: atualizar documento para ignoreSurroundingSpaces
• [SPARK-45292] Reverte “[SC-151609][SQL][HIVE] Remove o Guava das classes compartilhadas do IsolatedClientLoader”
• [SPARK-45292] [SC-151609][sql][HIVE] Remover Guava das classes compartilhadas do IsolatedClientLoader
• [SPARK-46311] [SC-150137][CORE] Registra o estado final dos drivers durante Master.removeDriver
• [SPARK-46413] [SC-151052][PYTHON] Valida returnType do UDF do Python para Arrow
• [SPARK-46633] [WARMFIX][sc-153092][SQL] Corrigir o leitor do Avro para manipular blocos de comprimento zero
• [SPARK-46537] [SC-151286][SQL] Converte o NPE e declarações de comando em erros internos
• [SPARK-46179] [SC-151678][SQL] Adiciona CrossDbmsQueryTestSuites, que executa outros gerenciadores de banco de dados em arquivos finais com outros gerenciadores de banco de dados, começando com o Postgres
• [SPARK-44001] [SC-151413][PROTOBUF] Adiciona opção para permitir desencapsular tipos de wrapper conhecidos do protobuf
• [SPARK-40876] [SC-151786][SQL] Amplia a promoção de tipos para decimais com maior escala nos leitores Parquet
• [SPARK-46605] [SC-151769][CONNECT] Faz a função lit/typedLit no módulo de conexão dar suporte a s.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][sql] a validação literal não deve se aprofundar em campos nulos
• [SPARK-37039] [SC-153094][ps] Corrigir Series.astype para funcionar corretamente com o valor ausente
• [SPARK-46312] [SC-150163][core] Usar lower_camel_case em store_types.proto
• [SPARK-46630] [SC-153084][sql] XML: validar o nome do elemento XML ao gravar
• [SPARK-46627] [SC-152981][SS][UI] Corrige o conteúdo da dica de ferramenta da linha do tempo na interface do usuário do streaming
• [SPARK-46248] [SC-151774][sql] XML: suporte para opções ignoreCorruptFiles e ignoreMissingFiles
• [SPARK-46386] [SC-150766][python] Aprimorar as declarações de observação (pyspark.sql.observation)
• [SPARK-46581] [SC-151789][core] Atualizar comentário sobre isZero no AccumulatorV2
• [SPARK-46601] [SC-151785] [CORE] Corrige erro de log no handleStatusMessage
• [SPARK-46568] [SC-151685][python] Tornar as opções de fonte de dados do Python um dicionário que não diferencia maiúsculas de minúsculas
• [SPARK-46611] [SC-151783][core] Remover ThreadLocal substituindo SimpleDateFormat por DateTimeFormatter
• [SPARK-46604] [SC-151768][sql] Fazer com que Literal.apply dê suporte a s.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][sql][PYTHON] Corrigir o nome de saída de pyspark.sql.functions.user e session_user
• [SPARK-46621] [SC-151794][PYTHON] Exceção capturada de endereço nulo de Exception.getMessage em Py4J
• [SPARK-46598] [SC-151767][sql] OrcColumnarBatchReader deve respeitar o modo de memória ao criar vetores de coluna para a coluna ausente
• [SPARK-46613] [SC-151778][sql][PYTHON] Registrar exceção completa quando não foi possível pesquisar fontes de dados do Python
• [SPARK-46559] [SC-151364][MLLIB] Encapsula export no nome do pacote com marcações de código
• [SPARK-46522] [SC-151784][python] Bloquear o registro de origem de dados do Python em caso de conflitos de nome
• [SPARK-45580] [SC-149956][SQL] Trata o caso em que uma subconsulta aninhada se torna uma junção de existência
• [SPARK-46609] [SC-151714][sql] Evitar explosão exponencial em PartitioningPreservingUnaryExecNode
• [SPARK-46535] [SC-151288][SQL] Corrige o NPE quando descreve uma coluna estendida sem col stats
• [SPARK-46599] [SC-147661][sc-151770][SQL] XML: Use TypeCoercion.findTightestCommonType para verificar a compatibilidade
• [SPARK-40876] [SC-151129][SQL] Amplia promoções de tipo em leitores Parquet
• [SPARK-46179] [SC-151069][sql] Extrair o código para funções reutilizáveis no SQLQueryTestSuite
• [SPARK-46586] [SC-151679][sql] Suporte s.c.immutable.ArraySeq como customCollectionCls em MapObjects
• [SPARK-46585] [SC-151622][CORE] metricPeaks construído diretamente como um immutable.ArraySeq em vez de usar mutable.ArraySeq.toSeq em Executor
• [SPARK-46488] [SC-151173][sql] Ignorando a chamada trimAll durante a análise de timestamp
• [SPARK-46231] [SC-149724][python] Migrar todos os NotImplementedError & TypeError restantes para a estrutura de erros do PySpark
• [SPARK-46348] [SC-150281][CORE] Suporte a spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][CORE] Registra a duração de recuperação do Spark HA
• [SPARK-46358] [SC-150307][CONNECT] Simplifica a verificação de condição no ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][sql]Substituir a hora/data atual antes de avaliar expressões de tabela em linha.
• [SPARK-46563] [SC-151441][SQL] Exibir simpleString não segue conf spark.sql.debug.maxToStringFields
• [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNECT][GRAPHX] Reduz a profundidade da pilha substituindo (string|array).size por (string|array).length
• [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT (todos os campos de um struct) resulta em uma falha de declaração
• [SPARK-46565] [SC-151414][python] Refinar classes de erro e mensagens de erro para fontes de dados do Python
• [SPARK-46576] [SC-151614][SQL] Melhora as mensagens de erro para o modo de salvamento da fonte de dados sem suporte
• [SPARK-46540] [SC-151355][PYTHON] Respeita os nomes das colunas quando a função de leitura da fonte de dados do Python produz chamadas objetos de Linha
• [SPARK-46577] [SC-151448][sql] HiveMetastoreLazyInitializationSuite permite vazamento do SessionState do hive
• [SPARK-44556] [SC-151562][sql] Reutilizar OrcTail ao habilitar vectorizedReader
• [SPARK-46587] [SC-151618][SQL] XML: corrige a conversão de inteiros grandes do XSD
• [SPARK-46382] [SC-151297][sql] XML: capturar valores intercalados entre elementos
• [SPARK-46567] [SC-151447][CORE] Remove ThreadLocal de ReadAheadInputStream
• [SPARK-45917] [SC-151269][python][SQL] Registro automático da fonte de dados do Python na inicialização
• [SPARK-28386] [SC-151014][sql] Não é possível resolver colunas ORDER BY com GROUP BY e HAVING
• [SPARK-46524] [SC-151446][SQL] Aprimora mensagens de erro para modo de salvamento inválido
• [SPARK-46294] [SC-150672][SQL] Limpa a semântica de inicialização versus valor zero
• [SPARK-46301] [SC-150100][CORE] Suporte a spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][SQL] Remove a verificação de c>=0 do ExternalCatalogUtils#needsEscaping como sempre é verdadeira
• [SPARK-46553] [SC-151360][PS] FutureWarning para interpolate com o tipo de objeto
• [SPARK-45914] [SC-151312][PYTHON] Suporta a API de confirmação e anulação para gravação da fonte de dados do Python
• [SPARK-46543] [SC-151350][python][CONNECT] Fazer json_tuple lançar PySparkValueError para campos vazios
• [SPARK-46520] [SC-151227][PYTHON] Suporta o modo de substituição para gravação da fonte de dados do Python
• [SPARK-46502] [SC-151235][SQL] Suporta os tipos de carimbo de data/hora em UnwrapCastInBinaryComparison
• [SPARK-46532] [SC-151279][CONNECT] Passa parâmetros de mensagem em metadados de ErrorInfo
• [SPARK-46397] Reverte “[SC-151311][PYTHON][CONNECT] O sha2 de função deve gerar PySparkValueError para numBits inválido”
• [SPARK-46170] [SC-149472][SQL] Suporta regras de estratégia de pós-planejador de consulta adaptável injetáveis em SparkSessionExtensions
• [SPARK-46444] [SC-151195][sql] V2SessionCatalog#createTable não deve carregar a tabela
• [SPARK-46397] [SC-151311][PYTHON][CONNECT] O sha2 de função deve gerar PySparkValueError para numBits inválido
• [SPARK-46145] [SC-149471][sql] spark.catalog.listTables não gera exceção quando a tabela ou exibição não é encontrada
• [SPARK-46272] [SC-151012][sql] Suporte CTAS usando fontes DSv2
• [SPARK-46480] [SC-151127][CORE][SQL] Corrige o NPE quando houver tentativa de tarefa de cache de tabela
• [SPARK-46100] [SC-149051][CORE][PYTHON] Reduz a profundidade da pilha substituindo (string|array).size por (string|array).length
• [SPARK-45795] [SC-150764][sql] DS V2 dá suporte ao modo push down
• [SPARK-46485] [SC-151133][sql] V1Write não deve adicionar Classificação quando não necessário
• [SPARK-46468] [SC-151121] [SQL] Corrigir bug do COUNT em subconsultas EXISTS que usam agregação sem chaves de agrupamento
• [SPARK-46246] [SC-150927][sql] EXECUTE IMMEDIATE Suporte ao SQL
• [SPARK-46498] [SC-151199][core] Remover shuffleServiceEnabled de o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][sql] Defina as configurações de rebase para o modo CORRECTED por padrão
• [SPARK-45525] [SC-151120][sql][PYTHON] Suporte para gravação de fonte de dados python usando DSv2
• [SPARK-46505] [SC-151187][connect] Tornar o limite de bytes configurável em ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][SQL] Remove as configurações do SQL de troca de base do datetime herdado
• [SPARK-46443] [SC-151123][sql] A precisão e a escala decimais devem ser decididas pelo dialeto H2.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Corrige o gráfico da pilha de duração da operação na página de streaming estruturado
• [SPARK-46207] [SC-151068][SQL] Suporta o MergeInto no DataFrameWriterV2
• [SPARK-46452] [SC-151018][sql] Adicionar uma nova API no DataWriter para gravar um iterador de registros
• [SPARK-46273] [SC-150313][SQL] Suporta INSERT INTO/OVERWRITE usando fontes DSv2
• [SPARK-46344] [SC-150267][CORE] Avisa corretamente quando um driver existir com êxito, mas o mestre está desconectado
• [SPARK-46284] [SC-149944][python][CONNECT] Adicionar função session_user ao Python
• [SPARK-46043] [SC-149786][sql] Suporte para criar tabela usando fontes DSv2
• [SPARK-46323] [SC-150191][python] Corrigir o nome de saída de pyspark.sql.functions.now
• [SPARK-46465] [SC-151059][python][CONNECT] Adicionar Column.isNaN no PySpark
• [SPARK-46456] [SC-151050][core] Adicionar spark.ui.jettyStopTimeout para definir o tempo limite de parada do servidor Jetty para desbloquear o desligamento do SparkContext
• [SPARK-43427] [SC-150356][PROTOBUF] protobuf do Spark: permite tipos inteiros sem sinal de upcasting
• [SPARK-46399] [SC-151013][14.x][Core] Adiciona status de saída ao evento Application End para usar o Ouvinte do Spark
• [SPARK-46423] [SC-150752][python][SQL] Criar a instância da Fonte de Dados em Python no DataSource.lookupDataSourceV2
• [SPARK-46424] [SC-150765][PYTHON][SQL] Suporta métricas do Python na Fonte de Dados Python
• [SPARK-46330] [SC-151015] Carregamento da interface do Spark demora muito tempo quando o HybridStore está habilitado
• [SPARK-46378] [SC-150397][SQL] Ainda remove a Classificação após converter Agregação em Projeto
• [SPARK-45506] [SC-146959][connect] Adicionar suporte para ivy URI ao SparkConnect addArtifact
• [SPARK-45814] [SC-147871][conectar][SQL] Faça com que ArrowConverters.createEmptyArrowBatch chame close() para evitar vazamento de memória
• [SPARK-46427] [SC-150759][python][SQL] Alterar a descrição da fonte de dados do Python para ser bastante explicada
• [SPARK-45597] [SC-150730][python][SQL] Suporte à criação de tabela usando uma fonte de dados Python no SQL (exec DSv2)
• [SPARK-46402] [SC-150700][python] Adicionar getMessageParameters e suporte a getQueryContext
• [SPARK-46453] [SC-150897][CONNECT] Gera exceção de internalError() em SessionHolder
• [SPARK-45758] [SC-147454][sql] Introduza um mapeador para codecs de compactação hadoop
• [SPARK-46213] [PYTHON] Introduz PySparkImportError para estrutura de erro
• [SPARK-46230] [SC-149960][PYTHON] Migra RetriesExceeded para o erro do PySpark
• [SPARK-45035] [SC-145887][SQL] Corrige ignoreCorruptFiles/ignoreMissingFiles com CSV/JSON multilinha para relatar erro
• [SPARK-46289] [SC-150846][SQL] Suporta a ordenação de UDTs no modo interpretado
• [SPARK-46229] [SC-150798][python][CONNECT] Adicionar applyInArrow ao groupBy e coagrupar no Spark Connect
• [SPARK-46420] [SC-150847][sql] Remover transporte não utilizado no SparkSQLCLIDriver
• [SPARK-46226] [PYTHON] Migra todo o RuntimeError restante para a estrutura de erros do PySpark
• [SPARK-45796] [SC-150613][SQL] Suporta MODE() WITHIN GROUP (ORDER BY col)
• [SPARK-40559] [SC-149686][PYTHON][14.X] Adiciona applyInArrow ao groupBy e coagrupa
• [SPARK-46069] [SC-149672][SQL] Suporta o desencapsulamento do tipo de carimbo de data/hora para o tipo de data
• [SPARK-46406] [SC-150770][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][ss] Converter IllegalStateException em internalError em iteradores de sessão
• [SPARK-45807] [SC-150751][sql] Aprimorar a API ViewCatalog
• [SPARK-46009] [SC-149771][sql][CONNECT] Mesclar a regra de análise de PercentileCont e PercentileDisc em functionCall
• [SPARK-46403] [SC-150756][SQL] Decodifica binário parquet com método getBytesUnsafe
• [SPARK-46389] [SC-150779][core] Feche manualmente a instância de RocksDB/LevelDB quando checkVersion lançar Exceção
• [SPARK-46360] [SC-150376][python] Aprimorar a depuração de mensagens de erro com a nova API de getMessage
• [SPARK-46233] [SC-149766][python] Migrar todos os AttributeError restantes para a estrutura de erros do PySpark
• [SPARK-46394] [SC-150599][sql] Corrigir problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true
• [SPARK-45964] [SC-148484][SQL] Remover o acessador sql privado no pacote XML e JSON no pacote do catalyst
• [SPARK-45856] [SC-148691] Move o ArtifactManager do Spark Connect para SparkSession (sql/core)
• [SPARK-46409] [SC-150714][CONNECT] Corrige o script de lançamento spark-connect-scala-client
• [SPARK-46416] [SC-150699][core] Adicionar @tailrec a HadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][sql] Restringir conjuntos de caracteres em encode()
• [SPARK-46253] [SC-150416][python] Planejamento da leitura da fonte de dados do Python usando MapInArrow
• [SPARK-46339] [SC-150266][ss] O diretório com o nome do número do lote não deve ser tratado como log de metadados
• [SPARK-46353] [SC-150396][CORE] Refatorar para melhorar a cobertura do teste de unidade RegisterWorker
• [SPARK-45826] [SC-149061][SQL] Adiciona uma configuração SQL para rastreamentos de pilha no contexto de consulta DataFrame
• [SPARK-45649] [SC-150300][sql] Unificar a estrutura de preparação para OffsetWindowFunctionFrame
• [SPARK-46346] [SC-150282][CORE] Corrige o Mestre para atualizar um trabalho de UNKNOWN para ALIVE em msg RegisterWorker
• [SPARK-46388] [SC-150496][SQL] HiveAnalysis perde a proteção padrão de query.resolved
• [SPARK-46401] [SC-150609][core] Use !isEmpty() em RoaringBitmap em vez de getCardinality() > 0 em RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][sql] Classificar exceções no catálogo de tabelas JDBC
• [SPARK-45798] [SC-150513][connect] Seguimento: adicionar serverSessionId a SessionHolderInfo
• [SPARK-46153] [SC-146564][sc-150508][SQL] XML: adicionar suporte a TimestampNTZType
• [SPARK-46075] [SC-150393][connect] Melhorias no SparkConnectSessionManager
• [SPARK-46357] [SC-150596] Substitui o uso incorreto da documentação de setConf por conf.set
• [SPARK-46202] [SC-150420][CONNECT] Expõe novas APIs de ArtifactManager para dar suporte a diretórios de destino personalizados
• [SPARK-45824] [SC-147648][SQL] Impõe a classe de erro em ParseException
• [SPARK-45845] [SC-148163][SS][UI] Adiciona um número de linhas de estado removidas à interface do usuário de streaming
• [SPARK-46316] [SC-150181][core] Habilitar buf-lint-action no módulo core
• [SPARK-45816] [SC-147656][SQL] Retorna NULL ao estourar durante a conversão do carimbo de data/hora para números inteiros
• [SPARK-46333] [SC-150263][SQL] Substitui IllegalStateException por SparkException.internalError no catalyst
• [SPARK-45762] [SC-148486][CORE] Suporta gerenciadores de ordem aleatória definidos em jars de usuário alterando a ordem de inicialização
• [SPARK-46239] [SC-149752][CORE] Oculta informações de Jetty
• [SPARK-45886] [SC-148089][SQL] Rastreamento de pilha completa de saída em callSite do contexto do DataFrame
• [SPARK-46290] [SC-150059][python] Alterar saveMode para um sinalizador booliano para DataSourceWriter
• [SPARK-45899] [SC-148097][CONNECT] Define errorClass em errorInfoToThrowable
• [SPARK-45841] [SC-147657][SQL] Expõe rastreamento de pilha por DataFrameQueryContext
• [SPARK-45843] [SC-147721][core] Suporte killall na API de Envio REST
• [SPARK-46234] [SC-149711][python] Apresentar PySparkKeyError para a estrutura de erros do PySpark
• [SPARK-45606] [SC-147655][SQL] Restrições de versão no filtro de runtime de várias camadas
• [SPARK-45725] [SC-147006][SQL] Remove o filtro de runtime de subconsulta IN não padrão
• [SPARK-45694] [SC-147314][spark-45695][SQL] Limpar o uso preterido da API View.force e ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][sql] Tornar withOrigin mais genérico
• [SPARK-46292] [SC-150086][core][UI] Mostrar um resumo dos trabalhadores no MasterPage
• [SPARK-45685] [SC-146881][core][SQL] Use LazyList em vez de Stream
• [SPARK-45888] [SC-149945][SS] Aplica estrutura de classe de erro à Fonte de Dados (metadados) de Estado
• [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed deve manter a ordenação de dicionário/mapa
• [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Limpa as conversões SeqOps.view e ArrayOps.view
• [SPARK-46029] [SC-149255][SQL] Escape de aspas simples, _ e % para pressionar o DS V2
• [SPARK-46275] [SC-150189] Protobuf: Retorna nulo no modo permissivo quando a desserialização falhar.
• [SPARK-46320] [SC-150187][CORE] Suporte a spark.master.rest.host
• [SPARK-46092] [SC-149658][sql] Não aplique filtros de grupos de linhas Parquet que excedem
• [SPARK-46300] [SC-150097][PYTHON][CONNECT] Corresponder a comportamentos secundários na coluna com cobertura de teste completa
• [SPARK-46298] [SC-150092][PYTHON][CONNECT] Corresponde aviso de substituição, caso de teste e erro de Catalog.createExternalTable
• [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Limpa o uso relacionado a StringContext/StringOps/RightProjection/LeftProjection/Either e uso do tipo de BufferedIterator/CanBuildFrom/Traversable da API preterida
• [SPARK-33393] [SC-148407][sql] Suporte SHOW TABLE EXTENDED na v2
• [SPARK-45737] [SC-147011][SQL] Remove .toArray[InternalRow] inútil em SparkPlan#executeTake
• [SPARK-46249] [SC-149797][SS] Exige bloqueio de instância para adquirir métricas do RocksDB, a fim de evitar conflitos com operações em segundo plano
• [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed deve respeitar a ordem do dicionário
• [SPARK-46274] [SC-150043] [SQL] Corrige o operador de intervalo computeStats() para verificar a validade de long antes da conversão
• [SPARK-46040] [SC-149767][sql][Python] Atualizar a API UDTF para analisar colunas de particionamento/ordenação para dar suporte a expressões gerais
• [SPARK-46287] [SC-149949][python][CONNECT] DataFrame.isEmpty deve funcionar com todos os tipos de dados
• [SPARK-45678] [SC-146825][CORE] Cobre BufferReleasingInputStream.available/reset em tryOrFetchFailedException
• [SPARK-45667] [SC-146716][core][SQL][connect] Limpar o uso obsoleto da API relacionado ao IterableOnceExtensionMethods.
• [SPARK-43980] [SC-148992][SQL] apresentando a sintaxe select * except
• [SPARK-46269] [SC-149816][ps] Habilitar mais testes de compatibilidade de funções NumPy
• [SPARK-45807] [SC-149851][sql] Adicionar createOrReplaceView(..) / replaceView(..) ao ViewCatalog
• [SPARK-45742] [SC-147212][core][CONNECT][mllib][PYTHON] Introduza uma função implícita para Scala Array encapsular em immutable.ArraySeq.
• [SPARK-46205] [SC-149655][CORE] Melhorar o desempenho de PersistenceEngine com KryoSerializer
• [SPARK-45746] [SC-149359][python] Retornar mensagens de erro específicas se o método 'analyze' ou 'eval' da UDTF aceitar ou retornar valores incorretos
• [SPARK-46186] [SC-149707][CONNECT] Corrige a transição de estado ilegal quando ExecuteThreadRunner for interrompido antes de começar
• [SPARK-46262] [SC-149803][PS] Habilita o teste de np.left_shift para o objeto Pandas-on-Spark.
• [SPARK-45093] [SC-149679][connect][PYTHON] Suporte adequado ao tratamento e à conversão de erros para AddArtifactHandler
• [SPARK-46188] [SC-149571][doc][3.5] Corrigir o CSS das tabelas geradas pelo documento do Spark
• [SPARK-45940] [SC-149549][python] Adicionar InputPartition à interface DataSourceReader
• [SPARK-43393] [SC-148301][SQL] Bug de estouro da expressão de sequência de endereços.
• [SPARK-46144] [SC-149466][sql] Falha INSERT EM... Instrução REPLACE se a condição contiver subconsulta
• [SPARK-46118] [SC-149096][sql][SS][connect] Use SparkSession.sessionState.conf em vez de SQLContext.conf e marque SQLContext.conf como preterido
• [SPARK-45760] [SC-147550][sql] Adicionar com expressão para evitar a duplicação de expressões
• [SPARK-43228] [SC-149670][sql] As chaves de junção também correspondem a PartitioningCollection em CoalesceBucketsInJoin
• [SPARK-46223] [SC-149691][ps] Testar SparkPandasNotImplementedError com a limpeza de código não utilizado
• [SPARK-46119] [SC-149205][sql] Substituir método toString para UnresolvedAlias
• [SPARK-46206] [SC-149674][ps] Use uma exceção de escopo mais estreita para o processador SQL
• [SPARK-46191] [SC-149565][CORE] Aprimora a msg de erro FileSystemPersistenceEngine.persist no caso de arquivo existente
• [SPARK-46036] [SC-149356][SQL] Remove a classe de erro da função raise_error
• [SPARK-46055] [SC-149254][sql] Reescreva a implementação das APIs de Banco de Dados do Catálogo
• [SPARK-46152] [SC-149454][sql] XML: adicionar suporte a DecimalType na inferência de esquema XML
• [SPARK-45943] [SC-149452][SQL] Move DetermineTableStats para regras de resolução
• [SPARK-45887] [SC-148994][SQL] Alinhar a implementação codegen e não codegen de Encode
• [SPARK-45022] [SC-147158][sql] Fornecer contexto para erros de API do conjunto de dados
• [SPARK-45469] [SC-145135][core][SQL][connect][PYTHON] Substitua toIterator por iterator para IterableOnce
• [SPARK-46141] [SC-149357][sql] Alterar o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRECTED
• [SPARK-45663] [SC-146617][core][MLLIB] Substitua IterableOnceOps#aggregate por IterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][SQL] Reutiliza objetos Literais na regra ComputeCurrentTime
• [SPARK-45803] [SC-147489][core] Remova o que não é mais usado RpcAbortException
• [SPARK-46148] [SC-149350][ps] Corrigir teste de pyspark.pandas.mlflow.load_model (Python 3.12)
• [SPARK-46110] [SC-149090][PYTHON] Usa classes de erro no catálogo, configuração, conexão, observação, módulos pandas
• [SPARK-45827] [SC-149203][SQL] Correções variantes com codegen e leitor vetorizado desabilitados
• [SPARK-46080] Revert “[SC-149012][PYTHON] Atualiza Cloudpickle para 3.0.0”
• [SPARK-45460] [SC-144852][sql] Substitua scala.collection.convert.ImplicitConversions por scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][sql] Remova a resolução especial de UnresolvedNamespace para determinados comandos
• [SPARK-45600] [SC-148976][PYTHON] Tornar o nível de sessão do registro da fonte de dados do Python
• [SPARK-46074] [SC-149063][connect][SCALA] Detalhes insuficientes na mensagem de erro sobre falha da UDF
• [SPARK-46114] [SC-149076][python] Adicionar PySparkIndexError para a estrutura de erros
• [SPARK-46120] [SC-149083][CONNECT][PYTHON] Remover a função DataFrame.withPlan auxiliar
• [SPARK-45927] [SC-148660][python] Atualização do tratamento de caminhos para a fonte de dados do Python
• [SPARK-46062] [14.x][SC-148991][SQL] Sincroniza o sinalizador isStreaming entre a referência e a definição de CTE
• [SPARK-45698] [SC-146736][core][SQL][ss] Limpar o uso preterido da API relacionado a Buffer
• [SPARK-46064] [SC-148984][SQL][SS] Move EliminateEventTimeWatermark para o analisador e altera para entrar em vigor apenas no filho resolvido
• [SPARK-45922] [SC-149038][CONNECT][CLIENT] Tentativas secundárias de refatoração (acompanhamento de várias políticas)
• [SPARK-45851] [SC-148419][connect][SCALA] Suporte a várias políticas no cliente scala
• [SPARK-45974] [SC-149062][SQL] Adiciona o julgamento não vazio scan.filterAttributes para RowLevelOperationRuntimeGroupFiltering
• [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets no cliente Scala Spark Connect
• [SPARK-45136] [SC-146607][CONNECT] Aprimora o ClosureCleaner com suporte a Ammonite
• [SPARK-46084] [SC-149020][PS] Refatora operação de conversão do tipo de dados para tipo Categórico.
• [SPARK-46083] [SC-149018][python] Tornar SparkNoSuchElementException uma API padrão de erro
• [SPARK-46048] [SC-148982][PYTHON][CONNECT] Suporta DataFrame.groupingSets no Python Spark Connect
• [SPARK-46080] [SC-149012][python] Atualizar Cloudpickle para 3.0.0
• [SPARK-46082] [SC-149015][python][CONNECT] Corrigir representação de cadeia de caracteres protobuf para a API do Pandas Functions com o Spark Connect
• [SPARK-46065] [SC-148985][ps] Refatorar (DataFrame|Series).factorize() para usar create_map.
• [SPARK-46070] [SC-148993][SQL] Compila o padrão regex em SparkDateTimeUtils.getZoneId fora do loop frequente
• [SPARK-46063] [SC-148981][PYTHON][CONNECT] Aprimora mensagens de erro relacionadas a tipos de argumento em cute, rollup, groupby e pivot
• [SPARK-44442] [SC-144120][mesos] Remover suporte do Mesos
• [SPARK-45555] [SC-147620][PYTHON] Inclui um objeto depurável para declaração com falha
• [SPARK-46048] [SC-148871][PYTHON][SQL] Suporta DataFrame.groupingSets no PySpark
• [SPARK-45768] [SC-147304][sql][PYTHON] Tornar o manipulador de falhas uma configuração de runtime para execução do Python no SQL
• [SPARK-45996] [SC-148586][python][CONNECT] Mostrar mensagens de requisito de dependência adequadas para o Spark Connect
• [SPARK-45681] [SC-146893][ui] Clonar uma versão js de UIUtils.errorMessageCell para renderização de erro consistente na interface do usuário
• [SPARK-45767] [SC-147225][core] Excluir TimeStampedHashMap e seu UT
• [SPARK-45696] [SC-148864][core] O método de correção tryCompleteWith em trait Promise foi preterido
• [SPARK-45503] [SC-146338][ss] Adicionar Configuração para Definir Compressão do RocksDB
• [SPARK-45338] [SC-143934][core][SQL] Substitua scala.collection.JavaConverters por scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][sql] Corrigir ArrayIndexOutOfBoundsException em conv()
• [SPARK-45912] [SC-144982][sc-148467][SQL] Aprimoramento da API XSDToSchema: Alteração na API do HDFS para acessibilidade do armazenamento em nuvem
• [SPARK-45819] [SC-147570][core] Suporte clear na API de Envio REST
• [SPARK-45552] [14.x][sc-146874][PS] Introduzir parâmetros flexíveis para assertDataFrameEqual
• [SPARK-45815] [SC-147877][sql][Streaming][14.x][CHERRY-PICK] Forneça uma interface para outras fontes de streaming adicionarem colunas _metadata
• [SPARK-45929] [SC-148692][SQL] Suporta a operação groupingSets na API do dataframe
• [SPARK-46012] [SC-148693][CORE] O EventLogFileReader não deve ler logs sem interrupção se o arquivo de status do aplicativo estiver ausente
• [SPARK-45965] [SC-148575][SQL] Move expressões de particionamento do DSv2 para functions.partitioning
• [SPARK-45971] [SC-148541][core][SQL] Corrigir o nome do pacote de SparkCollectionUtils para org.apache.spark.util
• [SPARK-45688] [SC-147356][spark-45693][CORE] Limpar o uso preterido da API relacionado ao MapOps & Corrigir method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][sc-148497][SQL] Remover treatEmptyValuesAsNulls e usar a opção nullValue em vez disso no XML
• [SPARK-45988] [SC-148580][spark-45989][PYTHON] Corrigir typehints para lidar com list GenericAlias no Python 3.11+
• [SPARK-45999] [SC-148595][PS] Usa PandasProduct dedicado em cumprod
• [SPARK-45986] [SC-148583][ml][PYTHON] Corrigir pyspark.ml.torch.tests.test_distributor no Python 3.11
• [SPARK-45994] [SC-148581][python] Altere description-file para description_file
• [SPARK-45575] [SC-146713][SQL] Suporta opções de viagem no tempo para a API de leitura df
• [SPARK-45747] [SC-148404][SS] Usa informações de chave de prefixo em metadados de estado para lidar com o estado de leitura para agregação de janela de sessão
• [SPARK-45898] [SC-148213][sql] Reescrever APIs de tabela de catálogo para usar plano lógico não resolvido
• [SPARK-45828] [SC-147663][sql] Remover método preterido em dsl
• [SPARK-45990] [SC-148576][spark-45987][PYTHON][connect] Atualização protobuf para 4.25.1 para dar suporte a Python 3.11
• [SPARK-45911] [SC-148226][core] Tornar o TLS1.3 o padrão para RPC SSL
• [SPARK-45955] [SC-148429][UI] Recolhe o suporte para detalhes de despejo do Flamegraph e de thread
• [SPARK-45936] [SC-148392][PS] Otimiza Index.symmetric_difference
• [SPARK-45389] [SC-144834][sql][3.5] Regra de correspondência correta de MetaException na obtenção de metadados de partição
• [SPARK-45655] [SC-148085][sql][SS] Permitir expressões não determinísticas dentro de AggregateFunctions em CollectMetrics
• [SPARK-45946] [SC-148448][SS] Corrige o uso de gravação de FileUtils preterida para passar o conjunto de caracteres padrão no RocksDBSuite
• [SPARK-45511] [SC-148285][SS] Fonte de dados de estado – Leitor
• [SPARK-45918] [SC-148293][PS] Otimiza MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][CONNECT][PYTHON] Retorna as métricas observadas dos comandos
• [SPARK-45867] [SC-147916][CORE] Suporte a spark.worker.idPattern
• [SPARK-45945] [SC-148418][connect] Adicionar uma função auxiliar para parser
• [SPARK-45930] [SC-148399][sql] Adicionar suporte a UDFs não determinísticas no MapInPandas/MapInArrow
• [SPARK-45810] [SC-148356][python] Criar a API UDTF do Python para parar de consumir linhas da tabela de entrada
• [SPARK-45731] [SC-147929][sql] Atualize também as estatísticas de partição com o comando ANALYZE TABLE
• [SPARK-45868] [SC-148355][CONNECT] Garante que spark.table use o mesmo analisador com vanilla spark
• [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec que propaga o particionamento deve respeitar CoalescedHashPartitioning
• [SPARK-45710] [SC-147428][sql] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
• [SPARK-45915] [SC-148306][sql] Tratar decimal(x, 0) da mesma forma que IntegralType em PromoteStrings
• [SPARK-45786] [SC-147552][sql] Corrigir resultados imprecisos de multiplicação decimal e divisão
• [SPARK-45871] [SC-148084][CONNECT] Conversão da coleção de otimizações relacionada a .toBuffer nos módulos connect
• [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager pode procurar um sparkcontext interrompido
• [SPARK-45913] [SC-148289][python] Tornar os atributos internos privados de erros do PySpark.
• [SPARK-45827] [SC-148201][SQL] Adiciona o tipo de dados Variante no Spark.
• [SPARK-44886] [SC-147876][sql] Introduzir cláusula CLUSTER BY para CREATE/REPLACE TABLE
• [SPARK-45756] [SC-147959][CORE] Suporte a spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][CONNECT] Declara a ID da sessão do lado do servidor
• [SPARK-45896] [SC-148091][SQL] Constructo ValidateExternalType com o tipo esperado correto
• [SPARK-45902] [SC-148123][sql] Remover função não utilizada resolvePartitionColumns de DataSource
• [SPARK-45909] [SC-148137][SQL] Remove a conversão NumericType se puder converter com segurança em IsNotNull
• [SPARK-42821] [SC-147715][sql] Remover parâmetros não utilizados em métodos splitFiles
• [SPARK-45875] [SC-148088][core] Remover MissingStageTableRowData do módulo core
• [SPARK-45783] [SC-148120][python][CONNECT] Melhorar as mensagens de erro quando o modo Spark Connect estiver habilitado, mas a URL remota não estiver definida
• [SPARK-45804] [SC-147529][ui] Adicionar configuração spark.ui.threadDump.flamegraphEnabled para ativar/desativar o grafo de chama
• [SPARK-45664] [SC-146878][sql] Introduza um mapeador para codecs de compressão ORC
• [SPARK-45481] [SC-146715][SQL] Introduz um mapeador para codecs de compactação parquet
• [SPARK-45752] [SC-148005][sql] Simplificar o código para verificar relações CTE não referenciadas
• [SPARK-44752] [SC-146262][sql] XML: Atualizar o Spark Docs
• [SPARK-45752] [SC-147869][SQL] CTE não referenciado deve ser verificado pelo CheckAnalysis0
• [SPARK-45842] [SC-147853][sql] Refatorar APIs de funções do catálogo para utilizar o analisador
• [SPARK-45639] [SC-147676][sql][PYTHON] Suporte ao carregamento de fontes de dados python no DataFrameReader
• [SPARK-45592] [SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec
• [SPARK-45794] [SC-147646][SS] Introduz a fonte de metadados de estado para consultar as informações de metadados do estado de streaming
• [SPARK-45739] [SC-147059][PYTHON] Captura IOException em vez de somente EOFException para faulthandler
• [SPARK-45677] [SC-146700] Melhor registro de erros na API de Observação
• [SPARK-45544] [SC-146873][core] Integrar o suporte de SSL ao TransportContext
• [SPARK-45654] [SC-147152][python] Adicionar API de gravação da fonte de dados do Python
• [SPARK-45771] [SC-147270][core] Habilitar spark.eventLog.rolling.enabled por padrão
• [SPARK-45713] [SC-146986][python] Suporte ao registro de fontes de dados do Python
• [SPARK-45656] [SC-146488][SQL] Corrige a observação quando observações nomeadas com o mesmo nome em conjuntos de dados diferentes
• [SPARK-45808] [SC-147571][connect][PYTHON] Melhor tratamento de erros para exceções SQL
• [SPARK-45774] [SC-147353][core][interface do usuário] Suporte spark.master.ui.historyServerUrl em ApplicationPage
• [SPARK-45776] [SC-147327][CORE] Remove a verificação de nulo defensiva para MapOutputTrackerMaster#unregisterShuffle adicionado no SPARK-39553
• [SPARK-45780] [SC-147410][CONNECT] Propaga todos os threadlocals de cliente do Spark Connect em InheritableThread
• [SPARK-45785] [SC-147419][CORE] Suporta spark.deploy.appNumberModulo para girar o número do aplicativo
• [SPARK-45793] [SC-147456][CORE] Aprimora os codecs de compactação internos
• [SPARK-45757] [SC-147282][ML] Evite a recomputação de NNZ no Binarizador
• [SPARK-45209] [SC-146490][CORE][UI] Suporta o Flame Graph para a página de despejo de thread do executor
• [SPARK-45777] [SC-147319][core] Suporte spark.test.appId em LocalSchedulerBackend
• [SPARK-45523] [SC-146331][PYTHON] Refatora a verificação de nulo para ter atalhos
• [SPARK-45711] [SC-146854][SQL] Introduz um mapeador para codecs de compactação avro
• [SPARK-45523] [SC-146077][Python] Retorna mensagem de erro útil se o UDTF retornar a coluna Nenhum para qualquer coluna não anulável
• [SPARK-45614] [SC-146729][sql] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
• [SPARK-45755] [SC-147164][sql] Melhorar Dataset.isEmpty() aplicando o limite global 1
• [SPARK-45569] [SC-145915][sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2153
• [SPARK-45749] [SC-147153][core][WEBUI] Corrigir Spark History Server para classificar a coluna Duration corretamente
• [SPARK-45754] [SC-147169][CORE] Suporte a spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][sql] Simplificar DataFrameStatFunctions.countMinSketch com CountMinSketchAgg
• [SPARK-45753] [SC-147167][CORE] Suporte a spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][core][interface do usuário] Melhorar MasterPage para mostrar Resource coluna somente quando existir
• [SPARK-45112] [SC-143259][SQL] Usar a resolução baseada em UnresolvedFunction em funções SQL Dataset

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Consulte as atualizações de manutenção do Azure Databricks Runtime 14.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.3 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R são instaladas com base no instantâneo CRAN do Gerenciador de Pacotes do Posit em 13/07/2023: https://packagemanager.posit.co/cran/2023-07-13/.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)