Tempo de execução do Databricks 14.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.1, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em outubro de 2023.

Novos recursos e melhorias

• array_insert() é baseado em 1 para índices negativos
• Pontos de controlo Delta v2 ativados por padrão com agrupamento dinâmico
• funcionalidade de eliminação de tabela Delta na Pré-visualização Pública
• Compartilhamento Delta: os destinatários podem executar consultas em lote em tabelas compartilhadas com vetores de exclusão (visualização pública)
• Compartilhamento Delta: os destinatários podem executar consultas em lote em tabelas compartilhadas com mapeamento de colunas (Visualização Pública)
• Streaming das visualizações do Catálogo Unity em pré-visualização pública
• Conector Apache Pulsar em Visualização Pública
• Driver atualizado do Snowflake
• Variáveis de sessão SQL
• Invocação de parâmetro nomeado para SQL e Python UDF.
• Argumentos de tabela para funções suportam particionamento e ordenação.
• Funções SQL incorporadas novas e melhoradas
• Tratamento melhorado de subconsultas correlacionadas

array_insert() é baseado em 1 para índices negativos

A array_insert função é baseada em 1 para índices positivos e negativos. Ele agora insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.

Pontos de verificação Delta v2 habilitados por padrão com clustering líquido

As tabelas Delta recém-criadas com clustering líquido utilizam pontos de verificação v2 por predefinição. Consulte Compatibilidade para tabelas com agrupamento líquido.

Funcionalidade de eliminação de tabela Delta na Pré-visualização Pública

Agora é possível remover algumas funcionalidades de tabelas para tabelas Delta. O suporte atual inclui a eliminação de deletionVectors e v2Checkpoint. Consulte Remover uma funcionalidade da tabela Delta Lake e fazer downgrade do protocolo da tabela.

Compartilhamento Delta: os destinatários podem executar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização pública)

Os destinatários do Compartilhamento Delta agora podem executar consultas em lote em tabelas compartilhadas que usam vetores de exclusão. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de coluna a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado e Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado.

Compartilhamento Delta: os destinatários podem executar consultas em lote em tabelas compartilhadas com mapeamento de colunas (Visualização Pública)

Os destinatários do Compartilhamento Delta agora podem executar consultas em lote em tabelas compartilhadas que usam mapeamento de colunas. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de coluna a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado e Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado.

Transmitir visualizações do Unity Catalog em pré-visualização pública

Agora você pode usar o Streaming estruturado para executar leituras de streaming de visualizações registradas no Unity Catalog. O Azure Databricks suporta apenas leituras de streaming a partir de views definidas em tabelas Delta.

Conector Apache Pulsar em Visualização Pública

Agora você pode usar o Streaming Estruturado para transmitir dados do Apache Pulsar no Azure Databricks. Consulte Stream do Apache Pulsar.

Driver atualizado do Snowflake

O driver JDBC Snowflake agora usa a versão 3.13.33.

Variáveis de sessão SQL

Esta versão introduz a capacidade de declarar variáveis temporárias em uma sessão que pode ser definida e, em seguida, referida a partir de consultas. Consulte Variáveis.

Invocação de parâmetro nomeado para SQL e Python UDF.

Agora pode-se usar a invocação de parâmetro nomeado em SQL e Python UDF.

Argumentos de tabela para funções suportam particionamento e ordenação.

Agora pode usar as cláusulas PARTITION BY e ORDER BY para controlar como os argumentos de tabela são passados para uma função durante a invocação da função .

Funções SQL incorporadas novas e melhoradas

As seguintes funções incorporadas foram adicionadas:

• from_xml: Analisa um STRING em um(a) STRUCT.
• schema_of_xml: Deriva um esquema de um STRINGXML .
• session_user: Retorna o usuário conectado.
• try_reflect: Retorna NULL em vez da exceção se um método Java falhar.

As seguintes funções incorporadas foram melhoradas:

• mode: Suporte para um parâmetro opcional forçando um resultado determinístico.
• to_char: Novo suporte para DATE, TIMESTAMPe BINARY.
• to_varchar: Novo suporte para DATE, TIMESTAMPe BINARY.

Tratamento melhorado de subconsultas correlacionadas

A capacidade de processar correlação em subconsultas foi ampliada:

• Manuseie a limitação e a ordenação em subconsultas escalares (laterais) correlacionadas.
• Suporta funções de janela em subconsultas escalares correlacionadas.
• Apoiar referências correlacionadas em predicados de junção para subconsultas escalares e laterais

Mudança de comportamento

Verificação rigorosa de tipos no leitor Photon Parquet

Photon falha ao tentar ler um valor decimal de uma coluna Parquet que não é do tipo decimal. O fóton também falha ao ler uma matriz de bytes de comprimento fixo do Parquet como uma cadeia de caracteres.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.12.2 a 3.12.3
  • s3transfer de 0.6.1 a 0.6.2
• Bibliotecas Java atualizadas:
  • com.uber.h3 de 3.7.0 a 3.7.3
  • io.airlift.aircompressor de 0,24 a 0,25
  • io.delta.delta-sharing-spark_2.12 de 0.7.1 a 0.7.5
  • io.netty.netty-all de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-buffer de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-http de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-http2 de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-socks da versão 4.1.93.Final para a 4.1.96.Final
  • io.netty.netty-common de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-handler de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-handler-proxy de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-resolver de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-classes-epoll de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-native-epoll de 4.1.93.Final-linux-x86_64 a 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.93.Final-osx-x86_64 a 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.93.Final a 4.1.96.Final
  • net.snowflake.snowflake-jdbc de 3.13.29 para 3.13.33
  • org.apache.orc.orc-core de 1.9.0-shaded-protobuf para 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.0-shaded-protobuf para 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims de 1.9.0 a 1.9.1

Apache Spark

O Databricks Runtime 14.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-45088] [DBRRM-557] Reverter "[SC-142785][python][CONNECT] Fazer getitem funcionar com coluna duplicada"
• [SPARK-43453] [DBRRM-557]Reverter "[SC-143135][ps] Ignore o names de MultiIndex quando axis=1 para concat"
• [SPARK-45225] [SC-143207][sql] XML: suporte a URL do arquivo XSD
• [SPARK-45156] [SC-142782][sql] Envolver inputName com backticks na classe de erro NON_FOLDABLE_INPUT
• [SPARK-44910] [SC-143082][sql] Encoders.bean não suporta superclasses com argumentos de tipo genéricos
• [SPARK-43453] [SC-143135][ps] Ignore o names de MultiIndex quando axis=1 para concat
• [SPARK-44463] [SS][connect] Melhorar o tratamento de erros para o trabalhador Python de fluxo contínuo Connect
• [SPARK-44960] [SC-141023][ui] Fazer unescape e tornar consistente o resumo de erros nas páginas da interface
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] Adicionar from_xml e schema_of_xml à função pyspark, spark connect e sql
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] Adicionar pacotes ausentes no setup.py
• [SPARK-45151] [SC-142861][core][UI] Suporte a despejo de thread ao nível da tarefa
• [SPARK-45056] [SC-142779][python][SS][connect] Testes de terminação para streamingQueryListener e foreachBatch
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress para usar um número de partições de embaralhamento efetivo preciso
• [SPARK-44872] [SC-142405][connect] Infraestrutura de teste do servidor e ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] Fazer StandaloneRestServer adicionar JavaModuleOptions aos drivers
• [SPARK-44404] [SC-139601][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] Suporte SPJ onde as chaves de junção são menores que as chaves de cluster
• [SPARK-45088] [SC-142785][python][CONNECT] Fazer getitem trabalhar com colunas duplicadas
• [SPARK-45128] [SC-142851][sql] Suporte CalendarIntervalType na seta
• [SPARK-45130] [SC-142976][connect][ML][python] Evite que o modelo de ML do Spark Connect altere o dataframe de pandas de entrada
• [SPARK-45034] [SC-142959][sql] Suporta a função de modo determinístico
• [SPARK-45173] [SC-142931][ui] Remova alguns arquivos sourceMapping desnecessários na interface do usuário
• [SPARK-45162] [SC-142781][sql] Suporta mapas e parâmetros de matriz construídos via call_function
• [SPARK-45143] [SC-142840][python][CONNECT] Torne o PySpark compatível com o PyArrow 13.0.0
• [SPARK-45174] [SC-142837][core] Suporte spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] O cliente Python deve chamar release_all
• [SPARK-36191] [SC-142777][sql] Manipular limite e ordem em subconsultas escalares (laterais) correlacionadas
• [SPARK-45159] [SC-142829][python] Manipular argumentos nomeados somente quando necessário
• [SPARK-45133] [SC-142512][connect] Faça com que as consultas do Spark Connect sejam CONCLUÍDAS quando a última tarefa de resultado for concluída
• [SPARK-44801] [SC-140802][sql][UI] Captura analisando consultas com falha no Listener e na interface do usuário
• [SPARK-45139] [SC-142527][sql] Adicionar DatabricksDialect para manipular a conversão de tipo SQL
• [SPARK-45157] [SC-142546][sql] Evite verificações de if repetidas no [On|Off|HeapColumnVector
• [SPARK-45077] Reverter "[SC-142069][ui] Atualizar dagre-d3.js de 04.3 para 0.6.4"
• [SPARK-45145] [SC-142521][exemplo] Adicionar exemplo JavaSparkSQLCli
• [SPARK-43295] Reverter "[SC-142254][ps] Suporta colunas de tipo de cadeia de caracteres para DataFrameGroupBy.sum"
• [SPARK-44915] [SC-142383][core] Valide a soma de verificação dos dados aleatórios do PVC remontado antes da recuperação
• [SPARK-45147] [SC-142524][core] Remover uso de System.setSecurityManager
• [SPARK-45104] [SC-142206][ui] Atualizar graphlib-dot.min.js para 1.0.2
• [SPARK-44238] [SC-141606][core][SQL] Introduza um novo método readFrom com entrada de matriz de bytes para BloomFilter
• [SPARK-45060] [SC-141742][sql] Corrigir um erro interno do to_char()no formato NULL
• [SPARK-43252] [SC-142381][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2016 por um erro interno
• [SPARK-45069] [SC-142279][sql] A variável SQL deve ser sempre resolvida após a referência externa
• [SPARK-44911] [SC-142388][sql] Criar tabela de hive com coluna inválida deve retornar classe de erro
• [SPARK-42754] [SC-125567][sql][UI] Corrigir problema de compatibilidade com versões anteriores na execução SQL aninhada
• [SPARK-45121] [SC-142375][connect][PS] Series.empty de suporte para o Spark Connect.
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. devem funcionar em um vetor de coluna que tenha um dicionário
• [SPARK-45027] [SC-142248][python] Ocultar funções/variáveis internas em pyspark.sql.functions do preenchimento automático
• [SPARK-45073] [SC-141791][ps][CONNECT] Substitua LastNotNull por Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] Manual backport: Adicionar API no método Python UDTF 'analyze' para retornar expressões de particionamento/ordenação
• [SPARK-45076] [SC-141795][ps] Mudar para a função repeat integrada
• [SPARK-44162] [SC-141605][core] Suporte ao G1GC nas métricas do Spark
• [SPARK-45053] [SC-141733][python][MINOR] Melhoria do log na incompatibilidade de versão do Python
• [SPARK-44866] [SC-142221][sql] Adicionar SnowflakeDialect para manipular o tipo BOOLEAN corretamente
• [SPARK-45064] [SC-141775][python][CONNECT] Adicione o parâmetro scale ausente no ceil/ceiling
• [SPARK-45059] [SC-141757][connect][PYTHON] Adicionar funções try_reflect ao Scala e Python
• [SPARK-43251] [SC-142280][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2015 por um erro interno
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] Tornar o nome da coluna de saída dos aliases de função consistente com SQL
• [SPARK-44239] [SC-141502][sql] Memória livre alocada por grandes vetores quando os vetores são redefinidos
• [SPARK-43295] [SC-142254][ps] Suporta colunas de tipo de cadeia de caracteres para DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] Chamar explicitamente o suporte para colunar em fontes de dados de streaming DSv2
• [SPARK-45036] [SC-141768][sql] SPJ: Simplifique a lógica para lidar com a distribuição parcialmente clusterizada
• [SPARK-45077] [SC-142069][ui] Atualizar dagre-d3.js de 0.4.3 para 0.6.4
• [SPARK-45091] [SC-142020][python][CONNECT][sql] Função floor/round/bround aceitar Tipo de coluna scale
• [SPARK-45090] [SC-142019][python][CONNECT] suportar ordinais de coluna DataFrame.{cube, rollup}
• [SPARK-44743] [SC-141625][sql] Adicionar função try_reflect
• [SPARK-45086] [SC-142052][ui] Exibir hexadecimal para código hash de bloqueio de thread
• [SPARK-44952] [SC-141644][sql][PYTHON] Suporte a argumentos nomeados em UDFs Pandas agregados
• [SPARK-44987] [SC-141552][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] Corrigir avisos de compilação relacionados a Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Adicionar testes adicionais para cliente Python e execução anexável
• [SPARK-45072] [SC-141807][connect] Corrigir escopos externos para classes de amonite
• [SPARK-45033] [SC-141759][sql] Suporte a mapas por parametrização sql()
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] Fazer com que a função repeat aceite n como tipo de coluna
• [SPARK-44860] [SC-141103][sql] Adicionar função SESSION_USER
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} suporte a ordinais de coluna
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy ordinais de suporte
• [SPARK-44863] [SC-140798][ui] Adicionar um botão para fazer download do dump de threads como um txt na UI do Spark
• [SPARK-45026] [SC-141604][connect] spark.sql deve suportar tipos de dados não compatíveis com seta
• [SPARK-44999] [SC-141145][core] Refatorar ExternalSorter para reduzir as verificações de shouldPartition ao chamar getPartition
• [SPARK-42304] [SC-141501][sql] Renomear _LEGACY_ERROR_TEMP_2189 para GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] Corrija IllegalStateException ao coagrupar dois conjuntos de dados derivados da mesma fonte
• [SPARK-45018] [SC-141516][python][CONNECT] Adicionar CalendarIntervalType ao cliente Python
• [SPARK-45024] [SC-141513][python][CONNECT] Filtrar algumas configurações na Criação de Sessão
• [SPARK-45017] [SC-141508][python] Adicionar CalendarIntervalType a PySpark
• [SPARK-44720] [SC-139375][connect] Fazer com que o conjunto de dados use o codificador em vez do AgnosticEncoder
• [SPARK-44982] [SC-141027][connect] Marcar as configurações do servidor Spark Connect como estáticas
• [SPARK-44839] [SC-140900][ss][CONNECT] Melhor registo de erros quando o utilizador tenta serializar a sessão de Spark
• [SPARK-44865] [SC-140905][ss] Tornar StreamingRelationV2 compatível com a coluna de metadados
• [SPARK-45001] [SC-141141][python][CONNECT] Implementar DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][webui] Mostrar id da partição da tarefa na tabela de tarefas
• [SPARK-45006] [SC-141143][ui] Use o mesmo formato de data de outros elementos de data da interface do usuário para o eixo x das linhas do tempo
• [SPARK-45000] [SC-141135][python][CONNECT] Implementar DataFrame.foreach
• [SPARK-44967] [SC-141137][sql][CONNECT] Unidade deve ser considerada primeiro antes de usar Boolean para TreeNodeTag
• [SPARK-44993] [SC-141088][core] Adicione ShuffleChecksumUtils.compareChecksums reutilizando ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][connect] Adicionar Dataset.metadataColumn ao cliente Scala
• [SPARK-44965] [SC-141098][python] Ocultar funções/variáveis internas do pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] Converter binário em string por to_char para os formatos: hex, base64, utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Corrija namedtuples herdados para trabalhar em createDataFrame
• [SPARK-44985] [SC-141033][core] Use toString em vez de stacktrace para threadDump de ceifador de tarefas
• [SPARK-44984] [SC-141028][python][CONNECT] Remover _get_alias do DataFrame
• [SPARK-44975] [SC-141013][sql] Remover BinaryArithmetic substituição inútil resolvida
• [SPARK-44969] [SC-140957][sql] Reutilizar ArrayInsert em ArrayAppend
• [SPARK-44549] [SC-140714][sql] Funções de janela de suporte em subconsultas escalares correlacionadas
• [SPARK-44938] [SC-140811][sql] Alterar o valor padrão de spark.sql.maxSinglePartitionBytes para 128m
• [SPARK-44918] [SC-140816][sql][PYTHON] Suporte a argumentos nomeados em UDFs escalares Python/Pandas
• [SPARK-44966] [SC-140907][core][CONNECT] Mude o var que jamais foi alterado para val
• [SPARK-41471] [SC-140804][sql] Reduzir o embaralhamento do Spark quando somente um lado de uma junção está usando KeyGroupedPartitioning
• [SPARK-44214] [SC-140528][core] Suporte ao Spark Driver Live Log UI
• [SPARK-44861] [SC-140716][conectar] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] Adicionar ProducedRowCount a SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] deve validar o nome da coluna
• [SPARK-40178] [SC-140433][sql][COONECT] Suporte a hints de coalesce com facilidade para PySpark e R
• [SPARK-44840] [SC-140593][sql] Torne array_insert() 1 a base para índices negativos
• [SPARK-44939] [SC-140778][r] Compatibilidade com o Java 21 nas SystemRequirements do SparkR
• [SPARK-44936] [SC-140770][core] Simplifique o log quando o Spark HybridStore atingir o limite de memória
• [SPARK-44908] [SC-140712][ml][CONNECT] Corrigir a funcionalidade foldCol param do validador cruzado
• [SPARK-44816] [SC-140717][connect] Melhorar mensagem de erro quando a classe UDF não é encontrada
• [SPARK-44909] [SC-140710][ml] Evitar iniciar o servidor de streaming de logs do Torch Distributor quando não estiver disponível
• [SPARK-44920] [SC-140707][core] Use await() em vez de awaitUninterruptibly() em TransportClientFactory.createClient()
• [SPARK-44905] [SC-140703][sql] Stateful lastRegex causa NullPointerException em eval para regexp_replace
• [SPARK-43987] [SC-139594][shuffle] Separar o processamento de finalizarShuffleMerge para pools de threads dedicados
• [SPARK-42768] [SC-140549][sql] Habilitar plano armazenado em cache aplicar AQE por padrão
• [SPARK-44741] [SC-139447][core] Suporta MetricFilter baseado em regex em StatsdSink
• [SPARK-44751] [SC-140532][sql] Implementação da interface XML FileFormat
• [SPARK-44868] [SC-140438][sql] Converter datetime para string usando to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] Execução de consulta para a cláusula PARTITION BY em argumentos UDTF TABLE
• [SPARK-44873] [SC-140427] Suporte para alterar visualização com colunas aninhadas no cliente Hive
• [SPARK-44876] [SC-140431][python] Corrigir UDF Python otimizados com Arrow no Spark Connect
• [SPARK-44520] [SC-137845][sql] Substituir o termo UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY por UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY e revelar a raiz AE
• [SPARK-42664] [SC-139769][connect] Suporte bloomFilter função para DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] Suporte para use_na_sentinel para factorize
• [SPARK-44859] [SC-140254][ss] Corrigir nome de propriedade incorreto no documento de streaming estruturado
• [SPARK-44822] [SC-140182][python][SQL] Tornar os UDTFs Python por padrão não determinísticos
• [SPARK-44731] [SC-139524][python][CONNECT] Fazer com que TimestampNTZ funcione com literais em Python Spark Connect
• [SPARK-44836] [SC-140180][python] Seta Refatoradora Python UDTF
• [SPARK-44714] [SC-139238] Abrandar a restrição da resolução LCA em relação a consultas com cláusula HAVING
• [SPARK-44749] [SC-139664][sql][PYTHON] Suporte a argumentos nomeados em Python UDTF
• [SPARK-44737] [SC-139512][sql][UI] Não deve exibir erros de formato JSON na página SQL para non-SparkThrowables na guia SQL
• [SPARK-44665] [SC-139307][python] Adicionar suporte para pandas DataFrame na função assertDataFrameEqual
• [SPARK-44736] [SC-139622][connect] Adicionar Dataset.explode ao Spark Connect Scala Client
• [SPARK-44732] [SC-139422][sql] Suporte a fonte de dados XML integrada
• [SPARK-44694] [SC-139213][python][CONNECT] Refatore sessões ativas e as exponha como uma API
• [FAÍSCA-44652] [SC-138881] Erro de aumento quando apenas um df é Nenhum
• [SPARK-44562] [SC-138824][sql] Adicionar OptimizeOneRowRelationSubquery em lote de Subconsulta
• pt-PT: [SPARK-44717] [SC-139319][python][PS] Respeite o TimestampNTZ na reamostragem
• [SPARK-42849] [SC-139365] [SQL] Variáveis de sessão
• [SPARK-44236] [SC-139239][sql] Desative WholeStageCodegen quando definido spark.sql.codegen.factoryMode como NO_CODEGEN
• [SPARK-44695] [SC-139316][python] Melhorar mensagem de erro para DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] Melhorar o erro para parâmetros em DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec suporta filtro de dados push down com subconsulta escalar
• [SPARK-44641] [SC-139216][sql] Resultado incorreto em determinados cenários quando o SPJ não é acionado
• [SPARK-44689] [SC-139219][connect] Tornar o tratamento de exceções da função SparkConnectPlanner#unpackScalarScalaUDF mais universal
• [SPARK-41636] [SC-139061][sql] Certifique-se de que selectFilters retorna predicados em ordem determinística
• [SPARK-44132] [SC-139197][sql] Materialize Stream de nomes de colunas de junção para evitar falha de codegen
• [SPARK-42330] [SC-138838][sql] Atribua o nome RULE_ID_NOT_FOUND à classe de erro _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] O nível de logging não é corretamente passado para o fornecedor de armazenamento de estado RocksDB
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus deve retornar None em vez de Some(null)
• [FAÍSCA-44603] [SC-138353] Adicionar pyspark.testing ao setup.py
• [SPARK-44252] [SC-137505][ss] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] Lançar erro quando UDF não é desserializável.
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] Tente novamente ExecutePlan caso a solicitação inicial não chegue ao servidor
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Catalyst do cliente Connect
• [SPARK-44059] [SC-138833][sql] Adicionar mensagens de erro mais claras para argumentos nomeados em SQL
• [SPARK-44620] [SC-138831][sql][PS][connect] Fazer com que ResolvePivot retenha o Plan_ID_TAG
• [SPARK-43838] [SC-137413][sql] Corrigir subconsulta em uma única tabela com cláusula HAVING que não pode ser otimizada.
• [SPARK-44555] [SC-138820][sql] Use checkError() para verificar Exceção no comando Suite & atribuir alguns nomes de classe de erro
• [SPARK-44280] [SC-138821][sql] Adicionar convertJavaTimestampToTimestamp à API JDBCDialect
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] Faça WidenSetOperationTypes retenha o Plan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Revert "[SC-137413][sql] Corrigir subconsulta em ta...
• [SPARK-44538] [SC-138178][connect][SQL] Restabelecer Row.jsonValue e amigos
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução reconectável no Spark Connect
• [SPARK-43838] [SC-137413][sql] Corrigir subconsulta em uma única tabela com cláusula HAVING que não pode ser otimizada.
• [SPARK-44587] [SC-138315][sql][CONNECT] Aumentar o limite de recursão do marshaller protobuf
• [SPARK-44605] [SC-138338][core] Refinar a API interna do ShuffleWriteProcessor
• [SPARK-44394] [SC-138291][connect][WEBUI] Adicionar uma página da interface do usuário do Spark para o Spark Connect
• [SPARK-44585] [SC-138286][mllib] Corrigir condição de aviso no MLLib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137][core] Suporte à propagação do nível de log para os executores
• [SPARK-44454] [SC-138071][sql][HIVE] Suporte a fallback de HiveShim getTablesByType
• [SPARK-44425] [SC-138135][connect] Valide que o sessionId fornecido pelo usuário é um UUID
• [SPARK-43611] [SC-138051][sql][PS][conncect] Faça ExtractWindowExpressions retenha o PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Melhore os testes e a documentação do Arrow Python UDF
• [SPARK-44482] [SC-138067][connect] O servidor Connect deve poder especificar o endereço de ligação
• [SPARK-44528] [SC-138047][connect] Suporte ao uso adequado de hasattr() para dataframe Connect
• [SPARK-44525] [SC-138043][sql] Melhorar a mensagem de erro quando o método Invoke não for encontrado
• [SPARK-44355] [SC-137878][sql] Mover WithCTE para consultas de comando

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 14.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.3.1
• Lago Delta: 3.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

Foram instaladas as bibliotecas R a partir do CRAN snapshot do Posit Package Manager em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)