Databricks Runtime 14.1 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.1, da plataforma Apache Spark 3.5.0.

O Databricks lançou esta versão em outubro de 2023.

Novos recursos e melhorias

• array_insert() é baseado em 1 para índices negativos
• Pontos de verificação Delta v2 habilitados por padrão com o clustering líquido
• Remover o recurso de tabela Delta na Visualização Pública
• Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização pública)
• Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com mapeamento de colunas (Visualização pública)
• Transmissão nas exibições do Catálogo do Unity em versão prévia pública
• Conector Apache Pulsar em versão prévia pública
• Driver do Snowflake atualizado
• Variáveis de sessão SQL
• Invocação de parâmetro nomeado para UDF SQL e Python.
• Os argumentos de tabela para funções dão suporte a particionamento e ordenação.
• Funções SQL novas e aprimoradas internas
• Manipulação aprimorada de subconsultas correlacionadas

array_insert() é baseado em 1 para índices negativos

A função array_insert é baseada em 1 para índices positivos e negativos. Agora ele insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.

Pontos de verificação Delta v2 habilitados por padrão com o clustering líquido

As tabelas Delta recém-criadas com o clustering líquido usam pontos de verificação v2 por padrão. Consulte Compatibilidade de tabelas com clustering líquido.

Remover o recurso de tabela Delta na Visualização Pública

Agora você pode descartar alguns recursos de tabela das tabelas Delta. O suporte atual inclui remover deletionVectors e v2Checkpoint. Confira Remover um recurso de tabela do Delta Lake e fazer downgrade do protocolo de tabela.

Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização Pública)

Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote em tabelas compartilhadas que usam vetores de exclusão. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.

Compartilhamento Delta: os destinatários podem realizar consultas em lote em tabelas compartilhadas com vetores de exclusão (Visualização pública)

Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote em tabelas compartilhadas que usam mapeamento de colunas. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.

Transmissão nas exibições do Catálogo do Unity em versão prévia pública

Agora você já pode usar o Structured Streaming para realizar leituras de streaming nas exibições registradas no Catálogo do Unity. O Azure Databricks só dá suporte a leituras de streaming nas exibições definidas em tabelas Delta.

Conector Apache Pulsar em versão prévia pública

Agora você já pode usar o Streaming Estruturado para transmitir dados do Apache Pulsar no Azure Databricks. Confira Transmissão no Apache Pulsar.

Driver do Snowflake atualizado

O driver JDBC do Snowflake agora usa a versão 3.13.33.

Variáveis de Sessão SQL

Esta versão apresenta a capacidade de declarar variáveis temporárias em uma sessão, que podem ser definidas e, em seguida, referenciadas de dentro de consultas. Veja Variáveis.

Invocação de parâmetro nomeada para UDF SQL e Python.

Agora você pode usar a Invocação de parâmetro nomeado em UDF SQL e Python.

Os argumentos de tabela para funções dão suporte a particionamento e ordenação.

Agora você pode usar as cláusulas PARTITION BY e ORDER BY para controlar como os argumentos de tabela são passados para uma função durante a invocação da função.

Funções SQL internas novas e aprimoradas

As seguintes funções internas foram adicionadas:

• from_xml: analisa um XML STRING em um STRUCT.
• schema_of_xml: deriva um esquema de um XML STRING.
• session_user: retorna o usuário conectado.
• try_reflect: retorna NULL em vez da exceção se um método Java falhar.

As seguintes funções internas foram aprimoradas:

• mode: suporte para um parâmetro opcional forçando um resultado determinístico.
• to_char: novo suporte para DATE, TIMESTAMP e BINARY.
• to_varchar: novo suporte para DATE, TIMESTAMP e BINARY.

Manipulação aprimorada de subconsultas correlacionadas

A capacidade de processar correlação em subconsultas foi estendida:

• Manipule o limite e a ordem em subconsultas escalares (laterais) correlacionadas.
• Suporte a funções de janela em subconsultas escalares correlacionadas.
• Suporte a referências correlacionadas em predicados de junção para subconsultas escalares e laterais

Alteração de comportamento

Verificação de tipo estrito no leitor de Parquet do Photon

O Photon falha ao tentar ler um valor decimal de uma coluna do Parquet que não é um tipo decimal. O Photon também falha ao ler uma matriz de bytes de comprimento fixo do Parquet como uma cadeia de caracteres.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
  • filelock de 3.12.2 para 3.12.3
  • s3transfer de 0.6.1 para 0.6.2
• Bibliotecas Java atualizadas:
  • com.uber.h3 de 3.7.0 a 3.7.3
  • io.airlift.aircompressor de 0.24 para 0.25
  • io.delta.delta-sharing-spark_2.12 de 0.7.1 para 0.7.5
  • io.netty.netty-all de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-buffer de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-codec-http de 4.1.93.Final para 4.1.96.Final
  • io.netty.netty-codec-http2 de 4.1.93.Final para 4.1.96.Final
  • io.netty.netty-codec-socks de 4.1.93.Final para 4.1.96.Final
  • io.netty.netty-common de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-handler de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-handler-proxy de 4.1.93.Final para 4.1.96.Final
  • io.netty.netty-resolver de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-classes-epoll de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.93.Final a 4.1.96.Final
  • io.netty.netty-transport-native-epoll de 4.1.93.Final-linux-x86_64 para 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.93.Final-osx-x86_64 para 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.93.Final a 4.1.96.Final
  • net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.33
  • org.apache.orc.orc-core de 1.9.0-shaded-protobuf a 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.9.0-shaded-protobuf a 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims de 1.9.0 a 1.9.1

Apache Spark

O Databricks Runtime 14.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.0 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-45088] [DBRRM-557] Reverter "[SC-142785][python][CONNECT] Fazer o getitem funcionar com a coluna duplicada"
• [SPARK-43453] [DBRRM-557]Reverter "[SC-143135][ps] Ignorar o names de MultiIndex quando axis=1 para concat"
• [SPARK-45225] [SC-143207][sql] XML: suporte à URL do arquivo XSD
• [SPARK-45156] [SC-142782][sql] Encapsular inputName por backticks na classe de erro NON_FOLDABLE_INPUT
• [SPARK-44910] [SC-143082][sql] Encoders.bean não dá suporte a superclasses com argumentos de tipo genérico
• [SPARK-43453] [SC-143135][ps] Ignorar o names de MultiIndex quando axis=1 para concat
• [SPARK-44463] [SS][conectar] Melhorar o tratamento de erros para conectar o trabalho do Python a vapor
• [SPARK-44960] [SC-141023][interface do usuário] Resumo de erros sem escape e consistir em páginas da interface do usuário
• [SPARK-44788] [SC-142980][conectar][PYTHON][sql] Adicionar from_xml e schema_of_xml à função pyspark, spark connect e sql
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] Adicionar pacotes ausentes em setup.py
• [SPARK-45151] [SC-142861][núcleo][Interface do usuário] Suporte ao despejo de thread no nível da tarefa
• [SPARK-45056] [SC-142779][python][SS][conectar] Testes de encerramento para streamingQueryListener e foreachBatch
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress para usar o número de partição de embaralhamento efetivo preciso
• [SPARK-44872] [SC-142405][conectar] Infra de teste de servidor e ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][núcleo] Fazer StandaloneRestServer adicionar JavaModuleOptions aos drivers
• [SPARK-44404] [SC-139601][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1009.1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] Suporte ao SPJ em que as chaves de junção são menores que as chaves de cluster
• [SPARK-45088] [SC-142785][python][CONNECT] Fazer getitem trabalhar com colunas duplicadas
• [SPARK-45128] [SC-142851][sql] Suporte CalendarIntervalType na Seta
• [SPARK-45130] [SC-142976][conectar][ML][python] Evitar que o Modelo de ML de conexão do Spark altere o dataframe pandas de entrada
• [SPARK-45034] [SC-142959][sql] Função de modo determinístico de suporte
• [SPARK-45173] [SC-142931][interface do usuário] Remover alguns arquivos sourceMapping desnecessários na interface do usuário
• [SPARK-45162] [SC-142781][sql] Suporte a mapas e parâmetros de matriz construídos por meio de call_function
• [SPARK-45143] [SC-142840][python][CONNECT] Tornar o PySpark compatível com PyArrow 13.0.0
• [SPARK-45174] [SC-142837][núcleo] Apoio spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][conectar][PYTHON] O cliente Python deve chamar release_all
• [SPARK-36191] [SC-142777][sql] Manipular o limite e a ordem em subconsultas escalares (laterais) correlacionadas
• [SPARK-45159] [SC-142829][python] Manipular argumentos nomeados somente quando necessário
• [SPARK-45133] [SC-142512][conectar] Fazer com que as consultas do Spark Connect sejam CONCLUÍDAS quando a última tarefa de resultado for concluída
• [SPARK-44801] [SC-140802][sql][Interface do usuário] Capturar a análise de consultas com falha no ouvinte e na interface do usuário
• [SPARK-45139] [SC-142527][sql] Adicionar DatabricksDialect para lidar com a conversão de tipo SQL
• [SPARK-45157] [SC-142546][sql] Evitar verificações repetidas if em [On|Off|HeapColumnVector
• [SPARK-45077] Reverter "[SC-142069][ui] Atualização dagre-d3.js de 04.3 para 0.6.4"
• [SPARK-45145] [SC-142521][exemplo] Adicionar exemplo de JavaSparkSQLCli
• [SPARK-43295] Reverter "[SC-142254][ps] Suporte colunas de tipo de cadeia de caracteres para DataFrameGroupBy.sum"
• [SPARK-44915] [SC-142383][core] Validar a soma de verificação dos dados de embaralhamento do PVC remontados antes da recuperação
• [SPARK-45147] [SC-142524][núcleo] Remover System.setSecurityManager o uso
• [SPARK-45104] [SC-142206][interface do usuário] Atualizar graphlib-dot.min.js para 1.0.2
• [SPARK-44238] [SC-141606][núcleo][SQL] Introduzir um novo readFrom método com entrada de matriz de bytes para BloomFilter
• [SPARK-45060] [SC-141742][sql] Corrigir um erro interno de to_char() no formato NULL
• [SPARK-43252] [SC-142381][sql] Substituir a classe de erro _LEGACY_ERROR_TEMP_2016 por um erro interno
• [SPARK-45069] [SC-142279][sql] A variável SQL sempre deve ser resolvida após a referência externa
• [SPARK-44911] [SC-142388][sql] Criar tabela hive com coluna inválida deve retornar classe de erro
• [SPARK-42754] [SC-125567][sql][Interface do usuário] Corrigir problema de compatibilidade com versões anteriores na execução aninhada do SQL
• [SPARK-45121] [SC-142375][conectar][PS] Suporte Series.empty para o Spark Connect.
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. deve funcionar em um vetor de coluna que tenha um dicionário
• [SPARK-45027] [SC-142248][python] Ocultar funções/variáveis internas na pyspark.sql.functions da conclusão automática
• [SPARK-45073] [SC-141791][ps][CONNECT] Substituir por LastNotNullLast(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] Backport manual: Adicionar API no método 'analyze' do Python UDTF para retornar expressões de particionamento/ordenação
• [SPARK-45076] [SC-141795][ps] Alternar para a função interna repeat
• [SPARK-44162] [SC-141605][núcleo] Suporte ao G1GC em métricas do Spark
• [SPARK-45053] [SC-141733][python][MINOR] Melhoria de log na incompatibilidade de versão do Python
• [SPARK-44866] [SC-142221][sql] Adicionar SnowflakeDialect para manipular o tipo BOOLEAN corretamente
• [SPARK-45064] [SC-141775][python][CONNECT] Adicionar o parâmetro ausente scale em ceil/ceiling
• [SPARK-45059] [SC-141757][conectar][PYTHON] Adicionar try_reflect funções ao Scala e ao Python
• [SPARK-43251] [SC-142280][sql] Substituir a classe de erro _LEGACY_ERROR_TEMP_2015 por um erro interno
• [SPARK-45052] [SC-141736][sql][PYTHON][conectar] Tornar o nome da coluna de saída de aliases de função consistente com o SQL
• [SPARK-44239] [SC-141502][sql] Memória livre alocada por vetores grandes quando os vetores são redefinidos
• [SPARK-43295] [SC-142254][ps] Suporte a colunas de tipo de cadeia de caracteres para DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] Chamar explicitamente o suporte para colunar em fontes de dados de streaming DSv2
• [SPARK-45036] [SC-141768][sql] SPJ: Simplificar a lógica para lidar com a distribuição parcialmente clusterizado
• [SPARK-45077] [SC-142069][interface do usuário] Atualizar dagre-d3.js de 0.4.3 para 0.6.4
• [SPARK-45091] [SC-142020][python][CONNECT][sql] A função floor/round/bround aceita o Tipo de coluna scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} Suporte a ordinais de coluna
• [SPARK-44743] [SC-141625][sql] Adicionar função try_reflect
• [SPARK-45086] [SC-142052][interface do usuário] Exibir hexadecimal para código hash de bloqueio de thread
• [SPARK-44952] [SC-141644][sql][PYTHON] Suporte a argumentos nomeados em UDFs do Pandas de agregação
• [SPARK-44987] [SC-141552][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][conectar] Corrigir avisos de compilação relacionados a Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][conectar] Adicionar testes adicionais para o cliente Python e a execução anexável
• [SPARK-45072] [SC-141807][conectar] Corrigir escopos externos para classes de amônio
• [SPARK-45033] [SC-141759][sql] Dar suporte a mapas por parâmetros sql()
• [SPARK-45066] [SC-141772][sql][PYTHON][conectar] Fazer que a função repeat aceite o tipo de coluna n
• [SPARK-44860] [SC-141103][sql] Adicionar função SESSION_USER
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} Suporte a ordinais de coluna
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy suporte a ordinais
• [SPARK-44863] [SC-140798][interface do usuário] Adicionar um botão para baixar o despejo de thread como um txt na interface do usuário do Spark
• [SPARK-45026] [SC-141604][conectar] spark.sql deve dar suporte a tipos de dados não compatíveis com seta
• [SPARK-44999] [SC-141145][núcleo] Refatorar ExternalSorter para reduzir as verificações em shouldPartition ao chamar getPartition
• [SPARK-42304] [SC-141501][sql] Renomear _LEGACY_ERROR_TEMP_2189 para GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] Corrigir IllegalStateException ao coagrupar dois conjuntos de dados derivados da mesma fonte
• [SPARK-45018] [SC-141516][python][CONNECT] Adicionar CalendarIntervalType ao cliente Python
• [SPARK-45024] [SC-141513][python][CONNECT] Filtrar algumas configurações na Criação de Sessão
• [SPARK-45017] [SC-141508][python] Adicionar CalendarIntervalType ao PySpark
• [SPARK-44720] [SC-139375][conectar] Fazer o conjunto de dados usar o Codificador em vez de AgnosticEncoder
• [SPARK-44982] [SC-141027][conectar] Marcar configurações de servidor do Spark Connect como estáticas
• [SPARK-44839] [SC-140900][ss][CONNECT] Melhor registro em log de erros quando o usuário tenta serializar a sessão do Spark
• [SPARK-44865] [SC-140905][ss] Fazer com que o StreamingRelationV2 dê suporte à coluna de metadados
• [SPARK-45001] [SC-141141][python][CONNECT] Implementar DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][webui] Mostrar id de partição de tarefa na tabela Tarefa
• [SPARK-45006] [SC-141143][interface do usuário] Use o mesmo formato de data de outros elementos de data da interface do usuário para o eixo x das linhas do tempo
• [SPARK-45000] [SC-141135][python][CONNECT] Implementar DataFrame.foreach
• [SPARK-44967] [SC-141137][sql][CONNECT] A unidade deve ser considerada primeiro antes de usar Boolean para TreeNodeTag
• [SPARK-44993] [SC-141088][núcleo] Adicionar ShuffleChecksumUtils.compareChecksums reutilizando ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][conectar] Adicionar Dataset.metadataColumn ao Cliente Scala
• [SPARK-44965] [SC-141098][python] Ocultar funções/variáveis internas de pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] Converter binário em cadeia de caracteres em to_char para os formatos: hex, base64, utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][conectar] Corrigir namedtuples herdados para funcionar em createDataFrame
• [SPARK-44985] [SC-141033][núcleo] Usar toString em vez de stacktrace para o threadDump do ceifador de tarefas
• [SPARK-44984] [SC-141028][python][CONNECT] Remover _get_alias do DataFrame
• [SPARK-44975] [SC-141013][sql] Remover a substituição inútil BinaryArithmetic resolvida
• [SPARK-44969] [SC-140957][sql] Reutilizar ArrayInsert em ArrayAppend
• [SPARK-44549] [SC-140714][sql] Funções de janela de suporte em subconsultas escalares correlacionadas
• [SPARK-44938] [SC-140811][sql] Alterar o valor padrão para spark.sql.maxSinglePartitionBytes 128m
• [SPARK-44918] [SC-140816][sql][PYTHON] Suporte a argumentos nomeados em UDFs escalares do Python/Pandas
• [SPARK-44966] [SC-140907][núcleo][CONNECT] Alterar o nunca alterado var para val
• [SPARK-41471] [SC-140804][sql] Reduzir o embaralhamento do Spark quando apenas um lado de uma junção for KeyGroupedPartitioning
• [SPARK-44214] [SC-140528][núcleo] Suporte à interface do usuário do Log Ao Vivo do Driver spark
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][conectar] Adicionar ProducedRowCount a SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] deve validar o nome da coluna
• [SPARK-40178] [SC-140433][sql][COONECT] Dar suporte a dicas de coalesce com facilidade para PySpark e R
• [SPARK-44840] [SC-140593][sql] Criar array_insert() base 1 para índices negativos
• [SPARK-44939] [SC-140778][r] Suporte a Java 21 no SparkR SystemRequirements
• [SPARK-44936] [SC-140770][núcleo] Simplificar o log quando o Spark HybridStore atingir o limite de memória
• [SPARK-44908] [SC-140712][ml][CONNECT] Corrigir a funcionalidade de param foldCol do validador cruzado
• [SPARK-44816] [SC-140717][conectar] Melhorar a mensagem de erro quando a classe UDF não for encontrada
• [SPARK-44909] [SC-140710][ml] Ignorar o servidor de streaming de log do distribuidor de tocha inicial quando ele não estiver disponível
• [SPARK-44920] [SC-140707][núcleo] Use await() em vez de awaitUninterruptibly() em TransportClientFactory.createClient()
• [SPARK-44905] [SC-140703][sql] Stateful lastRegex causa NullPointerException em eval for regexp_replace
• [SPARK-43987] [SC-139594][embaralhar] Separar o processamento finalizeShuffleMerge para pools de thread dedicados
• [SPARK-42768] [SC-140549][sql] Habilitar o plano em cache aplicar o AQE por padrão
• [SPARK-44741] [SC-139447][núcleo] Suporte ao MetricFilter baseado em regex em StatsdSink
• [SPARK-44751] [SC-140532][sql] Implementação da interface FileFormat XML
• [SPARK-44868] [SC-140438][sql] Converter datetime em cadeia de caracteres por to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] Execução de consulta para a PARTITION cláusula BY em argumentos UDTF TABLE
• [SPARK-44873] [SC-140427] Suporte a alter view com colunas aninhadas no cliente Hive
• [SPARK-44876] [SC-140431][python] Corrigir a UDF do Python com otimização de seta no Spark Connect
• [SPARK-44520] [SC-137845][sql] Substituir o termo UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY por UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY e AE raiz de divulgação
• [SPARK-42664] [SC-139769][conectar] Função de suporte bloomFilter para DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] Suporte use_na_sentinel para factorize
• [SPARK-44859] [SC-140254][ss] Corrigir o nome da propriedade incorreta no documento de streaming estruturado
• [SPARK-44822] [SC-140182][python][SQL] Tornar UDTFs do Python por padrão não determinístico
• [SPARK-44731] [SC-139524][python][CONNECT] Fazer o TimestampNTZ funcionar com literais no Python Spark Connect
• [SPARK-44836] [SC-140180][python] Refatorar seta Python UDTF
• [SPARK-44714] [SC-139238] Facilita a restrição da resolução de LCA em relação a consultas com cláusula having
• [SPARK-44749] [SC-139664][sql][PYTHON] Suporte a argumentos nomeados no UDTF do Python
• [SPARK-44737] [SC-139512][sql][Interface do usuário] Não deve exibir erros de formato json na página SQL para não SparkThrowables na Guia SQL
• [SPARK-44665] [SC-139307][python] Adicionar suporte para pandas DataFrame assertDataFrameEqual
• [SPARK-44736] [SC-139622][conectar] Adicionar Dataset.explode ao cliente Scala do Spark Connect
• [SPARK-44732] [SC-139422][sql] Suporte à fonte de dados XML interna
• [SPARK-44694] [SC-139213][python][CONNECT] Refatorar sessões ativas e expô-las como uma API
• [SPARK-44652] [SC-138881] Gera erro quando apenas um df for None
• [SPARK-44562] [SC-138824][sql] Adicionar OptimizeOneRowRelationSubquery no lote de Subconsultas
• [SPARK-44717] [SC-139319][python][PS] Respeitar TimestampNTZ na resampação
• [SPARK-42849] [SC-139365] [SQL] Variáveis de sessão
• [SPARK-44236] [SC-139239][sql] Desabilitar WholeStageCodegen quando definido spark.sql.codegen.factoryMode como NO_CODEGEN
• [SPARK-44695] [SC-139316][python] Melhorar a mensagem de erro para DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] Melhorar o erro para parâmetros em DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec dá suporte ao filtro de dados push down com subconsulta escalar
• [SPARK-44641] [SC-139216][sql] Resultado incorreto em determinados cenários quando o SPJ não é disparado
• [SPARK-44689] [SC-139219][conectar] Tornar o tratamento de exceção da função SparkConnectPlanner#unpackScalarScalaUDF mais universal
• [SPARK-41636] [SC-139061][sql] Certifique-se de retornar selectFilters predicados em ordem determinística
• [SPARK-44132] [SC-139197][sql] Materializar Stream nomes de coluna de junção para evitar falha de codegen
• [SPARK-42330] [SC-138838][sql] Atribuir o nome RULE_ID_NOT_FOUND à classe de erro _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] O nível de log não é passado corretamente para o provedor de armazenamento de estado do RocksDB
• [SPARK-44658] [SC-138868][núcleo] ShuffleStatus.getMapStatus deve retornar None em vez de Some(null)
• [SPARK-44603] [SC-138353] Adiciona pyspark.testing a setup.py
• [SPARK-44252] [SC-137505][ss] Definir uma nova classe de erro e aplicar para o caso em que o estado de carregamento do DFS falha
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] Gerar erro quando a UDF não for desserializável.
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] Repetir ExecutePlan caso a solicitação inicial não tenha chegado ao servidor
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Catalyst do cliente Connect
• [SPARK-44059] [SC-138833][sql] Adicionar mensagens de erro melhores para os argumnts nomeados do SQL
• [SPARK-44620] [SC-138831][sql][PS][conectar] Fazer ResolvePivot a retenção do Plan_ID_TAG
• [SPARK-43838] [SC-137413][sql] Corrigir subconsulta em uma única tabela com cláusula having não pode ser otimizada
• [SPARK-44555] [SC-138820][sql] Usar checkError() para verificar Exceção no Command Suite e atribuir alguns nomes de classe de erro
• [SPARK-44280] [SC-138821][sql] Adicionar convertJavaTimestampToTimestamp na API JDBCDialect
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] Fazer WidenSetOperationTypes a retenção do Plan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Reverter "[SC-137413][sql] Corrigir subconsulta em ta único...
• [SPARK-44538] [SC-138178][conectar][SQL] Restabelecer Row.jsonValue e amigos
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução recolocável no Spark Connect
• [SPARK-43838] [SC-137413][sql] Corrigir subconsulta em uma única tabela com cláusula having não pode ser otimizada
• [SPARK-44587] [SC-138315][sql][CONNECT] Aumentar o limite de recursão do marshaller de protobuf
• [SPARK-44605] [SC-138338][núcleo] Refinar a API do ShuffleWriteProcessor interno
• [SPARK-44394] [SC-138291][conectar][WEBUI] Adicionar uma página de interface do usuário do Spark para o Spark Connect
• [SPARK-44585] [SC-138286][mllib] Corrigir a condição de aviso no MLLib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137][núcleo] Suporte à propagação do nível de log para os executores
• [SPARK-44454] [SC-138071][sql][HIVE] Suporte a getTablesByType do HiveShim
• [SPARK-44425] [SC-138135][conectar] Validar se sessionId fornecido pelo usuário é uma UUID
• [SPARK-43611] [SC-138051][sql][PS][conncect] Fazer ExtractWindowExpressions a retenção do PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Aprimorar testes e documentação para a UDF do Python de Seta
• [SPARK-44482] [SC-138067][conectar] O servidor de conexão deve especificar o endereço de associação
• [SPARK-44528] [SC-138047][conectar] Suporte ao uso adequado de hasattr() para dataframe connect
• [SPARK-44525] [SC-138043][sql] Melhorar a mensagem de erro quando o método Invoke não for encontrado
• [SPARK-44355] [SC-137878][sql] Mover o WithCTE para consultas de comando

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Consulte as atualizaçõesde manutenção do Databricks Runtime 14.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes na versão em 10-02-2023.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)