Databricks Runtime 11.3 LTS (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.3 LTS, alimentado pelo Apache Spark 3.3.0. O Databricks lançou esta versão em outubro de 2022.

Alterações comportamentais

[Alteração significativa] A nova versão do Python requer a atualização de clientes Python do Databricks Connect V1

Para aplicar os patches de segurança necessários, a versão do Python no Databricks Runtime 11.3 LTS é atualizada da versão 3.9.5 para a 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 para Python com o Databricks Runtime 11.3 LTS devem ser atualizados para o Python 3.9.7 ou posterior.

Novos recursos e melhorias

• Python atualizado da 3.9.19 para a 3.9.21
• O gatilho no Streaming Estruturado "Trigger Once" foi descontinuado
• Alterar o caminho de origem do Carregador Automático
• O conector do Databricks Kinesis agora dá suporte à leitura de fluxos de dados Kinesis no modo EFO
• Novas funções geoespaciais H3 e suporte ao Photon adicionado para todas as funções H3
• Novos recursos para E/S Preditiva
• Aumentando as partições iniciais para verificar consultas seletivas
• Visualização de novas versões do plano do AQE
• Novos modos de rastreamento de progresso assíncrono e limpeza de logs
• O Streaming Estruturado no Catálogo do Unity agora dá suporte display()
• Os eventos de pipeline agora estão registrados no formato JSON
• Processamento com estado arbitrário no streaming estruturado com Python
• Inferência de data em arquivos CSV
• Suporte a clonagem para tabelas Apache Parquet e Apache Iceberg (Versão Prévia Pública)
• Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity

Python atualizado da 3.9.19 para a 3.9.21

A versão do Python no Databricks Runtime 11.3 LTS é atualizada da versão 3.9.19 para a 3.9.21.

Gatilho de streaming estruturado uma vez preterido

A Trigger.Once configuração foi preterida. O Databricks recomenda que você use Trigger.AvailableNow. Confira Configurar intervalos de gatilho do Fluxo Estruturado.

Alterar o caminho de origem do Carregador Automático

Agora você pode alterar o caminho de entrada do diretório para o Carregador Automático configurado com o modo de listagem de diretório sem precisar escolher um novo diretório de ponto de verificação. Consulte Alterar o caminho de origem do Carregador Automático.

O conector do Databricks Kinesis agora suporta a leitura de Fluxos de Dados Kinesis no modo EFO

Agora você pode usar a fonte de streaming estruturada do Databricks Kinesis no Databricks Runtime 11.3 LTS para executar consultas que leem dos fluxos de dados do Kinesis no modo de fan-out aprimorado. Isso permite largura de banda dedicada por fragmento, por consumidor e distribuição de registros no modo push.

Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3

Apresentando 4 novas funções H3, h3_maxchild, h3_minchilde h3_pointash3h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Todas as expressões H3 agora têm suporte no Photon. Confira Funções geoespaciais H3

Novos recursos para E/S Preditiva

O Photon dá suporte ao modo de alcance para a execução de quadros, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. O Photon também dá suporte ao modo de intervalo para quadros crescentes, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumentando as partições iniciais para verificar consultas seletivas

O valor das partições iniciais para escanear foi aumentado para 10 para consulta seletiva com take/tail/limit em clusters habilitados para Photon e LIMIT no Databricks SQL. Com 10 partições, você pode evitar a sobrecarga de iniciar várias tarefas pequenas e um escalonamento lento. Você também pode configurar isso por meio de spark.sql.limit.selectiveInitialNumPartitions.

Visualização de novas versões de planos do AQE

Apresentando versões de plano do AQE que permitem visualizar as atualizações de planos de execução a partir da execução de consulta adaptativa (AQE).

Novos modos de rastreamento de progresso assíncrono e limpeza de logs

Apresentando modos de Streaming Estruturado chamados de acompanhamento de progresso assíncrono e limpeza de log assíncrono. O modo de purgação de logs assíncrono reduz a latência das consultas de streaming ao remover logs usados para acompanhamento de progresso em segundo plano.

O Streaming Estruturado no Catálogo do Unity agora dá suporte display()

Agora você pode usar display() quando usar o Streaming Estruturado para trabalhar com tabelas registradas no Catálogo do Unity.

Os eventos de pipeline agora estão registrados no formato JSON

O Azure Databricks agora grava eventos de pipeline no log do driver no formato JSON. Embora cada evento seja possível de ser analisado em JSON, eventos grandes podem não conter todos os campos, ou os campos podem ser truncados. Cada evento é registrado em uma única linha com o prefixo Event received: . Veja a seguir um evento de exemplo.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Processamento com estado arbitrário no streaming estruturado com Python

Introdução à applyInPandasWithState função que pode ser usada para executar processamento com estado arbitrário no PySpark. Isso é equivalente à flatMapGroupsWithState função na API Java.

Inferência de data em arquivos CSV

Introdução à inferência aprimorada de colunas de tipo de data em arquivos CSV. Quando o formato de data é consistente entre os registros de uma coluna, essas colunas podem ser inferidas como DateType. Você também pode ter uma combinação de formatos de data em colunas diferentes. O Azure Databricks pode inferir automaticamente o formato de data para cada coluna. As colunas de data em arquivos CSV antes do Databricks Runtime 11.3 LTS são deixadas como StringType.

Suporte à clonagem para tabelas Apache Parquet e Apache Iceberg (Prévia Pública)

Clone agora pode ser usado para criar e atualizar incrementalmente tabelas Delta que espelham as tabelas Apache Parquet e Apache Iceberg. Você pode atualizar sua tabela Parquet de origem e aplicar as alterações de forma incremental e gradual à sua tabela Delta clonada com o comando clone. Consulte Clonar incrementalmente as tabelas Parquet e Apache Iceberg no Delta Lake.

Usar o SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity

Agora você pode usar o MANAGED LOCATION comando SQL para especificar um local de armazenamento em nuvem para tabelas gerenciadas nos níveis de catálogo e esquema. Consulte CREATE CATALOG e CREATE SCHEMA.

Alterações de comportamento

Databricks Connect 11.3.2

Agora há suporte para a atualização de cliente do Databricks Connect 11.3.2. Confira as notas de versão do Databricks Connect e do Databricks Connect.

Conector Snowflake do Azure Databricks atualizado

O conector Snowflake do Azure Databricks foi atualizado para a versão mais recente do código do repositório de software livre, Snowflake Data Source for Apache Spark. Agora ele é totalmente compatível com o Databricks Runtime 11.3 LTS, incluindo pushdown de predicado e pushdown de plano de consulta interno, mantendo todos os recursos da versão open-source.

O cache do Hadoop para S3A agora está desabilitado

O cache do Hadoop ( API FileSystem Apache Hadoop Main 3.3.4) para S3A agora está desabilitado. Isso é para se alinhar com outros conectores de armazenamento em nuvem. Para cargas de trabalho que dependem do cache do sistema de arquivos, verifique se os sistemas de arquivos recém-criados são fornecidos com as configurações corretas do Hadoop, incluindo provedores de credenciais.

O esquema de coleção de estatísticas do Delta Lake agora corresponde à ordem da coluna na definição de esquema de tabela

Essa alteração aborda um bug no protocolo Delta Lake em que as estatísticas não foram coletadas para colunas devido a uma incompatibilidade no DataFrame e na ordenação de colunas de tabela. Em alguns casos, você pode encontrar degradação do desempenho de escrita devido à coleta de estatísticas em campos anteriormente não rastreados. Consulte Ignorar dados no Delta Lake.

applyInPandasWithState gerará um erro se a consulta tiver um embaralhamento após o operador

O operador applyInPandasWithState gerará um erro se a consulta tiver shuffle após o operador. Isso acontece quando o usuário adiciona shuffle após a operação ou o otimizador ou coletor adiciona shuffle implicitamente.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
  • distlib de 0.3.5 a 0.3.6
• Bibliotecas do R atualizadas:
  • broom da versão 1.0.0 para a 1.0.1
  • callr de 3.7.1 para 3.7.2
  • dplyr de 1.0.9 a 1.0.10
  • dtplyr de 1.2.1 para 1.2.2
  • forcats de 0.5.1 a 0.5.2
  • futuro de 1.27.0 a 1.28.0
  • Atualização de versão do future.apply de 1.9.0 para 1.9.1
  • gert de 1.7.0 para 1.8.0
  • globais de 0,16.0 a 0.16.1
  • gtable de 0.3.0 a 0.3.1
  • atualização do haven da versão 2.5.0 para a 2.5.1
  • hms de 1.1.1 a 1.1.2
  • httr de 1.4.3 a 1.4.4
  • knitr da versão 1.39 para a 1.40
  • modelr de 0.1.8 para 0.1.9
  • pilar de 1.8.0 a 1.8.1
  • progressr de 0.10.1 para 0.11.0
  • readxl de 1.4.0 para 1.4.1
  • reprex de 2.0.1 para 2.0.2
  • rlang de 1.0.4 a 1.0.5
  • rmarkdown de 2.14 a 2.16
  • RSQLite de 2.2.15 a 2.2.16
  • rstudioapi de 0.13 a 0.14
  • rversions de 2.1.1 até 2.1.2
  • rvest de 1.0.2 para 1.0.3
  • escala de 1.2.0 para 1.2.1
  • sparklyr de 1.7.7 a 1.7.8
  • stringr de 1.4.0 a 1.4.1
  • sobrevivência de 3.2-13 a 3.4-0
  • tinytex de 0,40 a 0,41
  • viridisLite de 0.4.0 a 0.4.1
• Bibliotecas Java atualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks para 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.2 a 3.3.4
  • org.apache.orc.orc-core de 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 a 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.34 a 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-common de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2 de 2.34 a 2.36

Apache Spark

O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.2 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Atraso aoDesconectar para habilitar que o Driver receba ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Aprimorar o processo de LaunchTask para evitar falhas de estágio causadas por mensagens de falha ao enviar LaunchTask.
• [SPARK-40474] [SC-106248][cherry-pick] Corrigir o comportamento de inferência de esquema CSV para colunas de data e hora e introduzir a detecção automática para campos de data.
• [SPARK-40535] [SC-111243][sql] Corrigir bug o buffer de AggregatingAccumulator não será criado se as linhas de entrada estiverem vazias
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implementar applyInPandasWithState no PySpark
• [SPARK-40460] [SC-110832][ss] Corrigir métricas de streaming ao selecionar _metadata
• [SPARK-40324] [SC-109943][sql] Fornecer um contexto de consulta de ParseException
• [SPARK-40466] [SC-110899][ss] Melhorar a mensagem de erro quando dSv2 estiver desabilitado enquanto DSv1 não estiver disponível
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext deve poder ser chamado repetidamente de forma econômica
• [SPARK-40169] [SC-110772][sql] Não aplicar filtros Parquet que não fazem referência ao esquema de dados
• [SPARK-40467] [SC-110759][ss] Dividir FlatMapGroupsWithState em vários conjuntos de testes
• [SPARK-40468] [SC-110813][sql] Corrigir a remoção de colunas no CSV quando _corrupt_record for selecionado
• [SPARK-40291] [SC-110085][sql] Melhorar a mensagem para a coluna que não está em grupo por erro de cláusula
• [SPARK-40398] [SC-110762][core][SQL] Use Loop em vez de Arrays.stream api
• [SPARK-40433] [SC-110684][ss][PYTHON] Adicionar toJVMRow em PythonSQLUtils para converter uma linha PySpark serializada para linha JVM
• [SPARK-40414] [SC-110568][sql][PYTHON] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
• [SPARK-40470] [SC-110761][sql] Manipular GetArrayStructFields e GetMapValue na função "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Aprimorar a implementação do Spark Decimal
• [SPARK-40429] [SC-110675][sql] Definir somente KeyGroupedPartitioning quando a coluna referenciada estiver na saída
• [SPARK-40432] [SC-110716][ss][PYTHON] Introduza os GroupStateImpl e GroupStateTimeout no PySpark
• [SPARK-39915] [SC-110496][sql] Verifique se o particionamento de saída é especificado pelo usuário no AQE
• [SPARK-29260] [SQL] Suporte caso o HMS ofereça suporte
• [SPARK-40185] [SC-110056][sql] Remover sugestão de coluna quando a lista de candidatos estiver vazia
• [SPARK-40362] [SC-110401][sql] Corrigir canonicalização binaryComparison
• [SPARK-40411] [SC-110381][ss] Refatorar FlatMapGroupsWithStateExec para ter um trait pai
• [SPARK-40293] [SC-110084][sql] Tornar a mensagem de erro da tabela V2 mais significativa
• [SPARK-38734] [SC-110383][sql] Remover a classe de erro INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Corrigir nomes de coluna na função "arrays_zip" quando as matrizes são referenciadas de estruturas aninhadas
• [SPARK-40276] [SC-109674][core] Reduza o tamanho do resultado de RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Substitua o plano de consulta pelo contexto para MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrar para a DATATYPE_MISMATCH classe de erro
• [SPARK-40149] [SC-110055][sql] Propagar colunas de metadados por meio do Project
• [SPARK-40280] [SC-110146][sql] Adicionar suporte para o push parquet para int anotado e longo
• [SPARK-40220] [SC-110143][sc-109175][SQL] Não exibir o mapa vazio dos parâmetros da mensagem de erro
• [SPARK-40295] [SC-110070][sql] Permitir funções v2 com argumentos literais na distribuição/ordenação de gravação
• [SPARK-40156] [SC-109264][sql] url_decode() deve retornar uma classe de erro
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve anular o estágio quando o arquivo confirmado não é consistente com o status da tarefa
• [SPARK-40260] [SC-109424][sql] Use classes de erro nos erros de compilação de GROUP BY uma posição
• [SPARK-40205] [SC-110144][sc-109082][SQL] Forneça um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Aprimorar a função TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Não altere o valor do intervalo de Decimal em caso de erros
• [SPARK-40319] [SC-109873][sql] Remover método de erro de execução de consulta duplicado para PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Try_add/try_divide/try_subtract/try_multiply numéricos devem lançar erro a partir de seus filhos
• [SPARK-40183] [SC-108907][sql] Utilize a classe de erro NUMERIC_VALUE_OUT_OF_RANGE para excesso na conversão de decimais
• [SPARK-40180] [SC-109069][sql] Formatar mensagens de erro por spark-sql
• [SPARK-40153] [SC-109165][sql] Unificar funções de resolução e funções com valor de tabela
• [SPARK-40308] [SC-109880][sql] Permitir argumentos delimitadores não flexíveis na função str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] Plano lógico de exibição resolvido deve conter o esquema para evitar pesquisa redundante
• [SPARK-40098] [SC-109939][sc-108693][SQL] Formatar mensagens de erro no Thrift Server
• [SPARK-39917] [SC-109038][sql] Use classes de erro diferentes para estouro aritmético numérico/intervalo
• [SPARK-40033] [SC-109875][sql] Suporte à poda de esquema aninhado por meio do 'element_at'
• [SPARK-40194] [SC-109660][sql] A função SPLIT em regex vazio deve truncar a cadeia de caracteres vazia no final.
• [SPARK-40228] [SC-109835][sql] Não simplifique multiLike se filho não for uma expressão barata
• [SPARK-40039] [SC-109896][sc-109260][SS] Apresentando um gerenciador de arquivos de ponto de verificação de streaming baseado na interface Abortable do Hadoop
• [SPARK-40285] [SC-109679][sql] Simplificar o roundTo[Numeric] para Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison deve funcionar quando o literal de In/InSet rebaixamento falhou
• [SPARK-40040] [SC-109662][sql] Propagar o limite local para ambos os lados se a condição de união estiver vazia
• [SPARK-40055] [SC-109075][sql] listCatalogs deve também retornar spark_catalog mesmo quando a implementação de spark_catalog é defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) pode não criar N partições na parte não AQE
• [SPARK-40207] [SC-109401][sql] Especifique o nome da coluna quando o tipo de dados não tiver suporte pela fonte de dados
• [SPARK-40245] [SC-109295][sql] Corrigir a verificação de igualdade do FileScan quando as colunas de partição ou de filtro de dados não são lidas
• [SPARK-40113] [SC-109405][sql] Implementações de interface de reator ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Permitir personalizar o número de partições iniciais no comportamento take()
• [SPARK-40252] [SC-109379][sql] Substituir Stream.collect(Collectors.joining) por StringJoiner API
• [SPARK-40247] [SC-109272][sql] Correção da verificação de igualdade do BitSet
• [SPARK-40067] [SQL] Use Table#name() em vez de Scan#name() para preencher o nome da tabela no nó BatchScan no SparkUI
• [SPARK-39966] [SQL] Usar filtro V2 no SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Função de suporte de distribuição e ordenação V2 por escrito
• [SPARK-40224] [SC-109271][sql] Fazer com que o ObjectHashAggregateExec libere memória de forma antecipada ao recorrer ao método baseado em ordenação
• [SPARK-40013] [SQL] As expressões DS V2 devem ter o padrão toString
• [SPARK-40214] [SC-109079][python][SQL] adicione 'get' às funções
• [SPARK-40192] [SC-109089][sql][ML] Remover agrupamento redundante
• [SPARK-40146] [SC-108694][sql] Simplificar o codegen para a obtenção de valor do mapa
• [SPARK-40109] [SQL] Nova função SQL: get()
• [SPARK-39929] [SQL] O DS V2 dá suporte a funções de cadeia de caracteres push down (não ANSI)
• [SPARK-39819] [SQL] O push de agregação do DS V2 pode funcionar com Top N ou Paginação (Classificar com expressões)
• [SPARK-40213] [SC-109077][sql] Suporte à conversão de valor ASCII para caracteres Latino-1
• [SPARK-39887] [SQL] RemoveRedundantAliases deve manter aliases que tornam a saída de nós de projeção exclusiva
• [SPARK-39764] [SQL] Tornar o PhysicalOperation igual ao ScanOperation
• [SPARK-39964] [SQL] DS V2 pushdown deve unificar o caminho de tradução
• [SPARK-39528] [SQL] Usar filtro V2 em SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: sempre retornar nulo no acesso inválido à coluna do mapa
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [SC-108736][sql] Desabilitar o índice de coluna Parquet no DSv1 para corrigir um problema de exatidão no caso de sobreposição entre partições e colunas de dados
• [SPARK-39880] [SQL] O comando V2 SHOW FUNCTIONS deve exibir o nome qualificado da função, assim como o v1.
• [SPARK-39767] [SQL] Remover UnresolvedDBObjectName e adicionar UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Map)
• [SPARK-40136] [SQL] Corrigir o fragmento de contextos de consulta SQL
• [SPARK-40107] [SC-108689][sql] Extrair a conversão empty2null do FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Inicializar projeção usada para o Python UDF
• [SPARK-40128] [SQL] Fazer com que o VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação de coluna autônoma
• [SPARK-40132] [ML] Restaurar rawPredictionCol em MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Aprimorar EliminateSorts para dar suporte à remoção de classificações por meio de LocalLimit
• [SPARK-39629] [SQL] Suporte à versão 2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Adicionar sobrecarga de array_sort(coluna, comparador) às operações do DataFrame
• [SPARK-40117] [PYTHON][sql] Converter condição em java em DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Melhorar a repartição em ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adicionar o nome do catálogo de sessão para a tabela de banco de dados e função v1
• [SPARK-39889] [SQL] Use classes de erro diferentes para numérico/intervalo dividido por 0
• [SPARK-39741] [SQL] Dar suporte à codificação/decodificação de URL como função interna e organizar funções relacionadas à URL
• [SPARK-40102] [SQL] Use SparkException em vez de IllegalStateException no SparkPlan
• [SPARK-40014] [SQL] Suporte para conversão de decimais para intervalos ANSI
• [SPARK-39776] [SQL][follow] Atualização UT de PlanStabilitySuite no modo ANSI
• [SPARK-39963] [SQL] Simplificar SimplifyCasts.isWiderCast

Atualizações de manutenção

Confira as atualizações de manutenção do Databricks Runtime 11.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.5 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas do R são instaladas a partir do snapshot do Microsoft CRAN em 2022-09-08. O instantâneo não está mais disponível.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)