Databricks Runtime 11.3 LTS (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.3 LTS, alimentado pelo Apache Spark 3.3.0. A Databricks lançou esta versão em outubro de 2022.

Mudanças comportamentais

[Mudança de rutura] Nova versão do Python requer atualização de clientes Python Databricks Connect V1

Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 11.3 LTS é atualizada de 3.9.5 para 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 for Python com Databricks Runtime 11.3 LTS devem ser atualizados para Python 3.9.7 ou posterior.

Novos recursos e melhorias

• Python atualizado de 3.9.19 para 3.9.21
• Structured Streaming trigger once está obsoleto
• Alterar o caminho de origem do Auto Loader
• O conector Databricks Kinesis agora suporta a leitura de fluxos de dados do Kinesis no modo EFO
• Novas funções geoespaciais H3 e adicionado suporte a fótons para todas as funções H3
• Novos recursos para E/S preditiva
• Aumentando as partições iniciais para examinar consultas seletivas
• Visualização de novas versões do plano AQE
• Novos modos assíncronos de acompanhamento de progresso e limpeza de logs
• O streaming estruturado no Unity Catalog agora é compatível com display()
• Os eventos de pipeline agora são registrados no formato JSON
• Processamento arbitrário com estado em streaming estruturado com Python
• Inferência de data em arquivos CSV
• Suporte de clonagem para tabelas Apache Parquet e Apache Iceberg (Visualização pública)
• Use SQL para especificar locais de armazenamento no nível de esquema e catálogo para tabelas gerenciadas do Unity Catalog

Python atualizado de 3.9.19 para 3.9.21

A versão Python no Databricks Runtime 11.3 LTS é atualizada de 3.9.19 para 3.9.21.

O modo 'trigger once' do Structured Streaming foi descontinuado.

A Trigger.Once configuração foi preterida. A Databricks recomenda o uso do Trigger.AvailableNow. Consulte Configurar intervalos de ativação do Streaming Estruturado.

Alterar o caminho de origem do Auto Loader

Agora você pode alterar o caminho de entrada do diretório para o Auto Loader configurado com o modo de listagem de diretórios sem ter que escolher um novo diretório de ponto de verificação. Consulte Alterar o caminho de origem do Auto Loader.

O conector Databricks Kinesis agora suporta a leitura de fluxos de dados do Kinesis no modo EFO

Agora pode usar a fonte de streaming estruturada do Databricks Kinesis no Databricks Runtime 11.3 LTS para executar consultas que lêem fluxos do Kinesis Data Streams no modo fan-out melhorado. Isso permite largura de banda dedicada por fragmento, por consumidor, e entrega de dados no modo push.

Novas funções geoespaciais H3 e adicionado suporte a fótons para todas as funções H3

Apresentamos 4 novas funções H3, h3_maxchild, h3_minchild, h3_pointash3, e h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Todas as expressões H3 agora são suportadas no Photon. Veja funções geoespaciais H3 .

Novos recursos para E/S preditiva

Photon suporta o modo de alcance para executar quadros, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon também suporta o modo de alcance dinâmico para quadros em expansão, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumentar as partições iniciais para escanear consultas seletivas

O valor das partições iniciais a serem verificadas foi aumentado para 10 para consulta seletiva com take/tail/limit em clusters habilitados para Photon e LIMIT em Databricks SQL. Com 10 partições, você pode evitar a sobrecarga de iniciar vários trabalhos pequenos e uma expansão lenta. Você também pode configurar isso através do spark.sql.limit.selectiveInitialNumPartitions.

Visualização das novas versões do plano AQE

Apresentando versões do plano AQE que permitem visualizar as atualizações do plano durante o tempo de execução provenientes da execução de consultas adaptativas (AQE).

Novos modos assíncronos de acompanhamento de progresso e limpeza de logs

Introdução aos modos de Streaming Estruturado chamados acompanhamento de progresso assíncrono e limpeza assíncrona de logs. O modo assíncrono de limpeza de logs reduz a latência das consultas de streaming, removendo os logs usados para o acompanhamento do progresso em segundo plano.

Streaming estruturado no catálogo Unity agora suporta display()

Agora podes usar display() quando utilizas o Structured Streaming para trabalhar com tabelas registadas no Unity Catalog.

Os eventos de pipeline agora são registrados no formato JSON

O Azure Databricks agora grava eventos de pipeline no log do driver no formato JSON. Embora cada evento seja analisável por JSON, eventos grandes podem não conter todos os campos ou os campos podem ser truncados. Cada evento é registrado em uma única linha com o prefixo Event received: . Segue-se um exemplo de evento.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Processamento arbitrário com estado em 'Structured Streaming' utilizando Python

Apresentando a função applyInPandasWithState que pode ser usada para executar processamento arbitrário com estado no PySpark. Isso é equivalente à flatMapGroupsWithState função na API Java.

Inferência de data em arquivos CSV

Introdução de inferência melhorada de colunas de tipo de data em ficheiros CSV. Quando o formato de data é consistente entre os registros de uma coluna, essas colunas podem ser inferidas como DateType. Você também pode ter uma combinação de formatos de data em várias colunas. O Azure Databricks pode inferir automaticamente o formato de data para cada coluna. As colunas de data em arquivos CSV anteriores ao Databricks Runtime 11.3 LTS são deixadas como StringType.

Suporte de clonagem para tabelas Apache Parquet e Apache Iceberg (Visualização pública)

O clone agora pode ser usado para criar e atualizar incrementalmente tabelas Delta que espelham tabelas Apache Parquet e Apache Iceberg. Você pode atualizar sua tabela Parquet de origem e aplicar incrementalmente as alterações à tabela Delta clonada com o comando clone. Veja Clonagem incremental de tabelas Parquet e Apache Iceberg para Delta Lake.

Use SQL para especificar locais de armazenamento no nível de esquema e catálogo para tabelas gerenciadas do Unity Catalog

Agora você pode usar o MANAGED LOCATION comando SQL para especificar um local de armazenamento em nuvem para tabelas gerenciadas nos níveis de catálogo e esquema. Consulte CREATE CATALOG e CREATE SCHEMA.

Alterações de comportamento

Databricks Connect 11.3.2

A atualização 11.3.2 do cliente Databricks Connect agora é suportada. Consulte Databricks Connect e Notas de versão do Databricks Connect.

Atualizado o conector Snowflake do Azure Databricks

O conector Snowflake do Azure Databricks foi atualizado para a versão mais recente do código do repositório de código aberto, Snowflake Data Source for Apache Spark. Agora é totalmente compatível com Databricks Runtime 11.3 LTS, incluindo o pushdown de predicados e o pushdown do plano de consulta interno, mantendo todos os recursos da versão de código aberto.

O cache do Hadoop para S3A agora está desativado

O cache Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) para S3A agora está desativado. Isso é para alinhar com outros conectores de armazenamento em nuvem. Para cargas de trabalho que dependem do cache do sistema de arquivos, certifique-se de que os sistemas de arquivos recém-criados sejam fornecidos com as configurações corretas do Hadoop, incluindo provedores de credenciais.

O esquema de coleta de estatísticas do Delta Lake agora corresponde à ordem das colunas na definição do esquema da tabela

Essa alteração resolve um bug no protocolo Delta Lake em que as estatísticas não foram coletadas para colunas devido a uma incompatibilidade no DataFrame e na ordem de colunas da tabela. Em alguns casos, poderá detetar uma diminuição de desempenho na escrita devido à coleta de estatísticas em campos anteriormente não monitorizados. Consulte Omissão de dados para Delta Lake.

applyInPandasWithState lança um erro se a consulta tiver um shuffle após o operador

O operador applyInPandasWithState lança um erro se a consulta tiver shuffle depois do operador. Isso acontece quando o usuário adiciona shuffle após a operação, ou o otimizador ou coletor adiciona shuffle implicitamente.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • distlib de 0.3.5 a 0.3.6
• Bibliotecas R atualizadas:
  • broom de 1.0.0 para 1.0.1
  • callr de 3.7.1 para 3.7.2
  • dplyr de 1.0.9 a 1.0.10
  • dtplyr de 1.2.1 a 1.2.2
  • forcats de 0.5.1 a 0.5.2
  • futuro de 1.27.0 a 1.28.0
  • future.apply de 1.9.0 a 1.9.1
  • gert de 1.7.0 para 1.8.0
  • globais de 0.16.0 a 0.16.1
  • gtable de 0.3.0 a 0.3.1
  • refúgio de 2.5.0 a 2.5.1
  • HMS de 1.1.1 a 1.1.2
  • httr de 1.4.3 a 1.4.4
  • knitr de 1,39 a 1,40
  • Modelador de 0.1.8 a 0.1.9
  • pilar de 1.8.0 a 1.8.1
  • progredir de 0.10.1 a 0.11.0
  • readxl de 1.4.0 a 1.4.1
  • Atualização de reprex da versão 2.0.1 para 2.0.2
  • RLANG de 1.0.4 a 1.0.5
  • Rmarkdown de 2,14 para 2,16
  • RSQLite de 2.2.15 a 2.2.16
  • rstudioapi de 0.13 a 0.14
  • Versões de 2.1.1 para 2.1.2
  • rvest de 1.0.2 para 1.0.3
  • escalas de 1.2.0 a 1.2.1
  • Sparklyr de 1.7.7 a 1.7.8
  • stringr de 1.4.0 a 1.4.1
  • sobrevivência de 3,2-13 para 3,4-0
  • tinytex de 0,40 a 0,41
  • viridisLite de 0.4.0 a 0.4.1
• Bibliotecas Java atualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks para 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime da versão 3.3.2 para a versão 3.3.4
  • org.apache.orc.orc-core de 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 para 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-comum de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.34 a 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,34 a 2,36
  • org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-comum de 2,34 a 2,36
  • org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2 de 2,34 a 2,36

Faísca Apache

O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Atraso em onDesconectado para permitir que o Driver receba o ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Melhorar o processo de LaunchTask para evitar falhas de Estágio causadas por falhas no envio de mensagens LaunchTask
• [SPARK-40474] [SC-106248][cherry-pick] Corrigir o comportamento de inferência do esquema CSV para colunas de data/hora e introduzir a deteção automática para campos de data
• [SPARK-40535] [SC-111243][sql] Corrigir bug: o buffer de AggregatingAccumulator não será criado se as linhas de entrada estiverem vazias
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implementar applyInPandasWithState no PySpark
• [SPARK-40460] [SC-110832][ss] Corrigir métricas de streaming ao selecionar _metadata
• [SPARK-40324] [SC-109943][sql] Forneça um contexto de consulta de ParseException
• [SPARK-40466] [SC-110899][ss] Melhorar a mensagem de erro quando o DSv2 está desativado enquanto o DSv1 não está disponível
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext deve ser barato para chamar repetidamente
• [SPARK-40169] [SC-110772][sql] Não aplique filtros Parquet que não façam referência ao esquema de dados
• [SPARK-40467] [SC-110759][ss] Dividir FlatMapGroupsWithState em vários pacotes de teste
• [SPARK-40468] [SC-110813][sql] Corrigir a poda de coluna no CSV quando _corrupt_record estiver selecionado
• [SPARK-40291] [SC-110085][sql] Melhorar a mensagem para coluna que não está no grupo por erro de cláusula
• [SPARK-40398] [SC-110762][core][SQL] Use Loop em vez da api Arrays.stream
• [SPARK-40433] [SC-110684][ss][PYTHON] Adicionar toJVMRow em PythonSQLUtils para converter PySpark Row em pickled para JVM Row
• [SPARK-40414] [SC-110568][sql][PYTHON] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
• [SPARK-40470] [SC-110761][sql] Manipule GetArrayStructFields e GetMapValue na função "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Melhorar a implementação do Spark Decimal
• [SPARK-40429] [SC-110675][sql] Defina KeyGroupedPartitioning apenas quando a coluna referenciada estiver na saída
• [SPARK-40432] [SC-110716][ss][PYTHON] Introduza GroupStateImpl e GroupStateTimeout no PySpark
• [SPARK-39915] [SC-110496][sql] Verifique se o particionamento de saída é especificado pelo usuário no AQE
• [SPARK-29260] [SQL] Suporte ALTER DATABASE SET LOCATION se HMS suportar
• [SPARK-40185] [SC-110056][sql] Remover sugestão de coluna quando a lista de candidatos estiver vazia
• [SPARK-40362] [SC-110401][sql] Corrigir canonicalização BinaryComparison
• [SPARK-40411] [SC-110381][ss] Refatore FlatMapGroupsWithStateExec para ter uma característica pai
• [SPARK-40293] [SC-110084][sql] Tornar a mensagem de erro da tabela V2 mais significativa
• [SPARK-38734] [SC-110383][sql] Remova a classe de erro INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Corrija nomes de colunas na função "arrays_zip" quando matrizes são referenciadas a partir de estruturas aninhadas
• [SPARK-40276] [SC-109674][core] Reduza o tamanho do resultado de RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Substituir o plano de consulta pelo contexto para MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrar para a classe de erro DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][sql] Propagar colunas de metadados através do Project
• [SPARK-40280] [SC-110146][sql] Adicionar suporte para redução de parquet para int e long anotados
• [SPARK-40220] [SC-110143][sc-109175][SQL] Não produza o mapa vazio dos parâmetros da mensagem de erro
• [SPARK-40295] [SC-110070][sql] Permitir funções v2 com argumentos literais na distribuição/ordenação de escrita
• [SPARK-40156] [SC-109264][sql] url_decode() deve retornar uma classe de erro
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
• [SPARK-40260] [SC-109424][sql] Usar classes de erro nos erros de compilação de GROUP BY uma posição
• [SPARK-40205] [SC-110144][sc-109082][SQL] Forneça um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Melhorar a função TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Não altere o valor do intervalo decimal em caso de changePrecision() erros
• [SPARK-40319] [SC-109873][sql] Remova o método de erro de execução de consulta duplicada para PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Numérico try_add/try_divide/try_subtract/try_multiply deve lançar erro de seus filhos
• [SPARK-40183] [SC-108907][sql] Usar classe de erro NUMERIC_VALUE_OUT_OF_RANGE para estouro na conversão decimal
• [SPARK-40180] [SC-109069][sql] Formatar mensagens de erro por spark-sql
• [SPARK-40153] [SC-109165][sql] Unifique funções de resolução e funções com valor de tabela
• [SPARK-40308] [SC-109880][sql] Permitir argumentos de delimitador não dobráveis na função str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] O plano lógico de exibição resolvido deve conter o esquema para evitar pesquisas redundantes
• [SPARK-40098] [SC-109939][sc-108693][SQL] Formatar mensagens de erro no Thrift Server
• [SPARK-39917] [SC-109038][sql] Use classes de erro diferentes para estouro aritmético numérico/intervalar
• [SPARK-40033] [SC-109875][sql] Suporte à remoção de esquema aninhado através de element_at
• [SPARK-40194] [SC-109660][sql] A função SPLIT num regex vazio deve truncar a parte final da cadeia de caracteres vazia.
• [SPARK-40228] [SC-109835][sql] Não simplifique multiLike se criança não é uma expressão barata
• [SPARK-40039] [SC-109896][sc-109260][SS] Apresentando um gerenciador de arquivos de ponto de verificação de streaming baseado na interface Abortable do Hadoop
• [SPARK-40285] [SC-109679][sql] Simplifique o roundTo[Numeric] para o Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison deve funcionar quando o downcast do literal de In/InSet não conseguiu ser realizado
• [SPARK-40040] [SC-109662][sql] Aplicar a limitação local a ambos os lados se a condição de junção estiver vazia
• [SPARK-40055] [SC-109075][sql] listCatalogs também devem retornar spark_catalog mesmo quando spark_catalog implementação é defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) pode não criar partições N Parte não-AQE
• [SPARK-40207] [SC-109401][sql] Especifique o nome da coluna quando o tipo de dados não for suportado pela fonte de dados
• [SPARK-40245] [SC-109295][sql] Corrija a verificação de igualdade do FileScan quando as colunas de partição ou filtro de dados não são lidas
• [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder Implementações da interface DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Permitir personalizar o número de partições iniciais no comportamento take()
• [SPARK-40252] [SC-109379][sql] Substituir Stream.collect(Collectors.joining) por StringJoiner Api
• [SPARK-40247] [SC-109272][sql] Corrigir verificação de igualdade do "BitSet"
• [SPARK-40067] [SQL] Para preencher o nome da tabela no nó BatchScan no SparkUI, utilize Table#name() em vez de Scan#name().
• [SPARK-39966] [SQL] Usar filtro V2 em SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Função V2 de suporte de distribuição e encomenda por escrito
• [SPARK-40224] [SC-109271][sql] Faça com que o ObjectHashAggregateExec libere a memória imediatamente caso o recurso passe a ser baseado em ordenação.
• [SPARK-40013] [SQL] DS V2 expressões devem ter o padrão toString
• [SPARK-40214] [SC-109079][python][SQL] adicionar 'get' às funções
• [SPARK-40192] [SC-109089][sql][ML] Remover groupby redundante
• [SPARK-40146] [SC-108694][sql] Simplificar a geração de código para obter o valor do mapa
• [SPARK-40109] [SQL] Nova função SQL: get()
• [SPARK-39929] [SQL] DS V2 suporta funções push down string (não ANSI)
• [SPARK-39819] [SQL] DS V2 redução de agregados pode funcionar com Top N ou Paginação (Ordenação com expressões)
• [FAÍSCA-40213] [SC-109077][sql] Suporta conversão de valor ASCII para caracteres latino-1
• [SPARK-39887] [SQL] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
• [SPARK-39764] [SQL] Torne o PhysicalOperation igual ao ScanOperation
• [SPARK-39964] [SQL] O pushdown do DS V2 deveria unificar o percurso de tradução
• [SPARK-39528] [SQL] Usar filtro V2 em SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: sempre retornar null no acesso inválido à coluna do mapa
• [SPARK-39912] [SPARK-39828][sql] Refinar o CatálogoImpl
• [SPARK-39833] [SC-108736][sql] Desative o índice de coluna Parquet no DSv1 para corrigir um problema de correção no caso de sobreposição de colunas de partição e dados
• [SPARK-39880] [SQL] O comando V2 SHOW FUNCTIONS deve imprimir o nome da função qualificada como v1
• [SPARK-39767] [SQL] Remover UnresolvedDBObjectName e adicionar UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Map)
• [SPARK-40136] [SQL] Corrigir o fragmento de contextos de consulta SQL
• [SPARK-40107] [SC-108689][sql] Retire a conversão empty2null de FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Inicializar projeção usada para Python UDF
• [SPARK-40128] [SQL] Faça com que o VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação de coluna autônoma
• [SPARK-40132] [ML] Restaurar rawPredictionCol para MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Aprimore EliminateSorts para suportar a remoção de classificações via LocalLimit
• [SPARK-39629] [SQL] Suporte v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Adicionar sobrecarga array_sort(coluna, comparador) às operações DataFrame
• [SPARK-40117] [PYTHON][sql] Converter condição em java em DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Melhorar a repartição em ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adicionar nome de catálogo de sessão para tabela e função de banco de dados v1
• [SPARK-39889] [SQL] Utilizar diferentes classes de erro para número/intervalo dividido por 0
• [SPARK-39741] [SQL] Suporte a encode/decode de URL como função integrada e reorganizar funções relacionadas a URL
• [SPARK-40102] [SQL] Use SparkException em vez de IllegalStateException no SparkPlan
• [SPARK-40014] [SQL] Suporte a conversão de decimais para intervalos ANSI
• [SPARK-39776] [SQL][follow] Atualização UT do PlanStabilitySuite no modo ANSI
• [SPARK-39963] [SQL] Simplificar SimplifyCasts.isWiderCast

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.5 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Píton: 3.9.21
• R: 4.1.3
• Lago Delta: 2.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-09-08. O snapshot não está mais disponível.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)