Tempo de execução do Databricks 17.0

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.0, alimentado pelo Apache Spark 4.0.0.

A Databricks lançou esta versão em junho de 2025.

Tip

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do Databricks Runtime que atingiram o fim do suporte. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

O SparkML agora é suportado em clusters padrão
Suporte a procedimentos SQL
Definir um agrupamento padrão para funções SQL
Expressões de tabela comuns recursivas (Visualização pública)
ANSI SQL ativado por padrão
O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto
Suporte ALL CATALOGS em SHOW SCHEMAS
O agrupamento de líquidos agora compacta vetores de exclusão de forma mais eficiente
Permitir expressões não determinísticas em UPDATE/INSERT valores de coluna para MERGE operações
Ignorar e recuperar estruturas vazias para a ingestão pelo AutoLoader (especialmente Avro)
Altere as APIs Delta MERGE Python e Scala para retornar DataFrame em vez de Unit
Suporte a palavra-chave VAR para declarar e descartar variáveis SQL
Atualizar bibliotecas do Apache Parquet
Ofereça suporte à federação de identidades de carga de trabalho para o Google Cloud Pub/Sub

O SparkML agora é suportado em clusters padrão

O modo de acesso padrão (anteriormente modo de acesso compartilhado) agora suporta Spark ML no PySpark (pyspark.ml) e MLflow para Spark (mlflow.spark). Para ajuste de hiperparâmetros, o Databricks recomenda o uso do Optuna e do Joblib Spark em clusters padrão.

As seguintes limitações se aplicam ao executar o SparkML em clusters padrão:

O tamanho máximo do modelo é de 1GB.
O tamanho máximo do cache do modelo por sessão é de 10 GB.
O treinamento do modelo de árvore é interrompido antecipadamente se o tamanho do modelo estiver prestes a exceder 1 GB.
Os seguintes modelos SparkML não são suportados:
- Modelo LDA Distribuído
- FPGrowthModel

Suporte a procedimentos SQL

Os scripts SQL agora podem ser encapsulados em um procedimento armazenado como um ativo reutilizável no Unity Catalog. Você pode criar um procedimento usando o comando CREATE PROCEDURE e, em seguida, chamá-lo usando o comando CALL .

Definir um agrupamento padrão para funções SQL

O uso da nova cláusula DEFAULT COLLATION no comando CREATE FUNCTION define a ordenação padrão usada para parâmetros STRING, o tipo de retorno e literais STRING dentro do corpo da função.

Expressões de tabela comuns recursivas (Visualização pública)

O Azure Databricks agora dá suporte à navegação de dados hierárquicos usando rCTEs (recursive common table expressions). Use uma CTE autorreferenciada com UNION ALL para seguir a relação recursiva.

ANSI SQL ativado por padrão

O dialeto SQL padrão agora é ANSI SQL. ANSI SQL é um padrão bem estabelecido e ajudará a proteger os usuários de resultados inesperados ou incorretos. Leia o guia de ativação do Databricks ANSI para obter mais informações.

O PySpark e o Spark Connect agora suportam a API DataFrames `df.mergeInto`

PySpark e Spark Connect agora suportam a df.mergeInto API, que antes só estava disponível para Scala.

Suporte `ALL CATALOGS` em `SHOW` esquemas

A SHOW SCHEMAS sintaxe é atualizada para aceitar a seguinte sintaxe:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Quando ALL CATALOGS é especificado em uma SHOW consulta, a execução itera por todos os catálogos ativos que oferecem suporte a namespaces usando o gerenciador de catálogos (DsV2). Para cada catálogo, ele inclui os namespaces de nível superior.

Os atributos de saída e o esquema do comando foram modificados para adicionar uma catalog coluna indicando o catálogo do namespace correspondente. A nova coluna é adicionada ao final dos atributos de saída, conforme mostrado abaixo:

Saída anterior

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Novo resultado

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

O agrupamento de líquidos agora compacta vetores de exclusão de forma mais eficiente

As tabelas delta com clustering Liquid agora aplicam alterações físicas de vetores de exclusão de forma mais eficiente quando OPTIMIZE está em execução. Para obter mais detalhes, consulte Aplicar alterações aos arquivos de dados do Parquet.

Permitir expressões não determinísticas em `UPDATE`/`INSERT` valores de coluna para `MERGE` operações

O Azure Databricks agora permite o uso de expressões não determinísticas nos valores das colunas atualizadas e inseridas em operações de MERGE. No entanto, expressões não determinísticas nas condições dos enunciados MERGE não são suportadas.

Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para colunas:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Isso pode ser útil para que a privacidade de dados ofusque os dados reais, preservando as propriedades dos dados (como valores médios ou outras colunas computadas).

Ignore e resgate estruturas vazias para ingestão de AutoLoader (especialmente Avro)

O Auto Loader agora resgata tipos de dados Avro com um esquema vazio, uma vez que a tabela Delta não suporta a ingestão de dados de tipo vazio struct.

Altere as APIs Delta MERGE Python e Scala para retornar DataFrame em vez de Unit

As APIs Scala e Python MERGE (como DeltaMergeBuilder) agora também retornam um DataFrame como a API SQL, com os mesmos resultados.

Suporte a palavra-chave VAR para declarar e descartar variáveis SQL

A sintaxe SQL para declarar e eliminar variáveis agora suporta a palavra-chave VAR além de VARIABLE. Essa alteração unifica a sintaxe em todas as operações relacionadas a variáveis, o que melhora a consistência e reduz a confusão para os usuários que já usam VAR ao definir variáveis.

Atualizar bibliotecas do Apache Parquet

As bibliotecas Apache Parquet foram atualizadas da versão 1.13.1 para 1.15.1 para garantir a compatibilidade com o Spark 4.0. Esta atualização inclui melhorias de desempenho, correções de bugs e suporte aprimorado ao recurso Parquet nos seguintes módulos:

parquet-column
parquet-common
parquet-encoding
parquet-format-structures
parquet-hadoop
parquet-jackson

Ofereça suporte à federação de identidades de carga de trabalho para o Google Cloud Pub/Sub

Agora você pode usar a federação de identidades de carga de trabalho para se conectar com segurança ao Google Cloud Pub/Sub a partir do Databricks sem exigir chaves de conta de serviço. Isso simplifica a autenticação para cargas de trabalho de streaming e ingestão de dados que se integram ao Pub/Sub.

Mudanças comportamentais

Os certificados de CA personalizados do Sistema de Arquivos Databricks (DBFS) não são mais suportados
Removida a seção "True cache misses" na UI do Spark
Removida a métrica "Pico de uso de disco do Gerenciador de metadados de cache" na interface do usuário do Spark
Removida a seção "Bytes perdidos de cache reagendados" na interface do usuário do Spark
CREATE VIEW cláusulas ao nível de coluna agora lançam erros quando a cláusula apenas se aplica a visualizações materializadas

Os certificados de CA personalizados do Sistema de Arquivos Databricks (DBFS) não são mais suportados

Como parte do esforço contínuo para descontinuar o armazenamento de dados na raiz do DBFS e nas montagens DBFS, os certificados personalizados do CA do DBFS não são suportados no Databricks Runtime 17.0 e versões superiores. Para obter recomendações sobre como trabalhar com arquivos, consulte Trabalhar com arquivos no Azure Databricks.

Removida a seção "True cache misses" na interface do usuário do Spark.

Estas alterações removem o suporte para a métrica "Cache true misses size" (para caches compactados e não compactados). A métrica "Cache write misses" mede a mesma informação.

Use o numLocalScanTasks como um proxy viável para essa métrica, quando sua intenção for ver como o cache funciona quando os arquivos são atribuídos ao executor certo.

Removida a métrica "Pico de uso de disco do Gerenciador de metadados de cache" na interface do usuário do Spark

Esta alteração remove o suporte para as métricas cacheLocalityMgrDiskUsageInBytes e cacheLocalityMgrTimeMs do Databricks Runtime e da interface de utilizador do Spark.

Removida a seção "Bytes perdidos de cache reagendados" na interface do usuário do Spark

Removidas as métricas de tamanho de faltas de cache reagendado e de tamanho de faltas de cache reagendado (descompactado) do DBR. Isso é feito porque mede o desempenho do cache quando os arquivos são atribuídos a executores não preferenciais. numNonLocalScanTasks é um bom proxy para essa métrica.

`CREATE VIEW` cláusulas ao nível da coluna agora geram erros quando a cláusula apenas seria aplicável a vistas materializadas

CREATE VIEW comandos que especificam uma cláusula de nível de coluna que só é válida para MATERIALIZED VIEWs agora geram um erro. As cláusulas afetadas para os comandos CREATE VIEW são as seguintes:

NOT NULL
Um tipo de dados especificado, como FLOAT ou STRING
DEFAULT
COLUMN MASK

Atualizações da biblioteca

Bibliotecas Python atualizadas:
- azure-core de 1.31.0 a 1.34.0
- preto de 24.4.2 a 24.10.0
- boto3 de 1.34.69 a 1.36.2
- Botocore de 1.34.69 a 1.36.3
- CacheTools de 5.3.3 a 5.5.1
- certifi de 2024.6.2 a 2025.1.31
- CFFI de 1.16.0 para 1.17.1
- charset-normalizer de 2.0.4 a 3.3.2
- cloudpickle de 2.2.1 para 3.0.0
- contourpy de 1.2.0 para 1.3.1
- Criptografia de 42.0.5 a 43.0.3
- Cython de 3.0.11 a 3.0.12
- Databricks-SDK de 0.30.0 a 0.49.0
- debugpy de 1.6.7 a 1.8.11
- Descontinuado da versão 1.2.14 para a versão 1.2.13
- distlib de 0.3.8 a 0.3.9
- filelock de 3.15.4 a 3.18.0
- fonttools da versão 4.51.0 à 4.55.3
- GitPython de 3.1.37 a 3.1.43
- google-auth de 2.35.0 a 2.40.0
- google-cloud-core da versão 2.4.1 à 2.4.3
- google-cloud-storage de 2.18.2 a 3.1.0
- google-crc32c de 1.6.0 para 1.7.1
- grpcio de 1.60.0 a 1.67.0
- grpcio-status atualizado de 1.60.0 para 1.67.0
- importlib-metadata de 6.0.0 a 6.6.0
- ipyflow-core de 0.0.201 a 0.0.209
- ipykernel de 6.28.0 a 6.29.5
- ipython de 8.25.0 a 8.30.0
- ipywidgets de 7.7.2 para 7.8.1
- Jedi de 0.19.1 a 0.19.2
- jupyter_client de 8.6.0 a 8.6.3
- kiwisolver de 1.4.4 a 1.4.8
- matplotlib de 3.8.4 a 3.10.0
- matplotlib-inline de 0.1.6 a 0.1.7
- mlflow-skinny de 2.19.0 a 2.22.0
- numpy de 1.26.4 a 2.1.3
- OpenTelemetry-API de 1.27.0 a 1.32.1
- OpenTelemetry-SDK de 1.27.0 a 1.32.1
- OpenTelemetria-Semântica-Convenções de 0,48b0 a 0,53b1
- pandas de 1.5.3 a 2.2.3
- parso de 0.8.3 a 0.8.4
- patsy de 0.5.6 para 1.0.1
- Almofada de 10.3.0 a 11.1.0
- plotly de 5.22.0 a 5.24.1
- pluggy de 1.0.0 a 1.5.0
- proto-plus de 1.24.0 a 1.26.1
- protobuf de 4.24.1 a 5.29.4
- pyarrow de 15.0.2 até 19.0.1
- pyccolo de 0.0.65 a 0.0.71
- Pydantic de 2.8.2 para 2.10.6
- pydantic_core de 2.20.1 a 2.27.2
- PyJWT de 2.7.0 a 2.10.1
- pyodbc da versão 5.0.1 para a versão 5.2.0
- pyparsing de 3.0.9 a 3.2.0
- pyright de 1.1.294 a 1.1.394
- python-lsp-server de 1.10.0 a 1.12.0
- PyYAML de 6.0.1 a 6.0.2
- pyzmq de 25.1.2 a 26.2.0
- Pedidos de 2.32.2 a 2.32.3
- RSA de 4.9 a 4.9.1
- s3transfer de 0.10.2 a 0.11.3
- scikit-learn de 1.4.2 a 1.6.1
- scipy de 1.13.1 a 1.15.1
- sqlparse de 0.5.1 para 0.5.3
- statsmodels de 0.14.2 a 0.14.4
- tenacidade de 8.2.2 a 9.0.0
- threadpoolctl de 2.2.0 a 3.5.0
- tornado de 6.4.1 a 6.4.2
- typing_extensions: de 4.11.0 a 4.12.2
- urllib3 de 1.26.16 a 2.3.0
- virtualenv de 20.26.2 a 20.29.3
- roda de 0.43.0 a 0.45.1
- wrapt atualizado de 1.14.1 para 1.17.0
- yapf de 0.33.0 a 0.40.2
- zipp de 3.17.0 a 3.21.0
Bibliotecas R atualizadas:
- seta de 16.1.0 para 19.0.1
- askpass de 1.2.0 a 1.2.1
- base de 4.4.0 a 4.4.2
- bigD de 0.2.0 a 0.3.0
- bit de 4.0.5 a 4.6.0
- bit64 de 4.0.5 a 4.6.0-1
- bitops de 1,0-8 a 1,0-9
- broom de 1.0.6 para 1.0.7
- bslib de 0.8.0 a 0.9.0
- Cursor de 6.0-94 a 7.0-1
- chron de 2.3-61 a 2.3-62
- cli de 3.6.3 a 3.6.4
- relógio de 0.7.1 a 0.7.2
- commonmark da versão 1.9.1 para 1.9.5
- compilador de 4.4.0 a 4.4.2
- cpp11 de 0.4.7 para 0.5.2
- credenciais de 2.0.1 a 2.0.2
- curvatura de 5.2.1 a 6.2.1
- data.table de 1.15.4 a 1.17.0
- conjuntos de dados de 4.4.0 a 4.4.2
- resumo de 0.6.36 a 0.6.37
- e1071 de 1.7-14 a 1.7-16
- avaliar de 0.24.0 a 1.0.3
- fontawesome de 0.5.2 a 0.5.3
- fs de 1.6.4 a 1.6.5
- future.apply de 1.11.2 a 1.11.3
- Gert de 2.1.0 a 2.1.4
- git2r de 0.33.0 a 0.35.0
- cola versão 1.7.0 para 1.8.0
- Atualização do Gower de 1.0.1 para 1.0.2
- Gráficos de 4.4.0 a 4.4.2
- grDevices desde 4.4.0 a 4.4.2
- grelha de 4.4.0 a 4.4.2
- GT de 0.11.0 a 0.11.1
- gtable de 0.3.5 a 0.3.6
- Hardhat de 1.4.0 para 1.4.1
- httr2 de 1.0.2 a 1.1.1
- jsonlite de 1.8.8 a 1.9.1
- knitr de 1,48 a 1,50
- mais tarde, de 1.3.2 para 1.4.1
- lava de 1.8.0 a 1.8.1
- lubridato de 1.9.3 a 1.9.4
- Métodos de 4.4.0 a 4.4.2
- mime de 0.12 a 0.13
- mlflow de 2.14.1 a 2.20.4
- NLME de 3.1-165 a 3.1-164
- openssl de 2.2.0 a 2.3.2
- paralelo de 4.4.0 a 4.4.2
- paralelamente de 1.38.0 a 1.42.0
- pilar de 1.9.0 a 1.10.1
- pkgbuild da versão 1.4.4 para 1.4.6
- pkgdown de 2.1.0 para 2.1.1
- processx de 3.8.4 para 3.8.6
- Profvis de 0.3.8 a 0.4.0
- progressr de 0.14.0 para 0.15.1
- Promessas de 1.3.0 a 1.3.2
- ps de 1.7.7 a 1.9.0
- purrr da versão 1.0.2 para a 1.0.4
- R6 de 2.5.1 a 2.6.1
- ragg de 1.3.2 a 1.3.3
- randomForest de 4.7-1.1 a 4.7-1.2
- Rcpp de 1.0.13 a 1.0.14
- RcppEigen de 0.3.4.0.0 a 0.3.4.0.2
- reactR de 0.6.0 a 0.6.1
- readxl de 1.4.3 a 1.4.5
- receitas de 1.1.0 a 1.2.0
- rlang da versão 1.1.4 para a 1.1.5
- Rmarkdown de 2,27 para 2,29
- RODBC de 1.3-23 a 1.3-26
- Reserve de 1.8-13 a 1.8-15
- RSQLite de 2.3.7 a 2.3.9
- rstudioapi de 0.16.0 a 0.17.1
- sessioninfo de 1.2.2 a 1.2.3
- brilhante de 1.9.1 a 1.10.0
- Sparklyr de 1.8.6 a 1.9.0
- SparkR de 3.5.2 a 4.0.0
- splines de 4.4.0 a 4.4.2
- Estatísticas de 4.4.0 a 4.4.2
- stats4 de 4.4.0 a 4.4.2
- sobrevida de 3,6-4,0 a 3,5-8,0
- sys de 3.4.2 a 3.4.3
- systemfonts de 1.1.0 a 1.2.1
- tcltk de 4.4.0 a 4.4.2
- testthat de 3.2.1.1 para 3.2.3
- textshaping da versão 0.4.0 para a 1.0.0
- data e hora de 4032.109 a 4041.110
- tinytex de 0,52 a 0,56
- Ferramentas de 4.4.0 a 4.4.2
- TZDB de 0.4.0 a 0.5.0
- usethis de 3.0.0 a 3.1.0
- utils de 4.4.0 a 4.4.2
- V8 de 4.4.2 a 6.0.2
- Waldo de 0.5.2 a 0.6.1
- withr da versão 3.0.1 para a 3.0.2
- xfun de 0,46 a 0,51
- xml2 de 1.3.6 a 1.3.8
- zip de 2.3.1 a 2.3.2
Bibliotecas Java atualizadas:
- com.clearspring.analytics.stream de 2.9.6 para 2.9.8
- com.esotericsoftware.kryo-shaded de 4.0.2 a 4.0.3
- com.fasterxml.classmate de 1.3.4 para 1.5.1
- com.fasterxml.jackson.core.jackson-annotations de 2.15.2 a 2.18.2
- com.fasterxml.jackson.core.jackson-core de 2.15.2 a 2.18.2
- com.fasterxml.jackson.core.jackson-databind de 2.15.2 a 2.18.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.15.2 a 2.18.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.15.2 a 2.18.2
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.16.0 a 2.18.2
- com.fasterxml.jackson.module.jackson-module-paranamer de 2.15.2 a 2.18.2
- com.github.luben.zstd-jni de 1.5.5-4 a 1.5.6-10
- com.google.code.gson.gson de 2.10.1 a 2.11.0
- com.google.crypto.tink.tink de 1.9.0 para 1.16.0
- com.google.errorprone.error_prone_annotations da versão 2.10.0 à versão 2.36.0
- com.google.flatbuffers.flatbuffers-java de 23.5.26 a 24.3.25
- com.google.guava.guava de 15.0 a 33.4.0-jre
- com.google.protobuf.protobuf-java de 3.25.1 a 3.25.5
- com.microsoft.azure.azure-data-lake-store-sdk de 2.3.9 a 2.3.10
- com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 para 12.8.0.jre8
- commons-cli.commons-cli atualizar de 1.5.0 para 1.9.0
- commons-codec.commons-codec de 1.16.0 a 1.17.2
- Atualização de commons-io.commons-io de 2.13.0 para 2.18.0
- io.airlift.aircompressor de 0.27 a 2.0.2
- io.dropwizard.metrics.metrics-annotation de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-core de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-grafite de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-healthchecks de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-jetty9 de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-jmx de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-json de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-jvm de 4.2.19 a 4.2.30
- io.dropwizard.metrics.metrics-servlets de 4.2.19 a 4.2.30
- io.netty.netty-all de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-buffer de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-codec de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-codec-http de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-codec-http2 de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-codec-socks de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-common de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-handler de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-handler-proxy de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-resolver de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-windows-x86_64 para 2.0.70.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes de 2.0.61.Final a 2.0.70.Final
- Atualização de io.netty.netty-transport de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-transport-classes-epoll de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-transport-classes-kqueue de 4.1.108.Final a 4.1.118.Final
- io.netty.netty-transport-native-epoll de 4.1.108.Final-linux-x86_64 a 4.1.118.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.108.Final-osx-x86_64 a 4.1.118.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.108.Final a 4.1.118.Final
- io.prometheus.jmx.collector de 0.12.0 a 0.18.0
- io.prometheus.simpleclient de 0.7.0 a 0.16.1-databricks
- io.prometheus.simpleclient_common de 0.7.0 a 0.16.1-databricks
- io.prometheus.simpleclient_dropwizard de 0.7.0 a 0.16.1-databricks
- Atualização do io.prometheus.simpleclient_pushgateway da versão 0.7.0 para a 0.16.1-databricks
- io.prometheus.simpleclient_servlet de 0.7.0 a 0.16.1-databricks
- joda-time.joda-time de 2.12.1 a 2.13.0
- net.razorvine.pickle de 1,3 a 1,5
- org.antlr.antlr4-runtime de 4.9.3 a 4.13.1
- org.apache.arrow.arrow-format de 15.0.0 a 18.2.0
- org.apache.arrow.arrow-memory-core de 15.0.0 a 18.2.0
- org.apache.arrow.arrow-memory-netty de 15.0.0 para 18.2.0
- org.apache.arrow.arrow-vector de 15.0.0 a 18.2.0
- org.apache.avro.avro de 1.11.4 a 1.12.0
- org.apache.avro.avro-ipc de 1.11.4 a 1.12.0
- org.apache.avro.avro-mapred de 1.11.4 a 1.12.0
- org.apache.commons.commons-compress de 1.23.0 para 1.27.1
- org.apache.commons.commons-lang3 de 3.12.0 a 3.17.0
- org.apache.commons.commons-text de 1.10.0 a 1.13.0
- org.apache.curator.curator-client de 2.13.0 a 5.7.1
- org.apache.curator.curator-framework de 2.13.0 a 5.7.1
- org.apache.curator.curator-recipes de 2.13.0 a 5.7.1
- org.apache.datasketches.datasketches-java de 3.1.0 a 6.1.1
- org.apache.datasketches.datasketches-memory de 2.0.0 a 3.0.2
- org.apache.hadoop.hadoop-client-runtime de 3.3.6 a 3.4.1
- org.apache.hive.hive-beeline de 2.3.9 a 2.3.10
- org.apache.hive.hive-cli de 2.3.9 a 2.3.10
- org.apache.hive.hive-jdbc de 2.3.9 a 2.3.10
- org.apache.hive.hive-llap-client de 2.3.9 a 2.3.10
- org.apache.hive.hive-llap-common de 2.3.9 a 2.3.10
- org.apache.hive.hive-serde de 2.3.9 a 2.3.10
- org.apache.hive.hive-shims de 2.3.9 a 2.3.10
- org.apache.hive.shims.hive-shims-0.23 de 2.3.9 a 2.3.10
- org.apache.hive.shims.hive-shims-common de 2.3.9 a 2.3.10
- org.apache.hive.shims.hive-shims-scheduler de 2.3.9 a 2.3.10
- org.apache.ivy.ivy de 2.5.2 a 2.5.3
- org.apache.logging.log4j.log4j-1.2-api de 2.22.1 a 2.24.3
- org.apache.logging.log4j.log4j-api de 2.22.1 a 2.24.3
- org.apache.logging.log4j.log4j-core de 2.22.1 a 2.24.3
- org.apache.logging.log4j.log4j-layout-template-json de 2.22.1 a 2.24.3
- org.apache.logging.log4j.log4j-slf4j2-impl de 2.22.1 a 2.24.3
- org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 2.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 2.1.1-shaded-protobuf
- org.apache.orc.orc-shims de 1.9.2 para 2.1.1
- org.apache.thrift.libthrift de 0.12.0 a 0.16.0
- org.apache.ws.xmlschema.xmlschema-core de 2.3.0 a 2.3.1
- org.apache.xbean.xbean-asm9-shaded de 4,23 a 4,26
- org.apache.zookeeper.zookeeper de 3.9.2 a 3.9.3
- org.apache.zookeeper.zookeeper-jute de 3.9.2 a 3.9.3
- org.checkerframework.checker-qual de 3.31.0 a 3.43.0
- org.eclipse.jetty.jetty-client de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-continuation de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-http de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-io de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-jndi de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-plus de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-proxy de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-security de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-server de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-servlet de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-servlets de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-util de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-webapp de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 a 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-servlet do 9.4.52.v20230823 ao 9.4.53.v20231009
- org.glassfish.jersey.containers.jersey-container-servlet de 2,40 a 2,41
- org.glassfish.jersey.containers.jersey-container-servlet-core de 2,40 a 2,41
- org.glassfish.jersey.core.jersey-client de 2.40 a 2.41
- org.glassfish.jersey.core.jersey-common de 2.40 a 2.41
- org.glassfish.jersey.core.jersey-server de 2.40 a 2.41
- org.glassfish.jersey.inject.jersey-hk2 de 2.40 a 2.41
- org.hibernate.validator.hibernate-validator de 6.1.7.Final a 6.2.5.Final
- org.jboss.logging.jboss-logging de 3.3.2.Final a 3.4.1.Final
- org.objenesis.objenesis de 2.5.1 a 3.3
- org.roaringbitmap.RoaringBitmap de 0.9.45-databricks para 1.2.1
- org.rocksdb.rocksdbjni de 9.2.1 a 9.8.4
- org.scalatest.scalatest-compatible de 3.2.16 a 3.2.19
- org.slf4j.jcl-over-slf4j de 2.0.7 a 2.0.16
- org.slf4j.jul-to-slf4j desde 2.0.7 até 2.0.16
- org.slf4j.slf4j-api de 2.0.7 a 2.0.16
- org.threeten.threeten-extra de 1.7.1 a 1.8.0
- org.tukaani.xz de 1.9 a 1.10

Apache Spark

Muitos de seus recursos já estavam disponíveis no Databricks Runtime 14.x, 15.x e 16.x, e agora eles são fornecidos fora da caixa com o Runtime 17.0.

SPARK-52311 Redefina a saída UnionLoop para não ser duplicada se a saída da âncora for duplicada
SPARK-50104 Suporte para SparkSession.executeCommand no Connect
SPARK-51085 Restaurar o Companion do SQLContext
SPARK-49698 Adicionar a anotação ClassicOnly aos métodos exclusivos clássicos.
SPARK-52026 Bloquear a API de pandas no modo ANSI do Spark por padrão
SPARK-43415 Implementar KVGDS.agg com a função personalizada mapValues
FAÍSCA-50979 Remover .expr/.typedExpr implícitos
SPARK-49961 Corrigir a assinatura de tipo de transformação para Scala e Java
SPARK-51012 Remover o SparkStrategy do Connect Shims.
SPARK-50915 Adicionar getCondition e depreciar getErrorClass em PySparkException
SPARK-51821 Chamar interrupt() sem segurar uninterruptibleLock para evitar deadlock possível
SPARK-52192 Verificação do caminho de carregamento de MLCache
SPARK-52122 Corrigir a vulnerabilidade RCE do DefaultParamsReader
SPARK-52191 Remover o desserializador Java no carregador do caminho local do modelo
SPARK-52051 Backport "Ativar resumo do modelo quando o controle de memória está ativado" e "Refinar mensagem de erro e ocultar configuração interna do Spark" para integrar no DBR 17.0.0.
SPARK-51391 Corrigir SparkConnectClient para respeitar SPARK_USER e user.name
SPARK-51416 Remova SPARK_CONNECT_MODE ao iniciar o servidor Spark Connect
SPARK-51156 Suporte à autenticação de token estático no Spark Connect
SPARK-51279 Evite o uso constante de "sleep" para aguardar o servidor Spark Connect em Scala
SPARK-51254 Não permitir --master com URL do Spark Connect
SPARK-51267 Alinhar a lógica do servidor local do Spark Connect entre Python e Scala
SPARK-51212 Adicionar um pacote separado PySpark para o Spark Connect por defeito
SPARK-52017 Permitir múltiplas autorreferências e autorreferências em subconsultas dentro de rCTEs
SPARK-52035 Desacoplar LinearRegressionTrainingSummary e LinearRegressionModel
SPARK-50511 Evitar envolver mensagens de erro da fonte de dados Python
SPARK-51974 Limitar o tamanho do modelo e o tamanho do cache por sessão do modelo
Faísca-51947 Descarregamento do cache do modelo Spark connect
Spark-49751 Corrigir a desserialização do evento SparkListenerConnectServiceStarted
SPARK-47952 Suporte para recuperar o endereço GRPC real do SparkConnectService e a porta de forma programática ao ser executado no Yarn
SPARK-47587 Módulo Hive: Migrar log de alerta com variáveis para o framework de logging estruturado
SPARK-50768 Introduza TaskContext.createResourceUninterruptibly para evitar fuga de fluxo por interrupção de tarefa
SPARK-51818 Transferir a criação de QueryExecution para AnalyzeHandler sem executar para AnalyzePlanRequests
SPARK-51609 Otimize a execução de CTE recursivo para consultas simples
SPARK-49748 Adicionar getCondition e depreciar getErrorClass em SparkThrowable
SPARK-51867 Criar um modelo Scala que suporte métodos de guardar/carregar no percurso do sistema de ficheiros local.
SPARK-51856 Atualizar a API do tamanho do modelo para contabilizar o tamanho do DataFrame distribuído
SPARK-51941 Corrigir o problema de precisão para o convertToCatalyst quando a entrada é um BigDecimal entre -1.0 e 1.0
SPARK-50605 Suporte ao modo de API SQL para facilitar a migração para o Spark Connect
SPARK-51849 Refatoração ResolveDDLCommandStringTypes
SPARK-51673 Aplicar ordenação padrão para alterar a consulta da vista
SPARK-51880 Corrigir referências do cliente Python para o objeto de cache ML
FAÍSCA-51873 Para o algoritmo OneVsRest, permita usar salvar / carregar para substituir o cache
SPARK-51072 CallerContext para definir o contexto de auditoria em ambientes cloud do Hadoop
SPARK-51790 Registrar UTF8String no KryoSerializer
SPARK-51022 Remover elementos não utilizados no tableSampleClause método de build() e MsSqlServerSQLQueryBuilder
SPARK-51219 Corrigir ShowTablesExec.isTempView para trabalhar com catálogos não-V2SessionCatalog
SPARK-49700 Interface Scala Unificada para Connect e Classic
SPARK-50458 Tratamento adequado de erros para sistemas de arquivos não suportados quando se leem ficheiros
SPARK-50666 Sugestão de suporte para a leitura na fonte de dados JDBC
SPARK-50131 Reaplique "Add IN Subquery DataFram..."
SPARK-51899 Implementar regras de tratamento de erros para spark.catalog.listTables()
SPARK-51820 Resolver questões pendentes para uma abordagem ordinal nova group/order
SPARK-48585 Fazer com que o método built-in JdbcDialect lance a classifyException exceção
SPARK-48387 Postgres: Mapear TimestampType para TIMESTAMP COM FUSO HORÁRIO
Faísca-51820 Mova UnresolvedOrdinal a construção antes da análise para evitar problemas com o grupo por ordinal
SPARK-48337 Corrigir a perda de precisão em valores TIME do JDBC
SPARK-51711 Propaga a sessão Spark remota ativa para novas threads para corrigir o CrossValidator
SPARK-47515 Guardar TimestampNTZType como DATETIME no MySQL
SPARK-48439 Derby: Calcule a precisão e a escala adequadas para o tipo DECIMAL
SPARK-51820 Preparar a lógica de redação para codesync do SPARK-51820
SPARK-48323 DB2: Mapear BooleanType para BOOLEAN em vez de CHAR(1)
SPARK-51635 Mesclar PushProjectionThroughLimit e PushProjectionThroughOffset
SPARK-48211 DB2: Leia SMALLINT como ShortType
SPARK-51803 Armazene o tipo JDBC do mecanismo externo nos metadados do StructField
SPARK-51845 Adicionar mensagens proto CleanCache e GetCacheInfo
SPARK-49511 Aplicar regras de formatação ao SQL/API
SPARK-47968 MsSQLServer: Mapear datetimeoffset para TimestampType
SPARK-51726 Utilizar TableInfo para as operações de CRIAR/SUBSTITUIR/CRIAR OU SUBSTITUIR tabela na fase
FAÍSCA-47967 Fazer JdbcUtils.makeGetter lidar corretamente com a leitura de tipos de tempo como NTZ
SPARK-47989 MsSQLServer: Corrigir o escopo de spark.sql.legacy.mssqlserver.numericMapping.enabled
SPARK-51193 Atualizar Netty para 4.1.118.Final e netty-tcnative para 2.0.70.Final
SPARK-47882 createTableColumnTypes precisam ser mapeados para tipos de base de dados em vez de serem usados diretamente
SPARK-47879 Oracle: Use VARCHAR2 em vez de VARCHAR para mapeamento VarcharType
SPARK-51372 Introduzir TableInfo para a criação de tabelas
FAÍSCA-47791 Truncar os decimais excedentes priorizando a escala em vez da precisão da fonte de dados JDBC
SPARK-51404 Analise o time(n) tipo como TimeType(n)
SPARK-50350 Avro: adicionar nova função schema_of_avro (scala lado)
Faísca-51136 Definir CallerContext para o Servidor de Histórico
SPARK-50641 Mover GetJsonObjectEvaluator para JsonExpressionEvalUtils
SPARK-50083 Integrar _LEGACY_ERROR_TEMP_1231 em PARTITIONS_NOT_FOUND
SPARK-51556 Adicionar a try_to_time função
SPARK-47684 Postgres: Mapeamento de comprimento não especificado bpchar para StringType
FAÍSCA-48688 Retornar erro razoável ao chamar funções SQL to_avro e from_avro, mas o Avro não é carregado por padrão
SPARK-49839 SPJ: Pule embaralhamentos, se possível para ordenações
SPARK-45534 Use java.lang.ref.Cleaner em vez de finalize para RemoteBlockPushResolver
SPARK-51816 Simplifique StatFunctions.multipleApproxQuantiles com APIs de dataframe
SPARK-49179 Corrigir junções internas v2 multi-particionadas que lançam AssertionError
SPARK-47456 Suporte para ORC Brotli codec
SPARK-51542 Adicionar um botão de rolagem para navegar até o topo e o fundo
SPARK-51541 Suporte para o TIME tipo de dados em Literal métodos
SPARK-51615 Refatorar ShowNamespaces para utilizar RunnableCommand
SPARK-51191 Validar a manipulação de valores padrão em DELETE, UPDATE, MERGE
SPARK-51829 O lado do cliente deve ser atualizado client.thread_local.ml_caches após a exclusão
SPARK-51358 Introduza a deteção de atraso no carregamento de instantâneos através do StateStoreCoordinator
SPARK-51686 Associe os IDs de execução de subexecuções à execução atual, se houver
SPARK-51456 Adicionar a to_time função
SPARK-51773 Transforme formatos de arquivo em case classes para compará-los corretamente
Faísca-51777 Registrar classes sql.columnar.* para KryoSerializer
SPARK-51432 Lançar uma exceção apropriada quando os esquemas do Arrow são incompatíveis
SPARK-51395 Refinar o tratamento de valores padrão em procedimentos
SPARK-50582 Adicionar função integrada de quote
SPARK-51684 Corrigir falha de teste no test_pandas_transform_with_state
SPARK-51213 Manter as informações da classe Expression ao resolver os parâmetros de sugestão
SPARK-51651 Associe o ID de execução raiz com a execução atual, caso exista
SPARK-50947 Atribuir a classe de erro apropriada e SparkException para artefactos duplicados
SPARK-51574 Serialização de filtros para pushdown de filtros da fonte de dados em Python
SPARK-51608 Exceção do registo no encerramento do executor Python
SPARK-51266 Remover a definição não utilizada de private[spark] object TaskDetailsClassNames
SPARK-51011 Adicionar registo de logs para saber se uma tarefa será interrompida quando terminada
SPARK-49646 Adicionar configuração do Spark para corrigir a descorrelação da subconsulta
SPARK-51107 Refatore CommandBuilderUtils#join para reutilizar linhas e reduzir a redundância
SPARK-51758 Corrigir o caso de teste relacionado ao lote extra que causa um dataframe vazio devido ao watermark
SPARK-51664 Suporte para o tipo de dados TIME na expressão Hash
SPARK-51819 Atualizar o módulo de teste pyspark-errors para incluir testes ausentes
SPARK-50751 Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1305
SPARK-50973 Limpeza do uso preterido da API relacionado a avro.Schema#toString(boolean)
SPARK-50908 Desativar teste TTL inconsistente em test_pandas_transform_with_state.py
FAÍSCA-50811 Habilitar suporte para perfilador JVM no driver
SPARK-50808 Corrigir problema no writeAll com tipos mistos que não são escritos corretamente
SPARK-51780 Implementar procedimento de descrição
SPARK-50370 Suporte para geração de código para json_tuple
SPARK-50756 Use a classe de erro para as exceções em SparkConf.validateSettings
SPARK-50805 Mover método nameForAppAndAttempt para o.a.s.u.Utils
SPARK-51812 Remover parâmetros redundantes de alguns métodos em QueryExecution
SPARK-50819 Refatorar módulo de perfil Spark
SPARK-51547 Atribua nome à condição de erro: _LEGACY_ERROR_TEMP_2130
SPARK-48538 Evite o vazamento de memória HMS causado pelo bonecp
SPARK-51176 Garantir consistência em caso de erros inesperados PySpark Connect <> Classic
SPARK-50773 Desativar o log estruturado por defeito
SPARK-50616 Adicionar opção de extensão de ficheiro ao Writer de DataSource CSV
SPARK-50624 Adicionar TimestampNTZType a ColumnarRow/MutableColumnarRow
SPARK-51590 Desativar TIME em fontes de dados integradas baseadas em ficheiros
SPARK-49886 Teste de falha a nível de consulta para o formato RocksDB V2
SPARK-50823 Atualização do cloudpickle de 3.1.0 para 3.1.1
SPARK-50780 Utilizar overrideStdFeatures em vez de setFeatureMask em JacksonParser
SPARK-50621 Atualizar o Cloudpickle para 3.1.0
SPARK-50719 Suporte interruptOperation para PySpark
SPARK-50545AccessControlException deve ser lançado mesmo se ignoreCorruptFiles estiver ativado
SPARK-51517 Suporte para o tipo de dados TIME nos resultados do Hive
Spark-47856 Mapeamento dos tipos de dados Spark SQL da Oracle e adição de testes
FAÍSCA-46066 Use a API de separadores em vez da API de cadeia de caracteres para construir a DefaultPrettyPrinter
SPARK-50718 Suporte addArtifact(s) para PySpark
SPARK-51497 Adicionar o formatador de tempo padrão
SPARK-51488 Suporte para a palavra-chave TIME como um tipo de dados
SPARK-51273 O Procedimento de Chamada do Spark Connect executa o procedimento duas vezes
SPARK-51092 Saltar os testes FlatMapGroupsWithState v1 com timeout em plataformas big endian
SPARK-50606 Corrigir NPE em SessionHolder não iniciado
SPARK-49530 Suporte para subgráficos circulares na plotagem pyspark
SPARK-50357 Suporte de interrupção (Tag|All) APIs do PySpark
SPARK-51290 Habilitar o preenchimento de valores padrão em escritas DSv2
SPARK-50485 Desembrulhar SparkThrowable em (Unchecked)ExecutionException lançado por tableRelationCache
SPARK-51513 A regra "Fix RewriteMergeIntoTable" produz um plano não resolvido
SPARK-51482 Suporte à conversão de string para tipo de dado horário
SPARK-51462 Suporte os literais tipificados do tipo de dados TIME
SPARK-51454 Suporte para conversão de 'time' para 'string'
SPARK-51447 Adicionar stringToTime e stringToTimeAnsi
SPARK-51775 Normalize LogicalRelation e HiveTableRelation usando NormalizePlan
FAÍSCA-51791ImputerModel armazena coeficientes com matrizes em vez de dataframe
SPARK-51442 Adicionar formatadores de tempo
SPARK-51384 Suportar java.time.LocalTime como tipo externo de TimeType
SPARK-51747 O plano da fonte de dados armazenado em cache deve respeitar as opções
SPARK-51774 Adicionar código de estado GRPC à exceção GRPC do Python Connect
SPARK-51660 Lide de forma elegante quando não há suporte para MDC
SPARK-51296 Suporte à coleta de dados corrompidos no modo colunaDeVarianteÚnica.
SPARK-45907 Utilizar as APIs de ProcessHandle do Java9+ para calcular a árvore de processos no ProcfsMetricsGetter
SPARK-51342 Adicionar TimeType
SPARK-51769 Adicionar maxRecordsPerOutputBatch para limitar o número de registos do lote de saída de Arrow
SPARK-51350 Implementar Mostrar Procedimentos
SPARK-51711 Política de evicção de MLCache baseada em memória
SPARK-51178 Lançar erro PySpark adequado em vez de SparkConnectGrpcException
SPARK-51738 Subconsulta IN com tipo de estrutura
SPARK-51714 Adicionar teste de ingestão de falhas para testar o formato do ponto de verificação do armazenamento de estado V2
SPARK-51704 Elimine a operação de coleção desnecessária
SPARK-51512 Excluir MapStatus nulo ao limpar dados de embaralhamento com o ExternalShuffleService
SPARK-49308 Suporte UserDefinedAggregateFunction no Spark Connect Scala Client
FAÍSCA-50091 Lidar com o caso de agregações no operando esquerdo da subconsulta IN
SPARK-50265 Suporte para spark.udf.registerJavaUdf no Connect
SPARK-49273 Suporte de origem para o cliente Spark Connect Scala
SPARK-51187 Implementar a descontinuação suave da configuração incorreta introduzida no SPARK-49699
SPARK-51650 Suporte para excluir objetos ml em cache em lote
SPARK-51619 Suporte a entrada / saída UDT em UDF Python otimizado para Arrow
Faísca-51333 Desembrulhar InvocationTargetException jogado MLUtils.loadOperator
SPARK-51566 Melhoria do traceback de Python UDF
SPARK-51393 Reversão para UDF Python regular quando o Arrow não é encontrado, mas os UDFs Python otimizados para Arrow estão ativados
SPARK-49960 Suporte a ExpressionEncoder personalizado e correções TransformingEncoder
SPARK-51380 Adicione visitSQLFunction e visitAggregateFunction para melhorar a flexibilidade do V2ExpressionSQLBuilder
SPARK-51600 Preceder classes de sql/hive e sql/hive-thriftserver quando isTesting || isTestingSql é verdadeiro
SPARK-51070 Use scala.collection.Set em vez de Set em ValidateExternalType
SPARK-50759 Descontinuar algumas APIs de catálogo herdadas
SPARK-50994 Execute a conversão de RDD sob execução controlada
SPARK-51466 Eliminar a inicialização das UDFs internas do Hive na avaliação das UDFs do Hive
SPARK-51491 Simplificar o boxplot com APIs de subquery
SPARK-51175 Fazendo mostrar tempo decorrido ao remover drivers
SPARK-50334 Extrair a lógica comum de leitura do descritor do arquivo PB
FAÍSCA-50483 BlockMissingException deve ser lançado mesmo se ignoreCorruptFiles estiver habilitado
SPARK-50286 Propagar corretamente as opções SQL para o WriteBuilder
SPARK-51023 Registar endereço remoto na excepção de RPC
SPARK-47611 Eliminar código morto em MySQLDialect.getCatalystType
SPARK-49229 Remover duplicação na manipulação de UDFs em Scala no SparkConnectPlanner
SPARK-50557 Suporte para RuntimeConfig.contains(..) na interface SQL do Scala
SPARK-51471 RatePerMicroBatchStream - classificar o erro de ASSERT quando o offset/timestamp em startOffset for maior que o endOffset
SPARK-50473 Simplifique o manuseamento clássico de colunas
SPARK-49286 Mover funções Avro/Protobuf para sql/api
SPARK-49087 Distinguir UnresolvedFunction ao chamar funções internas
SPARK-50422 Tornar Parameterized SQL queries a SparkSession.sql API em Disponibilidade Geral
SPARK-49249 PR complementar para "Adicionar a nova configuração padrão do gerenciador de artefatos no PySpark à lista de permissões"
SPARK-50366 Isolar tags definidas pelo usuário ao nível de thread no SparkSession no Classic
SPARK-49436 Interface comum para SQLContext
SPARK-51551 Para ajustar o algoritmo, permitir o uso de guardar / carregar para substituir o cache
SPARK-51599 Otimizar ps.read_excel para arquivo Excel grande
SPARK-51118 Corrigir ExtractPythonUDFs para verificar os tipos de entrada das UDF encadeadas em caso de fallback
SPARK-50395 Corrigir a sintaxe malformada de URI no Windows
SPARK-50708 Excluir recursos de artefato no GC da ArtifactManager instância
SPARK-51076 Arrow Python UDF fallback para tipos de entrada e saída UDT
SPARK-50243 Carregador de classes armazenadas em cache para ArtifactManager
SPARK-49249 Isolamento de artefatos no Spark Classic
SPARK-50821 Atualize o Py4J de 0.10.9.8 para 0.10.9.9
SPARK-51591 Corrigir falha de ThreadPoolExecutor no teste diário do Python 3.13
SPARK-40353 Corrigir incompatibilidade de índice nulo em
SPARK-42746 Implementar a função LISTAGG
SPARK-50102 Adicionar shims necessários para os métodos SQL públicos em falta.
SPARK-50513 Separar EncoderImplicits de SQLImplicits e fornecer um objeto auxiliar dentro do StatefulProcessor
SPARK-51567 Corrigir DistributedLDAModel.vocabSize
SPARK-49569 Adicione adaptadores para suportar SparkContext e RDD
SPARK-51473 O dataframe transformado em Aprendizagem Automática mantém uma referência ao modelo
SPARK-51340 Estimativa do tamanho do modelo
SPARK-51474 Não insira ColumnarToRowExec redundante para nós que suportam saída colunar e de linha
SPARK-51445 Alterar o valor nunca modificado de var para val
SPARK-50618 Faça com que o DataFrameReader e o DataStreamReader utilizem mais eficientemente o analisador.
SPARK-51097 Reintroduzir as métricas das instâncias da versão mais recente do snapshot carregada do estado armazenado do RocksDB
SPARK-49418 Threads Locais de Sessão Compartilhada
SPARK-50096 Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
SPARK-50264 Adicionar métodos ausentes ao DataStreamWriter
SPARK-49434 Mover agregadores para SQL/API
SPARK-51451 Corrija ExtractGenerator para aguardar que UnresolvedStarWithColumns seja resolvido
SPARK-49416 Adicionar interface Shared DataStreamReader
SPARK-49429 Adicionar a interface Shared DataStreamWriter
SPARK-49282 Crie uma interface partilhada do SparkSessionBuilder.
SPARK-49415 Mover SQLImplicits para sql/api
SPARK-51443 Corrigir singleVariantColumn no DSv2 e readStream.
SPARK-49369 Adicionar conversões implícitas de coluna
SPARK-49417 Adicionar interface StreamingQueryManager partilhada
SPARK-51079 Suporte a grandes tipos de variáveis em pandas UDF, createDataFrame e toPandas com Arrow
SPARK-51277 Implementar implementação sem argumentos em UDF de Python otimizado para Arrow
SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas
SPARK-49479 Cancelar o segmento não-daemon do temporizador ao parar o BarrierCoordinator
SPARK-51379 Mover a agregação final do treeAggregate do driver para o executor
SPARK-49712 Remover encoderFor de connect-client-jvm
SPARK-49424 Consolidar Encoders.scala
SPARK-49574 Desativar testes de partilha delta interrompidos para a ramificação principal
SPARK-51409 Adicionar classificação de erro no processo de criação do gerador de registo de alterações
SPARK-49568 Remover auto-tipo do Conjunto de Dados
SPARK-51433 Alterar o script de lançamento para lançar o pyspark-client
SPARK-51422 Eliminação da troca de dados JVM-Python no CrossValidator
SPARK-51425 Adicionar API de cliente para definir personalizado operation_id
FAÍSCA-49284 Criar uma interface de catálogo compartilhada
SPARK-50855 Suporte do Spark Connect para TransformWithState em Scala
SPARK-50694 Suporte para renomeações em subconsultas
SPARK-50880 Adicionar o novo método visitBinaryComparison ao V2ExpressionSQLBuilder
SPARK-51282 Otimize a transformação OneVsRestModel eliminando a troca de dados JVM-Python
SPARK-51079 Suporte a grandes tipos de variáveis em pandas UDF, createDataFrame e toPandas com Arrow
SPARK-51383 Evite fazer chamadas RPC se os clientes já são conhecidos por estarem parados
SPARK-51227 Corrigir PySpark Connect _minimum_grpc_version para 1.67.0
SPARK-51362 Alterar toJSON para usar a API NextIterator para eliminar a dependência de registo adjacente
SPARK-51375 Suprimir SparkConnect(Execution|Session)Manager.periodicMaintenance mensagens de log
SPARK-50393 Introduza o TableArg comum para o Spark Classic e o Spark Connect
SPARK-50133 Suporte à conversão de DataFrame para argumento de tabela no Spark Connect Python Client
SPARK-49574 ExpressionEncoder monitoriza o AgnosticEncoder que o criou
SPARK-49422 Adicionar groupByKey à SQL/API
SPARK-51381 mostrar Session ID na Spark Connect Session página
SPARK-51316 Permitir lotes em Arrow em bytes em vez de número de linhas
SPARK-50134 Suporte DataFrame API para subconsultas SCALAR e EXISTS no Spark Connect
SPARK-50392 Conversão de DataFrame para argumento de tabela no Spark Classic
SPARK-50553 Lançar exceção InvalidPlanInput para mensagem de plano inválido
SPARK-51322 Melhor mensagem de erro para expressão de subconsulta em streaming
SPARK-51281 DataFrameWriterV2 deve respeitar a opção 'path'
SPARK-50856 Suporte do Spark Connect para TransformWithStateInPandas em Python
SPARK-51333 Desempacotar InvocationTargetException lançado por invokeMethod
SPARK-50134 Suporte para a API DataFrame para Lateral Join no Spark Connect
SPARK-51083 Modificar JavaUtils para não engolir InterruptedExceptions
SPARK-49413 Criar uma interface RuntimeConfig partilhada (seguimento)
SPARK-49413 Criar uma interface RuntimeConfig partilhada
SPARK-50993 Mover nullDataSourceOption de QueryCompilationErrors para QueryExecutionErrors
SPARK-51329 Adicionar numFeatures para modelos de clustering
SPARK-51305 Melhorar SparkConnectPlanExecution.createObservedMetricsResponse
SPARK-51097 Adicionando métricas de instância de armazenamento para a última versão do snapshot carregada no RocksDB
SPARK-49425 Criar um DataFrameWriter partilhado
FAÍSCA-50655 Mover o mapeamento relacionado à família de coluna virtual para a camada do banco de dados ao invés do codificador
SPARK-48530 Suporte para variáveis locais em SQL Scripting
SPARK-51284 Corrigir a execução de SQL Script para resultado vazio
SPARK-49085 Remover tratamento especial para funções Protobuf no Connect
SPARK-50881 Use o esquema armazenado em cache sempre que possível em connect dataframe.py
SPARK-51275 Propagação de sessão em leitura e escrita no Python
SPARK-51109 CTE na expressão de subconsulta como coluna de agrupamento
SPARK-50598 Adicionar parâmetros para habilitar a implementação futura de CTEs recursivos
SPARK-51202 Passe a sessão nos escritores de python de algoritmo meta
SPARK-51215 Adicionar uma função auxiliar para invocar o atributo do modelo auxiliar
SPARK-51214 Não remova precipitadamente os modelos armazenados em cache para fit_transform
SPARK-51237 Adicionar detalhes da API para novas APIs auxiliares transformWithState
SPARK-51192 Expor processWithoutResponseObserverForTesting em SparkConnectPlanner
SPARK-51217 Revisão do construtor auxiliar do modelo ML
SPARK-51218 Evitar map/flatMap em NondeterministicExpressionCollection
SPARK-50953 Adicionar suporte para percursos não literais em VariantGet
SPARK-50132 Adicionar API DataFrame para Lateral Joins
SPARK-51190 Corrigir TreeEnsembleModel.treeWeights
SPARK-50945 Suporte para Summarizer e SummaryBuilder no Connect
SPARK-51142 Limpeza de protobufs ML
SPARK-51139 Refinar classe de erro MLAttributeNotAllowedException
SPARK-51080 Corrigir a função de guardar/carregar para PowerIterationClustering
SPARK-51100 Substituir encapsulamentos de transformador por relações de atributos de modelo auxiliar
SPARK-51091 Corrigir os parâmetros padrão de StopWordsRemover
SPARK-51089 Suporte VectorIndexerModel.categoryMaps ao conectar
SPARK-50954 Suporte para sobrescrever o caminho do modelo no lado do cliente para meta-algoritmos
SPARK-50975 Suporte ao conectar
SPARK-50958 Suporte Word2VecModel.findSynonymsArray em ligação
SPARK-50930 Suporte PowerIterationClustering no Connect
SPARK-51157 Adicionar anotação em falta de Scala @varargs para APIs de funções Scala
Faísca-51155 Fazer com que SparkContext mostre o tempo de execução total depois de parar
SPARK-51143 Pino plotly<6.0.0 e torch<2.6.0
SPARK-50949 Introduzir um modelo auxiliar para dar suporte StringIndexModel.from_labels_xxx
SPARK-51131 Lançar exceção quando o Script SQL for encontrado dentro num comando
SPARK-51078 Corrigir a chamada py4j em StopWordsRemover
SPARK-50944 Suporte KolmogorovSmirnovTest no Connect
SPARK-50602 Corrigir a transposição para exibir uma mensagem de erro apropriada quando colunas de índice inválidas são especificadas
SPARK-50943 Suporte Correlation no Connect
SPARK-50234 Melhorar a mensagem de erro e testar a funcionalidade de transposição da API DataFrame
SPARK-50942 suporte ChiSquareTest no Connect
SPARK-48353 Introdução do mecanismo de Tratamento de Exceções no Scripting SQL
FAÍSCA-51043 Registro de usuário refinado para o Spark Connect foreachBatch
FAÍSCA-50799 Refine o docstring de rlike, length, octet_length, bit_length e transforme
SPARK-51015 Suporte RFormulaModel.toString em Connect
SPARK-50843 Suportar o retorno de um novo modelo a partir de um modelo existente
SPARK-50969 Corrigir GaussianMixtureModel.gaussians ao conectar
SPARK-50899 Suporte a PrefixSpan na ligação
SPARK-51060 Suporte QuantileDiscretizer no Connect
SPARK-50974 Adicionar suporte para foldCol no CrossValidator no connect
SPARK-50922 Suporte para OneVsRest no Connect
SPARK-50812 Adicionar suporte para PolynomialExpansion
SPARK-50923 Suportar o FMClassifier e o FMRegressor no Connect
SPARK-50918 Refatorar leitura/escrita para a Pipeline
SPARK-50938 Suporte de VectorSizeHint e VectorSlicer no Connect
SPARK-51005 Suporte para o VectorIndexer e o ElementwiseProduct no ambiente Connect
SPARK-51014 Suporte RFormula na ligação
SPARK-50941 Adicionar suporte para TrainValidationSplit
SPARK-51004 Adicionar suporte para IndexString
SPARK-51003 Apoia modelos LSH no Connect
SPARK-50924 Suporte para AFTSurvivalRegression e IsotonicRegression no Connect
FAÍSCA-50921 Suporte para MultilayerPerceptronClassifier no Connect
SPARK-50995 Suporte clusterCenters para KMeans e BisectingKMeans
SPARK-50940 Adiciona suporte para CrossValidator/CrossValidatorModel na conexão
SPARK-50929 Suporte LDA no Connect
SPARK-50925 Suporte a GeneralizedLinearRegression no Connect
SPARK-50988 Corrigir inconsistências de uid para estimador e modelo
SPARK-50989 Suporte a NGram, Normalizador e Interação em conexão
SPARK-50937 Suporte Imputer no Connect
SPARK-51049 Aumentar o limite de E/S do vetor S3A para fusão de intervalos
SPARK-50812 Suporte TargetEncoderModel on Connect
SPARK-50920 Suporte NaiveBayes no Connect
SPARK-50936 Suporte para HashingTF, IDF e FeatureHasher no connect
SPARK-50934 Suporte para CountVectorizer e OneHotEncoder no Connect
SPARK-49287 Mover classes de streaming para sql/api
SPARK-50932 Suporte Bucketizer no Connect
SPARK-50933 Suporte a seletores de funcionalidades no Connect
FAÍSCA-50931 Suporte Binarizer na conexão
SPARK-50935 Suporte DCT em ligação
SPARK-50963 Suportar Tokenizers, SQLTransform e StopWordsRemover no Connect
FAÍSCA-50928 Suporte "GaussianMixture" em Connect
Spark-49383 Dar suporte à API de transposição de DataFrame
SPARK-50939 Suporte para Word2Vec no Connect
SPARK-49249 Adicionar novas APIs relacionadas com tags no Connect de volta ao Spark Core
SPARK-50919 Suporte LinearSVC em conectar
SPARK-50883 Suporte para alteração de várias colunas no mesmo comando
SPARK-50918 Suportar o Pipeline na conectividade
FAÍSCA-50826 Refatorar a forma de tratar ALLOWED_ATTRIBUTES
SPARK-49427 Criar uma interface partilhada para MergeIntoWriter
SPARK-49414 Adicionar interface DataFrameReader partilhada
FAÍSCA-50948 Adicionar suporte para StringIndexer/PCA on Connect
SPARK-50901 Suporte para Transformador VectorAssembler
SPARK-50879 Suporte a escaladores de características no Connect
SPARK-50130 Adicionar APIs DataFrame para subconsultas escalares e existenciais
SPARK-50075 Adicionar APIs DataFrame para funções que retornam tabelas
SPARK-49426 Criar uma interface partilhada para DataFrameWriterV2
SPARK-50898 Suporte FPGrowth na ligação
SPARK-50844 Fazer com que o modelo seja carregado pelo ServiceLoader durante o carregamento.
SPARK-50884 Suporte para isLargerBetter no avaliador
SPARK-50959 Engolir a exceção do JavaWrapper
SPARK-50558 Introduzir simpleString para ExpressionSet
SPARK-49422 Criar uma interface partilhada para KeyValueGroupedDataset
FAÍSCA-50878 Suporte para ALS no Connect
SPARK-50897 Evitar criação de instâncias em ServiceLoader
SPARK-50877 Suporte a KMeans e BisectingKMeans no Connect
SPARK-50876 Suporte a Regressões em Árvore no Connect
FAÍSCA-50874 Suporte LinearRegression em conexão
SPARK-50869 Suporte aos avaliadores no ML Connect
SPARK-50851 Parâmetros de ML expressos com proto.Expression.Literal
SPARK-50825 Suporte para Classificadores de Árvore no ML Connect
SPARK-50827 Plugin de suporte
SPARK-49907 Suporte spark.ml no Connect
SPARK-50968 Corrigir o uso de Column.__new__
SPARK-49028 Criar uma SparkSession partilhada
FAÍSCA-49421 Criar uma interface partilhada do RelationalGroupedDataset
SPARK-50804 to_protobuf() não deve lançar MatchError
SPARK-50900 Adicionar VectorUDT e MatrixUDT a ProtoDataTypes
SPARK-50579 Corrigir truncatedString
SPARK-50875 Adicionar colações RTRIM ao TVF
SPARK-49420 Adicionar interface partilhada para DataFrameNaFunctions
SPARK-50669 Alterar a assinatura da expressão TimestampAdd
SPARK-46615 Compatibilidade s.c.immutable.ArraySeq em ArrowDeserializers
SPARK-49423 Consolidar a monitorização em sql/api
SPARK-49086 Mover o registo da função ML para SparkSessionExtensions
SPARK-49419 Criar DataFrameStatFunctions partilhadas
SPARK-50735 Falha em ExecuteResponseObserver resulta em inesgotáveis tentativas de reanexação
SPARK-50522 Suporte para ordenamento indeterminado
SPARK-50893 Assinale UDT.DataType opcional
SPARK-50685 Melhore o desempenho do Py4J usando getattr
SPARK-50742 Remover configuração spark.hadoop.fs.s3a.connection.establish.timeout
FAÍSCA-50714 Habilitar a evolução do esquema para TransformWithState quando a codificação Avro é usada
SPARK-49029 Criar interface de Dataset compartilhada
SPARK-50263 Substitua System.currentTimeMillis por System.nanoTime
SPARK-50525 Definir a regra de otimização InsertMapSortInRepartitionExpressions
SPARK-50561 Melhorar a coerção de tipo e a verificação de limites para a função SQL UNIFORM
SPARK-50707 Ativar conversão de/para char/varchar
SPARK-49027 API de Coluna de Partilha entre Classe e Connect
SPARK-49632 Remova a sugestão de configuração ANSI em CANNOT_PARSE_TIMESTAMP
SPARK-50529 Alterar o comportamento char/varchar na configuração
SPARK-50600 Conjunto analisado em caso de falha de análise
SPARK-50789 As entradas para agregações tipadas devem ser analisadas
SPARK-49025 Tornar a implementação de Column agnóstica
SPARK-50738 Atualização do black para 23.12.1
SPARK-49883 Integração da State Store Checkpoint Structure V2 com o RocksDB
SPARK-50778 Adicionar metadataColumn ao PySpark DataFrame
SPARK-49565 Melhorar os alias de expressões gerados automaticamente com operadores SQL de pipe
SPARK-50772 Manter aliases de tabela após SET EXTEND, DROP operadores
SPARK-50690 Corrigir discrepância na formatação de aspas da saída da consulta de exibição
SPARK-50675 Suporte para agrupamentos de nível de tabela e vista
SPARK-50480 Estender CharType e VarcharType de StringType
SPARK-50715SparkSession.Builder define as configurações em lote
SPARK-50693 As entradas para TypedScalaUdf devem ser analisadas
SPARK-50710 Adicionar suporte para reconexão opcional de cliente a sessões após a liberação
SPARK-50596 Atualize o Py4J de 0.10.9.7 para 0.10.9.8
SPARK-50661 Adicionar retrocompatibilidade para antigas versões do cliente FEB.
SPARK-50515 Adicionar interface somente leitura a SparkConf
SPARK-50642 Corrigir o esquema de estado para FlatMapGroupsWithState no spark connect quando não houver estado inicial.
SPARK-50702 Refine o docstring de regexp_count, regexp_extract e regexp_extract_all
SPARK-50692 Adicionar suporte ao empurramento do RPAD
SPARK-50699 Analisar e gerar string DDL com uma sessão especificada
SPARK-50573 Adição de ID de Esquema de Estado às Linhas de Estado para evolução do esquema
SPARK-50311 Suporte a APIs (add|remove|get|clear)Tag(s) para PySpark
SPARK-50661 Corrigir Spark Connect Scala foreachBatch implementação. para dar suporte ao Dataset[T].
SPARK-50696 Otimizar a chamada Py4J para o método de análise DDL
SPARK-50687 Otimize a lógica para obter rastreamentos de pilha para DataFrameQueryContext
SPARK-50681 Armazenar em cache o esquema analisado para MapInXXX e ApplyInXXX
SPARK-50578 Adicionar suporte para a nova versão dos metadados de estado para TransformWithStateInPandas
SPARK-50405 Manipular corretamente a coerção do tipo de ordenação de tipos de dados complexos
SPARK-50615 Integre a variante na análise.
SPARK-50599 Criar o traço DataEncoder que permite a codificação em Avro e UnsafeRow
Spark-50076 Corrigir chaves de registo
SPARK-50339 Habilitar o registro de alterações para armazenar informações de rastreabilidade
SPARK-50540 Corrigir o esquema de strings para StatefulProcessorHandle
SPARK-50544 Implementar StructType.toDDL
SPARK-50528 Mover InvalidCommandInput para o módulo comum
SPARK-50063 Adicionar suporte para Variant no cliente Scala do Spark Connect
SPARK-50310 Adicionar um sinalizador para desativar DataFrameQueryContext para PySpark
SPARK-50310 Adicionar um sinalizador para desativar DataFrameQueryContext para PySpark
SPARK-50032 Permitir o uso de nome de collation totalmente qualificado
SPARK-50466 Refinar o docstring para funções de string - parte 1
SPARK-49676 Adicionar suporte para encadeamento de operadores na API transformWithStateInPandas
SPARK-50081 Suporte Codegen para XPath*(por Invoke & RuntimeReplaceable)
SPARK-46725 Adicionar função DAYNAME
SPARK-50067 Suporte de Geração de Código para SchemaOfCsv (por Invoke & RuntimeReplaceable)
SPARK-49873 corrigir falha pós-mesclagem no teste de erros
SPARK-50270 Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
SPARK-50381 Suporte spark.master.rest.maxThreads
SPARK-50427 Expor o configure_logging como uma API pública
SPARK-50173 Permitir que as expressões pandas aceitem mais tipos de dados
SPARK-50169 Melhorar o desempenho de RegExpReplace
< c0>SPARK-50238 Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs em UC Python
SPARK-50190 Remover a dependência direta do Numpy do Histograma
SPARK-50183 Unificar as funções internas para a API do Pandas e para a Plotagem no PySpark.
SPARK-50170 Mover _invoke_internal_function_over_columns para pyspark.sql.utils
SPARK-50036 Incluir SPARK_LOG_SCHEMA no contexto da shell REPL
SPARK-50141 Fazer com que lpad e rpad aceitem argumentos do tipo Coluna
SPARK-49954 Suporte Codegen para SchemaOfJson (por Invoke & RuntimeReplaceable)
SPARK-50098 Atualize a versão mínima do googleapis-common-protos para 1.65.0
SPARK-50059 Verificação de compatibilidade da API para I/O de Structured Streaming
SPARK-50241 Substitua o mixin NullIntolerant pelo método Expression.nullIntolerant
SPARK-49849 Verificação de compatibilidade de API para gestão de consultas de streaming estruturado
SPARK-49851 Verificação de compatibilidade de API para Protobuf
SPARK-49850 Verificação de compatibilidade de API para Avro
SPARK-50039 Verificação de compatibilidade de API para Agrupamento
SPARK-50023 Verificação de compatibilidade de API para funções de programação
SPARK-50030 Verificação de compatibilidade da API para a Janela
SPARK-50002 Verificação de compatibilidade de API para E/S
SPARK-49848 Verificação de compatibilidade de API para Catálogo
SPARK-50022 Atualização para ocultar links da UI do aplicativo quando a UI está desativada
SPARK-50021 Correção ApplicationPage para ocultar links da IU do aplicativo quando desativada
SPARK-49990 Melhorar o desempenho de randStr
SPARK-50380 ReorderAssociativeOperator deve respeitar o contrato em ConstantFolding
SPARK-50330 Adicionar dicas aos nós Sort e Window
SPARK-49609 Adicionar verificação de compatibilidade de API entre Classic e Connect
FAÍSCA-49773 Exceção Java não detetada com make_timestamp() fuso horário incorreto
SPARK-49345 Certifique-se de usar a Sessão do Spark atual em execução
SPARK-49368 Evite aceder às classes protobuf lite diretamente
SPARK-50056 Suporte a Codegen para ParseUrl (por Invoke & RuntimeReplaceable)
SPARK-49119 Corrigir a inconsistência da sintaxe show columns entre v1 e v2
SPARK-50144 Aborde a limitação do cálculo de métricas com fontes de streaming DSv1
SPARK-49962 Simplifique a hierarquia de classes AbstractStringTypes
SPARK-50327 Extrair resolução de função para reutilização no Analisador de Passagem Única
SPARK-48775 Substituir SQLContext por SparkSession no STS
SPARK-50325 Fatorar a resolução de alias para ser reutilizada no Analisador de Passagem Única
SPARK-48123 Fornecer um esquema de tabela consistente para consultar logs estruturados
SPARK-50055 Adicionar alternativa TryMakeInterval
SPARK-49312 Melhorar a mensagem de erro para assertSchemaEqual
SPARK-38912 Remover o comentário relacionado ao classmethod e à property
SPARK-50112 Permitindo que o operador TransformWithState use a codificação Avro
SPARK-50260 Refatore e otimize a execução e o gerenciamento de sessão do Spark Connect
SPARK-50196 Corrigir o contexto de erro no Python para usar um contexto adequado
SPARK-50167 Melhorar as mensagens de erro e importações de plotagem no PySpark
SPARK-50085 Fazer lit(ndarray) com np.int8 respeitar o tipo de dados do numpy
SPARK-50273 Melhore o registo para casos de aquisição/libertação de bloqueio RocksDB
SPARK-50163 Corrigir a liberação extra de acquireLock do RocksDB devido ao completion listener
SPARK-49770 Melhorar a gestão do mapeamento de arquivos SST do RocksDB e corrigir o problema de recarregar a mesma versão utilizando o snapshot existente.
SPARK-50232 adicionar 'protobuf==5.28.3' em dev/requirements.txt
SPARK-50231 Fazer com que a função instr aceite coluna substring
SPARK-50028 Substituir bloqueios globais no ouvinte do servidor Spark Connect por bloqueios de grão fino
FAÍSCA-50077 Introduza um novo objeto pattern para LogicalRelation para ajudar a evitar o padrão padrão de parâmetros completos
SPARK-50128 Adicionar APIs de manipuladores de processador com estado usando codificadores implícitos no Scala
SPARK-49411 Comunicar o ID do Checkpoint do State Store entre o driver e os operadores com estado
SPARK-50054 Suporte a gráficos de histograma
SPARK-49854 Não copie bibliotecas de cluster ao clonar o Gestor de Artefactos
SPARK-50071 Adicionar try_make_timestamp(_ltz e _ntz) e os testes relacionados
SPARK-50024 Mudar para usar "logger" em vez do módulo de avisos no cliente
SPARK-50174 Fatorar a UnresolvedCatalogRelation resolução
SPARK-49734 Adicionar seed argumento para a função shuffle
SPARK-49943 Remover timestamp_ntz_to_long de PythonSQLUtils
SPARK-49945 Adicionar alias para distributed_id
SPARK-49755 Remover o invólucro especial para funções Avro no Connect
SPARK-49805 Remova as funções private[xxx] de function.scala
FAÍSCA-49929 Gráficos de caixa de suporte
SPARK-49767 Refatorar a invocação da função interna
SPARK-49939 Suporte Codegen para json_object_keys (por Invoke & RuntimeReplaceable)
FAÍSCA-49854 Clonar gestor de artefactos durante a clonagem da sessão
SPARK-49766 Suporte para Codegen (por & )
SPARK-49540 Unificar o uso de distributed_sequence_id
SPARK-50046 Utilize a ordem estável do nó EventTimeWatermark para calcular a marca d'água
SPARK-50031 Adicionar a TryParseUrl expressão
SPARK-49202 Aplicar ArrayBinarySearch no histograma
SPARK-49811 Renomear StringTypeAnyCollation
SPARK-50106 Atualizar protobuf o pacote Python para 5.28.3
SPARK-49203 Adicionar expressão para java.util.Arrays.binarySearch
SPARK-50090 Refatorar ResolveBinaryArithmetic para isolar a transformação de um único nó
SPARK-49103 Suporte spark.master.rest.filters
SPARK-49222 Eliminar métodos inúteis em QueryCompilationErrors
SPARK-50062 Suporte a agrupamentos por InSet
SPARK-50035 Adicionar suporte para a função explícita handleExpiredTimer do processador stateful
SPARK-50050 Capacitar para aceitar lit e str do tipo numpy ndarray
SPARK-50051 Garantir que o lit funcione com ndarray vazio do NumPy
SPARK-49857 Adicionar storageLevel à API localCheckpoint do Dataset.
SPARK-48749 Simplifique o UnaryPositive e elimine as suas regras do Catalyst com o RuntimeReplaceable
SPARK-50058 Extraia as funções de normalização do plano para usá-las posteriormente no teste do Analisador de passagem única.
SPARK-50042 Atualização para NumPy 2 para o linter de Python
Faísca-50052 Faça com que o NumpyArrayConverter suporte str ndarray vazio
SPARK-49126 Mover spark.history.ui.maxApplications a definição de configuração para History.scala
FAÍSCA-50044 Refinar o docstring de várias funções matemáticas
SPARK-48782 Adicionar suporte para a execução de procedimentos em catálogos
SPARK-48773 Documento de configuração "spark.default.parallelism" através do framework de construção de configuração
SPARK-49876 Eliminar os bloqueios globais do Spark Connect Service
SPARK-48480 StreamingQueryListener não deve ser afetado por spark.interrupt()
SPARK-49978 Mover o aviso de descontinuação do sparkR para o momento da anexação do pacote
SPARK-48549 Melhorar a função SQL sentences
SPARK-49956 Ordenações desativadas com a expressão collect_set
SPARK-49974 Mover resolveRelations(...) fora do Analyzer.scala
FAÍSCA-49067 Mover utf-8 literal para métodos internos da classe UrlCodec
SPARK-49393 Falha por defeito em APIs de plug-in de catálogo obsoletas
SPARK-49918 Usar acesso somente leitura para configurações em SparkContext quando apropriado
SPARK-49924 Manter containsNull após ArrayCompact substituição
SPARK-49895 Melhorar o erro ao encontrar vírgula final na SELECT cláusula
SPARK-49890 Extraia a preparação de df.sample para a classe pai
SPARK-49810 Extraia a preparação para a classe pai
SPARK-49405 Restringir charsets em JsonOptions
SPARK-49542 Erro de avaliação de exceção de transformação de partição
SPARK-47172 Adicionar suporte para AES-GCM para criptografia RPC
SPARK-44914 Corrigir HadoopConfUtilsSuite após a remoção do xercesImpl
SPARK-47496 Suporte Java SPI para registo dinâmico de dialetos JDBC
SPARK-48961 Harmonize a nomenclatura dos parâmetros do PySparkException com a JVM
SPARK-47390 Manipulação do mapeamento de carimbos de data/hora SQL para Postgres e MySQL
SPARK-49824 Melhorar o registo no SparkConnectStreamingQueryCache
SPARK-49894 Refinar a representação de string de operações de campo de coluna
SPARK-49836 Corrigir consulta possivelmente quebrada quando a janela é fornecida para a função window/session_window
SPARK-49531 Suporte a gráfico de linhas com backend Plotly
FAÍSCA-48780 Tornar o tratamento de erros em NamedParametersSupport genérico para lidar com funções e procedimentos
SPARK-49026 Adicionar a conversão de ColumnNode para Proto
SPARK-49814 Quando o Spark Connect Client for iniciado, mostre o spark version do connect server
SPARK-49246 TableCatalog#loadTable deve indicar se é para gravação
SPARK-49749 Alterar o nível de log para debug em BlockManagerInfo
SPARK-48303 Reorganizar LogKeys
SPARK-48112 Expor a sessão no SparkConnectPlanner aos plugins
SPARK-45919 Use Java 16 record para simplificar a definição de classes Java
SPARK-48126 Tornar spark.log.structuredLogging.enabled eficaz
SPARK-49656 Adicione suporte para variáveis de estado com tipos de coleção de estado de valor e opções para leitura de feeds de alteração
SPARK-49323 Mover o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do Server
SPARK-49772 Remover ColumnFamilyOptions e adicionar definições diretamente a dbOptions no RocksDB
SPARK-49688 Corrigir uma corrida de dados entre interrupção e execução do plano
SPARK-49585 Substitua o mapa de execuções em SessionHolder pelo conjunto operationID
SPARK-49684 Minimizar a duração do bloqueio para restauração da sessão
SPARK-48857 Restringir charsets em CSVOptions
SPARK-48615 Melhoria do desempenho para análise de cadeia hexadecimal
SPARK-49719 Fazer com que UUID e SHUFFLE aceitem números inteiros seed
SPARK-49713 Fazer com que a função count_min_sketch aceite números como argumentos
SPARK-48623 Migrações de log estruturado [Parte 3]
SPARK-48541 Adicionar um novo código de saída para processos mortos pelo TaskReaper
SPARK-48627 Melhoria do desempenho para conversão de cadeia binária para HEX_DISCRETE
SPARK-49226 Limpeza de geração de código UDF
SPARK-49673 Aumentar CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
SPARK-49307 Adicionar serialização Kryo à estrutura agnóstica de codificação
SPARK-48601 Forneça uma mensagem de erro mais amigável ao definir um valor nulo para a opção JDBC.
SPARK-42252 Adicionar spark.shuffle.localDisk.file.output.buffer e descontinuar spark.shuffle.unsafe.file.output.buffer
SPARK-49505 Crie novas funções SQL "randstr" e "uniform" para gerar cadeias aleatórias ou números em intervalos
SPARK-48341 Permitir que plug-ins usem QueryTest nos testes
SPARK-48374 Suporte a tipos adicionais de coluna da Tabela PyArrow
SPARK-49412 Calcule todas as métricas de box plot num único trabalho
SPARK-49684 Remover bloqueios globais dos gestores de sessão e execução
SPARK-49225 Adicionar ColumnNode sql & normalize
SPARK-49274 Suporte a codificadores baseados em serialização Java
SPARK-49089 Mover expressões Catalyst fixas para o registo de funções internas
SPARK-48185 Corrigir 'classe de referência simbólica não está acessível: classe sun.util.calendar.ZoneInfo'
SPARK-48037 Corrigir que o SortShuffleWriter não possui métricas relacionadas à escrita de shuffle, resultando em dados potencialmente imprecisos.
SPARK-49534 Não adicionar prefixo sql/hive e sql/hive-thriftserver quando spark-hive_xxx.jar não estiver no classpath
SPARK-49502 Prevenir NPE em SparkEnv.get.shuffleManager.unregisterShuffle
SPARK-49567 Use classic em vez de vanilla na base de código do PySpark
SPARK-49582 Melhorar o utilitário "dispatch_window_method" e docstring
SPARK-49478 Manipular métricas nulas em ConnectProgressExecutionListener
SPARK-49525 Pequena melhoria de registo para o ListenerBus do Listener de Consultas em Transmissão do Lado do Servidor
SPARK-49544 Substituir o bloqueio grosseiro em SparkConnectExecutionManager por ConcurrentMap
SPARK-49548 Substituir o bloqueio grosseiro no SparkConnectSessionManager pelo ConcurrentMap
FAÍSCA-49004 Usar registro separado para funções internas da API de coluna
FAÍSCA-49443 Implementar a expressão to_variant_object e fazer com que as expressões schema_of_variant imprimam OBJECT para Objetos do Tipo Variant
SPARK-49595 Correção DataFrame.unpivot/melt no cliente Spark Connect Scala
SPARK-49526 Suporte para caminhos ao estilo do Windows no ArtifactManager
SPARK-49396 Modificar a verificação de nulidade da expressão CaseWhen
SPARK-49024 Adicionar suporte para funções ao nó de coluna
SPARK-48985 Conectar construtores de expressão compatíveis
SPARK-49083 Permitir que from_xml e from_json trabalhem nativamente com esquemas JSON
SPARK-48986 Adicionar representação intermediária ColumnNode
SPARK-48960 Faz com que o spark-submit funcione com o Spark Connect
SPARK-49492 Tentativa de reanexar em ExecutionHolder inativo
FAÍSCA-47307 Adicionar configuração para segmentar opcionalmente strings base64
SPARK-49451 Permitir chaves duplicadas no parse_json
SPARK-49021 Adicione suporte para ler variáveis de estado de valor transformWithState com leitor de fonte de dados de estado.
SPARK-49249 Adicionar addArtifact API ao Spark SQL Core
SPARK-48693 Simplifique e unifique toString de Invoke e StaticInvoke
SPARK-41982 As partições do tipo string não devem ser tratadas como tipos numéricos
SPARK-49216 Correção para não gerar o contexto da mensagem com LogEntry explicitamente construído quando a configuração de Log Estruturado está desativada
SPARK-49459 Suporte CRC32C para Shuffle Checksum
SPARK-49409 Ajustar o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
SPARK-49164 Corrigir problema de NullSafeEqual no predicado da consulta SQL na relação JDBC
SPARK-48344 Execução de scripts SQL (incluindo Spark Connect)
SPARK-49260 Deixar de prefixar o caminho das classes do sql/core módulo no Spark Connect Shell
SPARK-49041 Gerar o erro apropriado para dropDuplicates quando um subset incorreto é fornecido
SPARK-49300 Corrigir fuga de token de delegação do Hadoop quando tokenRenewalInterval não está definido
SPARK-48796 Carregar o ID da Família de Colunas do RocksDBCheckpointMetadata para VCF ao reiniciar
SPARK-49269 Avaliar prontamente a lista VALUES() no AstBuilder
SPARK-49336 Limitar o nível de aninhamento ao truncar uma mensagem protobuf
SPARK-49245 Refatorar algumas regras do analisador
SPARK-48755 implementação base do pyspark para transformWithState e suporte a ValueState
SPARK-48762 Introdução da API clusterBy DataFrameWriter para Python
SPARK-48967 Melhorar o desempenho e a pegada de memória de "INSERT INTO ... VALUES" Instruções
SPARK-49195 Incorporar lógica de análise de nível de script em SparkSubmitCommandBuilder
SPARK-49173 Alterar o prompt do shell do Spark Connect de @ para scala>
Spark-49198 Podar mais ficheiros JAR necessários para o shell do Spark Connect
SPARK-48936 Faz com que o spark-shell funcione com o Spark connect
SPARK-49201 Reimplementar hist gráfico com o Spark SQL
SPARK-49111 Mover withProjectAndFilter para o objeto companheiro de DataSourceV2Strategy
SPARK-49185 Reimplementar kde plotagem com o Spark SQL
SPARK-48761 Introduzir a API "clusterBy" de DataFrameWriter para Scala
Faísca-48628 Adicionar métricas de memória de heap ativada/desativada de pico de tarefa
SPARK-48900 Adicionar o campo reason a todas as chamadas internas para cancelamento de job/etapa.
SPARK-49076 Corrigir o elemento desatualizado logical plan name nos comentários do AstBuilder
SPARK-49059 Mover SessionHolder.forTesting(...) para o pacote de teste
SPARK-48658 As funções de codificação/decodificação relatam erros de codificação em vez de mojibake
SPARK-45891 Adicionar suporte para tipos de intervalo na Spec de variante
SPARK-49032 Adicionar caminho de esquema na entrada da tabela de metadados e teste relacionado ao formato de metadados do operador v2
SPARK-49009 Fazer com que as APIs de Coluna e funções aceitem Enums
SPARK-49035 Elimine o TypeVar ColumnOrName_
SPARK-48849 Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
SPARK-48974 Utilizar SparkSession.implicits em vez de SQLContext.implicits
SPARK-48996 Permitir literais simples para __and__ e __or__ de coluna
SPARK-48928 Aviso de registro ao chamar .unpersist() em RDDs com checkpoint local
SPARK-48972 Unifique a manipulação de strings literais em funções
SPARK-48891 Refatore StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado
SPARK-48841 Incluir collationName a sql() de Collate
SPARK-48944 Unifique o tratamento do esquema no formato JSON no Connect Server
SPARK-48945 Simplifique as funções regex com lit
SPARK-48865 Adicionar função try_url_decode
SPARK-48851 Alterar o valor de SCHEMA_NOT_FOUND de namespace para catalog.namespace
SPARK-48510 Correção para a API UDAF toColumn durante a execução de testes no Maven
SPARK-45190 Fazer from_xml suportar o esquema StructType
SPARK-48900 Adicionar reason campo para cancelJobGroup e cancelJobsWithTag
SPARK-48909 Usar SparkSession em vez de SparkContext ao escrever metadados
SPARK-48510 Suporte para a API UDAF toColumn no Spark Connect
SPARK-45155 Adicionar documentação de API para o Cliente JVM/Scala do Spark Connect
SPARK-48794 suporte do df.mergeInto ao Spark Connect (Scala e Python)
SPARK-48714 Implementar DataFrame.mergeInto no PySpark
SPARK-48726 Criar o formato de ficheiro StateSchemaV3 para o operador TransformWithStateExec
SPARK-48834 Desativar a entrada/saída de variantes para UDFs, UDTFs, UDAFs em Python durante a compilação da consulta
SPARK-48716 Adicionar jobGroupId ao SparkListenerSQLExecutionStart
SPARK-48888 Remover a criação de instantâneos com base no tamanho das operações de changelog
Faísca-48772 Fonte de Dados de Estado Alterar Modo de Leitor de Feed
SPARK-48742 Coluna Virtual para RocksDB
SPARK-48852 Corrigir função de trim de cadeia de caracteres em connect
SPARK-48343 Introdução ao interpretador de scripting SQL
< c0>SPARK-48118 Suporte para variável de ambiente
SPARK-48804 Adicionar classIsLoadable e OutputCommitter.isAssignableFrom para verificação das configurações da classe de committer de saída
SPARK-47577 Corrigir o uso enganoso da chave de log TASK_ID
SPARK-48798 Introduzir spark.profile.render para o perfilamento baseado em SparkSession.
SPARK-48686 Melhorar o desempenho de ParserUtils.unescapeSQLString
SPARK-48611 Log TID para a divisão de entrada no HadoopRDD e NewHadoopRDD
SPARK-48720 Alinhar o comando ALTER TABLE ... UNSET TBLPROPERTIES ... nas versões v1 e v2
SPARK-48710 Usar tipos compatíveis com NumPy 2.0
SPARK-48810 A API Session stop() deve ser idempotente
SPARK-48818 Simplificar percentile funções
SPARK-48638 Adicionar o suporte 'ExecutionInfo' para DataFrame
SPARK-48799 Refatoração do versionamento para leitura/gravação de metadados do operador
FAÍSCA-46122 Definido spark.sql.legacy.createHiveTableByDefault como false por padrão
SPARK-48629 Migrar o código residual para a estrutura de logging estruturado
SPARK-48320 Sincronizar o mais recente traço de registo e os casos de teste mais recentes do OSS Spark
SPARK-48573 Atualizar versão do ICU
SPARK-48687 Adicionar validação de esquema de estado e atualização no driver na fase de planeamento para consultas estadoful
SPARK-47579 Migrar logInfo com variáveis para a estrutura de logging estruturado (PARTE 1–4)
SPARK-48713 Adicionar verificação de intervalo de índice para UnsafeRow.pointTo quando baseObject é um array de bytes
FAÍSCA-48498 Sempre efetue o preenchimento de caracteres em predicados
SPARK-48598 Propagar esquema em cache em operações de dataframe
SPARK-47599 MLLib: Migrar logWarn com variáveis para o framework de logging estruturado
SPARK-48576 Renomear UTF8_BINARY_LCASE para UTF8_LCASE
SPARK-48650 Exibir o local de chamada correto do IPython Notebook
SPARK-48059 Framework de registo estruturado no lado Java
SPARK-48482 dropDuplicates e dropDuplicatesWithinWatermark devem aceitar args de comprimento variável
SPARK-48620 Corrigir vazamento interno de dados brutos em YearMonthIntervalType e CalendarIntervalType
SPARK-48555 Suporte para usar colunas como parâmetros para várias funções
SPARK-48591 Adicionar uma função auxiliar para simplificar Column.py
Spark-48459 Implementar DataFrameQueryContext no Spark Connect
SPARK-48610 Refatorar: use idMap auxiliar em vez de OP_ID_TAG
SPARK-47923 Atualização da versão mínima do arrow pacote R para 10.0.0
FAÍSCA-48593 Corrigir o erro na representação de cadeia de caracteres da função lambda
SPARK-46947 Atrasar a inicialização do gestor de memória até que o plugin do Driver seja carregado.
SPARK-48220 Permitir a passagem de uma tabela PyArrow para createDataFrame()
SPARK-48564 Propagar esquema armazenado em cache em operações definidas
Faísca-48561 Lançar PandasNotImplementedError para funções de plotagem sem suporte
SPARK-48513 Adicionar classe de erro para compatibilidade de esquema de estado
SPARK-48553 Cachear mais propriedades
SPARK-48550 Use diretamente a Classe Window pai
SPARK-48504 Classe janela pai para Spark Connect e Spark Classic
SPARK-48508 Armazenar em cache o esquema especificado pelo utilizador em DataFrame.{to, mapInPandas, mapInArrow}
SPARK-48496 Usar instâncias de padrão de expressão regular estático em JavaUtils
SPARK-47578 Backport manual: migrar logWarning com variáveis
SPARK-47737 Atualizar PyArrow para 10.0.0
SPARK-48159 Ampliar o suporte para cadeias de caracteres ordenadas em expressões de data/hora
SPARK-48454 Use diretamente a classe DataFrame pai
SPARK-48438 Usar diretamente a classe Column pai
SPARK-47597 Manual backport: migrar logInfo com variáveis
SPARK-48434 Faça printSchema uso do esquema armazenado em cache
FAÍSCA-46998 Descontinuar a configuração do SQL spark.sql.legacy.allowZeroIndexInFormatString
SPARK-46569 Remover ThreadLocal para SecureRandom a partir de JDK9
SPARK-46455 Remover conversão de tipo redundante
SPARK-46270 Utilizar expressões java16 instanceof
SPARK-46479 Use o método utilitário do commons-lang3 para verificação de versão Java
SPARK-45998 Limpeza de conversões de tipo redundantes
SPARK-45533 Use j.l.r.Cleaner em vez de finalize para RocksDBIterator/LevelDBIterator
SPARK-45309 Remover todas as instâncias de SystemUtils.isJavaVersionAtLeast com JDK 9/11/17
SPARK-48295 Ativar compute.ops_on_diff_frames por padrão
SPARK-47960 Permitir o encadeamento de outros operadores estadoful após transformWithState
SPARK-48367 Corrigir lint-scala para deteção de ficheiros scalafmt
SPARK-48247 Use todos os valores no dicionário para inferência de esquema MapType
SPARK-48370 Checkpoint e localCheckpoint no cliente Scala Spark Connect
SPARK-48258 Checkpoint e localCheckpoint no Spark Connect
SPARK-48293 Adicionar teste para encapsulamento de interrupção ForeachBatchUserFuncException
SPARK-48031 Decompor a configuração de viewSchemaMode; adicionar suporte a SHOW CREATE TABLE
SPARK-48288 Adicionar tipo de dados de origem para expressão de casting para conector
SPARK-48310 As propriedades armazenadas em cache devem retornar cópias
SPARK-48287 Aplicar método embutido timestamp_diff
SPARK-44444 Usar o modo ANSI SQL por defeito
SPARK-48276 Adicionar elemento ausente __repr__ para SQLExpression
SPARK-46991 Substitua IllegalArgumentException por SparkIllegalArgumentException no catalyst
SPARK-48031 Suporte à evolução do esquema de visualização
SPARK-48113 Permitir que os plugins se integrem no Spark Connect
SPARK-47158 Atribuir nome e sqlState a códigos de erro herdados
SPARK-47545 Suporte a conjunto de dados para cliente Scala observe
SPARK-47993 Descontinuar o Python 3.8
SPARK-48260 Desativar a coordenação do output committer no ParquetIOSuite
SPARK-47365 Adicionar o método DataFrame toArrow() ao PySpark
SPARK-47963 Ative o log estruturado para o ecossistema externo do Spark
SPARK-48045 Corrige multi-agg-relabel, ignorando as_index=False
SPARK-47719 Alterar timeParserPolicy default para CORRIGIDO
SPARK-48075 Verificação de tipo para funções PySpark avro
SPARK-48102 Acompanhar a duração das métricas no progresso das consultas de streaming
SPARK-47858 Refatorar contexto de erro do DataFrame
SPARK-48052 Recuperar pyspark-connect CI por classes parentais
SPARK-45284 Atualizar os requisitos mínimos do Sistema do SparkR para Java 17
SPARK-47933 Classe Coluna Pai para Spark Connect e Classic
SPARK-48053 O SparkSession.createDataFrame deve alertar sobre opções não suportadas
Faísca-48044 Cache DataFrame.isStreaming
FAÍSCA-47594 Migrações de registos estruturados
SPARK-47764 Limpar dependências de shuffle por ShuffleCleanupMode
SPARK-45501 Usar pattern matching para verificação e conversão de tipos
SPARK-45515 Usar expressões aprimoradas switch para substituir a instrução regular switch
SPARK-47417 Suporte de ordenação: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
SPARK-47909 Classe DataFrame pai para Spark Connect e Spark Classic
SPARK-47602 Gerenciadores de recursos Core/MLLib: migração de log estruturado
SPARK-47390 PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
SPARK-47868 Corrigir o erro de limite de recursão no SparkConnectPlanner e no SparkSession.
SPARK-45802 Remover verificações Java que não são mais necessárias majorVersionPlatform
SPARK-47818 Introduzir cache de planos no SparkConnectPlanner para melhorar o desempenho ao analisar solicitações
SPARK-46031 Substitute !Optional.isPresent() por Optional.isEmpty()
SPARK-45659 Adicionar since campo à API Java marcado como @Deprecated
SPARK-45596 Use java.lang.ref.Cleaner em vez de org.apache.spark.sql.connect.client.util.Cleaner
SPARK-47807 Tornar pyspark.ml compatível com pyspark-connect
SPARK-45830 Refatorar StorageUtils#bufferCleaner
SPARK-45578 Remover a utilização de InaccessibleObjectException substituindo por trySetAccessible
SPARK-44895 Adicione 'daemon', 'priority' para ThreadStackTrace
SPARK-45295 Remover solução alternativa Utils.isMemberClass para JDK 8
SPARK-47081 Suporte ao progresso da execução da consulta
SPARK-45322 Use ProcessHandle para obter pid diretamente
SPARK-46812 Fazer com que mapInPandas / mapInArrow suportem ResourceProfile
SPARK-47406 Lidar com TIMESTAMP e DATETIME em MYSQLDialect
SPARK-47712 Permitir conectores criar e processar conjuntos de dados
SPARK-47720 Atualizar spark.speculation.multiplier para 3 e spark.speculation.quantile para 0.9
SPARK-47665 Utilize SMALLINT para gravar ShortType no MySQL
SPARK-47722 Aguarde até que o trabalho em segundo plano do RocksDB termine antes de fechar
SPARK-47610 Sempre ajustar io.netty.tryReflectionSetAccessible=true
SPARK-47372 Adicionar suporte para codificador de estado de chave baseado em varredura de intervalo para uso com o fornecedor de armazenamento de estado
SPARK-44708 Migrar test_reset_index assert_eq para usar assertDataFrameEqual
SPARK-47346 Torne o modo daemon configurável ao criar trabalhadores do planificador Python
SPARK-47419 Mover log4j2-defaults.properties para common/utils
SPARK-47380 Certifique-se de que no lado do servidor o SparkSession seja o mesmo
SPARK-47055 Atualizar MyPy 1.8.0
SPARK-46795 Substituir UnsupportedOperationException por SparkUnsupportedOperationException em sql/core
FAÍSCA-46648 Use zstd como a compactação ORC padrão
SPARK-47322 Tornar withColumnsRenamed o tratamento de duplicação de nomes de colunas consistente com withColumnRenamed
SPARK-47011 Remover obsoleto BinaryClassificationMetrics.scoreLabelsWeight
SPARK-46332 Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
SPARK-46975 Suporte a métodos de fallback dedicados
SPARK-47069 Introduzir para criação de perfil baseada em SparkSession
SPARK-47062 Mover plug-ins do Connect para Java para garantir compatibilidade
FAÍSCA-46833 Collations - Apresentação do CollationFactory, que fornece regras de comparação e hashing para Collations suportadas.
SPARK-46984 Remover pyspark.copy_func
SPARK-46849 Executar otimizador em CREATE TABLE valores predefinidos de coluna
SPARK-46976 Implementar DataFrameGroupBy.corr
SPARK-46911 Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
SPARK-46955 Implementar Frame.to_stata
SPARK-46936 Implementar Frame.to_feather
SPARK-46655 Ignorar a captura do contexto de consulta em DataFrame métodos
SPARK-46926 Adicionar convert_dtypes, infer_objects e set_axis na lista de fallback
SPARK-46683 Escreva um gerador de subconsultas que gere permutações de subconsultas para aumentar a cobertura de testes
FAÍSCA-46777 Refatorar StreamingDataSourceV2Relation a estrutura de catalisador para alinhar-se melhor com a versão em lote
SPARK-46620 Introduzir um mecanismo de fallback básico para métodos de frame
SPARK-46808 Refinar classes de erro em Python com a função de classificação automática
SPARK-46686 Suporte básico para profiler Python UDF baseado em SparkSession
SPARK-46258 Adicionar RocksDBPersistenceEngine
SPARK-46665 Remover assertPandasOnSparkEqual
SPARK-46227 Mover withSQLConf de SQLHelper para SQLConfHelper
SPARK-40876 Ampliação das promoções de tipos de dados em interpretações de Parquet
SPARK-46101 Reduzir a profundidade da pilha substituindo (string|array).size por (string|array).length
SPARK-46170 Suporte para injetar regras de estratégia do planejador pós-consulta adaptável no SparkSessionExtensions
SPARK-46246EXECUTE IMMEDIATE Suporte SQL
FAÍSCA-46466 O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora
SPARK-46399 Adicionar estado de saída ao evento Application End para utilização pelo Spark Listener
SPARK-45506 Adicionar suporte a URI de Ivy ao SparkConnect addArtifact
SPARK-45597 Suporte para a criação de tabelas utilizando uma fonte de dados Python no SQL (DSv2 exec)
SPARK-46402 Adicionar suporte a getMessageParameters e getQueryContext
SPARK-46213 Introduzir PySparkImportError para o framework de erros
SPARK-46226 Migrar todo o restante RuntimeError para a estrutura de erro do PySpark
SPARK-45886 Exibir o rastreamento completo da pilha no callSite contexto do DataFrame
SPARK-46256 Suporte de compressão paralela para ZSTD
SPARK-46249 Exigir bloqueio de instância para adquirir métricas do RocksDB a fim de prevenir condição de corrida com operações em segundo plano
SPARK-45667 Corrigir o uso descontinuado da API relacionado a IterableOnceExtensionMethods
SPARK-46254 Remova a verificação de versão obsoleta do Python 3.8/3.7
SPARK-46213 Introduzir PySparkImportError para o framework de erros
SPARK-46188 Corrigir o CSS das tabelas geradas pela documentação do Spark
SPARK-45670 O SparkSubmit não suporta --total-executor-cores quando a implantar no K8s
SPARK-46169 Atribuir números JIRA apropriados para parâmetros ausentes na DataFrame API
SPARK-45022 Fornecer contexto para erros de API do dataset
SPARK-46062 Sincronizar o sinalizador isStreaming entre a definição e a referência CTE
SPARK-45698 Remova o uso descontinuado da API relacionado a Buffer
SPARK-45136 Melhore o ClosureCleaner com suporte de Ammonite
SPARK-44442 Remover suporte a Mesos
SPARK-45996 Mostrar mensagens adequadas sobre requisitos de dependência para o Spark Connect
SPARK-45767 Excluir TimeStampedHashMap e sua UT
SPARK-45912 Melhoria da API XSDToSchema: Alteração para a API HDFS para acessibilidade de armazenamento em nuvem
SPARK-45338 Substitua scala.collection.JavaConverters por scala.jdk.CollectionConverters
SPARK-45828 Remover método preterido em DSL
SPARK-45718 Remova os recursos obsoletos restantes do Pandas do Spark 3.4.0
SPARK-45990 Atualize protobuf para 4.25.1 para suportar Python 3.11
SPARK-45941 Atualize pandas para a versão 2.1.3
SPARK-45555 Inclui um objeto depurável para assertiva falhada
SPARK-45710 Atribuir nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
SPARK-45733 Suporte a várias políticas de reintento
SPARK-45503 Adicionar configuração para especificar a compactação do RocksDB
SPARK-45614 Atribuir nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
SPARK-45680 Sessão de lançamento
SPARK-45620 Corrigir APIs voltadas para o usuário relacionadas ao UDTF do Python para utilizar camelCase
SPARK-45634 Remover DataFrame.get_dtype_counts da API do Pandas no Spark
Spark-44752 XML: Atualizar Spark Docs
SPARK-45523 Retornar mensagem de erro útil se UDTF retornar None para qualquer coluna não anulável
SPARK-45558 Introduzir um ficheiro de metadados para o operador stateful de streaming
SPARK-45390 Remover utilização de distutils
SPARK-45517 Expandir mais construtores de exceção para suportar parâmetros do framework de erro
SPARK-45427 Adicionar configurações de RPC SSL aos SSLOptions e SparkTransportConf
SPARK-45581 Torne o SQLSTATE obrigatório.
SPARK-44784 Tornar os testes do SBT herméticos.
SPARK-45550 Remover APIs obsoletas da API Pandas no Spark
SPARK-45415 Permitir a desativação seletiva de "fallocate" no statestore RocksDB
SPARK-45487 Corrigir SQLSTATEs e erros temporários
SPARK-45505 Refatore analyzeInPython para torná-lo reutilizável
SPARK-45451 Tornar o nível de armazenamento padrão do cache do conjunto de dados configurável
SPARK-45065 Suporte para o Pandas 2.1.0
SPARK-45450 Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (core)
SPARK-43299 Converter StreamingQueryException no cliente Scala
SPARK-42617 Suporte isocalendar dos pandas 2.0.0
SPARK-45441 Introduza mais funções úteis para PythonWorkerUtils
SPARK-43620 Corrigir APIs do Pandas que dependem de funcionalidades não suportadas
SPARK-45330 Atualize o Ammonite para 2.5.11
SPARK-45267 Altere o valor padrão de numeric_only.
SPARK-45303 Remover a solução alternativa para o JDK 8/11 no KryoSerializerBenchmark
Harmonizar o comportamento FAÍSCA-43433 com o dos Pandas mais recentes GroupBy.nth
SPARK-45166 Limpar caminhos de código não utilizados para pyarrow<4
SPARK-44823 Atualizar black para 23.9.1 e corrigir verificação incorreta
SPARK-45165 Remover inplace parâmetro das CategoricalIndex APIs
SPARK-45180 Remova as entradas booleanas para o parâmetro de inclusive
< c0>SPARK-45164< /c0> Remover APIs obsoletas
SPARK-45179 Aumentar a versão mínima do Numpy para 1.21
SPARK-45177 Remover col_space parâmetro de to_latex
SPARK-43241MultiIndex.append não verifica nomes para igualdade
SPARK-43123 Levante TypeError para DataFrame.interpolate quando todas as colunas forem do tipo object-dtype.
SPARK-43295 Suporte para colunas de tipo string para DataFrameGroupBy.sum
SPARK-42619 Adicionar show_counts parâmetro para DataFrame.info
SPARK-44863 Adicionar um botão para baixar o relatório de thread como um arquivo txt na interface do usuário do Spark
SPARK-44713 Mover classes partilhadas para sql/api
SPARK-44692 Mover gatilho(s) para sql/api
SPARK-43563 Remover squeeze de read_csv e permitir mais testes.
SPARK-43476 Suporte StringMethods para pandas 2.0.0 ou posterior
SPARK-43872 Suporte (DataFrame|Series).plot com pandas 2.0.0 e superior.
SPARK-42620 Adicionar inclusive parâmetro para (DataFrame|Séries).between_time
SPARK-44289 Suporte indexer_between_time para pandas 2.0.0 e ativando mais testes.
SPARK-42621 Adicionar um parâmetro inclusivo para pd.date_range
SPARK-43709 Remova o parâmetro de closed e ative o teste.
SPARK-43568 Suporte a APIs Categorical para pandas 2
SPARK-44842 Suporte a funções estatísticas para pandas 2.0.0 e ativação de testes.
SPARK-43606 Remover Int64Index & Float64Index
SPARK-43873 Ativação FrameDescribeTests
SPARK-44841 Suporte value_counts para pandas 2.0.0 e superior.
SPARK-44686 Adicionar a capacidade de criar um RowEncoder em Encoders.scala.
SPARK-41400 Remover dependência do Catalyst do Connect Client
SPARK-44538 Restabelecer Row.jsonValue e similares
SPARK-44507 Mover AnalysisException para sql/api
SPARK-44531 Mover a inferência do codificador para sql/api
SPARK-43744 Corrigir problema de carregamento de classes causado por classes de utilizador "stub" não encontradas no caminho de classes do servidor.
SPARK-36612 Suporte a junção externa esquerda construção à esquerda ou junção externa direita construção à direita na junção hash embaralhada
SPARK-44541 Remova a função hasRangeExprAgainstEventTimeCol inútil de UnsupportedOperationChecker
SPARK-44059 Adicionar suporte ao analisador de argumentos nomeados para funções integradas
SPARK-44216 Tornar a API assertSchemaEqual pública
SPARK-43755 Mover a execução de SparkExecutePlanStreamHandler para uma thread diferente
Spark-44201 Adicionar suporte para Streaming Listener em Scala para Spark Connect
SPARK-43965 Suporte UDTF em Python no Spark Connect
Faísca-44398 Scala foreachBatch API
SPARK-44044 Melhorar a mensagem de erro para funções de janela com streaming

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 17.0.

Ambiente do sistema

Sistema Operacional: Ubuntu 24.04.2 LTS
Java : Zulu17.54+21-CA
Escala: 2.13.16
Píton: 3.12.3
R: 4.4.2
Lago Delta: 4.0.0

Bibliotecas Python instaladas

Library	Version	Library	Version	Library	Version
annotated-types	0.7.0	anyio	4.6.2	argon2-cffi	21.3.0
argon2-cffi-bindings	21.2.0	arrow	1.3.0	asttokens	2.0.5
astunparse	1.6.3	async-lru	2.0.4	attrs	24.3.0
autocommand	2.2.2	azure-common	1.1.28	azure-core	1.34.0
azure-identity	1.20.0	azure-mgmt-core	1.5.0	azure-mgmt-web	8.0.0
azure-storage-blob	12.23.0	azure-storage-file-datalake	12.17.0	babel	2.16.0
backports.tarfile	1.2.0	beautifulsoup4	4.12.3	black	24.10.0
bleach	6.2.0	blinker	1.7.0	boto3	1.36.2
botocore	1.36.3	cachetools	5.5.1	certifi	2025.1.31
cffi	1.17.1	chardet	4.0.0	charset-normalizer	3.3.2
click	8.1.7	cloudpickle	3.0.0	comm	0.2.1
contourpy	1.3.1	criptografia	43.0.3	cycler	0.11.0
Cython	3.0.12	databricks-sdk	0.49.0	dbus-python	1.3.2
debugpy	1.8.11	decorador	5.1.1	defusedxml	0.7.1
Deprecated	1.2.13	distlib	0.3.9	docstring-to-markdown	0.11
executing	0.8.3	facets-overview	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	filelock	3.18.0	fonttools	4.55.3
fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.20.0	google-auth	2.40.0
google-cloud-core	2.4.3	google-cloud-storage	3.1.0	google-crc32c	1.7.1
google-resumable-media	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	idna	3.7
importlib-metadata	6.6.0	importlib_resources	6.4.0	inflect	7.3.1
iniconfig	1.1.1	ipyflow-core	0.0.209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
isodate	0.6.1	isoduration	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	jedi	0.19.2
Jinja2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	jsonpointer	3.0.0	jsonschema	4.23.0
jsonschema-specifications	2023.7.1	jupyter-events	0.10.0	jupyter-lsp	2.2.0
jupyter_client	8.6.3	jupyter_core	5.7.2	jupyter_server	2.14.1
jupyter_server_terminals	0.4.4	jupyterlab	4.3.4	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	jupyterlab_server	2.27.3	kiwisolver	1.4.8
launchpadlib	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
markdown-it-py	2.2.0	MarkupSafe	3.0.2	matplotlib	3.10.0
matplotlib-inline	0.1.7	mccabe	0.7.0	mdurl	0.1.0
mistune	2.0.4	mlflow-skinny	2.22.0	mmh3	5.1.0
more-itertools	10.3.0	msal	1.32.3	msal-extensions	1.3.1
mypy-extensions	1.0.0	nbclient	0.8.0	nbconvert	7.16.4
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
bloco de notas	7.3.2	notebook_shim	0.2.3	numpy	2.1.3
oauthlib	3.2.2	opentelemetry-api	1.32.1	opentelemetry-sdk	1.32.1
opentelemetry-semantic-conventions	0.53b1	overrides	7.4.0	packaging	24.1
pandas	2.2.3	pandocfilters	1.5.0	parso	0.8.4
pathspec	0.10.3	patsy	1.0.1	pexpect	4.8.0
pillow	11.1.0	pip	25.0.1	platformdirs	3.10.0
plotly	5.24.1	pluggy	1.5.0	prometheus_client	0.21.0
prompt-toolkit	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
pyasn1-modules	0.2.8	pyccolo	0.0.71	pycparser	2.21
pydantic	2.10.6	pydantic_core	2.27.2	pyflakes	3.2.0
Pygments	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc	5.2.0	pyparsing	3.2.0
pyright	1.1.394	pytest	8.3.5	python-dateutil	2.9.0.post0
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.0
pytoolconfig	1.2.6	pytz	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	referencing	0.30.2	requests	2.32.3
rfc3339-validator	0.1.4	rfc3986-validator	0.1.1	rich	13.9.4
rope	1.12.0	rpds-py	0.22.3	rsa	4.9.1
s3transfer	0.11.3	scikit-learn	1.6.1	scipy	1.15.1
seaborn	0.13.2	Send2Trash	1.8.2	setuptools	74.0.0
six	1.16.0	smmap	5.0.0	sniffio	1.3.0
sortedcontainers	2.4.0	soupsieve	2.5	sqlparse	0.5.3
ssh-import-id	5.11	stack-data	0.2.0	starlette	0.46.2
statsmodels	0.14.4	strictyaml	1.7.3	tenacity	9.0.0
terminado	0.17.1	threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	tomli	2.0.1	tornado	6.4.2
traitlets	5.14.3	typeguard	4.3.0	types-python-dateutil	2.9.0.20241206
typing_extensions	4.12.2	tzdata	2024.1	ujson	5.10.0
unattended-upgrades	0.1	uri-template	1.3.0	urllib3	2.3.0
uvicorn	0.34.2	virtualenv	20.29.3	wadllib	1.3.6
wcwidth	0.2.5	webcolors	24.11.1	webencodings	0.5.1
websocket-client	1.8.0	whatthepatch	1.0.2	wheel	0.45.1
widgetsnbextension	3.6.6	wrapt	1.17.0	yapf	0.40.2
zipp	3.21.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da versão instantânea do CRAN do Posit Package Manager em 2025-03-20.

Library	Version	Library	Version	Library	Version
arrow	19.0.1	askpass	1.2.1	assertthat	0.2.1
backports	1.5.0	base	4.4.2	base64enc	0.1-3
bigD	0.3.0	bit	4.6.0	bit64	4.6.0-1
bitops	1.0-9	blob	1.2.4	boot	1.3-30
brew	1.0-10	brio	1.1.5	broom	1.0.7
bslib	0.9.0	cachem	1.1.0	callr	3.7.6
caret	7.0-1	cellranger	1.1.0	chron	2.3-62
classe	7.3-22	cli	3.6.4	clipr	0.8.0
clock	0.7.2	cluster	2.1.6	codetools	0.2-20
colorspace	2.1-1	commonmark	1.9.5	compilador	4.4.2
config	0.3.2	conflicted	1.2.0	cpp11	0.5.2
crayon	1.5.3	credenciais	2.0.2	curl	6.2.1
data.table	1.17.0	datasets	4.4.2	DBI	1.2.3
dbplyr	2.5.0	desc	1.4.3	devtools	2.4.5
diagram	1.6.5	diffobj	0.3.5	resumo	0.6.37
downlit	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-16	reticências	0.3.2	evaluate	1.0.3
fansi	1.0.6	farver	2.1.2	fastmap	1.2.0
fontawesome	0.5.3	forcats	1.0.0	foreach	1.5.2
foreign	0.8-86	forge	0.2.0	fs	1.6.5
future	1.34.0	future.apply	1.11.3	gargle	1.5.2
genérico	0.1.3	gert	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	globals	0.16.3	glue	1.8.0
googledrive	2.1.1	googlesheets4	1.1.1	gower	1.0.2
graphics	4.4.2	grDevices	4.4.2	grelha	4.4.2
gridExtra	2.3	gsubfn	0.7	gt	0.11.1
gtable	0.3.6	hardhat	1.4.1	haven	2.5.4
highr	0.11	hms	1.1.3	htmltools	0.5.8.1
htmlwidgets	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	ids	1.0.1	ini	0.3.1
ipred	0.9-15	isoband	0.2.7	iterators	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	juicyjuice	0.1.0
KernSmooth	2.23-22	knitr	1.50	labeling	0.4.3
later	1.4.1	lattice	0.22-5	lava	1.8.1
ciclo de vida	1.0.4	listenv	0.9.1	lubridate	1.9.4
magrittr	2.0.3	markdown	1.13	MASS	7.3-60.0.1
Matrix	1.6-5	memoise	2.0.1	methods	4.4.2
mgcv	1.9-1	mime	0.13	miniUI	0.1.1.1
mlflow	2.20.4	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.1	nlme	3.1-164	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.3.2	parallel	4.4.2
parallelly	1.42.0	pillar	1.10.1	pkgbuild	1.4.6
pkgconfig	2.0.3	pkgdown	2.1.1	pkgload	1.4.0
plogr	0.2.0	plyr	1.8.9	praise	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.6
prodlim	2024.06.25	profvis	0.4.0	progress	1.2.3
progressr	0.15.1	promises	1.3.2	proto	1.0.0
proxy	0.4-27	ps	1.9.0	purrr	1.0.4
R6	2.6.1	ragg	1.3.3	randomForest	4.7-1.2
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	reactable	0.4.4
reactR	0.6.1	readr	2.1.5	readxl	1.4.5
recipes	1.2.0	rematch	2.0.0	rematch2	2.1.2
remotes	2.5.0	reprex	2.1.1	reshape2	1.4.4
rlang	1.1.5	rmarkdown	2.29	RODBC	1.3-26
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-15	RSQLite	2.3.9	rstudioapi	0.17.1
rversions	2.1.2	rvest	1.0.4	sass	0.4.9
scales	1.3.0	selectr	0.4-2	sessioninfo	1.2.3
forma	1.4.6.1	shiny	1.10.0	sourcetools	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	sparsevctrs	0.3.1
espacial	7.3-17	splines	4.4.2	sqldf	0.4-11
SQUAREM	2021.1	stats	4.4.2	stats4	4.4.2
stringi	1.8.4	stringr	1.5.1	survival	3.5-8
swagger	5.17.14.1	sys	3.4.3	systemfonts	1.2.1
tcltk	4.4.2	testthat	3.2.3	textshaping	1.0.0
tibble	3.2.1	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	timechange	0.3.0	timeDate	4041.110
tinytex	0.56	tools	4.4.2	tzdb	0.5.0
urlchecker	1.0.1	usethis	3.1.0	utf8	1.2.4
utils	4.4.2	uuid	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	vroom	1.6.5
waldo	0.6.1	whisker	0.4.1	withr	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xtable	1.8-4	yaml	2.3.10	zeallot	0.1.0
zip	2.3.2

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)

ID do grupo	ID do artefato	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-machinelearning	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	aws-java-sdk-support	1.12.638
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	fluxo	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	kryo-shaded	4.0.3
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.5.1
com.fasterxml.jackson.core	jackson-annotations	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	tink	1.16.0
com.google.errorprone	error_prone_annotations	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	failureaccess	1.0.2
com.google.guava	guava	33.4.0-jre
com.google.guava	listenablefuture	9999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc	j2objc-annotations	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	gerador de perfis	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.9.0
commons-codec	commons-codec	1.17.2
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	2.0.2
io.delta	delta-sharing-client_2.13	1.3.0
io.dropwizard.metrics	metrics-annotation	4.2.30
io.dropwizard.metrics	metrics-core	4.2.30
io.dropwizard.metrics	metrics-graphite	4.2.30
io.dropwizard.metrics	metrics-healthchecks	4.2.30
io.dropwizard.metrics	metrics-jetty9	4.2.30
io.dropwizard.metrics	metrics-jmx	4.2.30
io.dropwizard.metrics	metrics-json	4.2.30
io.dropwizard.metrics	metrics-jvm	4.2.30
io.dropwizard.metrics	metrics-servlets	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.1.118.Final
io.netty	netty-buffer	4.1.118.Final
io.netty	netty-codec	4.1.118.Final
io.netty	netty-codec-http	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-socks	4.1.118.Final
io.netty	netty-common	4.1.118.Final
io.netty	netty-handler	4.1.118.Final
io.netty	netty-handler-proxy	4.1.118.Final
io.netty	netty-resolver	4.1.118.Final
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes	2.0.70.Final
io.netty	netty-transport	4.1.118.Final
io.netty	netty-transport-classes-epoll	4.1.118.Final
io.netty	netty-transport-classes-kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.118.Final
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleclient_common	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	recoletor	0.18.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	18.2.0
org.apache.arrow	arrow-memory-core	18.2.0
org.apache.arrow	arrow-memory-netty	18.2.0
org.apache.arrow	arrow-memory-netty-buffer-patch	18.2.0
org.apache.arrow	arrow-vector	18.2.0
org.apache.avro	avro	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.13.0
org.apache.curator	curator-client	5.7.1
org.apache.curator	curator-framework	5.7.1
org.apache.curator	curator-recipes	5.7.1
org.apache.datasketches	datasketches-java	6.1.1
org.apache.datasketches	datasketches-memory	3.0.2
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.4.1
org.apache.hive	hive-beeline	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	hive-shims	2.3.10
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common	2.3.10
org.apache.hive.shims	hive-shims-scheduler	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.1.1-shaded-protobuf
org.apache.orc	orc-format	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce	2.1.1-shaded-protobuf
org.apache.orc	orc-shims	2.1.1
org.apache.poi	poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.9.3
org.apache.zookeeper	zookeeper-jute	3.9.3
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.53.v20231009
org.eclipse.jetty	jetty-continuation	9.4.53.v20231009
org.eclipse.jetty	jetty-http	9.4.53.v20231009
org.eclipse.jetty	jetty-io	9.4.53.v20231009
org.eclipse.jetty	jetty-jndi	9.4.53.v20231009
org.eclipse.jetty	jetty-plus	9.4.53.v20231009
org.eclipse.jetty	jetty-proxy	9.4.53.v20231009
org.eclipse.jetty	jetty-security	9.4.53.v20231009
org.eclipse.jetty	jetty-server	9.4.53.v20231009
org.eclipse.jetty	jetty-servlet	9.4.53.v20231009
org.eclipse.jetty	jetty-servlets	9.4.53.v20231009
org.eclipse.jetty	jetty-util	9.4.53.v20231009
org.eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.eclipse.jetty	jetty-webapp	9.4.53.v20231009
org.eclipse.jetty	jetty-xml	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-api	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-client	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-common	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-server	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-servlet	9.4.53.v20231009
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.41
org.glassfish.jersey.containers	jersey-container-servlet-core	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	jersey-common	2.41
org.glassfish.jersey.core	jersey-server	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	hibernate-validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	objenesis	3.3
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.3.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	scalatest-compatible	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
stax	stax-api	1.0.1

Tip

Feedback

Esta página foi útil?

Last updated on 2025-10-01