Databricks Runtime 17.0

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.0, alimentado pelo Apache Spark 4.0.0.

O Databricks lançou esta versão em junho de 2025.

Tip

Para ver as notas de release das versões do Databricks Runtime que atingiram o fim do suporte (EoS), confira Notas de release do Databricks Runtime em fim de suporte. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

Agora há suporte para SparkML em clusters padrão
Suporte ao procedimento SQL
Definir uma ordenação padrão para o SQL Functions
Expressões de tabela comuns recursivas (Visualização Pública)
SQL ANSI habilitado por padrão
O PySpark e o Spark Connect agora dão suporte à API dataframes df.mergeInto
Suporte ALL CATALOGS em SHOW ESQUEMAS
Agrupamento líquido agora compacta vetores de deleção com mais eficiência
Permitir expressões não determinísticas em UPDATE/INSERT valores de coluna para MERGE operações
Ignorar e resgatar os structs vazios para ingestão do AutoLoader (especialmente Avro)
Alterar as APIs Delta MERGE Python e Scala para retornar DataFrame em vez de Unit
Dar suporte à palavra-chave VAR para declarar e remover variáveis SQL
Atualizar bibliotecas do Apache Parquet
Suporte à federação de identidade de workloads para o Google Cloud Pub/Sub

Agora há suporte para SparkML em clusters padrão

O modo de acesso padrão (antigo modo de acesso compartilhado) agora dá suporte ao Spark ML no PySpark (pyspark.ml) e ao MLflow para Spark (mlflow.spark). Para ajuste de hiperparâmetro, o Databricks recomenda usar Optuna e Joblib Spark em clusters padrão.

As seguintes limitações se aplicam ao executar o SparkML em clusters padrão:

O tamanho máximo do modelo é de 1 GB.
O tamanho máximo do cache do modelo por sessão é de 10 GB.
O treinamento do modelo de árvore será interrompido mais cedo se o tamanho do modelo estiver prestes a exceder 1 GB.
Não há suporte para os seguintes modelos SparkML:
- Modelo LDA Distribuído
- FPGrowthModel

Suporte a procedimento SQL

Os scripts SQL agora podem ser encapsulados em um procedimento armazenado como um ativo reutilizável no Catálogo do Unity. Você pode criar um procedimento usando o comando CREATE PROCEDURE e chamá-lo usando o comando CALL .

Definir uma ordenação padrão para o SQL Functions

Usar a cláusula DEFAULT COLLATION nova no comando CREATE FUNCTION define a ordenação padrão usada para os parâmetros STRING, o tipo de retorno, e os literais STRING no corpo da função.

Expressões de tabela comuns recursivas (Visualização Pública)

O Azure Databricks agora dá suporte à navegação de dados hierárquicos usando expressões de tabela comuns recursivas (rCTEs). Para seguir a relação recursiva, use uma CTE de auto-referência com UNION ALL.

SQL ANSI habilitado por padrão

O dialeto SQL padrão agora é ANSI SQL. O ANSI SQL é um padrão bem estabelecido e ajudará a proteger os usuários contra resultados inesperados ou incorretos. Leia o guia de habilitação ansi do Databricks para obter mais informações.

O PySpark e o Spark Connect agora dão suporte à API dataframes `df.mergeInto`

O PySpark e o Spark Connect agora dão suporte à df.mergeInto API, que anteriormente só estava disponível para Scala.

Suporte `ALL CATALOGS` em `SHOW` ESQUEMAS

A SHOW SCHEMAS sintaxe é atualizada para aceitar a seguinte sintaxe:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Quando ALL CATALOGS é especificada em uma consulta SHOW, a execução itera por todos os catálogos ativos que dão suporte a namespaces com o gerenciador de catálogos (DsV2). Para cada catálogo, ele inclui os namespaces de nível superior.

Os atributos de saída e o esquema do comando foram modificados para adicionar uma catalog coluna que indica o catálogo do namespace correspondente. A nova coluna é adicionada ao final dos atributos de saída, conforme mostrado abaixo:

Saída anterior

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Nova saída

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

A aglomeração líquida agora compacta os vetores de exclusão com mais eficiência

As tabelas Delta com agrupamento Liquid agora aplicam alterações físicas de vetores de exclusão de maneira mais eficiente quando OPTIMIZE opera. Para obter mais detalhes, consulte Aplique alterações aos arquivos de dados Parquet.

Permitir expressões não determinísticas nos valores de coluna `UPDATE`/`INSERT` para operações `MERGE`

Agora, o Azure Databricks permite usar expressões não determinísticas em valores de coluna atualizados e inseridos de operações MERGE. Porém, não há suporte para expressões não determinísticas nas condições das instruções MERGE.

Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para colunas:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Isso pode ser útil para a privacidade dos dados ao mascarar dados reais, preservando as características dos dados (como valores médios ou outras colunas calculadas).

Ignorar e resgatar os structs vazios para ingestão do AutoLoader (especialmente Avro)

O Carregador Automático agora resgata os tipos de dados do Avro com um esquema vazio, pois a tabela Delta não dá suporte à ingestão de dados de tipo vazio struct.

Alterar as APIs Delta MERGE Python e Scala para retornar DataFrame em vez de Unit

As APIs Scala e Python MERGE (como DeltaMergeBuilder) agora também retornam um DataFrame como a API do SQL, com os mesmos resultados.

Suporte à palavra-chave VAR para declarar e remover variáveis SQL

A sintaxe SQL para declarar e remover variáveis agora dá suporte à VAR palavra-chave além de VARIABLE. Essa alteração unifica a sintaxe em todas as operações relacionadas a variáveis, o que melhora a consistência e reduz a confusão para os usuários que já usam VAR ao definir variáveis.

Atualizar bibliotecas do Apache Parquet

As bibliotecas do Apache Parquet foram atualizadas da versão 1.13.1 para a 1.15.1 para garantir a compatibilidade com o Spark 4.0. Essa atualização inclui melhorias de desempenho, correções de bug e suporte aprimorado a recursos Parquet nos seguintes módulos:

parquet-column
parquet-common
parquet-encoding
parquet-format-structures
parquet-hadoop
parquet-jackson

Suporte à federação de identidade de workloads para o Google Cloud Pub/Sub

Agora você pode usar a federação de identidade de carga de trabalho para se conectar com segurança ao Google Cloud Pub/Sub do Databricks sem exigir chaves de conta de serviço. Isso simplifica a autenticação para cargas de trabalho de streaming e ingestão de dados que se integram ao Pub/Sub.

Alterações comportamentais

Não há mais suporte para certificados de AC personalizados do DBFS (Databricks File System)
Removida a seção "Falhas verdadeiras de cache" na interface do usuário do Spark
Removida a métrica "Uso de Disco de Pico do Gerenciador de Metadados de Cache" na interface do usuário do Spark
Removida a seção "Bytes de erros de cache reagendados" na interface do usuário do Spark
As cláusulas de nível de coluna CREATE VIEW agora geram erros quando se aplicam somente a visões materializadas

Não há mais suporte para certificados personalizados de autoridade de certificação do DBFS (Databricks File System)

Como parte do esforço contínuo para interromper o armazenamento de dados na raiz do DBFS e nas montagens do DBFS, os certificados de CA personalizados do DBFS não contam com suporte no Databricks Runtime 17.0 e versões superiores. Para obter recomendações sobre como trabalhar com arquivos, consulte Trabalhar com arquivos no Azure Databricks.

Removida a seção "Falhas verdadeiras de cache" na interface do usuário do Spark

Esta alteração remove o suporte para a métrica "Tamanho de verdadeiros erros de cache" (para caches compactados e descompactados). A métrica de "Falhas de gravação em cache" mede as mesmas informações.

Use o numLocalScanTasks como um proxy viável para essa métrica, quando sua intenção é ver como o cache desempenha quando os arquivos são atribuídos ao executor certo.

Removida a métrica "Uso de Disco de Pico do Gerenciador de Metadados de Cache" na interface do usuário do Spark

Essa alteração remove o suporte para as métricas cacheLocalityMgrDiskUsageInBytes e cacheLocalityMgrTimeMs do Databricks Runtime e da interface do usuário do Spark.

Removida a seção "Bytes de erros de cache reagendados" na interface do usuário do Spark

Removidas as métricas de tamanho de falhas reagendadas do cache e tamanho de falhas reagendados do cache (descompactadas) do DBR. Isso é feito porque isso mede o desempenho do cache quando os arquivos são atribuídos a executores não preferenciais. numNonLocalScanTasks é um bom proxy para essa métrica.

As cláusulas de nível de coluna `CREATE VIEW` agora geram erros quando se aplicam somente a visões materializadas

Agora, os comandos CREATE VIEW que especificam uma cláusula de nível de coluna que só é válida para MATERIALIZED VIEWs geram um erro. As cláusulas afetadas para os comandos CREATE VIEW são:

NOT NULL
Um tipo de dados especificado, como FLOAT ou STRING
DEFAULT
COLUMN MASK

Atualizações de biblioteca

Bibliotecas do Python atualizadas:
- azure-core de 1.31.0 para 1.34.0
- black da 24.4.2 para 24.10.0
- boto3 de 1.34.69 a 1.36.2
- botocore de 1.34.69 a 1.36.3
- cachetools de 5.3.3 a 5.5.1
- certifi de 02.06.2024 a 31.01.2025
- cffi de 1.16.0 a 1.17.1
- charset-normalizer de 2.0.4 para 3.3.2
- cloudpickle de 2.2.1 para 3.0.0
- contourpy de 1.2.0 para 1.3.1
- criptografia de 42.0.5 a 43.0.3
- Cython de 3.0.11 a 3.0.12
- databricks-sdk de 0.30.0 a 0.49.0
- debugpy de 1.6.7 a 1.8.11
- Descontinuado de 1.2.14 para 1.2.13
- distlib de 0.3.8 a 0.3.9
- filelock de 3.15.4 para 3.18.0
- fonttools de 4.51.0 a 4.55.3
- GitPython de 3.1.37 a 3.1.43
- google-auth de 2.35.0 para 2.40.0
- google-cloud-core de 2.4.1 a 2.4.3
- google-cloud-storage de 2.18.2 para 3.1.0
- google-crc32c de 1.6.0 a 1.7.1
- grpcio de 1.60.0 para 1.67.0
- grpcio-status de 1.60.0 a 1.67.0
- importlib-metadata de 6.0.0 a 6.6.0
- ipyflow-core de 0.0.201 a 0.0.209
- ipykernel de 6.28.0 a 6.29.5
- ipython de 8.25.0 a 8.30.0
- ipywidgets de 7.7.2 para 7.8.1
- jedi de 0.19.1 para 0.19.2
- jupyter_client de 8.6.0 a 8.6.3
- kiwisolver da 1.4.4 para 1.4.8
- matplotlib de 3.8.4 a 3.10.0
- matplotlib-inline de 0.1.6 a 0.1.7
- mlflow-skinny de 2.19.0 para 2.22.0
- numpy de 1.26.4 para 2.1.3
- opentelemetry-api de 1.27.0 para 1.32.1
- opentelemetry-sdk de 1.27.0 a 1.32.1
- opentelemetry-semantic-conventions de 0,48b0 a 0,53b1
- pandas de 1.5.3 para 2.2.3
- parso de 0.8.3 para 0.8.4
- patsy de 0.5.6 para 1.0.1
- pillow de 10.3.0 para 11.1.0
- plotly da 5.22.0 para 5.24.1
- pluggy de 1.0.0 para 1.5.0
- proto-plus de 1.24.0 a 1.26.1
- protobuf de 4.24.1 a 5.29.4
- pyarrow de 15.0.2 a 19.0.1
- pyccolo de 0.0.65 para 0.0.71
- pydantic de 2.8.2 para 2.10.6
- pydantic_core de 2.20.1 a 2.27.2
- PyJWT de 2.7.0 a 2.10.1
- pyodbc do 5.0.1 ao 5.2.0
- pyparsing de 3.0.9 a 3.2.0
- pyright de 1.1.294 a 1.1.394
- python-lsp-server de 1.10.0 a 1.12.0
- PyYAML de 6.0.1 a 6.0.2
- pyzmq de 25.1.2 para 26.2.0
- solicitações de 2.32.2 a 2.32.3
- rsa de 4.9 para 4.9.1
- s3transfer de 0.10.2 para 0.11.3
- scikit-learn de 1.4.2 para 1.6.1
- scipy da 1.13.1 para 1.15.1
- sqlparse de 0.5.1 para 0.5.3
- statsmodels de 0.14.2 para 0.14.4
- tenacidade de 8.2.2 a 9.0.0
- threadpoolctl de 2.2.0 a 3.5.0
- tornado de 6.4.1 a 6.4.2
- typing_extensions de 4.11.0 para 4.12.2
- urllib3 de 1.26.16 a 2.3.0
- virtualenv de 20.26.2 a 20.29.3
- wheel de 0.43.0 para 0.45.1
- wrapt de 1.14.1 para 1.17.0
- yapf de 0.33.0 para 0.40.2
- zipp de 3.17.0 a 3.21.0
Bibliotecas R atualizadas:
- arrow de 16.1.0 para 19.0.1
- askpass de 1.2.0 a 1.2.1
- base de 4.4.0 para 4.4.2
- bigD de 0.2.0 a 0.3.0
- bit de 4.0.5 para 4.6.0
- bit64 de 4.0.5 a 4.6.0-1
- bitops de 1.0-8 para 1.0-9
- broom de 1.0.6 para 1.0.7
- bslib de 0.8.0 para 0.9.0
- caret de 6.0-94 para 7.0-1
- chron de 2.3-61 a 2.3-62
- cli de 3.6.3 a 3.6.4
- clock de 0.7.1 para 0.7.2
- commonmark de 1.9.1 a 1.9.5
- compilador de 4.4.0 a 4.4.2
- cpp11 de 0.4.7 a 0.5.2
- credentials de 2.0.1 para 2.0.2
- curl de 5.2.1 para 6.2.1
- data.table de 1.15.4 para 1.17.0
- conjuntos de dados de 4.4.0 a 4.4.2
- digest de 0.6.36 para 0.6.37
- e1071 de 1.7-14 a 1.7-16
- evaluate de 0.24.0 para 1.0.3
- fontawesome de 0.5.2 a 0.5.3
- fs de 1.6.4 para 1.6.5
- future.apply de 1.11.2 a 1.11.3
- gert versão 2.1.0 até 2.1.4
- git2r de 0.33.0 a 0.35.0
- glue de 1.7.0 para 1.8.0
- gower de 1.0.1 para 1.0.2
- gráficos de 4.4.0 a 4.4.2
- grDevices de 4.4.0 para 4.4.2
- grid de 4.4.0 para 4.4.2
- gt de 0.11.0 para 0.11.1
- gtable de 0.3.5 a 0.3.6
- hardhat de 1.4.0 a 1.4.1
- httr2 de 1.0.2 a 1.1.1
- jsonlite de 1.8.8 a 1.9.1
- knitr de 1.48 para 1.50
- later de 1.3.2 para 1.4.1
- lava de 1.8.0 para 1.8.1
- lubridate de 1.9.3 para 1.9.4
- métodos de 4.4.0 a 4.4.2
- mime from 0.12 para 0.13
- mlflow de 2.14.1 a 2.20.4
- nlme de 3.1-165 a 3.1-164
- openssl de 2.2.0 a 2.3.2
- parallel de 4.4.0 para 4.4.2
- parallelly de 1.38.0 para 1.42.0
- pillar de 1.9.0 para 1.10.1
- Atualização do pkgbuild da versão 1.4.4 para 1.4.6
- pkgdown de 2.1.0 para 2.1.1
- processx de 3.8.4 a 3.8.6
- profvis de 0.3.8 para 0.4.0
- Atualização do progressr da versão 0.14.0 para a versão 0.15.1
- promises de 1.3.0 a 1.3.2
- ps de 1.7.7 a 1.9.0
- purrr de 1.0.2 para 1.0.4
- R6 de 2.5.1 para 2.6.1
- ragg de 1.3.2 para 1.3.3
- randomForest de 4.7-1.1 a 4.7-1.2
- Rcpp de 1.0.13 a 1.0.14
- RcppEigen de 0.3.4.0.0 a 0.3.4.0.2
- reactR de 0.6.0 para 0.6.1
- readxl de 1.4.3 a 1.4.5
- receitas de 1.1.0 a 1.2.0
- rlang de 1.1.4 para 1.1.5
- rmarkdown de 2.27 a 2.29
- RODBC da 1.3-23 para 1.3-26
- Rserve de 1.8-13 para 1.8-15
- RSQLite de 2.3.7 a 2.3.9
- rstudioapi de 0.16.0 a 0.17.1
- sessioninfo de 1.2.2 para 1.2.3
- shiny de 1.9.1 para 1.10.0
- sparklyr de 1.8.6 para 1.9.0
- SparkR de 3.5.2 a 4.0.0
- splines de 4.4.0 a 4.4.2
- estatísticas de 4.4.0 a 4.4.2
- stats4 de 4.4.0 a 4.4.2
- survival de 3.6-4 para 3.5-8
- sys de 3.4.2 para 3.4.3
- systemfonts de 1.1.0 a 1.2.1
- tcltk de 4.4.0 a 4.4.2
- testthat de 3.2.1.1 para 3.2.3
- textshaping de 0.4.0 a 1.0.0
- timeDate de 4032.109 a 4041.110
- tinytex de 0,52 a 0,56
- tools de 4.4.0 para 4.4.2
- tzdb de 0.4.0 a 0.5.0
- usethis de 3.0.0 para 3.1.0
- utils de 4.4.0 para 4.4.2
- V8 de 4.4.2 a 6.0.2
- waldo de 0.5.2 para 0.6.1
- withr de 3.0.1 para 3.0.2
- xfun de 0,46 a 0,51
- xml2 de 1.3.6 para 1.3.8
- zip de 2.3.1 para 2.3.2
Bibliotecas Java atualizadas:
- com.clearspring.analytics.stream de 2.9.6 a 2.9.8
- com.esotericsoftware.kryo-shaded de 4.0.2 para 4.0.3
- com.fasterxml.classmate foi atualizado da versão 1.3.4 para 1.5.1
- com.fasterxml.jackson.core.jackson-annotations da 2.15.2 para 2.18.2
- com.fasterxml.jackson.core.jackson-core de 2.15.2 para 2.18.2
- com.fasterxml.jackson.core.jackson-databind de 2.15.2 a 2.18.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.15.2 para 2.18.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.15.2 para 2.18.2
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.16.0 a 2.18.2
- com.fasterxml.jackson.module.jackson-module-paranamer da 2.15.2 para 2.18.2
- com.github.luben.zstd-jni de 1.5.5-4 a 1.5.6-10
- com.google.code.gson.gson de 2.10.1 a 2.11.0
- com.google.crypto.tink.tink da 1.9.0 para 1.16.0
- com.google.errorprone.error_prone_annotations de 2.10.0 para 2.36.0
- com.google.flatbuffers.flatbuffers-java de 23.5.26 a 24.3.25
- com.google.guava.guava de 15.0 a 33.4.0-jre
- com.google.protobuf.protobuf-java de 3.25.1 para 3.25.5
- com.microsoft.azure.azure-data-lake-store-sdk de 2.3.9 para 2.3.10
- com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 a 12.8.0.jre8
- commons-cli.commons-cli de 1.5.0 para 1.9.0
- commons-codec.commons-codec de 1.16.0 para 1.17.2
- commons-io.commons-io de 2.13.0 to 2.18.0
- io.airlift.aircompressor de 0.27 para 2.0.2
- io.dropwizard.metrics.metrics-annotation de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-core de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-graphite de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-healthchecks de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-jetty9 de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-jmx de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-json de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-jvm de 4.2.19 para 4.2.30
- io.dropwizard.metrics.metrics-servlets de 4.2.19 para 4.2.30
- io.netty.netty-all de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-buffer de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-codec de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-codec-http de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-codec-http2 de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-codec-socks2 de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-common de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-handler de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-handler-proxy de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-resolver de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-windows-x86_64 para 2.0.70.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes de 2.0.61.Final para 2.0.70.Final
- io.netty.netty-transport de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-transport-classes-epoll de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-transport-classes-kqueue de 4.1.108.Final para 4.1.118.Final
- io.netty.netty-transport-native-epoll de 4.1.108.Final-linux-x86_64 para 4.1.118.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.108.Final-osx-x86_64 para 4.1.118.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.108.Final para 4.1.118.Final
- io.prometheus.jmx.collector de 0.12.0 para 0.18.0
- io.prometheus.simpleclient de 0.7.0 para 0.16.1-databricks
- io.prometheus.simpleclient_common de 0.7.0 para 0.16.1-databricks
- io.prometheus.simpleclient_dropwizard de 0.7.0 para 0.16.1-databricks
- io.prometheus.simpleclient_pushgateway de 0.7.0 para 0.16.1-databricks
- io.prometheus.simpleclient_servlet de 0.7.0 para 0.16.1-databricks
- joda-time.joda-time de 2.12.1 para 2.13.0
- net.razorvine.pickle de 1.3 para 1.5
- org.antlr.antlr4-runtime da 4.9.3 para 4.13.1
- org.apache.arrow.arrow-format de 15.0.0 para 18.2.0
- org.apache.arrow.arrow-memory-core de 15.0.0 para 18.2.0
- org.apache.arrow.arrow-memory-netty de 15.0.0 para 18.2.0
- org.apache.arrow.arrow-vector da 15.0.0 para 18.2.0
- org.apache.avro.avro de 1.11.4 a 1.12.0
- org.apache.avro.avro-ipc de 1.11.4 a 1.12.0
- org.apache.avro.avro-mapred de 1.11.4 a 1.12.0
- org.apache.commons.commons-compress de 1.23.0 para 1.27.1
- org.apache.commons.commons-lang3 de 3.12.0 a 3.17.0
- org.apache.commons.commons-text de 1.10.0 para 1.13.0
- org.apache.curator.curator-client de 2.13.0 para 5.7.1
- org.apache.curator.curator-framework de 2.13.0 para 5.7.1
- org.apache.curator.curator-recipes de 2.13.0 para 5.7.1
- org.apache.datasketches.datasketches-java de 3.1.0 para 6.1.1
- org.apache.datasketches.datasketches-memory de 2.0.0 para 3.0.2
- org.apache.hadoop.hadoop-client-runtime de 3.3.6 para 3.4.1
- org.apache.hive.hive-beeline de 2.3.9 para 2.3.10
- org.apache.hive.hive-cli de 2.3.9 para 2.3.10
- org.apache.hive.hive-jdbc de 2.3.9 para 2.3.10
- org.apache.hive.hive-llap-client da versão 2.3.9 para 2.3.10
- org.apache.hive.hive-llap-common de 2.3.9 para 2.3.10
- org.apache.hive.hive-serde de 2.3.9 para 2.3.10
- org.apache.hive.hive-shims de 2.3.9 para 2.3.10
- org.apache.hive.shims.hive-shims-0.23 de 2.3.9 para 2.3.10
- org.apache.hive.shims.hive-shims-common de 2.3.9 para 2.3.10
- org.apache.hive.shims.hive-shims-scheduler de 2.3.9 para 2.3.10
- org.apache.ivy.ivy de 2.5.2 para 2.5.3
- org.apache.logging.log4j.log4j-1.2-api da 2.22.1 para 2.24.3
- org.apache.logging.log4j.log4j-api de 2.22.1 a 2.24.3
- org.apache.logging.log4j.log4j-core de 2.22.1 a 2.24.3
- org.apache.logging.log4j.log4j-layout-template-json de 2.22.1 para 2.24.3
- org.apache.logging.log4j.log4j-slf4j2-impl de 2.22.1 a 2.24.3
- org.apache.orc.orc-core de 1.9.2-shaded-protobuf para 2.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf para 2.1.1-shaded-protobuf
- org.apache.orc.orc-shims de 1.9.2 para 2.1.1
- org.apache.thrift.libthrift de 0.12.0 para 0.16.0
- org.apache.ws.xmlschema.xmlschema-core de 2.3.0 para 2.3.1
- org.apache.xbean.xbean-asm9-shaded da 4.23 para 4.26
- org.apache.zookeeper.zookeeper de 3.9.2 para 3.9.3
- org.apache.zookeeper.zookeeper-jute de 3.9.2 a 3.9.3
- org.checkerframework.checker-qual de 3.31.0 a 3.43.0
- org.eclipse.jetty.jetty-client de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-continuation de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-http de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-io de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-jndi de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-plus de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-proxy de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-security de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-server de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-servlet de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-servlets de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-util de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-util-ajax de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-webapp de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.jetty-xml de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-api de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-client de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-common de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-server de 9.4.52.v20230823 para 9.4.53.v20231009
- org.eclipse.jetty.websocket.websocket-servlet de 9.4.52.v20230823 para 9.4.53.v20231009
- org.glassfish.jersey.containers.jersey-container-servlet de 2.40 a 2.41
- org.glassfish.jersey.containers.jersey-container-servlet-core de 2.40 a 2.41
- org.glassfish.jersey.core.jersey-client de 2.40 a 2.41
- org.glassfish.jersey.core.jersey-common de 2.40 a 2.41
- org.glassfish.jersey.core.jersey-server de 2.40 a 2.41
- org.glassfish.jersey.inject.jersey-hk2 de 2.40 a 2.41
- org.hibernate.validator.hibernate-validator de 6.1.7.Final para 6.2.5.Final
- org.jboss.logging.jboss-logging de 3.3.2.Final para 3.4.1.Final
- org.objenesis.objenesis de 2.5.1 para 3.3
- org.roaringbitmap.RoaringBitmap de 0.9.45-databricks para 1.2.1
- org.rocksdb.rocksdbjni de 9.2.1 para 9.8.4
- org.scalatest.scalatest-compatible de 3.2.16 para 3.2.19
- org.slf4j.jcl-over-slf4j de 2.0.7 para 2.0.16
- org.slf4j.jul-to-slf4j de 2.0.7 para 2.0.16
- org.slf4j.slf4j-api de 2.0.7 a 2.0.16
- org.threeten.threeten-extra de 1.7.1 para 1.8.0
- org.tukaani.xz de 1.9 a 1.10

Apache Spark

Muitos de seus recursos já estavam disponíveis no Databricks Runtime 14.x, 15.x e 16.x, e agora vêm integrados com o Runtime 17.0.

SPARK-52311 Redefinir a saída UnionLoop para não ser duplicada caso a saída âncora seja duplicada
SPARK-50104 Adicionar suporte a SparkSession.executeCommand no Connect
SPARK-51085 Restaurar o SQLContext Companion
SPARK-49698 Adicione a anotação ClassicOnly para métodos somente clássicos.
SPARK-52026 Bloquear a API do Pandas no Spark no modo ANSI por padrão
SPARK-43415 Implementar KVGDS.agg com a função personalizada mapValues
SPARK-50979 Remover implícitas .expr/.typedExpr
SPARK-49961 Assinatura de tipo de transformação correta para Scala e Java
SPARK-51012 Remover SparkStrategy do Connect Shims.
SPARK-50915 Adicionar getCondition e preterir getErrorClass em PySparkException
SPARK-51821 Chamar interrupt() sem manter uninterruptibleLock para evitar um possível deadlock
SPARK-52192 Verificação do caminho de carregamento do MLCache
SPARK-52122 Corrigir a vulnerabilidade defaultParamsReader RCE
SPARK-52191 Remover o desserializador Java no carregador de caminho local do modelo
SPARK-52051 Backport "Habilitar resumo do modelo quando o controle de memória está habilitado" e "Refinar mensagem de erro e ocultar configurações internas do Spark" confirmar para o DBR 17.0.0
SPARK-51391 Consertar SparkConnectClient para respeitar SPARK_USER e user.name
SPARK-51416 Remover SPARK_CONNECT_MODE ao iniciar o servidor Spark Connect
SPARK-51156 Suporte à autenticação de token estático no Spark Connect
SPARK-51279 Evitar pausa constante para aguardar o servidor Spark Connect no Scala
SPARK-51254 Não permitir --master com a URL do Spark Connect
SPARK-51267 Harmonizar a lógica do servidor local do Spark Connect entre Python e Scala
SPARK-51212 Adicionar um pacote PySpark separado para o Spark Connect por padrão
SPARK-52017 Habilitar várias autorreferências e autorreferências de uma Subconsulta dentro de rCTEs
SPARK-52035 Separar LinearRegressionTrainingSummary e LinearRegressionModel
SPARK-50511 Evite encapsular mensagens de erro da fonte de dados do Python
SPARK-51974 Limitar o tamanho do modelo e o tamanho do cache do modelo por sessão
SPARK-51947 Descarregamento de cache do modelo do Spark Connect
SPARK-49751 Corrigir a desserialização do evento SparkListenerConnectServiceStarted
SPARK-47952 Suporte à recuperação do endereço e da porta GRPC reais do SparkConnectService de forma programática durante a execução no Yarn
SPARK-47587 Módulo Hive: migrar logWarn com variáveis para o sistema de logging estruturado
SPARK-50768 Introduzir TaskContext.createResourceUninterruptibly para evitar vazamento de fluxo por interrupção de tarefa
SPARK-51818 Mover a criação de QueryExecution para AnalyzeHandler e não executar para AnalyzePlanRequests
SPARK-51609 Otimizar a execução de CTE Recursivo para consultas simples
SPARK-49748 Adicionar getCondition e preterir getErrorClass em SparkThrowable
SPARK-51867 Tornar o modelo scala compatível com métodos de salvamento/carregamento no caminho do sistema de arquivos local
SPARK-51856 Atualizar a API de tamanho do modelo para contar o tamanho distribuído do DataFrame
SPARK-51941 Corrigir o problema de precisão do convertToCatalyst quando a entrada for um BigDecimal entre -1.0 e 1.0
SPARK-50605 Suporte ao modo de API do SQL para facilitar a migração para o Spark Connect
SPARK-51849 Refatoração ResolveDDLCommandStringTypes
SPARK-51673 Aplicar ordenação padrão para alterar a consulta de exibição
SPARK-51880 Correção das referências do cliente python ao objeto de cache do ML
SPARK-51873 Para o algoritmo OneVsRest, permita usar salvar/carregar para substituir o cache
SPARK-51072 CallerContext para definir o contexto de auditoria de nuvem do Hadoop
SPARK-51790 Registrar UTF8String no KryoSerializer
SPARK-51022 Remover tableSampleClause não utilizado no método build() do MsSqlServerSQLQueryBuilder e DB2SQLQueryBuilder
SPARK-51219 Corrigir ShowTablesExec.isTempView para trabalhar com não catálogosV2SessionCatalog
SPARK-49700 Interface Scala unificada para o Connect e o Classic
SPARK-50458 Tratamento de erro adequado ao ler arquivos em sistemas de arquivos sem suporte
SPARK-50666 Dica de suporte para leitura na fonte de dados JDBC
SPARK-50131 Reaplicar "Adicionar em Subconsulta DataFram..."
SPARK-51899 Implementar regras de tratamento de erros para spark.catalog.listTables()
SPARK-51820 Resolver os problemas restantes para nova group/order por abordagem ordinal
SPARK-48585 Fazer built-in com que o método classifyException JdbcDialect jogue fora a original exceção
SPARK-48387 Postgres: mapear TimestampType para TIMESTAMP COM FUSO HORÁRIO
SPARK-51820 Mover a construção UnresolvedOrdinal antes da análise para evitar problemas com o grupo por ordinal
SPARK-48337 Corrigir a perda de precisão para valores JDBC TIME
SPARK-51711 Propaga a sessão ativa remota do Spark para novos threads para corrigir o CrossValidator
SPARK-47515 Salvar TimestampNTZType como DATETIME no MySQL
SPARK-48439 Derby: calcular a precisão e a escala adequadas para o tipo DECIMAL
SPARK-51820 Preparar a lógica de redação para o codesync SPARK-51820
SPARK-48323 DB2: Mapear BooleanType para BOOLEAN em vez de CHAR(1)
SPARK-51635 Mesclar PushProjectionThroughLimit e PushProjectionThroughOffset
SPARK-48211 DB2: ler SMALLINT como ShortType
SPARK-51803 Armazenar o tipo JDBC do mecanismo externo nos metadados do StructField
SPARK-51845 Adicionar mensagens proto CleanCache e GetCacheInfo
SPARK-49511 Aplicar regras de formatação ao sql/api
SPARK-47968 MsSQLServer: mapear datatimeoffset para TimestampType
SPARK-51726 Usar TableInfo para a tabela Stage CREATE/REPLACE/CREATE OR REPLACE
SPARK-47967 Fazer com que JdbcUtils.makeGetter manipule corretamente o tipo de tempo de leitura como NTZ
SPARK-47989 MsSQLServer: corrigir o escopo de spark.sql.legacy.mssqlserver.numericMapping.enabled
SPARK-51193 Atualizar Netty para 4.1.118.Final e netty-tcnative para 2.0.70.Final
SPARK-47882 createTableColumnTypes deve ser mapeado para tipos de banco de dados em vez de ser usado diretamente
SPARK-47879 Oracle: Use VARCHAR2 em vez de VARCHAR para o mapeamento de VarcharType
SPARK-51372 Introduzir TableInfo para criações de tabela
SPARK-47791 Truncar as casas decimais excedentes com a escala primeiro em vez da precisão da fonte de dados JDBC
SPARK-51404 Analisar o tipo time(n) como TimeType(n)
SPARK-50350 Avro: adicionar nova função schema_of_avro (lado scala)
SPARK-51136 Definir CallerContext para o Servidor de Histórico
SPARK-50641 Mover GetJsonObjectEvaluator para JsonExpressionEvalUtils
SPARK-50083 Integrar _LEGACY_ERROR_TEMP_1231 em PARTITIONS_NOT_FOUND
SPARK-51556 Adicionar a try_to_time função
SPARK-47684 Postgres: mapear bpchar com comprimento não especificado para StringType
SPARK-48688 Retornar erro razoável ao chamar as funções SQL to_avro e from_avro, mas o Avro não é carregado por padrão
SPARK-49839 SPJ: ignorar embaralhamentos, se possível, para classificações
SPARK-45534 Usar java.lang.ref.Cleaner em vez de finalizar para RemoteBlockPushResolver
SPARK-51816 Simplificar StatFunctions.multipleApproxQuantiles com APIs de dataframe
SPARK-49179 Corrigir as junções internas com vários compartimentos da v2 que lançam AssertionError
SPARK-47456 Dar suporte ao codec ORC Brotli
SPARK-51542 Adicionar um botão de rolagem para endereçar a parte superior e inferior
SPARK-51541 Dar suporte ao tipo de dados TIME em métodos Literal
SPARK-51615 Refatorar ShowNamespaces para usar RunnableCommand
SPARK-51191 Validar o tratamento de valores padrão em DELETE, UPDATE, MERGE
SPARK-51829 O lado do cliente deve atualizar client.thread_local.ml_caches após a exclusão
SPARK-51358 Introduzir a detecção de atraso no carregamento de instantâneos através do StateStoreCoordinator
SPARK-51686 Vincular os IDs de execução de sub-execuções à execução atual, caso existam
SPARK-51456 Adicionar a to_time função
SPARK-51773 Transformar formatos de arquivo em classes de case para compará-los adequadamente
SPARK-51777 Registrar classes sql.columnar.* no KryoSerializer
SPARK-51432 Lançar uma exceção adequada quando os esquemas Arrow são incompatíveis
SPARK-51395 Refinar o tratamento de valores padrão em procedimentos
SPARK-50582 Adicionar função embutida de citação
SPARK-51684 Corrigir falha de teste no test_pandas_transform_with_state
SPARK-51213 Manter informações de classe de expressão ao resolver parâmetros de dica
SPARK-51651 Vincular a ID de execução raiz, se houver, para a execução atual
SPARK-50947 Atribuir classe de erro apropriada e SparkException para artefatos duplicados
SPARK-51574 Filtrar a serialização do filtro de Fonte de Dados do Python
SPARK-51608 Exceção de log na terminação do executor do Python
SPARK-51266 Remover a definição não utilizada de private[spark] object TaskDetailsClassNames
SPARK-51011 Adicionar registro em log para indicar se uma tarefa será interrompida ao ser encerrada
SPARK-49646 Adicionar configuração do Spark para corrigir a decorrelação de subconsulta
SPARK-51107 Refatorar CommandBuilderUtils#join para reutilizar linhas e reduzir a redundância
SPARK-51758 Corrigir caso de teste relacionado ao lote adicional que causa um df vazio devido à marca d'água
SPARK-51664 Suporte ao tipo de dados TIME na expressão Hash
SPARK-51819 Atualizar o módulo de teste pyspark-errors para incluir testes ausentes
SPARK-50751 Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_1305
SPARK-50973 Limpeza do uso preterido da API relacionada a avro.Schema#toString(boolean)
SPARK-50908 Desabilitar o teste TTL irregular em test_pandas_transform_with_state.py
SPARK-50811 Suporte para habilitar o profiler JVM no driver
SPARK-50808 Corrigir problema no writeAll com tipos mistos não sendo gravados corretamente
SPARK-51780 Implementar o procedimento Descrever
SPARK-50370 Suporte de Codegen para json_tuple
SPARK-50756 Usar a classe de erro para exceções em SparkConf.validateSettings
SPARK-50805 Mover o método nameForAppAndAttempt para o.a.s.u.Utils
SPARK-51812 Remover parâmetros redundantes de alguns métodos em QueryExecution
SPARK-50819 Refatorar o módulo do criador de perfil do Spark
SPARK-51547 Atribuir nome à condição de erro: _LEGACY_ERROR_TEMP_2130
SPARK-48538 Evitar vazamento de memória no HMS causado pelo bonecp
SPARK-51176 Garantir a consistência para erros inesperados do PySpark Connect <> Classic
SPARK-50773 Desabilitar o registro em log estruturado por padrão
SPARK-50616 Adicionar opção de extensão de arquivo ao Gravador do CSV DataSource
SPARK-50624 Adicionar TimestampNTZType para ColumnarRow/MutableColumnarRow
SPARK-51590 Desabilitar TIME em fontes de dados incorporadas baseadas em arquivos
SPARK-49886 Teste de falha no nível de consulta para o formato rocksDB V2
SPARK-50823 Atualizar o cloudpickle da 3.1.0 para a 3.1.1
SPARK-50780 Usar overrideStdFeatures em vez de setFeatureMask em JacksonParser
SPARK-50621 Atualizar o Cloudpickle para 3.1.0
SPARK-50719 Suporte interruptOperation para PySpark
SPARK-50545AccessControlException deve ser lançado mesmo se ignoreCorruptFiles estiver habilitado
SPARK-51517 Dar suporte ao tipo de dados TIME nos resultados do Hive
SPARK-47856 Mapeamento de Tipos de Dados SQL do Spark com Oracle e adição de testes
SPARK-46066 Usar a API de separadores em vez da API de strings para construir DefaultPrettyPrinter
SPARK-50718 Suporte addArtifact(s) para PySpark
SPARK-51497 Adicionar o formatador de hora padrão
SPARK-51488 Dar suporte à palavra-chave TIME como um tipo de dados
SPARK-51273 O Procedimento de Chamada do Spark Connect executa o procedimento duas vezes
SPARK-51092 Ignorar os testes de FlatMapGroupsWithState v1 com tempo limite em plataformas de big endian
SPARK-50606 Corrigir NPE em SessionHolder não iniciado
SPARK-49530 Suporte de subgráfico de pizza na plotagem do pyspark
SPARK-50357 Suporte para APIs Interrupt(Tag|All) para PySpark
SPARK-51290 Habilitar o preenchimento de valores padrão em gravações DSv2
SPARK-50485 Desdobrar SparkThrowable em (Unchecked)ExecutionException gerado por tableRelationCache
SPARK-51513 Correção da regra que RewriteMergeIntoTable produz um plano não resolvido
SPARK-51482 Suporte à conversão de cadeia de caracteres para tempo
SPARK-51462 Suporte a literais tipados do tipo de dados TIME
SPARK-51454 Suporte à conversão de tempo para cadeia de caracteres
SPARK-51447 Adicionar stringToTime e stringToTimeAnsi
SPARK-51775 Normalizar LogicalRelation e HiveTableRelation por NormalizePlan
SPARK-51791ImputerModel armazena coeficientes com matrizes em vez de dataframe
SPARK-51442 Adicionar formatores de tempo
SPARK-51384 Oferecer suporte para java.time.LocalTime como o tipo externo de TimeType
SPARK-51747 O plano armazenado em cache da fonte de dados deve respeitar as opções
SPARK-51774 Adicionar código de status GRPC à exceção GRPC do Python Connect
SPARK-51660 Gerencie com naturalidade quando o MDC não for suportado
SPARK-51296 Suporte à coleta de dados corrompidos no modo SingleVariantColumn.
SPARK-45907 Use as APIs ProcessHandle do Java9+ para computarProcessTree no ProcfsMetricsGetter
SPARK-51342 Adicionar TimeType
SPARK-51769 Adicionar maxRecordsPerOutputBatch para limitar o número de registros dos lotes de saída do Arrow
SPARK-51350 Implementar procedimentos de exibição
SPARK-51711 Política de remoção do MLCache baseada em memória
SPARK-51178 Gerar erro de PySpark apropriado em vez de SparkConnectGrpcException
SPARK-51738 Subconsulta IN com tipo de struct
SPARK-51714 Adicionar teste de ingestão de falhas para testar o formato de ponto de verificação do armazenamento de estado V2
SPARK-51704 Eliminar a operação de coleta desnecessária
SPARK-51512 Filtrar MapStatus nulo ao limpar dados embaralhados com ExternalShuffleService
SPARK-49308 Suporte a UserDefinedAggregateFunction no cliente do Spark Connect Scala
SPARK-50091 Tratar o caso de agregações no operando esquerdo da IN-subquery
SPARK-50265 Suporte ao spark.udf.registerJavaUdf no Connect
SPARK-49273 Suporte a origem para o cliente Spark Connect Scala
SPARK-51187 Implementar a descontinuação gradual da configuração incorreta introduzida no SPARK-49699
SPARK-51650 Suporte à exclusão de objetos em cache ml no lote
SPARK-51619 Suporte à entrada/saída de UDT no UDF do Python otimizadas pelo Arrow
SPARK-51333 Desdobrar o lançamento InvocationTargetException em MLUtils.loadOperator
SPARK-51566 Melhoria de rastreamento de UDF do Python
SPARK-51393 Fallback para uma UDF regular do Python quando Arrow não é encontrado, mas UDFs do Python otimizados por Arrow estão habilitados.
SPARK-49960 Suporte ao ExpressionEncoder personalizado e correções de TransformingEncoder
SPARK-51380 Adicionar visitSQLFunction e visitAggregateFunction para melhorar a flexibilidade de V2ExpressionSQLBuilder
SPARK-51600 Adicione classes de sql/hive e sql/hive-thriftserver quando isTesting || isTestingSql é verdadeiro
SPARK-51070 Usar scala.collection.Set em vez de Set em ValidateExternalType
SPARK-50759 Substituir algumas APIs de catálogo herdadas
SPARK-50994 Executar a conversão RDD sob execução monitorada
SPARK-51466 Eliminar a inicialização de UDFs internas do Hive na avaliação de UDF do Hive
SPARK-51491 Simplificar o boxplot com APIs de subconsulta
SPARK-51175 Fazer Master mostrar o tempo decorrido ao remover drivers
SPARK-50334 Extrair lógica comum para ler o descritor do arquivo PB
SPARK-50483 BlockMissingException deve ser lançada mesmo se ignoreCorruptFiles estiver habilitado.
SPARK-50286 Propagar corretamente as opções de SQL para WriteBuilder
SPARK-51023 Registrar o endereço remoto na exceção de RPC
SPARK-47611 Limpar código morto em MySQLDialect.getCatalystType
SPARK-49229 Eliminar duplicação no tratamento de UDF do Scala no SparkConnectPlanner
SPARK-50557 Suporte a RuntimeConfig.contains(..) na Interface SQL do Scala
SPARK-51471 RatePerMicroBatchStream - classificar o erro ASSERT quando o deslocamento/carimbo de data/hora em startOffset for maior que o endOffset
SPARK-50473 Simplificar o manuseio clássico de colunas
SPARK-49286 Mover funções do Avro/Protobuf para sql/api
SPARK-49087 Distinguir UnresolvedFunction que chama funções internas
SPARK-50422 Torne Parameterized SQL queries da API GA SparkSession.sql
SPARK-49249 PR complementar para "Adicionar a nova configuração do gerenciador de artefatos padrão no PySpark à lista de permissões"
SPARK-50366 Isolar tags definidas pelo usuário no nível de thread para SparkSession na modalidade Clássica
SPARK-49436 Interface comum para SQLContext
SPARK-51551 Para ajustar o algoritmo, permitir o uso de salvar/carregar para substituir o cache
SPARK-51599 Otimizar ps.read_excel para arquivos grandes do Excel
SPARK-51118 Corrigir ExtractPythonUDFs para verificar os tipos de entrada UDF encadeados para fallback
SPARK-50395 Corrigir sintaxe de URI malformada no Windows
SPARK-50708 Excluir recursos do Artefato no GC da instância ArtifactManager
SPARK-51076 Recurso de fallback de UDF do Python usando Arrow para tipos de entrada e saída UDT
SPARK-50243 Carregador de classes armazenado em cache para ArtifactManager
SPARK-49249 Isolamento de artefato no Spark Classic
SPARK-50821 Atualizar o Py4J de 0.10.9.8 para 0.10.9.9
SPARK-51591 Corrigir falha do ThreadPoolExecutor no teste diário do Python 3.13
SPARK-40353 Corrigir incompatibilidade de índice nulo em ps.read_excel
SPARK-42746 Implementar a função LISTAGG
SPARK-50102 Adicione shims necessários para métodos SQL públicos ausentes.
SPARK-50513 Dividir EncoderImplicits de SQLImplicits e fornecer objeto auxiliar no StatefulProcessor
SPARK-51567 Correção DistributedLDAModel.vocabSize
SPARK-49569 Adicionar shims para dar suporte a SparkContext e RDD
SPARK-51473 O dataframe transformado em ML mantém uma referência ao modelo
SPARK-51340 Estimativa de tamanho do modelo
SPARK-51474 Não insira ColumnarToRowExec redundante para nó que suporta saída tanto em colunas quanto em linhas.
SPARK-51445 Alterar aquilo que nunca foi alterado var para val
SPARK-50618 Fazer o DataFrameReader e o DataStreamReader aproveitarem mais o analisador
SPARK-51097 Reintroduzir as métricas de instância da última versão do instantâneo carregado do armazenamento de estado do RocksDB
SPARK-49418 Locais de Thread de Sessão Compartilhada
SPARK-50096 Atribuir a condição de erro apropriada para _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
SPARK-50264 Adicionar métodos ausentes ao DataStreamWriter
SPARK-49434 Mover agregadores para sql/api
SPARK-51451 Corrigir ExtractGenerator para aguardar a resolução de UnresolvedStarWithColumns
SPARK-49416 Adicionar interface compartilhada de DataStreamReader
SPARK-49429 Adicionar interface DataStreamWriter Compartilhada
SPARK-49282 Crie uma interface do SparkSessionBuilder compartilhada.
SPARK-49415 Mover SQLImplicits para sql/api
SPARK-51443 Corrigir singleVariantColumn em DSv2 e readStream.
SPARK-49369 Adicionar conversões de coluna implícitas
SPARK-49417 Adicionar interface StreamingQueryManager Compartilhada
SPARK-51079 Suporte a tipos de variáveis grandes no Pandas UDF, createDataFrame e toPandas com Arrow
SPARK-51277 Implementar a implementação 0-arg no UDF do Python otimizado por Arrow
SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas
SPARK-49479 Cancelar o thread não daemon do Timer ao parar o BarrierCoordinator
SPARK-51379 Mover a agregação final de treeAggregate do driver para o executor
SPARK-49712 Remover encoderFor de connect-client-jvm
SPARK-49424 Consolidar Encoders.scala
SPARK-49574 Desabilitar testes de compartilhamento delta interrompidos para mestre
SPARK-51409 Adicionar classificação de erro no caminho de criação do gravador changelog
SPARK-49568 Remover o tipo próprio do conjunto de dados
SPARK-51433 Alterar o script de versão para liberar pyspark-client
SPARK-51422 Eliminar a troca de dados JVM-Python no CrossValidator
SPARK-51425 Adicionar a API do cliente para definir configuração personalizada operation_id
SPARK-49284 Criar uma interface de catálogo compartilhado
SPARK-50855 Suporte do Spark Connect para TransformWithState no Scala
SPARK-50694 Suporte a renomeações em subconsultas
SPARK-50880 Adicionar um novo método visitBinaryComparison a V2ExpressionSQLBuilder
SPARK-51282 Otimizar a transformação OneVsRestModel eliminando a troca de dados JVM-Python
SPARK-51079 Suporte a tipos de variáveis grandes no Pandas UDF, createDataFrame e toPandas com Arrow
SPARK-51383 Evitar chamadas RPC se os clientes já forem reconhecidos como parados
SPARK-51227 Corrigir o PySpark Connect _minimum_grpc_version para 1.67.0
SPARK-51362 Alterar toJSON para usar a API NextIterator para eliminar a dependência de registro adjacente
SPARK-51375 Suprimir SparkConnect(Execution|Session)Manager.periodicMaintenance mensagens de log
SPARK-50393 Introduzir TableArg comum para Spark Classic e Spark Connect
SPARK-50133 Suporte à conversão de DataFrame em argumento de tabela no Cliente Python do Spark Connect
SPARK-49574 ExpressionEncoder rastreia o AgnosticEncoder que o criou
SPARK-49422 Adicionar groupByKey ao sql/api
SPARK-51381 Mostrar Session ID na Spark Connect Session página
SPARK-51316 Permitir lotes em Arrow em bytes em vez de número de linhas
SPARK-50134 Suporte à API DataFrame para subconsultas SCALAR e EXISTS no Spark Connect
SPARK-50392 Conversão de DataFrame em argumento de tabela no Spark Classic
SPARK-50553 Lançar InvalidPlanInput para mensagem de plano inválida
SPARK-51322 Uma melhor mensagem de erro para expressão de subconsulta de streaming
SPARK-51281 DataFrameWriterV2 deve respeitar a opção de caminho
SPARK-50856 Suporte do Spark Connect para TransformWithStateInPandas no Python
SPARK-51333 Desdobrar o lançamento InvocationTargetException por invokeMethod
SPARK-50134 Suporte à API dataframe para junção lateral no Spark Connect
SPARK-51083 Modificar JavaUtils para não assimilar InterruptedExceptions
SPARK-49413 Criar uma interface RuntimeConfig compartilhada (acompanhamento)
SPARK-49413 Criar uma interface RuntimeConfig compartilhada
SPARK-50993 Mover nullDataSourceOption de QueryCompilationErrors para QueryExecutionErrors
SPARK-51329 Adicionar numFeatures para modelos de clustering
SPARK-51305 Melhorar SparkConnectPlanExecution.createObservedMetricsResponse
SPARK-51097 Adicionando métricas da instância de armazenamento de estado para a última versão do snapshot carregada no RocksDB
SPARK-49425 Criar um DataFrameWriter compartilhado
SPARK-50655 Mover o mapeamento relacionado à família de cols virtuais para a camada DB em vez de para o codificador
SPARK-48530 Suporte para variáveis locais no Script SQL
SPARK-51284 Corrigir a execução do Script SQL para resultado vazio
SPARK-49085 Remover tratamento especial para funções Protobuf no Connect
SPARK-50881 Use o esquema armazenado em cache sempre que possível no connect dataframe.py
SPARK-51275 Propagação de sessão no readwrite do Python
SPARK-51109 CTE na expressão de subconsulta como coluna de agrupamento
SPARK-50598 Adicionar parâmetros para habilitar a implementação posterior de CTEs recursivos
SPARK-51202 Passar a sessão nos gravadores de meta algoritmo em Python
SPARK-51215 Adicionar uma função auxiliar para invocar o modelo auxiliar attr
SPARK-51214 Não remova antecipadamente os modelos armazenados em cache para fit_transform
SPARK-51237 Adicionar detalhes da API para novas APIs auxiliares transformWithState
SPARK-51192 Expor processWithoutResponseObserverForTesting em SparkConnectPlanner
SPARK-51217 Limpeza do construtor auxiliar do modelo de ML
SPARK-51218 Evitar map/flatMap em NondeterministicExpressionCollection
SPARK-50953 Adicionar suporte para caminhos não literais no VariantGet
SPARK-50132 Adicionar a API do DataFrame para Junções Laterais
SPARK-51190 Corrigir TreeEnsembleModel.treeWeights
SPARK-50945 Suporte ao Summarizer e SummaryBuilder no Connect
SPARK-51142 Limpeza de protobufs de ML
SPARK-51139 Refinar classe de erro MLAttributeNotAllowedException
SPARK-51080 Corrigir salvar/carregar para PowerIterationClustering
SPARK-51100 Substituir wrappers de transformador por relações de atributo de modelo auxiliar
SPARK-51091 Corrigir os parâmetros padrão de StopWordsRemover
SPARK-51089 Suporte para VectorIndexerModel.categoryMaps no Connect
SPARK-50954 Suporte à substituição do caminho do modelo no lado do cliente para meta algoritmos
SPARK-50975 Suporte para CountVectorizerModel.from_vocabulary no Connect
SPARK-50958 Suporte para Word2VecModel.findSynonymsArray no Connect
SPARK-50930 Suporte para PowerIterationClustering no Connect
SPARK-51157 Adicionar anotação @varargs Scala ausente para APIs de função Scala
SPARK-51155 Fazer SparkContext exibir o tempo total de execução após a parada
SPARK-51143 Fixar plotly<6.0.0 e torch<2.6.0
SPARK-50949 Introduzir um modelo auxiliar para dar suporte StringIndexModel.from_labels_xxx
SPARK-51131 Gerar exceção quando o Script SQL for encontrado dentro do comando EXECUTE IMMEDIATE
SPARK-51078 Corrigir a chamada py4j em StopWordsRemover
SPARK-50944 Suporte para KolmogorovSmirnovTest no Connect
SPARK-50602 Corrigir o transpose para mostrar uma mensagem de erro adequada quando colunas de índice inválidas são especificadas
SPARK-50943 Suporte para Correlation no Connect
SPARK-50234 Aprimorar a mensagem de erro e o teste para transpor a API DataFrame
SPARK-50942 Suporte para ChiSquareTest no Connect
SPARK-48353 Introdução ao mecanismo de tratamento de exceções no script SQL
SPARK-51043 Registros em logs de usuários refinados para foreachBatch do Spark Connect
SPARK-50799 Refinar o docstring de rlike, comprimento, octet_length, bit_length e transformação
SPARK-51015 Suporte para RFormulaModel.toString no Connect
SPARK-50843 Suporte para retornar um novo modelo a partir de um existente
SPARK-50969 Corrigir GaussianMixtureModel.gaussians no Connect
SPARK-50899 Suporte ao PrefixSpan na conexão
SPARK-51060 Suporte para QuantileDiscretizer no Connect
SPARK-50974 Adicionar suporte foldCol para CrossValidator no Connect
SPARK-50922 Suporte ao OneVsRest no Connect
SPARK-50812 Adicionar suporte a PolynomialExpansion
SPARK-50923 Suporte de FMClassifier e FMRegressor no Connect
SPARK-50918 Refatorar leitura/gravação para Pipeline
SPARK-50938 Suporte para VectorSizeHint e VectorSlicer no Connect
SPARK-51005 Suporte para VectorIndexer e ElementwiseProduct no Connect
SPARK-51014 Suporte a RFormula na conexão
SPARK-50941 Adicionar suporte para TrainValidationSplit
SPARK-51004 Adicionar suporte para IndexString
SPARK-51003 Suporte a modelos LSH no Connect
SPARK-50924 Suporte a AFTSurvivalRegression e IsotonicRegression no Connect
SPARK-50921 Suporte para MultilayerPerceptronClassifier no Connect
SPARK-50995 Suporte clusterCenters para KMeans e BisectingKMeans
SPARK-50940 Adiciona suporte a CrossValidator/CrossValidatorModel na conexão
SPARK-50929 Suporte para LDA no Connect
SPARK-50925 Suporte à Regressão Linear Generalizada no Connect
SPARK-50988 Corrigir inconsistências de uid para o estimador e o modelo
SPARK-50989 Suporte a NGram, Normalizador e Interação no Connect
SPARK-50937 Suporte para Imputer no Connect
SPARK-51049 Aumentar o limite de IO do vetor S3A para mesclagem de intervalo
SPARK-50812 Suporte do TargetEncoderModel no Connect
SPARK-50920 Suporte a NaiveBayes no Connect
SPARK-50936 Suporte a HashingTF, IDF e FeatureHasher no Connect
SPARK-50934 Suporte a CountVectorizer e OneHotEncoder no Connect
SPARK-49287 Mover classes de streaming para sql/api
SPARK-50932 Suporte a Bucketizer no Connect
SPARK-50933 Dar suporte a seletores de recursos no Connect
SPARK-50931 Suporte a Binarizer no Connect
SPARK-50935 Suporte a DCT no Connect
SPARK-50963 Suporte a Tokenizers, SQLTransform e StopWordsRemover no Connect
SPARK-50928 Suporte a GaussianMixture no Connect
SPARK-49383 Suporte para a API de transposição do DataFrame
SPARK-50939 Suporte ao Word2Vec no Connect
SPARK-49249 Adicionar novas APIs relacionadas à marca no Connect de volta ao Spark Core
SPARK-50919 Suporte ao LinearSVC na conexão
SPARK-50883 Suporte à alteração de várias colunas no mesmo comando
SPARK-50918 Suporte ao Pipeline no Connect
SPARK-50826 Refatorar a maneira de tratamento de ALLOWED_ATTRIBUTES
SPARK-49427 Criar uma interface compartilhada para MergeIntoWriter
SPARK-49414 Adicionar interface DataFrameReader Compartilhada
SPARK-50948 Adicionar suporte para StringIndexer/PCA no Connect
SPARK-50901 Transformador de suporte VectorAssembler
SPARK-50879 Suporte a dimensionadores de recursos no Connect
SPARK-50130 Adicionar APIs do DataFrame para subconsultas escalares e existentes
SPARK-50075 Adicionar APIs do DataFrame para funções com valor de tabela
SPARK-49426 Criar uma interface compartilhada para DataFrameWriterV2
SPARK-50898 Suporte para FPGrowth no Connect
SPARK-50844 Fazer com que o modelo seja carregado pelo ServiceLoader ao carregar
SPARK-50884 Suporte a isLargerBetter no Avaliador
SPARK-50959 Silenciar a exceção de JavaWrapper
SPARK-50558 Introduzir simpleString para ExpressionSet
SPARK-49422 Criar uma interface compartilhada para KeyValueGroupedDataset
SPARK-50878 Suporte ao ALS no Connect
SPARK-50897 Evitando a criação da instância no ServiceLoader
SPARK-50877 Suporte a KMeans & BisectingKMeans no Connect
SPARK-50876 Suporte a Regressões com Árvores no Connect
SPARK-50874 Suporte para LinearRegression no Connect
SPARK-50869 Suporte a avaliadores no ML Connect
SPARK-50851 Expressar parâmetros de ML com proto.Expression.Literal
SPARK-50825 Suporte para classificadores de árvores no ML Connect
SPARK-50827 Plug-in de suporte
SPARK-49907 Suporte a spark.ml no Connect
SPARK-50968 Corrigir o uso de Column.__new__
SPARK-49028 Criar um SparkSession compartilhado
SPARK-49421 Criar uma interface RelationalGroupedDataset compartilhada
SPARK-50804 to_protobuf() não deve lançar MatchError
SPARK-50900 Adicionar VectorUDT e MatrixUDT a ProtoDataTypes
SPARK-50579 Correção truncatedString
SPARK-50875 Adicionar ordenações RTRIM a TVF
SPARK-49420 Adicionar interface compartilhada para DataFrameNaFunctions
SPARK-50669 Alterar a assinatura da expressão TimestampAdd
SPARK-46615 Suporte a s.c.immutable.ArraySeq em ArrowDeserializers
SPARK-49423 Consolidar observação em sql/api
SPARK-49086 Mover o registro de função ML para SparkSessionExtensions
SPARK-49419 Criar funções estatísticas de DataFrame compartilhadas
SPARK-50735 Falha no ExecuteResponseObserver resulta em solicitações de reanexamento infinito
SPARK-50522 Suporte para ordenação indeterminada
SPARK-50893 Marcar UDT.DataType opcional
SPARK-50685 Melhorar o desempenho do Py4J aproveitando o getattr
SPARK-50742 Remover configuração spark.hadoop.fs.s3a.connection.establish.timeout
SPARK-50714 Habilitar a evolução do esquema para TransformWithState quando a codificação do Avro é usada
SPARK-49029 Criar interface de conjunto de dados compartilhado
SPARK-50263 Substituir System.currentTimeMillis por System.nanoTime
SPARK-50525 Definir a regra do otimizador InsertMapSortInRepartitionExpressions
SPARK-50561 Aprimorar a coerção de tipos e a verificação de limites para a função SQL UNIFORME
SPARK-50707 Habilitar a conversão para/de char/varchar
SPARK-49027 Compartilhar API de coluna entre a classe e o Connect
SPARK-49632 Remover a sugestão de configuração ANSI no CANNOT_PARSE_TIMESTAMP
SPARK-50529 Alterar o comportamento de char/varchar sob a configuração
SPARK-50600 Conjunto analisado na falha da análise
SPARK-50789 As entradas para agregações tipadas devem ser analisadas
SPARK-49025 Tornar a implementação de coluna independente
SPARK-50738 Atualizar black para 23.12.1
SPARK-49883 Integração da estrutura de ponto de verificação do armazenamento de estado V2 com o RocksDB
SPARK-50778 Adicionar metadataColumn ao PySpark DataFrame
SPARK-49565 Aprimorar os aliases de expressão gerados automaticamente com operadores de pipe SQL
SPARK-50772 Manter aliases de tabela após operadores SET, EXTEND, DROP
SPARK-50690 Correção da discrepância na cotação de saída da consulta da exibição DESCRIBE TABLE
SPARK-50675 Suporte a agrupamentos em nível de tabela e exibição
SPARK-50480 Estender CharType e VarcharType a partir de StringType
SPARK-50715SparkSession.Builder configura as configurações em lote
SPARK-50693 As entradas para TypedScalaUdf devem ser analisadas
SPARK-50710 Adicionar suporte para reconexão opcional do cliente às sessões após a versão
SPARK-50596 Atualizar o Py4J de 0.10.9.7 para 0.10.9.8
SPARK-50661 Adicione compatibilidade com versões anteriores para o cliente antigo FEB.
SPARK-50515 Adicionar uma interface somente leitura para SparkConf
SPARK-50642 Corrigir o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não houver estado inicial
SPARK-50702 Refinar o docstring de regexp_count, regexp_extract e regexp_extract_all
SPARK-50692 Adicionar suporte ao pushdown de RPAD
SPARK-50699 Analisar e gerar cadeia de caracteres DDL com uma sessão especificada
SPARK-50573 Adicionar o ID do esquema de estado às linhas de estado para a evolução do esquema
SPARK-50311 APIs de suporte (add|remove|get|clear)Tag(s) para PySpark
SPARK-50661 Corrigir a implementação de foreachBatch do Spark Connect Scala. para dar suporte ao conjunto de dados[T].
SPARK-50696 Otimizar a chamada Py4J para o método de análise de DDL
SPARK-50687 Otimizar a lógica para obter rastreamentos de pilha para DataFrameQueryContext
SPARK-50681 Armazenar em cache o esquema analisado para MapInXXX e ApplyInXXX
SPARK-50578 Adicionar suporte para a nova versão dos metadados de estado para TransformWithStateInPandas
SPARK-50405 Tratar corretamente a coerção do tipo de agrupamento de tipos de dados complexos
SPARK-50615 Efetue push da variante para a verificação.
SPARK-50599 Criar a característica do DataEncoder que permite a codificação Avro e UnsafeRow
SPARK-50076 Corrigir chaves de log
SPARK-50339 Habilitar o registro de alterações para armazenar informações de linhagem
SPARK-50540 Corrigir esquema de cadeia de caracteres para StatefulProcessorHandle
SPARK-50544 Implementar StructType.toDDL
SPARK-50528 Mover InvalidCommandInput para o módulo comum
SPARK-50063 Adicionar suporte para Variant no cliente Do Spark Connect Scala
SPARK-50310 Adicionar um sinalizador para desabilitar DataFrameQueryContext para PySpark
SPARK-50310 Adicionar um sinalizador para desabilitar DataFrameQueryContext para PySpark
SPARK-50032 Permitir o uso de um nome de agrupamento totalmente qualificado
SPARK-50466 Refinar o docstring para funções de cadeia de caracteres – parte 1
SPARK-49676 Adicionar suporte para encadeamento de operadores na API transformWithStateInPandas
SPARK-50081 Suporte de Codegen para XPath*(por Invoke & RuntimeReplaceable)
SPARK-46725 Adicionar função DAYNAME
SPARK-50067 Suporte do Codegen para SchemaOfCsv (por Invoke & RuntimeReplaceable)
Spark-49873 correção de falha de pós-mesclagem em testes de erro
SPARK-50270 Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
SPARK-50381 Apoio spark.master.rest.maxThreads
SPARK-50427 Expor configure_logging como uma API pública
SPARK-50173 Fazer com que as expressões pandas aceitem mais tipos de dados
SPARK-50169 Melhorar o desempenho de RegExpReplace
SPARK-50238 Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs do UC Python
SPARK-50190 Remover a dependência direta do Numpy do Histograma
SPARK-50183 Unificar as funções internas para a API do Pandas e a plotagem do PySpark
SPARK-50170 Mover _invoke_internal_function_over_columns para pyspark.sql.utils
SPARK-50036 Incluir SPARK_LOG_SCHEMA no contexto do shell REPL
SPARK-50141 Criar lpad e rpad para aceitar argumentos do tipo Coluna
SPARK-49954 Suporte do Codegen para SchemaOfJson (by Invoke &RuntimeReplaceable)
SPARK-50098 Atualizar a versão mínima para googleapis-common-protos 1.65.0
SPARK-50059 Verificação de compatibilidade de API para E/S de Streaming Estruturado
SPARK-50241 Substituir mesclagem NullIntolerant pelo método Expression.nullIntolerant
SPARK-49849 Verificação de compatibilidade da API para o Gerenciamento de Consultas de Streaming Estruturado
SPARK-49851 Verificação de compatibilidade da API para Protobuf
SPARK-49850 Verificação de compatibilidade da API para o Avro
SPARK-50039 Verificação de compatibilidade da API para agrupamento
SPARK-50023 Verificação de compatibilidade da API para funções
SPARK-50030 Verificação de compatibilidade da API para Janela
SPARK-50002 Verificação de compatibilidade de API para E/S
SPARK-49848 Verificação de compatibilidade da API para Catálogo
SPARK-50022 Ajuste MasterPage para ocultar os links da UI do aplicativo quando a UI estiver desabilitada
SPARK-50021 Ajuste ApplicationPage para ocultar links da interface do usuário do aplicativo quando a interface do usuário estiver desabilitada
SPARK-49990 Melhorar o desempenho de randStr
SPARK-50380 ReorderAssociativeOperator deve respeitar o contrato em ConstantFolding
SPARK-50330 Adicionar dicas aos nós Sort e Window
SPARK-49609 Adicionar verificação de compatibilidade de API entre Classic e Connect
SPARK-49773 Exceção Java não capturada de make_timestamp() com fuso horário incorreto
SPARK-49345 Certifique-se de usar a sessão do Spark em execução atual
SPARK-49368 Evite acessar classes protobuf lite diretamente
SPARK-50056 Suporte do Codegen para ParseUrl (por Invoke & RuntimeReplaceable)
SPARK-49119 Corrigir a inconsistência da sintaxe show columns entre v1 e v2
SPARK-50144 Resolver a limitação do cálculo de métricas com fontes de streaming DSv1
SPARK-49962 Simplificar a hierarquia de classes AbstractStringTypes
SPARK-50327 Fatorar a resolução da função a ser reutilizada no Analisador de passagem única
SPARK-48775 Substituir SQLContext por SparkSession no STS
SPARK-50325 Fatorar a resolução de alias a ser reutilizada no Analisador de passagem única
SPARK-48123 Fornecer um esquema de tabela constante para consultar logs estruturados
SPARK-50055 Adicionar alternativa TryMakeInterval
SPARK-49312 Melhorar a mensagem de erro para assertSchemaEqual
SPARK-38912 Remover o comentário relacionado a classmethod e property
SPARK-50112 Permitindo que o operador TransformWithState use a codificação Avro
SPARK-50260 Refatorar e otimizar a execução e o gerenciamento de sessão do Spark Connect
SPARK-50196 Corrigir o contexto de erro do Python para usar um contexto adequado
SPARK-50167 Melhorar as mensagens de erro e importações de gráficos do PySpark
SPARK-50085 Faça lit(ndarray) com np.int8 respeitar o tipo de dados numpy
SPARK-50273 Aprimorar o registro em log para casos de aquisição/liberação de bloqueio do RocksDB
SPARK-50163 Corrigir a versão adicional do acquireLock do RocksDB devido ao ouvinte de conclusão
SPARK-49770 Aprimorar o gerenciamento de mapeamento de arquivos SST do RocksDB e corrigir o problema de recarregar a mesma versão com o instantâneo existente
SPARK-50232 Adicione 'protobuf==5.28.3' em dev/requirements.txt
SPARK-50231 Fazer a função instr aceitar a coluna substring
SPARK-50028 Substituir os bloqueios globais no ouvinte do servidor Spark Connect por bloqueios refinados
SPARK-50077 Introduzir um novo objeto padrão para LogicalRelation para ajudar a evitar o padrão padrão de parâmetros completos
SPARK-50128 Adicionar APIs de tratamento de processador com estado usando codificadores implícitos no Scala
SPARK-49411 Comunicar a ID do Ponto de Verificação do Repositório de Estado entre o driver e os operadores com estado
SPARK-50054 Suporte para gráficos de histograma
SPARK-49854 Não copie bibliotecas de cluster ao clonar o Gerenciador de Artefatos
SPARK-50071 Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
SPARK-50024 Alternar para usar o registrador em vez do módulo de mensagens de aviso no cliente
SPARK-50174 Fatorar a resolução UnresolvedCatalogRelation
SPARK-49734 Adicionar seed argumento para a função shuffle
SPARK-49943 Remover timestamp_ntz_to_long de PythonSQLUtils
SPARK-49945 Adicionar alias para distributed_id
SPARK-49755 Remover tratamento especial para funções avro no Connect
SPARK-49805 Remover funções privadas[xxx] de function.scala
SPARK-49929 Suporte a gráficos de caixa
SPARK-49767 Refatorar a invocação de função interna
SPARK-49939 Suporte do Codegen para json_object_keys (por Invoke & RuntimeReplaceable)
SPARK-49854 Clonar o gerenciador de artefatos, durante o clone da sessão
SPARK-49766 Suporte à geração de código para json_array_length (por Invoke & RuntimeReplaceable)
SPARK-49540 Unificar o uso de distributed_sequence_id
SPARK-50046 Usar a ordem estável do nó EventTimeWatermark para calcular a marca d'água
SPARK-50031 Adicionar a TryParseUrl expressão
SPARK-49202 Aplicar ArrayBinarySearch ao histograma
SPARK-49811 Renomear StringTypeAnyCollation
SPARK-50106 Atualizar protobuf o pacote do Python para 5.28.3
SPARK-49203 Adicionar expressão para java.util.Arrays.binarySearch
SPARK-50090 Refatorar ResolveBinaryArithmetic para separar a transformação de um único nó
SPARK-49103 Apoio spark.master.rest.filters
SPARK-49222 Limpar métodos inúteis em QueryCompilationErrors
SPARK-50062 Suporte a ordenações por InSet
SPARK-50035 Adicionar suporte para a função explícita handleExpiredTimer como parte do processador com estado
SPARK-50050 Fazer lit aceitar o tipo str e bool numpy ndarray
SPARK-50051 Fazer lit funcionar com ndarray numpy vazios
SPARK-49857 Adicionar storageLevel à API localCheckpoint do Conjunto de Dados
SPARK-48749 Simplificar UnaryPositive e eliminar suas regras do Catalyst com RuntimeReplaceable
SPARK-50058 Fatorar as funções de normalização do plano para usá-las posteriormente em testes de passagem única do Analisador
SPARK-50042 Atualizar o numpy 2 para o linter do Python
SPARK-50052 Fazer com que NumpyArrayConverter dê suporte a str ndarray vazio
SPARK-49126 Mover a definição de configuração spark.history.ui.maxApplications para History.scala
SPARK-50044 Refinar o docstring de várias funções matemáticas
SPARK-48782 Adicionar suporte para executar procedimentos em catálogos
SPARK-48773 Configuração de documento "spark.default.parallelism" por estrutura do construtor de configuração
SPARK-49876 Livrar-se dos bloqueios globais do Serviço Spark Connect
SPARK-48480 StreamingQueryListener não deve ser afetado por spark.interrupt()
SPARK-49978 Mover o aviso de depreciação do sparkR para o momento de anexação do pacote
SPARK-48549 Melhorar a função SQL sentences
SPARK-49956 Ordenações desabilitadas com expressão collect_set
SPARK-49974 Mover resolveRelations(...) para fora do Analyzer.scala
SPARK-49067 Mover literal UTF-8 para métodos internos da classe UrlCodec
SPARK-49393 Falha por padrão em APIs de plug-in de catálogo preteridas
SPARK-49918 Usar acesso somente leitura para conf em SparkContext quando apropriado
SPARK-49924 Manter containsNull após a ArrayCompact substituição
SPARK-49895 Melhorar o erro ao encontrar vírgula à direita na cláusula SELECT
SPARK-49890 Extrair a preparação do df.sample para a classe pai
SPARK-49810 Extrair a preparação de DataFrame.sort para a classe pai
SPARK-49405 Restringir conjuntos de caracteres em JsonOptions
SPARK-49542 Erro de avaliação de exceção de transformação de partição
SPARK-47172 Adicionar suporte para AES-GCM para criptografia RPC
SPARK-44914 Corrigir HadoopConfUtilsSuite depois de remover xercesImpl
SPARK-47496 Suporte do Java SPI para registro dinâmico de dialeto JDBC
SPARK-48961 Tornar a nomenclatura de parâmetro de PySparkException consistente com a JVM
SPARK-47390 Tratamento do mapeamento de carimbos de data/hora SQL para Postgres e MySQL
SPARK-49824 Melhorar o registro em log no SparkConnectStreamingQueryCache
SPARK-49894 Refinar a representação da cadeia de caracteres das operações de campo de coluna
SPARK-49836 Corrigir consulta possivelmente quebrada quando uma janela é fornecida para window/session_window fn
SPARK-49531 Suporte a gráfico de linha com o back-end plotly
SPARK-48780 Tornar os erros em NamedParametersSupport genéricos para lidar com funções e procedimentos
SPARK-49026 Adicionar ColumnNode para a conversão Proto
SPARK-49814 Quando o Cliente do Spark Connect for iniciado, mostre o spark version do connect server
SPARK-49246 TableCatalog#loadTable deve indicar se é para gravação
SPARK-49749 Alterar o nível de log para depuração no BlockManagerInfo
SPARK-48303 Reorganizar LogKeys
SPARK-48112 Expor sessão no SparkConnectPlanner a plug-ins
SPARK-45919 Usar o Java 16 record para simplificar a definição de classe Java
SPARK-48126 Tornar spark.log.structuredLogging.enabled eficaz
SPARK-49656 Adicionar suporte a variáveis de estado com tipos de coleta de estado de valor e opções de feed de alteração de leitura
SPARK-49323 Mover o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor
SPARK-49772 Remover ColumnFamilyOptions e adicionar configurações diretamente a dbOptions no RocksDB
SPARK-49688 Corrigir uma corrida de dados entre o plano de interrupção e execução
SPARK-49585 Substituir o mapa de execuções no SessionHolder pelo conjunto operationID
SPARK-49684 Minimizar o tempo de vida do bloqueio de restauração da sessão
SPARK-48857 Restringir conjuntos de caracteres em CSVOptions
SPARK-48615 Melhoria de perf para analisar a cadeia de caracteres hex
SPARK-49719 Fazer UUID e SHUFFLE aceitar o inteiro seed
SPARK-49713 Fazer com que a função count_min_sketch aceite argumentos numéricos
SPARK-48623 Migrações estruturadas de log [Parte 3]
SPARK-48541 Adicionar um novo código de saída para executores mortos por TaskReaper
SPARK-48627 Melhoria de performance para binário para cadeia de caracteres HEX_DISCRETE
SPARK-49226 Limpar a geração de código UDF
SPARK-49673 Aprimorar CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
SPARK-49307 Adicionar a serialização Kryo ao framework de codificador independente
SPARK-48601 Dê uma mensagem de erro mais amigável ao definir um valor nulo para a Opção JDBC
SPARK-42252 Adicionar spark.shuffle.localDisk.file.output.buffer e preterir spark.shuffle.unsafe.file.output.buffer
SPARK-49505 Criar novas funções SQL "randstr" e "uniforme" para gerar cadeias de caracteres aleatórias ou números dentro de intervalos
SPARK-48341 Permitir que os plug-ins usem QueryTest em seus testes
SPARK-48374 Suporte a tipos adicionais de colunas da tabela PyArrow
SPARK-49412 Computar todas as métricas de gráfico de caixa em um único trabalho
SPARK-49684 Remover bloqueios globais de gerenciadores de sessão e execução
SPARK-49225 Adicionar ColumnNode sql & normalize
SPARK-49274 Dar suporte a codificadores baseados em serialização java
SPARK-49089 Mover expressões do Catalyst codificadas para o registro de funções internas
SPARK-48185 Correção de 'classe de referência simbólica não está acessível: classe sun.util.calendar.ZoneInfo'
SPARK-48037 Corrigir a falta de métricas relacionadas à gravação aleatória no SortShuffleWriter, resultando em dados potencialmente imprecisos
SPARK-49534 Não precede mais sql/hive e sql/hive-thriftserver quando spark-hive_xxx.jar não está no classpath
SPARK-49502 Evitar NPE em SparkEnv.get.shuffleManager.unregisterShuffle
SPARK-49567 Usar classic em vez de vanilla da base de código do PySpark
SPARK-49582 Aprimorar o utilitário "dispatch_window_method" e docstring
SPARK-49478 Manipular métricas nulas no ConnectProgressExecutionListener
SPARK-49525 Pequeno aprimoramento de log no ouvinte ListenerBus do Server Side Streaming
SPARK-49544 Substituir o bloqueio grosseiro no SparkConnectExecutionManager com ConcurrentMap
SPARK-49548 Substituir o bloqueio grosseiro no SparkConnectSessionManager com ConcurrentMap
SPARK-49004 Usar registro separado para funções internas da API de Coluna
SPARK-49443 Implementar a expressão to_variant_object e fazer as expressões schema_of_variant imprimirem OBJETO para Objetos Variantes
SPARK-49595 Correção em DataFrame.unpivot/melt no cliente Scala do Spark Connect
SPARK-49526 Dar suporte a caminhos no estilo Windows no ArtifactManager
SPARK-49396 Modificar a verificação de nulidade para a expressão CaseWhen
SPARK-49024 Adicionar suporte para funções ao nó de coluna
SPARK-48985 Conectar construtores de expressão compatível
SPARK-49083 Permitir que from_xml e from_json trabalhem nativamente com esquemas json
SPARK-48986 Adicionar Representação Intermediária do ColumnNode
SPARK-48960 Faz com que o spark-submit funcione com o Spark Connect
SPARK-49492 Tentativa de reconexão em ExecutionHolder inativo
SPARK-47307 Adicionar uma configuração para opcionalmente dividir cadeias de caracteres base64 em partes
SPARK-49451 Permitir chaves duplicadas no parse_json
SPARK-49021 Adicionar suporte à leitura de variáveis de estado de valor transformWithState com o leitor de fonte de dados de estado
SPARK-49249 Adicionar addArtifact a API ao Spark SQL Core
SPARK-48693 Simplificar e unificar toString de Invoke e StaticInvoke
SPARK-41982 Partições de cadeia de caracteres de tipo não devem ser tratadas como tipos numéricos
SPARK-49216 Corrigir para não registrar em log o contexto da mensagem com LogEntry construído explicitamente quando a configuração de registro estruturado estiver desativada
SPARK-49459 Suporte a CRC32C para Soma de Verificação Aleatória
SPARK-49409 Ajustar o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
SPARK-49164 Correção de ausência de NullSafeEqual no predicado da consulta SQL na relação JDBC
SPARK-48344 Execução de scripts SQL (incluindo o Spark Connect)
SPARK-49260 Não é mais necessário anexar o caminho de classes do sql/core módulo no Shell do Spark Connect
SPARK-49041 Gerar um erro adequado para dropDuplicates quando um subset incorreto for fornecido.
SPARK-49300 Corrigir o vazamento de token de delegação do Hadoop quando tokenRenewalInterval não estiver definido
SPARK-48796 Carregar a ID da família de colunas de RocksDBCheckpointMetadata para VCF ao reiniciar
SPARK-49269 Avaliar antecipadamente a lista VALUES() no AstBuilder
SPARK-49336 Limitar o nível de aninhamento ao truncar uma mensagem protobuf
SPARK-49245 Refatorar algumas regras do analisador
SPARK-48755 implementação base do transformWithState no pyspark e suporte ao ValueState
SPARK-48762 Introduzir a API DataFrameWriter clusterBy para Python
SPARK-48967 Melhorar a performance e o volume de memória de declarações "INSERT INTO ... VALUES"
SPARK-49195 Inserir lógica de análise de nível de script no SparkSubmitCommandBuilder
SPARK-49173 Alterar o prompt do shell do Spark Connect de @ para scala>
SPARK-49198 Remova mais jars necessários para o shell do Spark Connect
SPARK-48936 Faz o spark-shell funcionar com o Spark Connect
SPARK-49201 Reimplementar gráfico hist com o Spark SQL
SPARK-49111 Transferir withProjectAndFilter para o objeto complementar de DataSourceV2Strategy
SPARK-49185 Reimplementar kde gráfico com o SQL do Spark
SPARK-48761 Introduzir a API DataFrameWriter clusterBy para Scala
[SPARK-48628] Adicionar métricas de memória de heap de pico de tarefa ativado/desativado
SPARK-48900 Adicionar reason campo para todas as chamadas internas para cancelamento de trabalho/estágio
SPARK-49076 Corrigir o desatualizado logical plan name nos comentários do AstBuilder
SPARK-49059 Mover SessionHolder.forTesting(...) para o pacote de teste
SPARK-48658 Funções de codificação/decodificação relatam erros de codificação em vez de mojibake
SPARK-45891 Adicionar suporte para tipos de intervalo na Especificação de Variantes
SPARK-49032 Adicionar caminho de esquema na entrada da tabela de metadados e teste relacionado para o formato de metadados do operador v2
SPARK-49009 Fazer APIs e funções de Coluna aceitarem Enums
SPARK-49035 Eliminar TypeVar ColumnOrName_
SPARK-48849 Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
SPARK-48974 Usar SparkSession.implicits em vez de SQLContext.implicits
SPARK-48996 Permitir literais simples para __and__ e __or__ de coluna
SPARK-48928 Aviso de log para chamar .unpersist() em RDDs com ponto de verificação local
SPARK-48972 Unificar o tratamento de strings literais em funções
SPARK-48891 Refatorar StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado
SPARK-48841 Incluir collationName para sql() de Collate
SPARK-48944 Unificar o tratamento de esquema em formato JSON no Connect Server
SPARK-48945 Simplificar funções regex com lit
SPARK-48865 Adicionar função try_url_decode
SPARK-48851 Alterar o valor de SCHEMA_NOT_FOUND de namespace para catalog.namespace
SPARK-48510 Correção da API do UDAF toColumn ao executar testes no Maven
SPARK-45190 Tornar o from_xml suportado pelo esquema StructType
SPARK-48900 Adicionar reason campo para cancelJobGroup e cancelJobsWithTag
SPARK-48909 Usar SparkSession no SparkContext ao escrever metadados
SPARK-48510 Suporte a API UDAF toColumn no Spark Connect
SPARK-45155 Adicionar documentos de API para o cliente JVM/Scala do Spark Connect
SPARK-48794 Suporte para df.mergeInto para Spark Connect (Scala e Python)
SPARK-48714 Implementar DataFrame.mergeInto no PySpark
SPARK-48726 Criar o formato de arquivo StateSchemaV3 para o operador TransformWithStateExec
SPARK-48834 Desabilitar entrada/saída variável para UDFs do Python, UDTFs, UDAFs durante a compilação de consultas
SPARK-48716 Adicionar jobGroupId ao SparkListenerSQLExecutionStart
SPARK-48888 Remover a criação de instantâneos com base no tamanho das operações do log de alterações
SPARK-48772 Modo de leitor do feed de alterações de fonte de dados de estado
SPARK-48742 Família de colunas virtuais para RocksDB
SPARK-48852 Corrigir a função de corte de cadeia de caracteres na conexão
SPARK-48343 Introdução ao interpretador de scripts SQL
SPARK-48118 Suporte para a variável SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env
SPARK-48804 Adicionar classIsLoadable & OutputCommitter.isAssignableFrom para verificar as configurações de classe do committer de saída
SPARK-47577 Corrigir o uso enganoso da chave de log TASK_ID
SPARK-48798 Introdução spark.profile.render à criação de perfil baseada em SparkSession
SPARK-48686 Melhorar o desempenho de ParserUtils.unescapeSQLString
SPARK-48611 Log TID para divisão de entrada em HadoopRDD e NewHadoopRDD
SPARK-48720 Alinhar o comando ALTER TABLE ... UNSET TBLPROPERTIES ... em v1 e v2
SPARK-48710 Usar tipos compatíveis com o NumPy 2.0
SPARK-48810 A API da sessão stop() deve ser idempotente
SPARK-48818 Simplificar percentile funções
SPARK-48638 Adicionar suporte a ExecutionInfo para DataFrame
SPARK-48799 Refatorar o controle de versão para leitura/gravação de metadados do operador
SPARK-46122 Definido spark.sql.legacy.createHiveTableByDefault como false por padrão
SPARK-48629 Migrar o código residual para a estrutura de log estruturada
SPARK-48320 Sincronizar a característica de log e os casos de teste mais recentes do OSS Spark
SPARK-48573 Atualizar a versão do ICU
SPARK-48687 Adicionar validação de esquema de estado e atualização no driver na fase de planejamento para consultas com estado
SPARK-47579 Migrar logInfo com variáveis para a estrutura de log estruturada (PARTE 1 a 4)
SPARK-48713 Adicionar verificação de intervalo de índice para UnsafeRow.pointTo quando baseObject for uma matriz de bytes
SPARK-48498 Sempre faça preenchimento de caracteres nos predicados
SPARK-48598 Propagar esquema armazenado em cache em operações de dataframe
SPARK-47599 MLLib: migrar o logWarn com variáveis para a estrutura de registros estruturada
SPARK-48576 Renomear UTF8_BINARY_LCASE para UTF8_LCASE
SPARK-48650 Exibir o site de chamadas correto do IPython Notebook
SPARK-48059 Estrutura de registros estruturada no lado do Java
SPARK-48482 dropDuplicates e dropDuplicatesWithinWatermark devem aceitar args de comprimento variável
SPARK-48620 Corrigir o vazamento de dados brutos internos em YearMonthIntervalType e CalendarIntervalType
SPARK-48555 Suporte ao uso de Colunas como parâmetros para várias funções
SPARK-48591 Adicionar uma função auxiliar para simplificar Column.py
SPARK-48459 Implementar DataFrameQueryContext no Spark Connect
SPARK-48610 Refatoração: use idMap auxiliar em vez de OP_ID_TAG
SPARK-47923 Atualizar a versão mínima do arrow pacote R para 10.0.0
SPARK-48593 Corrigir a representação de cadeia de caracteres da função lambda
SPARK-46947 Atrasar a inicialização do gerenciador de memória até que o plug-in do Driver seja carregado
SPARK-48220 Permitir a passagem da Tabela PyArrow para createDataFrame()
SPARK-48564 Propagar o esquema em cache em operações de conjunto
SPARK-48561 Lançar PandasNotImplementedError para funções de plotagem sem suporte
SPARK-48513 Adicionar classe de erro para compatibilidade de esquema de estado
SPARK-48553 Armazenar mais propriedades em cache
SPARK-48550 Usar diretamente a classe Window pai
SPARK-48504 Classe de janela pai para Spark Connect e Spark Classic
SPARK-48508 Esquema especificado pelo usuário de cache em DataFrame.{to, mapInPandas, mapInArrow}
SPARK-48496 Usar instâncias de padrão regex estático em JavaUtils
SPARK-47578 Backport manual: migrar logWarning com variáveis
SPARK-47737 Elevar PyArrow para 10.0.0
SPARK-48159 Estender o suporte para cadeias de caracteres agrupadas em expressões datetime
SPARK-48454 Usar diretamente a classe DataFrame pai
SPARK-48438 Usar diretamente a classe coluna pai
SPARK-47597 Backport manual: migrar logInfo com variáveis
SPARK-48434 Fazer printSchema usar o esquema em cache
SPARK-46998 Descontinuar a configuração do SQL spark.sql.legacy.allowZeroIndexInFormatString
SPARK-46569 Remover ThreadLocal para SecureRandom desde JDK9
SPARK-46455 Remover conversão de tipo redundante
SPARK-46270 Usar expressões Java16 instanceof
SPARK-46479 Usar o método utilitário de commons-lang3 para verificação de versão do Java
SPARK-45998 Limpar a conversão de tipos redundantes
SPARK-45533 Usar j.l.r.Cleaner em vez de "finalize" para RocksDBIterator/LevelDBIterator
SPARK-45309 Remover todos os SystemUtils.isJavaVersionAtLeast com o JDK 9/11/17
SPARK-48295compute.ops_on_diff_frames Ativar por padrão
SPARK-47960 Permitir encadeamento de outros operadores com estado após transformWithState
SPARK-48367 Corrigir lint-scala para detecção de arquivo scalafmt
SPARK-48247 Usar todos os valores no dict para inferência do esquema MapType
SPARK-48370 Ponto de verificação e localCheckpoint no cliente Scala Spark Connect
SPARK-48258 Ponto de verificação e localCheckpoint no Spark Connect
SPARK-48293 Adicionar teste para a interrupção de encapsulamento do ForeachBatchUserFuncException
SPARK-48031 Decompor a configuração de viewSchemaMode, adicionar suporte SHOW CREATE TABLE
SPARK-48288 Adicionar tipo de dados de origem para a expressão de conversão do conector
SPARK-48310 As propriedades armazenadas em cache devem retornar cópias
SPARK-48287 Aplicar método nativo timestamp_diff
SPARK-44444 Usar o modo SQL ANSI por padrão
SPARK-48276 Adicionar __repr__ ausente para SQLExpression
SPARK-46991 Substituir IllegalArgumentException por SparkIllegalArgumentException no Catalyst
SPARK-48031 Evolução do esquema de exibição de suporte
SPARK-48113 Permitir que plug-ins se integrem ao Spark Connect
SPARK-47158 Atribuir nome e sqlState para códigos de erro herdados
SPARK-47545 Suporte ao conjunto de dados observe para cliente Scala
SPARK-47993 Descontinuar Python 3.8
SPARK-48260 Desabilitar a coordenação do committer de saída em ParquetIOSuite
SPARK-47365 Adicionar o método DataFrame toArrow() ao PySpark
SPARK-47963 Habilitar o registro em log estruturado para o ecossistema externo do Spark
SPARK-48045 Corrigir multi-agg-relabel ignorando as_index=False
SPARK-47719 Alterar o padrão timeParserPolicy para CORRECTED
SPARK-48075 Verificação de tipo para funções Avro do PySpark
SPARK-48102 Rastrear a duração das métricas no progresso da consulta de streaming
SPARK-47858 Refatorar contexto de erro no DataFrame
SPARK-48052 Recuperar CI pyspark-connect por meio de classes pai
SPARK-45284 Atualizar requisitos mínimos do sistema do SparkR para Java 17
SPARK-47933 Classe de Coluna Principal para Spark Connect e Clássico
SPARK-48053 SparkSession.createDataFrame deve avisar para opções sem suporte
SPARK-48044 Cache DataFrame.isStreaming
SPARK-47594 Migrações de log estruturadas
SPARK-47764 Limpar dependências embaralhadas por ShuffleCleanupMode
SPARK-45501 Use a correspondência de padrões para verificação e conversão de tipos
SPARK-45515 Usar expressões aprimoradas switch para substituir a instrução regular switch
SPARK-47417 Suporte a agrupamentos: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
SPARK-47909 Classe DataFrame pai para Spark Connect e Spark Classic
SPARK-47602 Core/MLLib/Resource managers: migração de log estruturada
SPARK-47390 PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
SPARK-47868 Corrigir o erro de limite de recursão em SparkConnectPlanner e SparkSession
SPARK-45802 Remover verificações não necessárias majorVersion do Java Platform
SPARK-47818 Introduzir o cache de planos no SparkConnectPlanner para melhorar o desempenho das solicitações de Análise
SPARK-46031 Substituir por !Optional.isPresent()Optional.isEmpty()
SPARK-45659 Adicionar since campo à API Java marcado como @Deprecated
SPARK-45596 Use java.lang.ref.Cleaner em vez de org.apache.spark.sql.connect.client.util.Cleaner
SPARK-47807 Tornar pyspark.ml compatível com o pyspark-connect
SPARK-45830 Refatoração StorageUtils#bufferCleaner
SPARK-45578 Substituir InaccessibleObjectException por trySetAccessible
SPARK-44895 Adicionar 'daemon', 'priority' para ThreadStackTrace
SPARK-45295 Remover a solução alternativa Utils.isMemberClass para o JDK 8
SPARK-47081 Suporte ao andamento da execução da consulta
SPARK-45322 Usar o ProcessHandle para obter o pid diretamente
SPARK-46812 Tornar o mapInPandas/mapInArrow compatível com ResourceProfile
SPARK-47406 Manipular TIMESTAMP e DATETIME em MYSQLDialect
SPARK-47712 Permitir que os plug-ins de conexão criem e processem conjuntos de dados
SPARK-47720 Atualizar spark.speculation.multiplier para 3 e spark.speculation.quantile para 0.9
SPARK-47665 Usar SMALLINT para escrever ShortType no MYSQL
SPARK-47722 Aguarde até que o trabalho em segundo plano do RocksDB seja concluído antes do fechamento
SPARK-47610 Sempre definido io.netty.tryReflectionSetAccessible=true
SPARK-47372 Adicionar suporte para codificador de estado de chave baseado em varredura de intervalo para uso com o provedor de armazenamento de estado
SPARK-44708 Migrar test_reset_index assert_eq para usar assertDataFrameEqual
SPARK-47346 Tornar o modo daemon configurável ao criar processadores do planejador Python
SPARK-47419 Mover log4j2-defaults.properties para common/utils
SPARK-47380 Verifique no lado do servidor se o SparkSession é o mesmo
SPARK-47055 Atualizar o MyPy 1.8.0
SPARK-46795 Substituir UnsupportedOperationException por SparkUnsupportedOperationException em sql/core
SPARK-46648 Usar zstd como compactação ORC padrão
SPARK-47322 Tornar o tratamento de duplicação de nomes de colunas withColumnsRenamed consistente com withColumnRenamed
SPARK-47011 Remover BinaryClassificationMetrics.scoreLabelsWeight obsoleto
SPARK-46332 Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
SPARK-46975 Dar suporte a métodos de fallback dedicados
SPARK-47069 Introdução spark.profile.show/dump à criação de perfil baseada em SparkSession
SPARK-47062 Mover os plug-ins do Connect para Java para fins de compatibilidade
SPARK-46833 Agrupamentos - Apresentamos o CollationFactory, que fornece regras de comparação e hashing para agrupamentos compatíveis
SPARK-46984 Remover pyspark.copy_func
SPARK-46849 Executar otimizador em padrões de colunas CREATE TABLE
SPARK-46976 Implementar DataFrameGroupBy.corr
SPARK-46911 Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
SPARK-46955 Implementar Frame.to_stata
SPARK-46936 Implementar Frame.to_feather
SPARK-46655 Ignorar a captura de contexto da consulta em métodos DataFrame.
SPARK-46926 Adicionar convert_dtypese infer_objectsset_axis na lista de fallback
SPARK-46683 Gravar um gerador de subconsultas que gera permutações de subconsultas para aumentar a cobertura de teste
SPARK-46777 Refatorar a estrutura StreamingDataSourceV2Relation catalítica para estar mais alinhada com a versão em lote
SPARK-46620 Introduzir um mecanismo de fallback básico para os métodos de quadro
SPARK-46808 Refinar classes de erro no Python com função de classificação automática
SPARK-46686 Suporte Básico do criador de perfil Python UDF baseado no SparkSession
SPARK-46258 Adicionar RocksDBPersistenceEngine
SPARK-46665 Retirar assertPandasOnSparkEqual
SPARK-46227 Mover withSQLConf de SQLHelper para SQLConfHelper
SPARK-40876 Ampliar as promoções de tipos em leitores Parquet
SPARK-46101 Reduzir a profundidade da pilha trocando (string|array).size por (string|array).length
SPARK-46170 Suporte para injeção de regras de estratégia de planejador de pós-consulta adaptável em SparkSessionExtensions
SPARK-46246EXECUTE IMMEDIATE Suporte ao SQL
SPARK-46466 O leitor do Parquet vetorizado nunca deve refazer a base para o ntz do registro de data/hora.
SPARK-46399 Adicionar o status de saída ao evento Application End para uso no Spark Listener
SPARK-45506 Adicionar suporte ao URI da Ivy ao addArtifact do SparkConnect
SPARK-45597 Suporte à criação de tabela usando uma fonte de dados do Python no SQL (exec DSv2)
SPARK-46402 Adicionar getMessageParameters e suporte a getQueryContext
SPARK-46213 Introduzir PySparkImportError para a estrutura de erros
SPARK-46226 Migrar todos os restantes RuntimeError para a estrutura de erros do PySpark
SPARK-45886 Saída do rastreamento completo da pilha no contexto callSite do DataFrame
SPARK-46256 Suporte de compactação paralela para ZSTD
SPARK-46249 Exigência de bloqueio de instância na aquisição de métricas do RocksDB para evitar conflitos com operações em segundo plano
SPARK-45667 Limpar o uso preterido da API relacionado a IterableOnceExtensionMethods
SPARK-46254 Remover verificação de versão obsoleta do Python 3.8/3.7
SPARK-46213 Introduzir PySparkImportError para a estrutura de erros
SPARK-46188 Corrigir o CSS das tabelas geradas pelo documento do Spark
SPARK-45670 O SparkSubmit não dá suporte --total-executor-cores ao implantar em K8s
SPARK-46169 Atribuir números JIRA apropriados para parâmetros ausentes da DataFrame API
SPARK-45022 Fornecer contexto para erros de API do conjunto de dados
SPARK-46062 Sincronizar o sinalizador isStreaming entre a definição e a referência do CTE
SPARK-45698 Limpar o uso preterido da API relacionado a Buffer
SPARK-45136 Melhorar o ClosureCleaner com suporte a Ammonite
SPARK-44442 Remover suporte do Mesos
SPARK-45996 Mostrar mensagens de requisito de dependência adequadas para o Spark Connect
SPARK-45767 Excluir TimeStampedHashMap e seu UT
SPARK-45912 Aprimoramento da API XSDToSchema: alteração na API do HDFS para acessibilidade de armazenamento em nuvem
SPARK-45338 Substituir scala.collection.JavaConverters para scala.jdk.CollectionConverters
SPARK-45828 Remover o método preterido no dsl
SPARK-45718 Remover os recursos restantes do Pandas descontinuados do Spark 3.4.0
SPARK-45990 Atualizar protobuf para 4.25.1 para dar suporte Python 3.11
SPARK-45941 Atualizar pandas para a versão 2.1.3
SPARK-45555 Inclui um objeto depurável para falhas de asserção
SPARK-45710 Atribuir nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
SPARK-45733 Suporte a várias políticas de repetição
SPARK-45503 Adicionar configuração para definir a compactação do RocksDB
SPARK-45614 Atribuir nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
SPARK-45680 Sessão de lançamento
SPARK-45620 Corrigir APIs voltadas para o usuário relacionadas ao Python UDTF para usar camelCase
SPARK-45634 Remover DataFrame.get_dtype_counts da API do Pandas no Spark
SPARK-44752 XML: atualizar documentos do Spark
SPARK-45523 Retornar mensagem de erro útil se UDTF retornar Nenhum para qualquer coluna não anulável
SPARK-45558 Introduzir um arquivo de metadados para o operador com estado de transmissão
SPARK-45390 Remover o uso de distutils
SPARK-45517 Expandir mais construtores de exceção para dar suporte a parâmetros da estrutura de erros
SPARK-45427 Adicionar configurações de RPC SSL a SSLOptions e SparkTransportConf
SPARK-45581 Torne o SQLSTATE obrigatório.
SPARK-44784 Torne o teste de SBT hermético.
SPARK-45550 Remover APIs preteridas da API do Pandas no Spark
SPARK-45415 Permitir a desabilitação seletiva de "fallocate" no statestore do RocksDB
SPARK-45487 Corrigir SQLSTATEs e erros temporários
SPARK-45505 Refatorar analyzeInPython para torná-lo reutilizável
SPARK-45451 Tornar configurável o nível de armazenamento padrão do cache do conjunto de dados
SPARK-45065 Suporte ao Pandas 2.1.0
SPARK-45450 Correção de importações de acordo com o PEP8: pyspark.pandas e pyspark (núcleo)
SPARK-43299 Converter StreamingQueryException em cliente Scala
SPARK-42617 Suporte isocalendar do pandas 2.0.0
SPARK-45441 Introduzir mais funções util para PythonWorkerUtils
SPARK-43620 Corrigir APIs do Pandas depende de recursos sem suporte
SPARK-45330 Atualizar Ammonite para 2.5.11
SPARK-45267 Altere o valor padrão para numeric_only.
SPARK-45303 Remover a solução alternativa do JDK 8/11 no KryoSerializerBenchmark
SPARK-43433 Ajustar o GroupBy.nth comportamento para coincidir com a versão mais recente do Pandas
SPARK-45166 Limpar caminhos de código não utilizados para pyarrow<4
SPARK-44823 Atualizar black para a versão 23.9.1 e corrigir verificação incorreta
SPARK-45165 Remover o parâmetro inplace de APIS CategoricalIndex
SPARK-45180 Remover entradas boolianas para o parâmetro inclusive de Series.between
SPARK-45164 Remova APIs obsoletas Index
SPARK-45179 Aumentar a versão mínima do Numpy para 1.21
SPARK-45177 Remover o parâmetro col_space de to_latex
SPARK-43241MultiIndex.append não verifica a igualdade dos nomes
SPARK-43123 Acionar TypeError para DataFrame.interpolate quando todas as colunas forem object-dtype.
SPARK-43295 Suporte a colunas do tipo texto para o DataFrameGroupBy.sum
SPARK-42619 Adicionar show_counts parâmetro para DataFrame.info
SPARK-44863 Adicionar um botão para baixar o despejo de thread como um txt na IU do Spark
SPARK-44713 Mover classes compartilhadas para sql/api
SPARK-44692 Mover gatilho(s) para sql/api
SPARK-43563 Remova squeeze de read_csv & habilite mais testes.
SPARK-43476 Suporte StringMethods para pandas 2.0.0 e superior
SPARK-43872 Suporte (DataFrame|Series).plot para pandas 2.0.0 e versões superiores.
SPARK-42620 Adicionar inclusive parâmetro para (DataFrame|Série).between_time
SPARK-44289 Suporte a indexer_between_time para pandas 2.0.0 & habilite mais testes.
SPARK-42621 Adicionar parâmetro inclusivo para pd.date_range
SPARK-43709 Remova closed o parâmetro de ps.date_range e habilite o teste.
SPARK-43568 Suporte a APIs Categorical para pandas 2
SPARK-44842 Suporte a funções stat para pandas 2.0.0 e testes habilitados.
SPARK-43606 Remover Int64Index & Float64Index
SPARK-43873 Habilitar FrameDescribeTests
SPARK-44841 Suporte a value_counts para pandas 2.0.0 e superior.
SPARK-44686 Adicione a capacidade de criar um RowEncoder em Encoders.scala.
SPARK-41400 Remover a dependência do Catalyst do cliente Connect
SPARK-44538 Restabelecer Row.jsonValue e outros
SPARK-44507 Mover AnalysisException para sql/api
SPARK-44531 Mover a inferência do codificador para sql/api
SPARK-43744 Corrigir o problema de carregamento de classe causado por classes de usuário stub não encontradas no classpath do servidor
SPARK-36612 Suporte à união externa à esquerda para construir à esquerda ou à direita para construir à direita na união de hash embaralhado
SPARK-44541 Remover a função hasRangeExprAgainstEventTimeCol inútil de UnsupportedOperationChecker
SPARK-44059 Adicionar suporte ao analisador de argumentos nomeados para funções internas
SPARK-44216 Tornar pública a API assertSchemaEqual
SPARK-43755 Mover a execução para fora do SparkExecutePlanStreamHandler e para um thread diferente
SPARK-44201 Adicionar suporte para o Ouvinte de Streaming no Scala para Spark Connect
SPARK-43965 Suporte a UDTF do Python no Spark Connect
SPARK-44398 Scala foreachBatch API
SPARK-44044 Melhorar a mensagem de erro para funções de janela com streaming

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira as atualizações de manutenção do Databricks Runtime 17.0.

Ambiente do sistema

Sistema operacional: Ubuntu 24.04.2 LTS
Java: Zulu17.54+21-CA
Scala: 2.13.16
Python: 3.12.3
R: 4.4.2
Delta Lake: 4.0.0

Bibliotecas do Python instaladas

Library	Version	Library	Version	Library	Version
annotated-types	0.7.0	anyio	4.6.2	argon2-cffi	21.3.0
argon2-cffi-bindings	21.2.0	arrow	1.3.0	asttokens	2.0.5
astunparse	1.6.3	async-lru	2.0.4	attrs	24.3.0
autocommand	2.2.2	azure-common	1.1.28	azure-core	1.34.0
azure-identity	1.20.0	azure-mgmt-core	1.5.0	azure-mgmt-web	8.0.0
azure-storage-blob	12.23.0	azure-storage-file-datalake	12.17.0	babel	2.16.0
backports.tarfile	1.2.0	beautifulsoup4	4.12.3	black	24.10.0
bleach	6.2.0	blinker	1.7.0	boto3	1.36.2
botocore	1.36.3	cachetools	5.5.1	certifi	2025.1.31
cffi	1.17.1	chardet	4.0.0	charset-normalizer	3.3.2
click	8.1.7	cloudpickle	3.0.0	comm	0.2.1
contourpy	1.3.1	criptografia	43.0.3	cycler	0.11.0
Cython	3.0.12	databricks-sdk	0.49.0	dbus-python	1.3.2
debugpy	1.8.11	decorador	5.1.1	defusedxml	0.7.1
Deprecated	1.2.13	distlib	0.3.9	docstring-to-markdown	0.11
executing	0.8.3	facets-overview	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	filelock	3.18.0	fonttools	4.55.3
fqdn	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.20.0	google-auth	2.40.0
google-cloud-core	2.4.3	google-cloud-storage	3.1.0	google-crc32c	1.7.1
google-resumable-media	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	idna	3.7
importlib-metadata	6.6.0	importlib_resources	6.4.0	inflect	7.3.1
iniconfig	1.1.1	ipyflow-core	0.0.209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
isodate	0.6.1	isoduration	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	jedi	0.19.2
Jinja2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	jsonpointer	3.0.0	jsonschema	4.23.0
jsonschema-specifications	2023.7.1	jupyter-events	0.10.0	jupyter-lsp	2.2.0
jupyter_client	8.6.3	jupyter_core	5.7.2	jupyter_server	2.14.1
jupyter_server_terminals	0.4.4	jupyterlab	4.3.4	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	jupyterlab_server	2.27.3	kiwisolver	1.4.8
launchpadlib	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
markdown-it-py	2.2.0	MarkupSafe	3.0.2	matplotlib	3.10.0
matplotlib-inline	0.1.7	mccabe	0.7.0	mdurl	0.1.0
mistune	2.0.4	mlflow-skinny	2.22.0	mmh3	5.1.0
more-itertools	10.3.0	msal	1.32.3	msal-extensions	1.3.1
mypy-extensions	1.0.0	nbclient	0.8.0	nbconvert	7.16.4
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
notebook	7.3.2	notebook_shim	0.2.3	numpy	2.1.3
oauthlib	3.2.2	opentelemetry-api	1.32.1	opentelemetry-sdk	1.32.1
opentelemetry-semantic-conventions	0.53b1	overrides	7.4.0	packaging	24.1
pandas	2.2.3	pandocfilters	1.5.0	parso	0.8.4
pathspec	0.10.3	patsy	1.0.1	pexpect	4.8.0
pillow	11.1.0	pip	25.0.1	platformdirs	3.10.0
plotly	5.24.1	pluggy	1.5.0	prometheus_client	0.21.0
prompt-toolkit	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
pyasn1-modules	0.2.8	pyccolo	0.0.71	pycparser	2.21
pydantic	2.10.6	pydantic_core	2.27.2	pyflakes	3.2.0
Pygments	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc	5.2.0	pyparsing	3.2.0
pyright	1.1.394	pytest	8.3.5	python-dateutil	2.9.0.post0
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.0
pytoolconfig	1.2.6	pytz	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	referencing	0.30.2	requests	2.32.3
rfc3339-validator	0.1.4	rfc3986-validator	0.1.1	rich	13.9.4
rope	1.12.0	rpds-py	0.22.3	rsa	4.9.1
s3transfer	0.11.3	scikit-learn	1.6.1	scipy	1.15.1
seaborn	0.13.2	Send2Trash	1.8.2	setuptools	74.0.0
six	1.16.0	smmap	5.0.0	sniffio	1.3.0
sortedcontainers	2.4.0	soupsieve	2.5	sqlparse	0.5.3
ssh-import-id	5.11	stack-data	0.2.0	starlette	0.46.2
statsmodels	0.14.4	strictyaml	1.7.3	tenacity	9.0.0
terminado	0.17.1	threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	tomli	2.0.1	tornado	6.4.2
traitlets	5.14.3	typeguard	4.3.0	types-python-dateutil	2.9.0.20241206
typing_extensions	4.12.2	tzdata	2024.1	ujson	5.10.0
unattended-upgrades	0.1	uri-template	1.3.0	urllib3	2.3.0
uvicorn	0.34.2	virtualenv	20.29.3	wadllib	1.3.6
wcwidth	0.2.5	webcolors	24.11.1	webencodings	0.5.1
websocket-client	1.8.0	whatthepatch	1.0.2	wheel	0.45.1
widgetsnbextension	3.6.6	wrapt	1.17.0	yapf	0.40.2
zipp	3.21.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-03-20.

Library	Version	Library	Version	Library	Version
arrow	19.0.1	askpass	1.2.1	assertthat	0.2.1
backports	1.5.0	base	4.4.2	base64enc	0.1-3
bigD	0.3.0	bit	4.6.0	bit64	4.6.0-1
bitops	1.0-9	blob	1.2.4	boot	1.3-30
brew	1.0-10	brio	1.1.5	broom	1.0.7
bslib	0.9.0	cachem	1.1.0	callr	3.7.6
caret	7.0-1	cellranger	1.1.0	chron	2.3-62
classe	7.3-22	cli	3.6.4	clipr	0.8.0
clock	0.7.2	cluster	2.1.6	codetools	0.2-20
colorspace	2.1-1	commonmark	1.9.5	compilador	4.4.2
config	0.3.2	conflicted	1.2.0	cpp11	0.5.2
crayon	1.5.3	credenciais	2.0.2	curl	6.2.1
data.table	1.17.0	datasets	4.4.2	DBI	1.2.3
dbplyr	2.5.0	desc	1.4.3	devtools	2.4.5
diagram	1.6.5	diffobj	0.3.5	hash	0.6.37
downlit	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-16	reticências	0.3.2	evaluate	1.0.3
fansi	1.0.6	farver	2.1.2	fastmap	1.2.0
fontawesome	0.5.3	forcats	1.0.0	foreach	1.5.2
foreign	0.8-86	forge	0.2.0	fs	1.6.5
future	1.34.0	future.apply	1.11.3	gargle	1.5.2
genéricos	0.1.3	gert	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	globals	0.16.3	glue	1.8.0
googledrive	2.1.1	googlesheets4	1.1.1	gower	1.0.2
graphics	4.4.2	grDevices	4.4.2	grade	4.4.2
gridExtra	2.3	gsubfn	0.7	gt	0.11.1
gtable	0.3.6	hardhat	1.4.1	haven	2.5.4
highr	0.11	hms	1.1.3	htmltools	0.5.8.1
htmlwidgets	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	ids	1.0.1	ini	0.3.1
ipred	0.9-15	isoband	0.2.7	iterators	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	juicyjuice	0.1.0
KernSmooth	2.23-22	knitr	1.50	labeling	0.4.3
later	1.4.1	lattice	0.22-5	lava	1.8.1
ciclo de vida	1.0.4	listenv	0.9.1	lubridate	1.9.4
magrittr	2.0.3	markdown	1.13	MASS	7.3-60.0.1
Matrix	1.6-5	memoise	2.0.1	methods	4.4.2
mgcv	1.9-1	mime	0.13	miniUI	0.1.1.1
mlflow	2.20.4	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.1	nlme	3.1-164	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.3.2	parallel	4.4.2
parallelly	1.42.0	pillar	1.10.1	pkgbuild	1.4.6
pkgconfig	2.0.3	pkgdown	2.1.1	pkgload	1.4.0
plogr	0.2.0	plyr	1.8.9	praise	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.6
prodlim	2024.06.25	profvis	0.4.0	progress	1.2.3
progressr	0.15.1	promises	1.3.2	proto	1.0.0
proxy	0.4-27	ps	1.9.0	purrr	1.0.4
R6	2.6.1	ragg	1.3.3	randomForest	4.7-1.2
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	reactable	0.4.4
reactR	0.6.1	readr	2.1.5	readxl	1.4.5
recipes	1.2.0	rematch	2.0.0	rematch2	2.1.2
remotes	2.5.0	reprex	2.1.1	reshape2	1.4.4
rlang	1.1.5	rmarkdown	2.29	RODBC	1.3-26
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-15	RSQLite	2.3.9	rstudioapi	0.17.1
rversions	2.1.2	rvest	1.0.4	sass	0.4.9
scales	1.3.0	selectr	0.4-2	sessioninfo	1.2.3
forma	1.4.6.1	shiny	1.10.0	sourcetools	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	sparsevctrs	0.3.1
espacial	7.3-17	splines	4.4.2	sqldf	0.4-11
SQUAREM	2021.1	stats	4.4.2	stats4	4.4.2
stringi	1.8.4	stringr	1.5.1	survival	3.5-8
swagger	5.17.14.1	sys	3.4.3	systemfonts	1.2.1
tcltk	4.4.2	testthat	3.2.3	textshaping	1.0.0
tibble	3.2.1	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	timechange	0.3.0	timeDate	4041.110
tinytex	0.56	tools	4.4.2	tzdb	0.5.0
urlchecker	1.0.1	usethis	3.1.0	utf8	1.2.4
utils	4.4.2	uuid	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	vroom	1.6.5
waldo	0.6.1	whisker	0.4.1	withr	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xtable	1.8-4	yaml	2.3.10	zeallot	0.1.0
zip	2.3.2

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)

ID do grupo	ID do artefato	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-machinelearning	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	aws-java-sdk-support	1.12.638
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	fluxo	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	kryo-shaded	4.0.3
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.5.1
com.fasterxml.jackson.core	jackson-annotations	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	tink	1.16.0
com.google.errorprone	error_prone_annotations	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	failureaccess	1.0.2
com.google.guava	guava	33.4.0-jre
com.google.guava	listenablefuture	9999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc	j2objc-annotations	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	criador de perfil	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.9.0
commons-codec	commons-codec	1.17.2
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	2.0.2
io.delta	delta-sharing-client_2.13	1.3.0
io.dropwizard.metrics	metrics-annotation	4.2.30
io.dropwizard.metrics	metrics-core	4.2.30
io.dropwizard.metrics	metrics-graphite	4.2.30
io.dropwizard.metrics	metrics-healthchecks	4.2.30
io.dropwizard.metrics	metrics-jetty9	4.2.30
io.dropwizard.metrics	metrics-jmx	4.2.30
io.dropwizard.metrics	metrics-json	4.2.30
io.dropwizard.metrics	metrics-jvm	4.2.30
io.dropwizard.metrics	metrics-servlets	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all	4.1.118.Final
io.netty	netty-buffer	4.1.118.Final
io.netty	netty-codec	4.1.118.Final
io.netty	netty-codec-http	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-socks	4.1.118.Final
io.netty	netty-common	4.1.118.Final
io.netty	netty-handler	4.1.118.Final
io.netty	netty-handler-proxy	4.1.118.Final
io.netty	netty-resolver	4.1.118.Final
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes	2.0.70.Final
io.netty	netty-transport	4.1.118.Final
io.netty	netty-transport-classes-epoll	4.1.118.Final
io.netty	netty-transport-classes-kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.118.Final
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	simpleclient_common	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	coletor	0.18.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	18.2.0
org.apache.arrow	arrow-memory-core	18.2.0
org.apache.arrow	arrow-memory-netty	18.2.0
org.apache.arrow	arrow-memory-netty-buffer-patch	18.2.0
org.apache.arrow	arrow-vector	18.2.0
org.apache.avro	avro	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.13.0
org.apache.curator	curator-client	5.7.1
org.apache.curator	curator-framework	5.7.1
org.apache.curator	curator-recipes	5.7.1
org.apache.datasketches	datasketches-java	6.1.1
org.apache.datasketches	datasketches-memory	3.0.2
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.4.1
org.apache.hive	hive-beeline	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	hive-shims	2.3.10
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common	2.3.10
org.apache.hive.shims	hive-shims-scheduler	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.1.1-shaded-protobuf
org.apache.orc	orc-format	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce	2.1.1-shaded-protobuf
org.apache.orc	orc-shims	2.1.1
org.apache.poi	poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.9.3
org.apache.zookeeper	zookeeper-jute	3.9.3
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.53.v20231009
org.eclipse.jetty	jetty-continuation	9.4.53.v20231009
org.eclipse.jetty	jetty-http	9.4.53.v20231009
org.eclipse.jetty	jetty-io	9.4.53.v20231009
org.eclipse.jetty	jetty-jndi	9.4.53.v20231009
org.eclipse.jetty	jetty-plus	9.4.53.v20231009
org.eclipse.jetty	jetty-proxy	9.4.53.v20231009
org.eclipse.jetty	jetty-security	9.4.53.v20231009
org.eclipse.jetty	jetty-server	9.4.53.v20231009
org.eclipse.jetty	jetty-servlet	9.4.53.v20231009
org.eclipse.jetty	jetty-servlets	9.4.53.v20231009
org.eclipse.jetty	jetty-util	9.4.53.v20231009
org.eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.eclipse.jetty	jetty-webapp	9.4.53.v20231009
org.eclipse.jetty	jetty-xml	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-api	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-client	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-common	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-server	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-servlet	9.4.53.v20231009
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.41
org.glassfish.jersey.containers	jersey-container-servlet-core	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	jersey-common	2.41
org.glassfish.jersey.core	jersey-server	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	hibernate-validator	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	objenesis	3.3
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.3.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	scalatest-compatible	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
stax	stax-api	1.0.1

Tip

Comentários

Esta página foi útil?

Last updated on 2025-10-01