Partilhar via

Tempo de execução do Databricks 14.0 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As seguintes notas de versão fornecem informações sobre o Databricks Runtime 14.0, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em setembro de 2023.

Novos recursos e melhorias

O rastreamento de linha é GA

O rastreamento de linhas para Delta Lake agora está disponível para o público em geral. Veja Utilizar rastreamento de linhas em tabelas Delta.

E/S preditiva para atualizações é GA

A E/S preditiva para atualizações agora está disponível para o público em geral. Consulte O que é E/S preditiva?.

Os vetores de exclusão são GA

Os vetores de exclusão agora estão geralmente disponíveis. Consulte O que são vetores de exclusão?.

Spark 3.5.0 é GA

O Apache Spark 3.5.0 já está disponível para o público em geral. Consulte Spark Release 3.5.0.

Visualização pública para funções de tabela definidas pelo usuário para Python

As funções de tabela definidas pelo usuário (UDTFs) permitem registrar funções que retornam tabelas em vez de valores escalares. Consulte funções de tabela definidas pelo usuário (UDTFs) do Python.

Visualização pública para simultaneidade em nível de linha

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas, detetando alterações no nível da linha e resolvendo automaticamente alterações concorrentes em gravações simultâneas que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

O diretório de trabalho atual padrão foi alterado

O diretório de trabalho atual padrão (CWD) para código executado localmente agora é o diretório que contém o bloco de anotações ou script que está sendo executado. Isso inclui código como %sh Python ou R que não usam o Spark. Consulte Qual é o diretório de trabalho atual padrão?.

Problema conhecido com o sparklyr

A versão instalada do pacote (versão 1.8.1) não é compatível com o sparklyr Databricks Runtime 14.0. Para usar sparklyro , instale a versão 1.8.3 ou superior.

Apresentando o Spark Connect na arquitetura de cluster compartilhado

Com o Databricks Runtime 14.0 e superior, os clusters compartilhados agora usam o Spark Connect com o Spark Driver do Python REPL por padrão. As APIs internas do Spark não são mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver do REPL, em vez da integração REPL herdada.

Listar versões disponíveis da atualização da API do Spark

Habilite o Photon definindo runtime_engine = PHOTONe habilite aarch64 escolhendo um tipo de instância graviton. O Azure Databricks define a versão correta do Databricks Runtime. Anteriormente, a API da versão do Spark retornava tempos de execução específicos da implementação para cada versão. Consulte GET /api/2.0/clusters/spark-versions na Referência da API REST.

Alterações interruptivas

No Databricks Runtime 14.0 e superior, os clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado) usam o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso padrão, consulte Requisitos e limitações de computação padrão.

Python em clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado)

  • sqlContext não está disponível. O Azure Databricks recomenda o uso da spark variável para a SparkSession instância.
  • O Spark Context (sc) não está mais disponível em Notebooks ou ao usar o Databricks Connect em um cluster com modo de acesso padrão. As seguintes sc funções não estão mais disponíveis:
    • emptyRDD, , , , , rangeinit_batched_serializerparallelizepickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • O recurso Informações do Conjunto de Dados não é mais suportado.
  • Não há mais uma dependência da JVM ao consultar o Apache Spark e, como consequência, APIs internas relacionadas à JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, , e _jmap_jcols não são mais suportadas.
  • Ao acessar valores de configuração usando spark.conf apenas os valores de configuração de tempo de execução dinâmico são acessíveis.
  • Os comandos de análise Lakeflow Spark Declarative Pipelines ainda não são suportados em clusters compartilhados.

Delta em clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado)

  • Em Python, não há mais uma dependência da JVM ao consultar o Apache Spark. APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuildere DeltaOptimizeBuilder._jbuilder não são mais suportadas.

SQL em clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado)

  • DBCACHE e DBUNCACHE os comandos não são mais suportados.
  • Casos de uso raros como cache table db as show databases não são mais suportados.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • asttokens de 2.2.1 a 2.0.5
    • attrs de 21.4.0 a 22.1.0
    • botocore de 1.27.28 a 1.27.96
    • certifi de 2022.9.14 a 2022.12.7
    • Criptografia de 37.0.1 a 39.0.1
    • depuração de 1.6.0 a 1.6.7
    • docstring-to-markdown de 0,12 a 0,11
    • execução de 1.2.0 a 0.8.3
    • facetas-visão geral de 1.0.3 a 1.1.1
    • googleapis-common-protos de 1.56.4 a 1.60.0
    • grpcio de 1.48.1 a 1.48.2
    • IDNA de 3,3 a 3,4
    • ipykernel de 6.17.1 a 6.25.0
    • ipython de 8.10.0 a 8.14.0
    • Jinja2 de 2.11.3 a 3.1.2
    • jsonschema de 4.16.0 a 4.17.3
    • jupyter_core de 4.11.2 a 5.2.0
    • kiwisolver de 1.4.2 a 1.4.4
    • MarkupSafe de 2.0.1 a 2.1.1
    • matplotlib de 3.5.2 a 3.7.0
    • nbconvert de 6.4.4 para 6.5.4
    • nbformat de 5.5.0 a 5.7.0
    • nest-asyncio de 1.5.5 a 1.5.6
    • notebook de 6.4.12 a 6.5.2
    • numpy de 1.21.5 a 1.23.5
    • embalagem de 21,3 a 22,0
    • pandas de 1.4.4 a 1.5.3
    • PathSpec de 0.9.0 a 0.10.3
    • patsy de 0.5.2 a 0.5.3
    • Almofada de 9.2.0 a 9.4.0
    • pip de 22.2.2 a 22.3.1
    • protobuf de 3.19.4 a 4.24.0
    • pytoolconfig de 1.2.2 a 1.2.5
    • pytz de 2022.1 a 2022.7
    • s3transfer de 0.6.0 a 0.6.1
    • seaborn de 0.11.2 a 0.12.2
    • setuptools de 63.4.1 a 65.6.3
    • soupsieve de 2.3.1 a 2.3.2.post1
    • dados de pilha de 0.6.2 a 0.2.0
    • statsmodels de 0.13.2 a 0.13.5
    • terminado de 0.13.1 a 0.17.1
    • traços de 5.1.1 a 5.7.1
    • typing_extensions de 4.3.0 a 4.4.0
    • urllib3 de 1.26.11 a 1.26.14
    • virtualenv de 20.16.3 a 20.16.7
    • roda de 0.37.1 a 0.38.4
  • Bibliotecas R atualizadas:
    • seta de 10.0.1 a 12.0.1
    • base de 4.2.2 a 4.3.1
    • Blob de 1.2.3 a 1.2.4
    • Vassoura de 1.0.3 a 1.0.5
    • bslib de 0.4.2 a 0.5.0
    • cachem de 1.0.6 a 1.0.8
    • Cursor de 6,0-93 a 6,0-94
    • Chron de 2.3-59 a 2.3-61
    • classe de 7.3-21 a 7.3-22
    • CLI de 3.6.0 a 3.6.1
    • relógio de 0.6.1 a 0.7.0
    • marca comum de 1.8.1 a 1.9.0
    • Compilador de 4.2.2 a 4.3.1
    • CPP11 de 0.4.3 a 0.4.4
    • curvatura de 5.0.0 a 5.0.1
    • data.table de 1.14.6 a 1.14.8
    • conjuntos de dados de 4.2.2 a 4.3.1
    • DBPlyr de 2.3.0 a 2.3.3
    • digest de 0.6.31 a 0.6.33
    • Downlit de 0.4.2 para 0.4.3
    • dplyr de 1.1.0 a 1.1.2
    • dtplyr de 1.2.2 a 1.3.1
    • avaliar de 0,20 a 0,21
    • fastmap de 1.1.0 a 1.1.1
    • fontawesome de 0.5.0 a 0.5.1
    • fs de 1.6.1 a 1.6.2
    • futuro de 1.31.0 a 1.33.0
    • future.apply de 1.10.0 a 1.11.0
    • gargarejo de 1.3.0 a 1.5.1
    • ggplot2 de 3.4.0 a 3.4.2
    • GH de 1.3.1 a 1.4.0
    • glmnet de 4.1-6 a 4.1-7
    • GoogleDrive de 2.0.0 a 2.1.1
    • googlesheets4 de 1.0.1 a 1.1.1
    • gráficos de 4.2.2 a 4.3.1
    • grDevices de 4.2.2 a 4.3.1
    • grelha de 4.2.2 a 4.3.1
    • gtable de 0.3.1 a 0.3.3
    • Hardhat de 1.2.0 a 1.3.0
    • refúgio de 2.5.1 a 2.5.3
    • HMS de 1.1.2 a 1.1.3
    • htmltools de 0.5.4 a 0.5.5
    • htmlwidgets de 1.6.1 a 1.6.2
    • httpuv de 1.6.8 a 1.6.11
    • HTTR de 1.4.4 a 1.4.6
    • ipred de 0,9-13 a 0,9-14
    • jsonlite de 1.8.4 a 1.8.7
    • KernSmooth de 2.23-20 a 2.23-21
    • knitr de 1,42 a 1,43
    • mais tarde, de 1.3.0 para 1.3.1
    • rede de 0,20-45 a 0,21-8
    • lava de 1.7.1 a 1.7.2.1
    • lubridato de 1.9.1 a 1.9.2
    • markdown de 1,5 para 1,7
    • MASSA de 7,3-58,2 a 7,3-60
    • Matriz de 1,5-1 a 1,5-4,1
    • Métodos de 4.2.2 a 4.3.1
    • mgcv de 1.8-41 a 1.8-42
    • Modelador de 0.1.10 a 0.1.11
    • nnet de 7,3-18 a 7,3-19
    • openssl de 2.0.5 a 2.0.6
    • paralelo de 4.2.2 a 4.3.1
    • paralelamente de 1.34.0 a 1.36.0
    • pilar de 1.8.1 a 1.9.0
    • pkgbuild de 1.4.0 a 1.4.2
    • pkgload de 1.3.2 a 1.3.2.1
    • pROC de 1.18.0 a 1.18.4
    • processx de 3.8.0 a 3.8.2
    • prodlim de 2019.11.13 a 2023.03.31
    • Profvis de 0.3.7 a 0.3.8
    • ps de 1.7.2 a 1.7.5
    • Rcpp de 1.0.10 a 1.0.11
    • readr de 2.1.3 a 2.1.4
    • readxl de 1.4.2 a 1.4.3
    • receitas de 1.0.4 a 1.0.6
    • RLANG de 1.0.6 a 1.1.1
    • rmarkdown de 2,20 para 2,23
    • Reserve de 1.8-12 a 1.8-11
    • RSQLite de 2.2.20 a 2.3.1
    • rstudioapi de 0.14 a 0.15.0
    • sass de 0.4.5 a 0.4.6
    • brilhante de 1.7.4 a 1.7.4.1
    • Sparklyr de 1.7.9 a 1.8.1
    • SparkR de 3.4.1 a 3.5.0
    • splines de 4.2.2 a 4.3.1
    • Estatísticas de 4.2.2 a 4.3.1
    • stats4 de 4.2.2 a 4.3.1
    • sobrevida de 3,5-3 a 3,5-5
    • sys de 3.4.1 a 3.4.2
    • tcltk de 4.2.2 a 4.3.1
    • ensaio de 3.1.6 a 3.1.10
    • Tibble de 3.1.8 a 3.2.1
    • Tidyverse de 1.3.2 a 2.0.0
    • tinytex de 0,44 a 0,45
    • Ferramentas de 4.2.2 a 4.3.1
    • TZDB de 0.3.0 a 0.4.0
    • usethis de 2.1.6 a 2.2.2
    • utils de 4.2.2 a 4.3.1
    • VCTRS de 0.5.2 a 0.6.3
    • viridisLite de 0.4.1 a 0.4.2
    • vroom de 1.6.1 a 1.6.3
    • Waldo de 0.4.0 a 0.5.1
    • xfun de 0,37 a 0,39
    • xml2 de 1.3.3 a 1.3.5
    • zip de 2.2.2 a 2.3.0
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-anotações de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 a 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 a 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink de 1.7.0 a 1.9.0
    • commons-codec.commons-codec de 1.15 a 1.16.0
    • commons-io.commons-io de 2.11.0 a 2.13.0
    • io.airlift.aircompressor de 0,21 a 0,24
    • io.dropwizard.metrics.metrics-core de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-grafite de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 a 4.2.19
    • io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transporte de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
    • org.apache.avro.avro de 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress de 1.21 a 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9-sombreado de 4,22 a 4,23
    • org.checkerframework.checker-qual de 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2,36 a 2,40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-client de 2.36 a 2.40
    • org.glassfish.jersey.core.jersey-comum de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-server de 2.36 a 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de 2,36 a 2,40
    • org.javassist.javassist de 3.25.0-GA a 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 a 2.7.9
    • org.postgresql.postgresql de 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
    • org.roaringbitmap.shims de 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 a 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 a 2.9.0
    • org.slf4j.jcl-over-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
    • org.yaml.snakeyaml de 1,33 a 2,0

Apache Spark

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrija as funções aes_decrypt e ln no Connect
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Corrija namedtuples herdados para trabalhar em createDataFrame
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] O cache do CodeGenerator deve ser específico do carregador de classes
  • [SPARK-44861] [DBRRM-498][sc-140716][CONECTAR] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Faça com que as consultas de streaming funcionem com o gerenciamento de artefatos do Connect
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Faça o ArrowDeserializer funcionar com classes geradas pelo REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Corrigir UDF Python otimizado com Arrow no Spark Connect
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Suporta funções python protobuf para Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Remova a função uuid/random/chr do PySpark
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Corrigir valores de metadados para artefatos
  • [SPARK-44822] [DBRRM-464][python][SQL] Tornar UDTFs Python por padrão não determinísticos
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refatoração de UDTF do Arrow em Python
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Adicionar metadados de cliente ausentes às chamadas
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: O objeto 'NoneType' não tem nenhum atributo 'message'
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager para controlar todas as execuções
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Desativar a otimização de setas por padrão para UDTFs Python
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Executar ExecuteGrpcResponseSender em execução reanexável em nova thread para corrigir o controle de fluxo
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Tornar todos os iteradores em CloseableIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Tente novamente ExecutePlan caso a solicitação inicial não chegasse ao servidor no cliente Python
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Tente novamente ExecutePlan caso a solicitação inicial não chegue ao servidor
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Os erros movidos para sq/api também devem usar AnalysisException
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Adicionar objeto Encoders
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Acompanhamento do encerramento da consulta de streaming quando a sessão do cliente atinge o tempo limite do Spark Connect
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute em ExecutePlanResponseReattachableIterator depois de receber um erro vindo do servidor
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Catalyst do cliente Connect
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Solte a execução ao fechar o iterador no cliente Python
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Remova o diretório baseado em sessão quando o cache de sessão isolado for removido
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Não deixe iteradores pendentes
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Cliente Python para reconexão à execução existente no Spark Connect
  • [FAÍSCA-44637] [SC-138571] Sincronizar acessos a ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Restabelecer Row.jsonValue e amigos
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução reconectável no Spark Connect
  • [SPARK-44418] [SC-136807][python][CONNECT] Atualize o protobuf de 3.19.5 para 3.20.3
  • [SPARK-44587] [SC-138315][sql][CONNECT] Aumentar o limite de recursão do marshaller protobuf
  • [SPARK-44591] [SC-138292][connect][SQL] Adicionar jobTags a SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations deve reter metadados Alias ao criar uma nova instância
  • [SPARK-44542] [SC-138323][core] Carregue ansiosamente a classe SparkExitCode no manipulador de exceções
  • [SPARK-44264] [SC-138143][python]E2E Teste para Deepspeed
  • [SPARK-43997] [SC-138347][connect] Adicionar suporte para Java UDFs
  • [SPARK-44507] [SQL][connect][14.x][14.0] Mover AnalysisException para sql/api
  • [SPARK-44453] [SC-137013][python] Use difflib para exibir erros em assertDataFrameEqual
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Adicionar uma página da interface do usuário do Spark para o Spark Connect
  • [SPARK-44611] [SC-138415][connect] Não exclua scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mover a inferência do codificador para sql/api
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] Corrigir problema de carregamento de classe causado...
  • [SPARK-44590] [SC-138296][sql][CONNECT] Remova o limite de registro de lote de seta para SqlCommandResult
  • [SPARK-43968] [SC-138115][python] Melhorar mensagens de erro para UDTFs Python com número errado de saídas
  • [SPARK-44432] [SC-138293][ss][CONNECT] Encerrar consultas de streaming quando uma sessão expira no Spark Connect
  • [SPARK-44584] [SC-138295][connect] Definir informações client_type para AddArtifactsRequest e ArtifactStatusesRequest no cliente Scala
  • [SPARK-44552] [14.0][sc-138176][SQL] Eliminar a definição de private object ParseState do IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Ativar resample com o Spark Connect
  • [SPARK-44287] [SC-136223][sql] Use a API PartitionEvaluator nos operadores SQL RowToColumnarExec & ColumnarToRowExec.
  • [SPARK-39634] [SC-137566][sql] Permitir a divisão de arquivos em combinação com a geração de índice de linha
  • [SPARK-44533] [SC-138058][python] Adicione suporte para acumuladores, broadcast e ficheiros Spark na análise de UDTF em Python
  • [SPARK-44479] [SC-138146][python] Corrija o ArrowStreamPandasUDFSerializer para aceitar pandas DataFrame sem colunas
  • [SPARK-44425] [SC-138177][connect] Valide se sessionId fornecido pelo usuário é um UUID
  • [SPARK-44535] [SC-138038][connect][SQL] Mover a API de streaming necessária para sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] Escreva uma classe de aprendizagem distribuída usando Deepspeed, DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][sql] Fix ResolveInlineTables não pode manipular com a expressão RuntimeReplaceable
  • [SPARK-44060] [SC-135693][sql] Geração de código para junção de hash embaralhada externa do lado da construção
  • [SPARK-44496] [SC-137682][sql][CONNECT] Mover interfaces necessárias para SCSC para sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] Mover ArrowUtils para sql/api
  • [SPARK-44413] [SC-137019][python] Esclarecer erro para tipo de dados arg não suportado em assertDataFrameEqual
  • [SPARK-44530] [SC-138036][core][CONNECT] Mover SparkBuildInfo para o common/util
  • [SPARK-36612] [SC-133071][sql] Suporte a junção externa esquerda construir a junção externa esquerda ou direita construir à direita na junção hash embaralhada
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils gerou parâmetros incorretos para jars
  • [SPARK-44449] [SC-137818][connect] Upcasting para desserialização direta de Arrow
  • [SPARK-44131] [SC-136346][sql] Adicionar call_function e substituir call_udf para a API do Scala
  • [SPARK-44541] [SQL] Remover funções inúteis de hasRangeExprAgainstEventTimeCol no UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] O maxRows/maxRowsPerPartition do filtro é 0 se a condição for um LiteralFalso
  • [SPARK-44540] [SC-137873][ui] Remover folhas de estilo e arquivos javascript não utilizados de jsonFormatter
  • [SPARK-44466] [SC-137856][sql] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de modifiedConfigs
  • [SPARK-44477] [SC-137508][sql] Trate TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
  • [SPARK-44509] [SC-137855][python][CONNECT] Adicionar API de cancelamento de trabalho definida no cliente Python do Spark Connect
  • [FAÍSCA-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
  • [SPARK-38476] [SC-136448][core] Usar classe de erro em org.apache.spark.storage
  • [SPARK-44486] [SC-137817][python][CONNECT] Implemente o recurso PyArrow self_destruct para toPandas
  • [SPARK-44361] [SC-137200][sql] Usar a API PartitionEvaluator no MapInBatchExec
  • [SPARK-44510] [SC-137652][ui] Atualize dataTables para 1.13.5 e remova alguns arquivos png não alcançados
  • [SPARK-44503] [SC-137808][sql] Adicionar gramática SQL para PARTITION BY e ORDER BY cláusula após TABLE argumentos para chamadas TVF
  • [SPARK-38477] [SC-136319][core] Use a classe de erro em org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][sql] Atribua nomes à classe de erro _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Interrupção granulada fina do Spark Connect
  • [SPARK-44380] [SC-137415][sql][PYTHON] Suporte para Python UDTF para análise em Python
  • [SPARK-43923] [SC-137020][connect] Publicar eventos no listenerBus durante...
  • [SPARK-44303] [SC-136108][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] Corrigir situação em que a coluna HeapHistogram é mostrada inesperadamente com a caixa de seleção de tudo.
  • [SPARK-44409] [SC-136975][sql] Manipule char/varchar em Dataset.to para manter a consistência com os outros
  • [SPARK-44334] [SC-136576][sql][UI] O status na resposta da API REST para uma DDL/DML com falha sem trabalhos deve ser FALHADO em vez de CONCLUÍDO
  • [SPARK-42309] [SC-136703][sql] Introdução INCOMPATIBLE_DATA_TO_TABLE e subclasses.
  • [SPARK-44367] [SC-137418][sql][UI] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
  • [SPARK-44474] [SC-137195][connect] Reativar "Test observe response" no SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][conectar] O log de inicialização do Connect Server deve exibir o nome do host e a porta
  • [SPARK-44309] [SC-136193][ui] Mostrar Tempo de Adição/Remoção dos Executores na aba Executores
  • [SPARK-42898] [SC-137556][sql] Indique que as conversões de string/data não precisam de identificação de fuso horário
  • [SPARK-44475] [SC-137422][sql][CONNECT] Realoque DataType e Parser para sql/api
  • [SPARK-44484] [SC-137562][ss]Adicionar batchDuration ao método json StreamingQueryProgress
  • [SPARK-43966] [SC-137559][sql][PYTHON] Suporta funções não determinísticas com valor de tabela
  • [SPARK-44439] [SC-136973][connect][SS] Corrigiu listListeners para apenas enviar ids de volta ao cliente
  • [SPARK-44341] [SC-137054][sql][PYTHON] Defina a lógica de computação através da API PartitionEvaluator e use-a em WindowExec e WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] Converter _LEGACY_ERROR_TEMP_1337 em UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para Streaming Listener no Scala for Spark Connect
  • [SPARK-44260] [SC-135618][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[1215-1245-2329] e use checkError() para verificar a exceção em _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][sql] SPJ: encapsular todos os parâmetros relacionados ao SPJ no BatchScanExec
  • [SPARK-44292] [SC-135844][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] Desserialização direta do Arrow
  • [SPARK-44324] [SC-137172][sql][CONNECT] Mover CaseInsensitiveMap para sql/api
  • [SPARK-44395] [SC-136744][sql] Adicionar teste de volta ao StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Fazer com que pyspark.sql.is_remote seja uma API
  • [SPARK-44278] [SC-137400][connect] Implemente um intercetador de servidor GRPC que limpe as propriedades locais do thread
  • [SPARK-44264] [SC-137211][ml][PYTHON] Suporte Treinamento Distribuído de Funções Usando Deepspeed
  • [SPARK-44430] [SC-136970][sql] Adicionar causa para quando a AnalysisException opção é inválida
  • [SPARK-44264] [SC-137167][ml][PYTHON] Incorporando o FunctionPickler no TorchDistributor
  • [FAÍSCA-44216] [SC-137046] [PYTHON] Tornar a API assertSchemaEqual pública
  • [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
  • [SPARK-43203] [SC-134528][sql] Mover todos os casos de eliminação de tabelas para DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren em vez de usar copy in MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] Reestruturação do TorchDistributor para permitir um ponteiro de função personalizado para "run_training_on_file"
  • [SPARK-43755] [SC-136838][connect] Mova a execução de SparkExecutePlanStreamHandler para um thread diferente
  • [SPARK-44411] [SC-137198][sql] Usar a API PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] Utilizar a API PartitionEvaluator no DebugExec
  • [SPARK-43967] [SC-137057][python] Suporta UDTFs Python regulares com valores de retorno vazios
  • [SPARK-43915] [SC-134766][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Suporta Python UDTF no Spark Connect
  • [SPARK-44154] [SC-137050][sql] Adicionado mais testes de unidade ao BitmapExpressionUtilsSuite e feito pequenas melhorias nas expressões de agregação de bitmap
  • [SPARK-44169] [SC-135497][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Remover StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] Suporte UDTFs Python otimizados pelo Apache Arrow
  • [SPARK-44321] [SC-136308][connect] Desacoplar ParseException de AnalysisException
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reative test_artifact com alterações relevantes
  • [SPARK-44145] [SC-136698][sql] Retorno de chamada quando pronto para execução
  • [SPARK-43983] [SC-136404][python][ML][connect] Ativar teste de estimador de validador cruzado
  • [SPARK-44399] [SC-136669][python][CONNECT] Importar SparkSession em Python UDF apenas quando useArrow seja None
  • [SPARK-43631] [SC-135300][connect][PS] Ativar Series.interpolate com Spark Connect
  • [SPARK-44374] [SC-136544][python][ML] Adicionar código de exemplo para ML distribuído para Spark Connect
  • [SPARK-44282] [SC-135948][connect] Preparar a análise de DataType para uso no Cliente Scala do Spark Connect
  • [SPARK-44052] [SC-134469][connect][PS] Adicionar ferramenta para obter a classe adequada de Column ou DataFrame para o Spark Connect.
  • [SPARK-43983] [SC-136404][python][ML][connect] Implementar estimador de validação cruzada
  • [SPARK-44290] [SC-136300][connect] Ficheiros e arquivos baseados em sessão no Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] Suporte functions.date_part para Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Limpar e consolidar tickets para simplificar as tarefas.
  • [SPARK-44150] [SC-135790][python][CONNECT] Transmissão de seta explícita para tipo de retorno incompatível no Arrow Python UDF
  • [SPARK-43903] [SC-134754][python][CONNECT] Melhorar o suporte de entrada ArrayType no Arrow Python UDF
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementar avaliador de classificação
  • [SPARK-44255] [SC-135704][sql] Realoque StorageLevel para common/utils
  • [FAÍSCA-42169] [SC-135735] [SQL] Implementar geração de código para to_csv função (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refatore PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
  • [SPARK-44133] [SC-134795][python] Atualize o MyPy de 0,920 para 0,982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de eventos em formato JSON
  • [SPARK-43353] Desfazer "[SC-132734][es-729763][PYTHON] Migrou os erros de sessão restantes para a classe de erro"
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] Mover namespace de pyspark.mlv2 para pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] Mover StringConcat para sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementar estimador de pipeline para ML no spark connect
  • [SPARK-43888] [SC-132893][core] Realoque o registro em log para common/utils
  • [SPARK-42941] Reverter “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde em formato JSON”
  • [SPARK-43624] [SC-134557][ps][CONNECT] Adicionar EWM ao SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][python][ML] Implementação básica de salvamento/carregamento para ML no spark connect
  • [SPARK-43205] [SC-133371][sql] corrigir SQLQueryTestSuite
  • [SPARK-43376] Reverter “[SC-130433][sql] Melhorar a reutilização de subconsulta com cache de tabela”
  • [SPARK-44040] [SC-134366][sql] Corrigir estatísticas de cálculo quando o nó AggregateExec está acima de QueryStageExec
  • [SPARK-43919] [SC-133374][sql] Extraia a funcionalidade JSON da linha
  • [SPARK-42618] [SC-134433][python][PS] Aviso para as mudanças de comportamento relacionadas aos pandas na próxima versão principal
  • [SPARK-43893] [SC-133381][python][CONNECT] Suporte a tipos de dados não atômicos em UDF Python otimizado com Arrow
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Ativar pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Suporta funções de tabela definidas pelo usuário Python
  • [SPARK-43616] [SC-133849][ps][CONNECT] Ativar pyspark.pandas.spark.functions.mode no Spark Connect
  • [FAÍSCA-43133] [SC-133728] Suporte a Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correção (NullOps|NumOps).(eq|ne) para o Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Ativar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Ativar pyspark.pandas.spark.functions.product no Spark Connect
  • [SPARK-43610] [SC-133832][connect][PS] Ativar InternalFrame.attach_distributed_column no Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Ativar pyspark.pandas.spark.functions.repeat no Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Gerar arquivos descritores Protobuf em tempo de compilação
  • [SPARK-43613] [SC-133727][ps][CONNECT] Ativar pyspark.pandas.spark.functions.covar no Spark Connect
  • [SPARK-43376] [SC-130433][sql] Aprimorar a reutilização de subconsultas com cache de tabela
  • [SPARK-43612] [SC-132011][connect][PYTHON] Implementar SparkSession.addArtifact(s) no cliente de Python
  • [SPARK-43920] [SC-133611][sql][CONNECT] Criar módulo sql/api
  • [SPARK-43097] [SC-133372][ml] Novo estimador de regressão logística do PySpark ML implementado sobre o distribuidor
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Fazer com que o MLv2 (ML em spark connect) ofereça suporte a pandas >= 2.0
  • [SPARK-43024] [SC-132716][python] Atualize os pandas para 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listDatabases
  • [SPARK-39281] [SC-131422][sql] Acelere a inferência do tipo Timestamp com o formato herdado na fonte de dados JSON/CSV
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listCatalogs
  • [FAÍSCA-43132] [SC-131623] [SS] [CONECTAR] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] Suporte para tipo de timestamp aninhado
  • [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
  • [SPARK-43304] [SC-129969][connect][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfaces base do sparkML para spark3.5: estimador/transformador/modelo/avaliador
  • [FAÍSCA-43128] Reverter mudanças em “[SC-131628][connect][SS] Garantir que recentProgress e lastProgress retornem StreamingQueryProgress de forma consistente com a API nativa do Scala”
  • [SPARK-43543] [SC-131839][python] Corrigir o comportamento MapType aninhado no Pandas UDF
  • [SPARK-38469] [SC-131425][core] Use a classe de erro em org.apache.spark.network
  • [SPARK-43309] [SC-129746][spark-38461][CORE] Estenda INTERNAL_ERROR com categorias e adicione classe de erro INTERNAL_ERROR_BROADCAST
  • [FAÍSCA-43265] [SC-129653] Mover a estrutura de erro para um módulo utils comum
  • [SPARK-43440] [SC-131229][python][CONNECT] Suporte ao registro de um Python UDF otimizado para seta
  • [SPARK-43528] [SC-131531][sql][PYTHON] Suporta nomes de campos duplicados em createDataFrame com pandas DataFrame
  • [SPARK-43412] [SC-130990][python][CONNECT] Introduza o EvalType para UDFs Python otimizadas com Arrow
  • [SPARK-40912] [SC-130986][core]Sobrecarga de exceções no KryoDeserializationStream
  • [SPARK-39280] [SC-131206][sql] Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV
  • [SPARK-43473] [SC-131372][python] Suporte para o tipo struct no createDataFrame a partir do pandas DataFrame
  • [SPARK-43443] [SC-131024][sql] Adicionar benchmark para inferência do tipo Timestamp quando usar um valor inválido
  • [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
  • [SPARK-43296] [SC-130627][connect][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
  • [SPARK-43324] [SC-130455][sql] Manipular UPDATE comandos para fontes baseadas em delta
  • [SPARK-43347] [SC-130148][python] Remover suporte a Python 3.7
  • [SPARK-43292] [SC-130525][core][CONNECT] Transferir ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor da tocha que carrega dados de dados de partição de faísca
  • [SPARK-43331] [SC-130061][connect] Adicionar Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][python] Migrar ValueError de tipos SQL do Spark para a classe de erro
  • [SPARK-43261] [SC-129674][python] Migre TypeError de tipos SQL do Spark para a classe de erro.
  • [SPARK-42992] [SC-129465][python] Introduza PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
  • [SPARK-43165] [SC-128823][sql] Mover 'canWrite' para 'DataTypeUtils'
  • [SPARK-43082] [SC-129112][connect][PYTHON] UDFs Python otimizadas com Arrow no Spark Connect
  • [FAÍSCA-43084] [SC-128654] [SS] Adicionar suporte applyInPandasWithState para conexão de faísca
  • [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
  • [SPARK-43098] [SC-77059][sql] Corrija o bug de correção de contagem quando a subconsulta escalar tiver uma cláusula GROUP BY
  • [SPARK-42884] [SC-126662][connect] Adicionar integração do Ammonite REPL
  • [SPARK-42994] [SC-128333][ml][CONNECT] Distribuidor PyTorch com suporte para Modo Local
  • [FAÍSCA-41498] [SC-125343]Reverter "Propagar metadados através da União"
  • [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o PyTorch Distribuidor compatível com o Spark Connect
  • [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
  • [SPARK-42874] [SC-126442][sql] Habilite a nova estrutura de teste de arquivo dourado para análise de todos os arquivos de entrada
  • [SPARK-42779] [SC-126042][sql] Permitir gravações V2 para indicar o tamanho da partição aleatória consultiva
  • [SPARK-42891] [SC-126458][connect][PYTHON] Implementar API de Mapa Coagrupado
  • [SPARK-42791] [SC-126134][sql] Crie uma nova estrutura de teste de arquivo dourado para análise
  • [SPARK-42615] [SC-124237][connect][PYTHON] Refatorizar o RPC do AnalyzePlan e adicionar session.version
  • [SPARK-41302] Reverter "[TODOS os TESTES][sc-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][python] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-40770] Reversão de “[ALL TESTS][sc-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas devido a incompatibilidade de esquema”
  • [SPARK-42398] [SC-123500][sql] Refinar o valor da coluna padrão Interface DS v2
  • [SPARK-40770] [TODOS OS TESTES][SC-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-40770] Reverter "[SC-122652][python] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-40770] [SC-122652][python] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-42038] [TODOS OS TESTES] Reverter "Reverter “[SC-122533][sql] SPJ: Suporte à distribuição parcialmente clusterizada”"
  • [SPARK-42038] Reverter “[SC-122533][sql] SPJ: Suporte para distribuição parcialmente clusterizada”
  • [SPARK-42038] [SC-122533][sql] SPJ: Suporte a distribuição parcialmente agrupada
  • [SPARK-40550] [SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta
  • [SPARK-40770] Reverter "[SC-122652][python] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-40770] [SC-122652][python] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-41302] Reverter "[SC-122423][sql] Dar nome a _LEGACY_ERROR_TEMP_1185"
  • [FAÍSCA-40550] Reverter "[SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta"
  • [FAÍSCA-42123] Reverter "[SC-121453][sql] Incluir valores padrão de coluna em DESCRIBE e SHOW CREATE TABLE saída"
  • [SPARK-42146] [SC-121172][core] Refatorar Utils#setStringField para garantir que a compilação do Maven seja bem-sucedida quando o módulo SQL usar este método
  • [SPARK-42119] Reverter “[SC-121342][sql] Adicionar funções incorporadas com valor de tabela inline e inline_outer”

Destaques

Conexão de faísca

  • Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que pode ser compartilhado entre o cliente Scala Spark Connect e o Spark, evitando extrair todas as dependências transitivas do Spark. Faísca-44273
  • Apresentando o cliente Scala para Spark Connect SPARK-42554
  • Suporte da API Pandas para o Python Spark Connect Client SPARK-42497
  • Suporte de ML distribuído baseado em PyTorch para Spark Connect SPARK-42471
  • Suporte estruturado de streaming para Spark Connect em Python e Scala SPARK-42938
  • Versão inicial do cliente Go SPARK-43351
  • Muitas melhorias de compatibilidade entre o nativo do Spark e os clientes do Spark Connect em Python e Scala
  • Melhor capacidade de depuração e tratamento de solicitações para aplicativos cliente (processamento assíncrono, tentativas, consultas de longa duração)

SQL do Apache Spark

Funcionalidades

  • Adicionar a coluna de metadados com início e comprimento do bloco de arquivos SPARK-42423
  • Suporte a parâmetros posicionais em Scala/Java sql() SPARK-44066
  • Adicionar suporte a parâmetros nomeados no analisador para chamadas de função SPARK-43922
  • Suporte SELECT DEFAULT com ORDER BY, LIMIT, OFFSET para INSERT relação de origem SPARK-43071
  • Adicione gramática SQL para PARTITION BY e cláusula ORDER BY após os argumentos TABLE para chamadas TVF SPARK-44503
  • Inclua valores padrão de coluna em DESCRIBE e na saída SHOW CREATE TABLESPARK-42123
  • Adicionar padrão opcional para Catalog.listCatalogs SPARK-43792
  • Adicionar padrão opcional para Catalog.listDatabases SPARK-43881
  • Retorno de chamada quando estiver pronto para execução SPARK-44145
  • Suporte instrução de inserção por nome SPARK-42750
  • Adicionar call_function para Scala API SPARK-44131
  • Aliases estáveis de colunas derivadas SPARK-40822
  • Ofereça suporte a expressões constantes gerais como valores CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Suporte a subconsultas com correlação através de INTERSECT/EXCEPT SPARK-36124
  • IDENTIFIER cláusula SPARK-43205
  • ANSI MODE: Conv deve retornar um erro se a conversão interna estourar SPARK-42427

Funções

  • Adicionar suporte para Datasketches HllSketch SPARK-16484
  • Suporta o modo CBC por aes_encrypt()/aes_decrypt() SPARK-43038
  • Suporte TABLE regra de analisador de argumentos para TableValuedFunction SPARK-44200
  • Implementar funções de bitmap SPARK-44154
  • Adicione a função try_aes_decrypt() SPARK-42701
  • array_insert deve falhar com o índice 0 SPARK-43011
  • Adicionar to_varchar alias para to_char SPARK-43815
  • Função de alta ordem: array_compact implementação SPARK-41235
  • Adicionar suporte ao analisador de argumentos nomeados para funções internas SPARK-44059
  • Adicione NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino SPARK-42521
  • Adiciona suporte para aes_encrypt IVs e AAD SPARK-43290
  • A função DECODE retorna resultados errados quando passado NULL SPARK-41668
  • Suporte udf 'luhn_check' SPARK-42191
  • Suporte à resolução implícita de alias da coluna lateral no agregado SPARK-41631
  • Suporta alias de coluna lateral implícito em consultas com o Window SPARK-42217
  • Adicionar aliases de função 3-args DATE_ADD e DATE_DIFF SPARK-43492

Data Sources (Origens de Dados)

  • Suporte de Char/Varchar para o catálogo JDBC SPARK-42904
  • Suportar a obtenção de palavras-chave SQL dinamicamente através da API JDBC e TVF SPARK-43119
  • DataSource V2: Manipular comandos MERGE para fontes baseadas em delta SPARK-43885
  • DataSource V2: Manipular comandos MERGE para fontes baseadas em grupo SPARK-43963
  • DataSource V2: Lidar com comandos UPDATE para fontes baseadas em grupo SPARK-43975
  • DataSource V2: Permite representar atualizações como exclusões e inserções SPARK-43775
  • Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela SPARK-41516
  • SPJ: Suporte distribuição parcialmente agrupada SPARK-42038
  • O DSv2 permite que o CTAS/RTAS reserve a anulabilidade do esquema SPARK-43390
  • Adicionar spark.sql.files.maxPartitionNum SPARK-44021
  • Manipule comandos de UPDATE para fontes baseadas em delta SPARK-43324
  • Permitir gravações V2 para indicar o tamanho da partição de shuffle consultivo SPARK-42779
  • Suporte lz4raw codec de compressão para Parquet SPARK-43273
  • Avro: escrevendo uniões complexas SPARK-25050
  • Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV SPARK-39280
  • Avro para suportar o tipo decimal personalizado apoiado por Long SPARK-43901
  • Evite redistribuição em Storage-Partitioned Join quando as chaves de partição não coincidirem, mas as expressões de junção forem compatíveis SPARK-41413
  • Alterar binário para dataType não suportado no formato CSV SPARK-42237
  • Permitir que o Avro converta o tipo união em SQL com nome de campo estável com o tipo SPARK-43333
  • Acelere a inferência do tipo Timestamp com o formato herdado na fonte de dados JSON/CSV SPARK-39281

Otimização de Consultas

  • Eliminação de subexpressão suporta expressão de atalho SPARK-42815
  • Aperfeiçoe a estimativa das estatísticas de junção se um dos lados conseguir manter a exclusividade SPARK-39851
  • Introduza o limite de grupo da Janela para filtro baseado em classificação para otimizar a computação top-k SPARK-37099
  • Corrigir o comportamento do operador IN com valor nulo (lista vazia) nas regras de otimização SPARK-44431
  • Infera e empurre para baixo o limite da janela através da janela se partitionSpec estiver vazio SPARK-41171
  • Remova a junção externa se todas forem funções agregadas distintas SPARK-42583
  • Recolher duas janelas adjacentes com a mesma partição/ordem na subconsulta SPARK-42525
  • Reduzir o limite através de UDFs Python SPARK-42115
  • Otimize a ordem dos predicados de filtragem SPARK-40045

Geração de código e execução de consultas

  • O filtro de tempo de execução deve suportar o lado de junção de vários níveis de shuffle como o lado de criação do filtro SPARK-41674
  • Suporte Codegen para HiveSimpleUDF SPARK-42052
  • Suporte Codegen para HiveGenericUDF SPARK-42051
  • Suporte de Codegen para junção de hash externa com embaralhamento no lado de construção SPARK-44060
  • Implementar geração de código para to_csv função (StructsToCsv) SPARK-42169
  • Tornar o suporte AQE InMemoryTableScanExec SPARK-42101
  • Suporte para construir junção externa esquerda ou direita em junção de hash embaralhado SPARK-36612
  • Respeito ExigeDistribuiçãoAndOrdenação em CTAS/RTAS SPARK-43088
  • Coalesce buckets na junção aplicada no lado do fluxo de transmissão SPARK-43107
  • Configurar corretamente como anulável na chave de junção coalescida na união externa completa utilizando junção SPARK-44251
  • Corrigir a anulabilidade da subconsulta ListQuery SPARK-43413

Outras mudanças notáveis

PySpark

Funcionalidades

Outras mudanças notáveis

  • Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Descontinuar & as APIs que serão desativadas no pandas 2.0 [SPARK-42593]
  • Faça do Python a primeira guia para exemplos de código - Spark SQL, DataFrames and Datasets Guide SPARK-42493
  • Atualizando exemplos de código de documentação restantes do Spark para mostrar Python por padrão SPARK-42642
  • Usar nomes de campo desduplicados ao criar Arrow RecordBatch [SPARK-41971]
  • Suporte a nomes de campos duplicados em createDataFrame com pandas DataFrame [SPARK-43528]
  • Permitir parâmetro colunas ao criar DataFrame com Séries [SPARK-42194]

Principal

Transmissão em Fluxo Estruturada

ML

  • Suporte ao treinamento distribuído de funções usando o Deepspeed SPARK-44264
  • Interfaces de base do sparkML para spark3.5: estimador/transformador/modelo/avaliador SPARK-43516
  • Make MLv2 (ML on spark connect) suporta pandas >= 2.0 SPARK-43783
  • Atualizar interfaces do transformador MLv2 SPARK-43516
  • Novo estimador de regressão logística pyspark ML implementado sobre o distribuidor SPARK-43097
  • Adicionar Classifier.getNumClasses de volta SPARK-42526
  • Escreva uma aula de aprendizagem distribuída Deepspeed DeepspeedTorchDistributor SPARK-44264
  • Implementação básica de poupança/carregamento para ML no spark connect SPARK-43981
  • Melhorar o modelo de regressão logística economizando SPARK-43097
  • Implementar o estimador de pipeline para ML no spark connect SPARK-43982
  • Implementar estimador de validação cruzada SPARK-43983
  • Implementar avaliador de classificação SPARK-44250
  • Tornar o PyTorch Distributor compatível com o Spark Connect SPARK-42993

IU

  • Adicionar uma página da interface do usuário do Spark para o Spark Connect SPARK-44394
  • Suportar coluna de histograma de pilha na guia Execuções SPARK-44153
  • Mostrar mensagem de erro na interface do usuário para cada consulta com falha SPARK-44367
  • Mostrar o tempo de adição/removal de executores no separador Executores SPARK-44309

Construir e Outros

Remoções, Alterações de Comportamento e Descontinuações

Próxima remoção

Os seguintes recursos serão removidos na próxima versão principal do Spark:

  • Suporte para Java 8 e Java 11, e a versão mínima suportada do Java será Java 17
  • Suporte para Scala 2.12, e a versão mínima suportada do Scala será 2.13

Guias de migração

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.12
  • R: 4.3.1
  • Lago Delta: 2.4.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Anyio 3.5.0 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.0.5 ATRs 22.1.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 Boto3 1.24.28 Botocore 1.27.96
certifi 2022.12.7 CFFI 1.15.1 Chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Comm 0.1.2
contorno 1.0.5 criptografia 39.0.1 ciclista 0.11.0
Quisto 0.29.32 Databricks-SDK 0.1.6 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 DeUsedXML 0.7.1
Distlib 0.3.7 docstring-para-markdown 0,11 pontos de entrada 0.4
execução 0.8.3 facetas-visão geral 1.1.1 fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.18.0
bloqueio de arquivo 3.12.2 Fonttools 4.25.0 Biblioteca de tempo de execução do GCC 1.10.0
googleapis-comuns-protos 1.60.0 Grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.4 importlib-metadados 4.6.4
Ipykernel 6.25.0 IPython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 JmesPath 0.10.0 Joblib 1.2.0
jsonschema 4.17.3 jupyter-cliente 7.3.4 jupyter-servidor 1.23.4
jupyter_core 5.2.0 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
porta-chaves 23.5.0 Kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 LXML 4.9.1
Marcação Segura 2.1.1 Matplotlib 3.7.0 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mais-itertools 8.10.0
mypy-extensões 0.4.3 NBMédico 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 Ninho-Asyncio 1.5.6
nodeenv 1.8.0 bloco de notas 6.5.2 notebook_shim 0.2.2
dormência 1.23.5 OAuthlib 3.2.0 embalagem 22.0
pandas 1.5.3 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.10.3 vítima 0.5.3 Espere 4.8.0
pickleshare 0.7.5 Travesseiro 9.4.0 pip (o gestor de pacotes do Python) 22.3.1
plataformadirs 2.5.2 enredo 5.9.0 Pluggy 1.0.0
Prometheus-cliente 0.14.1 kit de ferramentas de prompt 3.0.36 Protobuf 4.24.0
PSUTIL 5.9.0 PSYCOPG2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 Pyarrow 8.0.0 Pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pigmentos 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.32
Pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
pytoolconfig 1.2.5 Pytz 2022.7 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transferir 0.6.1
scikit-learn (biblioteca de aprendizado de máquina em Python) 1.1.1 nascido no mar 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 Ferramentas de configuração 65.6.3 seis 1.16.0
sniffio 1.2.0 Soupsieve 2.3.2.post1 ssh-import-id 5.11
dados de pilha 0.2.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.13.5 tenacidade 8.1.0
terminado 0.17.1 ThreadPoolCtl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 Tomli 2.0.1 tornado 6.1
traços 5.7.1 typing_extensions (extensões de digitação) 4.4.0 Ujson 5.4.0
Upgrades autônomos 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 largura de wc 0.2.5 WebEncodings 0.5.1
Websocket-cliente 0.58.0 whatthepatch (ferramenta para comparação de patches) 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 Yapf 0.31.0 zipp | 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-07-13.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 AskPass 1.1 asserçãoat 0.2.1
Retroportagens 1.4.1 base 4.3.1 base64enc 0.1-3
pouco 4.0.5 bit64 4.0.5 blob 1.2.4
arranque 1.3-28 fabricação de cerveja 1.0-8 Brio 1.1.3
vassoura 1.0.5 BSLIB 0.5.0 cachemira 1.0.8
Chamador 3.7.3 acento circunflexo 6.0-94 Cellranger 1.1.0
crono 2.3-61 classe 7.3-22 CLI 3.6.1
Clipr 0.8.0 relógio 0.7.0 cluster 2.1.4
CodeTools 0.2-19 espaço em cores 2.1-0 marca comum 1.9.0
compilador 4.3.1 configuração 0.3.1 conflituosos 1.2.0
CPP11 0.4.4 lápis de cor 1.5.2 credenciais 1.3.2
encaracolar 5.0.1 tabela de dados 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 DBPlyr 2.3.3 descrição 1.4.2
DevTools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
resumo 0.6.33 Iluminação reduzida 0.4.3 DPLYR 1.1.2
DTPlyr 1.3.1 E1071 1.7-13 reticências 0.3.2
avaliar 0.21 Fãsi 1.0.4 Farver 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 FORCATS 1.0.0
para cada 1.5.2 externa 0.8-82 forjar 0.2.0
FS 1.6.2 Futuro 1.33.0 futuro.apply 1.11.0
gargarejo 1.5.1 genérico 0.1.3 Gert 1.9.2
GGPLOT2 3.4.2 GH 1.4.0 gitcreds 0.1.2
GLMNET 4.1-7 Globais 0.16.2 colar 1.6.2
GoogleDrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
gráficos 4.3.1 grDispositivos 4.3.1 grelha 4.3.1
gridExtra 2.3 GSUBFN 0,7 tabela g 0.3.3
capacete 1.3.0 Refúgio 2.5.3 mais alto 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets (componentes HTML interativos) 1.6.2
httpuv 1.6.11 HTTR 1.4.6 HTTR2 0.2.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-14
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 Knitr 1.43
etiquetagem 0.4.2 mais tarde 1.3.1 treliça 0.21-8
lave 1.7.2.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridato 1.9.2 Magrittr 2.0.3 Marcação 1.7
MASSA 7.3-60 Matriz 1.5-4.1 memorização 2.0.1
métodos 4.3.1 MGCV 1.8-42 mímica 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.11
Munsell 0.5.0 NLME 3.1-162 NNET 7.3-19
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 Plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.4 processx 3.8.2
Prodlim 2023.03.31 Profvis 0.3.8 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 prototipo 1.0.0
proxy 0.4-27 PS 1.7.5 ronronar 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
Floresta Aleatória 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
Leitor 2.1.4 ReadXL 1.4.3 receitas 1.0.6
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 Rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 oxigénio2 7.2.3
rpart (função de partição recursiva em R) 4.1.19 rprojroot 2.0.3 Reserva 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.6 escalas 1.2.1
seletor 0.4-2 Informação da sessão 1.2.2 forma 1.4.6
brilhante 1.7.4.1 ferramentas de origem 0.1.7-1 Brilho 1.8.1
Faísca 3.5.0 espacial 7.3-15 estrias 4.3.1
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.1
estatísticas4 4.3.1 string 1.7.12 stringr 1.5.0
sobrevivência 3.5-5 Sistema 3.4.2 fontes do sistema 1.0.4
tcltk (uma linguagem de programação) 4.3.1 testeatat 3.1.10 formatação de texto 0.3.6
Tibble 3.2.1 Tidyr 1.3.0 arrumadoselecionar 1.2.0
Tidyverse 2.0.0 mudança de hora 0.2.0 data e hora 4022.108
Tinytex 0,45 ferramentas 4.3.1 TZDB 0.4.0
verificador de URL 1.0.1 usethis 2.2.2 UTF8 1.2.3
utilitários 4.3.1 Identificador Único Universal (UUID) 1.1-0 VCTRS 0.6.3
viridisLite 0.4.2 vruum 1.6.3 Waldo 0.5.1
vibrissas 0.4.1 murchar 2.5.0 xfun 0,39
XML2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 ZIP 2.3.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.390
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws AWS Java SDK para CloudSearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-diretório 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-rota53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws AWS Java SDK para SES 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.390
com.amazonaws AWS-Java-SDK-STS 1.12.390
com.amazonaws aws-java-sdk-suporte 1.12.390
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Reserva 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks Jatos 3T 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core Jackson-Core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module módulo-jackson-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-Java 1.1-Nativos
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs JSR305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone anotações_propensas_a_erros 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.goiaba Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger gerador de perfis 1.1.1
com.jcraft JSCH 0.1.55
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver MSSQL-JDBC 11.2.2.jre8
com.ning compressa-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter Chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocidade analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
codec commons codec commons 1.16.0
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.24
IO.Delta delta-compartilhamento-spark_2.12 0.7.1
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics métricas-base 4.2.19
io.dropwizard.metrics métricas-grafite 4.2.19
io.dropwizard.metrics métricas e verificações de saúde 4.2.19
io.dropwizard.metrics métricas-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics métricas-json 4.2.19
io.dropwizard.metrics métricas do JVM 4.2.19
io.dropwizard.metrics Métricas-Servlets 4.2.19
io.netty netty-tudo 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-meias 4.1.93.Final
io.netty netty-comum 4.1.93.Final
io.netty netty-manipulador 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver (resolução do Netty) 4.1.93.Final
io.netty transporte de rede 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.93.Final
io.prometeu cliente simples 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.transaction JTA 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.29
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ANT-JSCH 1.9.16
org.apache.ant lançador de formigas 1.9.16
org.apache.arrow formato de seta 12.0.1
org.apache.arrow seta-memória-núcleo 12.0.1
org.apache.arrow seta-memória-netty 12.0.1
org.apache.arrow vetor de seta 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro AVRO-IPC 1.11.2
org.apache.avro avro-mapeado 1.11.2
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-comprimir 1.23.0
org.apache.commons commons-cripto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-matemática3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curador curador-cliente 2.13.0
org.apache.curador curador-framework 2.13.0
org.apache.curador curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.6
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Hive-CLI 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive API de armazenamento Hive 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents Núcleo Http 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-protobuf sombreado
org.apache.orc orc-núcleo 1.9.0-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.0-protobuf sombreado
org.apache.orc Orc-calços 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper cuidador de zoológico 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.píer Jetty-Cliente 9.4.51.v20230217
org.eclipse.píer jetty-continuation (componente de software do Jetty) 9.4.51.v20230217
org.eclipse.píer Jetty-HTTP 9.4.51.v20230217
org.eclipse.píer Molhe IO 9.4.51.v20230217
org.eclipse.píer Cais-JNDI 9.4.51.v20230217
org.eclipse.píer Cais-Plus 9.4.51.v20230217
org.eclipse.píer Jetty-Proxy 9.4.51.v20230217
org.eclipse.píer Segurança do Jetty 9.4.51.v20230217
org.eclipse.píer servidor jetty 9.4.51.v20230217
org.eclipse.píer Jetty-servlet 9.4.51.v20230217
org.eclipse.píer Jetty-servlets 9.4.51.v20230217
org.eclipse.píer Jetty-util 9.4.51.v20230217
org.eclipse.píer cais-util-ajax 9.4.51.v20230217
org.eclipse.píer Aplicação web Jetty 9.4.51.v20230217
org.eclipse.píer Jetty-XML 9.4.51.v20230217
org.eclipse.jetty.websocket API WebSocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-cliente 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-Comum 9.4.51.v20230217
org.eclipse.jetty.websocket servidor websocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 HK2-Utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.externo aopalliance-reembalado 2.6.1
org.glassfish.hk2.externo jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-cliente 2.40
org.glassfish.jersey.core Jersey comum 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-registro em log 3.3.2.Final
org.jdbi JDBI 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-cliente 2.7.9
org.mlflow MLFLOW-Faísca 2.2.0
org.objenesis objenese 2.5.1
org.postgresql PostgreSQL 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-compatível-com-slf4j 2.0.7
org.slf4j jul-para-slf4j 2.0.7
org.slf4j SLF4J-API 2.0.7
org.threeten trêsdez-extra 1.7.1
org.tukaani XZ 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial SQLITE-JDBC 3.42.0.0
org.xerial.snappy Snappy-java 1.1.10.3
org.yaml Snakeyaml 2.0
ouro ouro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
  • Last updated on