Databricks Runtime 14.0 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.0, alimentado pelo Apache Spark 3.5.0.

O Databricks lançou essa versão em setembro de 2023.

Novos recursos e aprimoramentos

• O rastreamento de linha está em GA (disponibilidade geral)
• A E/S preditiva para atualizações está em disponibilidade geral
• Os vetores de exclusão estão em disponibilidade geral
• Spark 3.5.0 é GA
• Versão prévia pública para funções de tabela definidas pelo usuário para Python
• Versão prévia pública para simultaneidade no nível de linha
• O diretório de trabalho atual padrão foi alterado
• Problema conhecido com o sparklyr
• Apresentando o Spark Connect na arquitetura de cluster compartilhado
• Atualização da API para listar as versões disponíveis do Spark

O rastreamento de linha está em GA (disponibilidade geral)

O rastreamento de linha para Delta Lake agora está em disponibilidade geral. Confira Usar o acompanhamento de linhas para tabelas Delta.

A E/S preditiva para atualizações está em disponibilidade geral

A E/S preditiva para atualizações agora está em disponibilidade geral. Confira O que é E/S preditiva?.

Os vetores de exclusão estão em disponibilidade geral

Os vetores de exclusão agora estão em disponibilidade geral. Confira O que são vetores de exclusão?

Spark 3.5.0 é GA

Apache Spark 3.5.0 já está disponível para o público geral. Confira a Versão 3.5.0 do Spark.

Versão prévia pública para funções de tabela definidas pelo usuário para Python

As funções de tabela definidas pelo usuário (UDTFs) permitem registrar funções que retornam tabelas em vez de valores escalares. Confira UDTFs (funções de tabela definidas pelo usuário) do Python.

Versão prévia pública para simultaneidade no nível de linha

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas, detectando alterações no nível de linha e resolvendo automaticamente alterações concorrentes em gravações simultâneas que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

O diretório de trabalho atual padrão foi alterado

O diretório de trabalho atual padrão (CWD) para código executado localmente agora é o diretório que contém o bloco de anotações ou script que está sendo executado. Isso inclui código como %sh e Python ou código R que não usa o Spark. Consulte Qual é o diretório de trabalho atual padrão?.

Problema conhecido com o sparklyr

A versão instalada do pacote sparklyr (versão 1.8.1) não é compatível com o Databricks Runtime 14.0. Para usar sparklyr, instale a versão 1.8.3 ou superior.

Apresentando o Spark Connect na arquitetura de cluster compartilhado

Com o Databricks Runtime 14.0 e superior, os clusters compartilhados agora usam o Spark Connect com o Spark Driver do Python REPL por padrão. As APIs internas do Spark não estão mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver a partir do REPL, em vez da integração REPL herdada.

Atualização da API para listar as versões disponíveis do Spark

Habilite o Photon configurando runtime_engine = PHOTON, e habilite aarch64 escolhendo um tipo de instância de gráviton. O Azure Databricks define a versão correta do Databricks Runtime. Anteriormente, a API de versão do Spark retornava runtimes específicos da implementação para cada versão. Consulte GET /api/2.0/clusters/spark-versions na Referência da API REST.

Alterações de quebra

No Databricks Runtime 14.0 e superior, clusters com modo de acesso padrão (antigo modo de acesso compartilhado) usam o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso padrão, consulte os requisitos e limitações de computação Padrão.

Python em clusters com modo de acesso padrão (antigo modo de acesso compartilhado)

• sqlContext não está disponível. O Azure Databricks recomenda usar a variável spark para a instância SparkSession.
• O Contexto Spark (sc) não está mais disponível em Notebooks, ou ao usar o Databricks Connect em um cluster com o modo de acesso padrão. As seguintes funções sc não estão mais disponíveis:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, , textFile, wholeTextFiles, , binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, , newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• O recurso Informações do Conjunto de Dados não tem mais suporte.
• Não existe mais uma dependência da JVM ao consultar o Apache Spark e, como consequência, as APIs internas relacionadas à JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap e _jcols, não têm mais suporte.
• Ao acessar os valores da configuração usando spark.conf, apenas os valores da configuração dinâmica do runtime podem ser acessados.
• Os comandos de análise do Lakeflow Spark Declarative Pipelines ainda não têm suporte em clusters compartilhados.

Delta em clusters com modo de acesso padrão (antigo modo de acesso compartilhado)

• No Python, não existe mais a dependência da JVM ao consultar o Apache Spark. As APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilder e DeltaOptimizeBuilder._jbuilder, não têm mais suporte.

SQL em clusters com modo de acesso padrão (antigo modo de acesso compartilhado)

• Os comandos DBCACHE e DBUNCACHE não são mais suportados.
• Casos de uso raros como cache table db as show databases não são mais suportados.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • asttokens de 2.2.1 para 2.0.5
  • attrs de 21.4.0 para 22.1.0
  • botocore de 1.27.28 para 1.27.96
  • certifi de 2022.9.14 para 2022.12.7
  • cryptografia de 37.0.1 para 39.0.1
  • debugpy de 1.6.0 para 1.6.7
  • docstring-to-markdown de 0.12 para 0.11
  • executing de 1.2.0 para 0.8.3
  • facets-overview de 1.0.3 para 1.1.1
  • googleapis-common-protos de 1.56.4 para 1.60.0
  • grpcio de 1.48.1 para 1.48.2
  • idna de 3.3 para 3.4
  • ipykernel de 6.17.1 para 6.25.0
  • ipython de 8.10.0 para 8.14.0
  • Jinja2 de 2.11.3 para 3.1.2
  • jsonschema de 4.16.0 para 4.17.3
  • jupyter_core de 4.11.2 para 5.2.0
  • kiwisolver de 1.4.2 para 1.4.4
  • MarkupSafe de 2.0.1 para 2.1.1
  • matplotlib de 3.5.2 para 3.7.0
  • nbconvert de 6.4.4 para 6.5.4
  • nbformat de 5.5.0 para 5.7.0
  • nest-asyncio de 1.5.5 para 1.5.6
  • notebook de 6.4.12 para 6.5.2
  • numpy de 1.21.5 para 1.23.5
  • packaging de 21.3 para 22.0
  • pandas de 1.4.4 para 1.5.3
  • pathspec de 0.9.0 para 0.10.3
  • patsy de 0.5.2 para 0.5.3
  • Pillow de 9.2.0 para 9.4.0
  • pip de 22.2.2 para 22.3.1
  • protobuf de 3.19.4 para 4.24.0
  • pytoolconfig de 1.2.2 para 1.2.5
  • pytz de 2022.1 para 2022.7
  • s3transfer de 0.6.0 para 0.6.1
  • seaborn de 0.11.2 para 0.12.2
  • setuptools de 63.4.1 para 65.6.3
  • soupsieve de 2.3.1 para 2.3.2.post1
  • stack-data de 0.6.2 para 0.2.0
  • statsmodels de 0.13.2 para 0.13.5
  • terminado de 0.13.1 para 0.17.1
  • traitlets de 5.1.1 para 5.7.1
  • typing_extensions de 4.3.0 para 4.4.0
  • urllib3 de 1.26.11 para 1.26.14
  • virtualenv de 20.16.3 para 20.16.7
  • wheel de 0.37.1 para 0.38.4
• Bibliotecas do R atualizadas:
  • arrow de 10.0.1 para 12.0.1
  • base de 4.2.2 para 4.3.1
  • blob de 1.2.3 para 1.2.4
  • broom de 1.0.3 para 1.0.5
  • bslib de 0.4.2 para 0.5.0
  • cachem de 1.0.6 para 1.0.8
  • caret de 6.0-93 para 6.0-94
  • chron de 2.3-59 para 2.3-61
  • class de 7.3-21 para 7.3-22
  • cli de 3.6.0 para 3.6.1
  • clock de 0.6.1 para 0.7.0
  • commonmark de 1.8.1 para 1.9.0
  • compiler de 4.2.2 para 4.3.1
  • cpp11 de 0.4.3 para 0.4.4
  • curl de 5.0.0 para 5.0.1
  • data.table de 1.14.6 para 1.14.8
  • datasets de 4.2.2 para 4.3.1
  • dbplyr de 2.3.0 para 2.3.3
  • digest de 0.6.31 para 0.6.33
  • downlit de 0.4.2 para 0.4.3
  • dplyr de 1.1.0 para 1.1.2
  • dtplyr de 1.2.2 para 1.3.1
  • evaluate de 0.20 para 0.21
  • fastmap de 1.1.0 para 1.1.1
  • fontawesome de 0.5.0 para 0.5.1
  • fs de 1.6.1 para 1.6.2
  • future de 1.31.0 para 1.33.0
  • future.apply de 1.10.0 para 1.11.0
  • gargle de 1.3.0 para 1.5.1
  • ggplot2 de 3.4.0 para 3.4.2
  • gh de 1.3.1 para 1.4.0
  • glmnet de 4.1-6 para 4.1-7
  • googledrive de 2.0.0 para 2.1.1
  • googlesheets4 de 1.0.1 para 1.1.1
  • graphics de 4.2.2 para 4.3.1
  • grDevices de 4.2.2 para 4.3.1
  • grid de 4.2.2 para 4.3.1
  • gtable de 0.3.1 para 0.3.3
  • hardhat de 1.2.0 para 1.3.0
  • haven de 2.5.1 para 2.5.3
  • hms de 1.1.2 para 1.1.3
  • htmltools de 0.5.4 para 0.5.5
  • htmlwidgets de 1.6.1 para 1.6.2
  • httpuv de 1.6.8 para 1.6.11
  • httr de 1.4.4 para 1.4.6
  • ipred de 0.9-13 para 0.9-14
  • jsonlite de 1.8.4 para 1.8.7
  • KernSmooth de 2.23-20 para 2.23-21
  • knitr de 1.42 para 1.43
  • later de 1.3.0 para 1.3.1
  • lattice de 0.20-45 para 0.21-8
  • lava de 1.7.1 para 1.7.2.1
  • lubridate de 1.9.1 para 1.9.2
  • markdown de 1.5 para 1.7
  • MASS de 7.3-58.2 para 7.3-60
  • Matrix de 1.5-1 para 1.5-4.1
  • methods de 4.2.2 para 4.3.1
  • mgcv de 1.8-41 para 1.8-42
  • modelr de 0.1.10 para 0.1.11
  • nnet de 7.3-18 para 7.3-19
  • openssl de 2.0.5 para 2.0.6
  • parallel de 4.2.2 para 4.3.1
  • parallelly de 1.34.0 para 1.36.0
  • pillar de 1.8.1 para 1.9.0
  • pkgbuild de 1.4.0 para 1.4.2
  • pkgload de 1.3.2 para 1.3.2.1
  • pROC de 1.18.0 para 1.18.4
  • processx de 3.8.0 para 3.8.2
  • prodlim de 2019.11.13 para 2023.03.31
  • profvis de 0.3.7 para 0.3.8
  • ps de 1.7.2 para 1.7.5
  • Rcpp de 1.0.10 para 1.0.11
  • readr de 2.1.3 para 2.1.4
  • readxl de 1.4.2 para 1.4.3
  • recipes de 1.0.4 para 1.0.6
  • rlang de 1.0.6 para 1.1.1
  • rmarkdown de 2.20 para 2.23
  • Rserve de 1.8-12 para 1.8-11
  • RSQLite de 2.2.20 para 2.3.1
  • rstudioapi de 0.14 para 0.15.0
  • sass de 0.4.5 para 0.4.6
  • shiny de 1.7.4 para 1.7.4.1
  • sparklyr de 1.7.9 para 1.8.1
  • SparkR de 3.4.1 a 3.5.0
  • splines de 4.2.2 para 4.3.1
  • stats de 4.2.2 para 4.3.1
  • stats4 de 4.2.2 para 4.3.1
  • survival de 3.5-3 para 3.5-5
  • sys de 3.4.1 para 3.4.2
  • tcltk de 4.2.2 para 4.3.1
  • testthat de 3.1.6 para 3.1.10
  • tibble de 3.1.8 para 3.2.1
  • tidyverse de 1.3.2 para 2.0.0
  • tinytex de 0.44 para 0.45
  • tools de 4.2.2 para 4.3.1
  • tzdb de 0.3.0 para 0.4.0
  • usethis de 2.1.6 para 2.2.2
  • utils de 4.2.2 para 4.3.1
  • vctrs de 0.5.2 para 0.6.3
  • viridisLite de 0.4.1 para 0.4.2
  • vroom de 1.6.1 para 1.6.3
  • waldo de 0.4.0 para 0.5.1
  • xfun de 0.37 para 0.39
  • xml2 de 1.3.3 para 1.3.5
  • zip de 2.2.2 para 2.3.0
• Bibliotecas do Java atualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.core.jackson-core de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.core.jackson-databind de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 para 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 para 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 para 2.15.2
  • com.github.luben.zstd-jni de 1.5.2-5 para 1.5.5-4
  • com.google.code.gson.gson de 2.8.9 para 2.10.1
  • com.google.crypto.tink.tink de 1.7.0 para 1.9.0
  • commons-codec.commons-codec de 1.15 para 1.16.0
  • commons-io.commons-io de 2.11.0 to 2.13.0
  • io.airlift.aircompressor de 0.21 para 0.24
  • io.dropwizard.metrics.metrics-core de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-graphite de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-jmx de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-json de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-jvm de 4.2.10 para 4.2.19
  • io.dropwizard.metrics.metrics-servlets de 4.2.10 para 4.2.19
  • io.netty.netty-all de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-buffer de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec-http de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec-http2 de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-codec-socks de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-common de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-handler de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-handler-proxy de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-resolver de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport-classes-epoll de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.87.Final para 4.1.93.Final
  • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 para 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 para 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.87.Final para 4.1.93.Final
  • org.apache.arrow.arrow-format de 11.0.0 para 12.0.1
  • org.apache.arrow.arrow-memory-core de 11.0.0 para 12.0.1
  • org.apache.arrow.arrow-memory-netty de 11.0.0 para 12.0.1
  • org.apache.arrow.arrow-vector de 11.0.0 para 12.0.1
  • org.apache.avro.avro de 1.11.1 para 1.11.2
  • org.apache.avro.avro-ipc de 1.11.1 para 1.11.2
  • org.apache.avro.avro-mapred de 1.11.1 para 1.11.2
  • org.apache.commons.commons-compress de 1.21 para 1.23.0
  • org.apache.hadoop.hadoop-client-runtime de 3.3.4 para 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 para 2.20.0
  • org.apache.logging.log4j.log4j-api de 2.19.0 para 2.20.0
  • org.apache.logging.log4j.log4j-core de 2.19.0 para 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 para 2.20.0
  • org.apache.orc.orc-core de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf a 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
  • org.apache.xbean.xbean-asm9-shaded de 4.22 para 4.23
  • org.checkerframework.checker-qual de 3.19.0 para 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.36 para 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.36 para 2.40
  • org.glassfish.jersey.core.jersey-client de 2.36 para 2.40
  • org.glassfish.jersey.core.jersey-common de 2.36 para 2.40
  • org.glassfish.jersey.core.jersey-server de 2.36 para 2.40
  • org.glassfish.jersey.inject.jersey-hk2 de 2.36 para 2.40
  • org.javassist.javassist de 3.25.0-GA para 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client de 2.7.4 para 2.7.9
  • org.postgresql.postgresql de 42.3.8 para 42.6.0
  • org.roaringbitmap.RoaringBitmap de 0.9.39 para 0.9.45
  • org.roaringbitmap.shims de 0.9.39 para 0.9.45
  • org.rocksdb.rocksdbjni de 7.8.3 para 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 para 2.9.0
  • org.slf4j.jcl-over-slf4j de 2.0.6 para 2.0.7
  • org.slf4j.jul-to-slf4j de 2.0.6 para 2.0.7
  • org.slf4j.slf4j-api de 2.0.6 para 2.0.7
  • org.xerial.snappy.snappy-java de 1.1.10.1 a 1.1.10.3
  • org.yaml.snakeyaml de 1.33 para 2.0

Apache Spark

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrigir funções aes_decrypt e ln no Connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][conectar] Corrigir namedtuples herdados para funcionar em createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] Cache CodeGenerator deve ser específico do carregador de classe
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Fazer consultas de streaming funcionarem com o gerenciamento de artefatos do Connect
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Fazer o ArrowDeserializer funcionar com classes geradas por REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Corrigir UDF do Python com otimização de seta no Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Suporte a funções de protobuf do Python para Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Remover função uuid/random/chr do PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Corrigir valores de metadados para Artefatos
• [SPARK-44822] [DBRRM-464][python][SQL] Tornar as UDTFs do Python, por padrão, não determinísticas
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refatorar Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Adicionar metadados de cliente ausentes a chamadas
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: Erro de Atributo: objeto 'NoneType' não possui um atributo 'message'
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager para acompanhar todas as execuções
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Desabilitar a otimização de seta por padrão para UDTFs do Python
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Executar ExecuteGrpcResponseSender em execução reatável em nova thread para corrigir o controle de fluxo
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Tornar todos os iteradores CloseableIterators encerráveis
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Tentar novamente ExecutePlan caso a solicitação inicial não tenha alcançado o servidor no cliente Python
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Repetir ExecutePlan caso a solicitação inicial não tenha chegado ao servidor
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Erros movidos para sq/api também devem usar AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Adicionar objeto Codificadores
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Acompanhamento da terminação da consulta de streaming quando a sessão do cliente está com o tempo limite para o Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator após receber erro do servidor
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Catalyst do cliente Connect
• [SPARK-44664] [DBRRM-396][python][CONNECT] Libere a execução ao fechar o iterador no cliente Python
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Remover diretório baseado em sessão quando o cache de sessão isolado for removido
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Não deixe iteradores pendentes
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Cliente Python para reanexar à execução existente no Spark Connect
• [SPARK-44637] [SC-138571] Sincronizar acessos a ExecuteResponseObserver
• [SPARK-44538] [SC-138178][conectar][SQL] Restabelecer Row.jsonValue e amigos
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução recolocável no Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Atualizar protobuf de 3.19.5 para 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Aumentar o limite de recursão do marshaller de protobuf
• [SPARK-44591] [SC-138292][connect][SQL] Adicionar jobTags ao SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations deve reter metadados do Alias ao criar uma nova instância
• [SPARK-44542] [SC-138323][core] Carregar ansiosamente a classe SparkExitCode no manipulador de exceção
• [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
• [SPARK-43997] [SC-138347][connect] Adicionar suporte para UDFs Java
• [SPARK-44507] [SQL][connect][14.x][14.0] Mover AnalysisException para sql/api
• [SPARK-44453] [SC-137013][python] Use difflib para exibir erros em assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Adicionar uma página da interface do usuário do Spark para Spark Connect
• [SPARK-44611] [SC-138415][connect] Não exclua scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mover inferência do codificador para sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Corrigir problema de carregamento de classe causado...
• [SPARK-44590] [SC-138296][sql][CONNECT] Remover o limite de registros do lote de Arrow para SqlCommandResult
• [SPARK-43968] [SC-138115][python] Aprimorar mensagens de erro para UDTFs do Python com número incorreto de saídas
• [SPARK-44432] [SC-138293][ss][CONNECT] Encerrar consultas de streaming quando uma sessão atingir o tempo limite no Spark Connect
• [SPARK-44584] [SC-138295][connect] Definir informações de client_type para AddArtifactsRequest e ArtifactStatusesRequest no Cliente Scala
• [SPARK-44552] [14.0][sc-138176][SQL] Remover private object ParseState definição de IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Habilitar resample com o Spark Connect
• [SPARK-44287] [SC-136223][sql] Use a API de PartitionEvaluator em operadores SQL RowToColumnarExec & ColumnarToRowExec.
• [SPARK-39634] [SC-137566][sql] Permitir divisão de arquivos em combinação com a geração de índice de linha
• [SPARK-44533] [SC-138058][python] Adicionar suporte para acumuladores, transmissão e arquivos do Spark na análise de UDTF do Python
• [SPARK-44479] [SC-138146][python] Corrigir ArrowStreamPandasUDFSerializer para aceitar DataFrames do pandas sem colunas
• [SPARK-44425] [SC-138177][connect] Valide se sessionId fornecido pelo usuário é uma UUID
• [SPARK-44535] [SC-138038][connect][SQL] Mover a API de Streaming necessária para sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Criar uma classe Deepspeed de Aprendizagem Distribuída chamada DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Corrigir a incapacidade da ResolveInlineTables de lidar com a expressão RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Geração de código para junção dispersa de hash externa do lado de construção
• [SPARK-44496] [SC-137682][sql][CONNECT] Mover interfaces necessárias pelo SCSC para sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Mover ArrowUtils para sql/api
• [SPARK-44413] [SC-137019][python] Esclarecer erro para tipo de dados arg sem suporte em assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Mover SparkBuildInfo para common/util
• [SPARK-36612] [SC-133071][sql] Suporte à construção da junção externa esquerda ou construção da junção externa direita na junção de hash embaralhada
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils gerou parâmetros incorretos para jars
• [SPARK-44449] [SC-137818][connect] Upcasting para Desserialização Direta do Arrow
• [SPARK-44131] [SC-136346][sql] Adicionar call_function e preterir call_udf para a API Scala
• [SPARK-44541] [SQL] Remover função inútil hasRangeExprAgainstEventTimeCol de UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] MaxRows/maxRowsPerPartition do filtro será 0 se a condição for FalseLiteral
• [SPARK-44540] [SC-137873][ui] Remover arquivos de folha de estilos e javascript não utilizados do jsonFormatter
• [SPARK-44466] [SC-137856][sql] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de modifiedConfigs
• [SPARK-44477] [SC-137508][sql] Tratar TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
• [SPARK-44509] [SC-137855][python][CONNECT] Adicionar a API de cancelamento de trabalho definida no cliente Python do Spark Connect
• [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
• [SPARK-38476] [SC-136448][core] Use a classe de erro em org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implementar o recurso PyArrow self_destruct para toPandas
• [SPARK-44361] [SC-137200][sql] Utilizar a API PartitionEvaluator no MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Atualizar dataTables para 1.13.5 e remover alguns arquivos png não acessados
• [SPARK-44503] [SC-137808][sql] Adicionar gramática SQL para PARTITION BY e ORDER BY cláusula após TABLE argumentos para chamadas TVF
• [SPARK-38477] [SC-136319][core] Utilize a classe de erros em org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][conectar] Interrupção refinada do Spark Connect
• [SPARK-44380] [SC-137415][sql][PYTHON] Suporte para UDTF de Python para análise em Python
• [SPARK-43923] [SC-137020][connect] Publique eventos listenerBus durante...
• [SPARK-44303] [SC-136108][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Corrigir o problema da coluna HeapHistogram que aparece inesperadamente com a caixa de seleção completa
• [SPARK-44409] [SC-136975][sql] Manipular char/varchar em Dataset.to para manter-se consistente com outros elementos
• [SPARK-44334] [SC-136576][sql][interface do usuário] O status na resposta da API REST para uma DDL/DML com falha sem trabalhos deve ser FALHADO em vez de COMPLETADO.
• [SPARK-42309] [SC-136703][sql] Introduza INCOMPATIBLE_DATA_TO_TABLE e subclasses.
• [SPARK-44367] [SC-137418][sql][interface do usuário] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
• [SPARK-44474] [SC-137195][connect] Reativar "Teste de observação de resposta" em SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][conectar] O log de inicialização do Connect Server deve exibir o nome do host e a porta
• [SPARK-44309] [SC-136193][ui] Mostrar tempo de adição/remoção de executores na guia Executores
• [SPARK-42898] [SC-137556][sql] Marque que conversões de cadeia de caracteres/data não precisam de ID de fuso horário
• [SPARK-44475] [SC-137422][sql][CONNECT] Realocar DataType e Analisador para sql/api
• [SPARK-44484] [SC-137562][ss]Adicionar batchDuration ao método json StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Suporte a funções não determinísticas com valor de tabela
• [SPARK-44439] [SC-136973][connect][SS]Corrigido listListeners para enviar apenas IDs de volta para o cliente
• [SPARK-44341] [SC-137054][sql][PYTHON] Defina a lógica de computação por meio da API PartitionEvaluator e use-a em WindowExec e WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Converter _LEGACY_ERROR_TEMP_1337 em UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para o Ouvinte de Streaming no Scala para Spark Connect
• [SPARK-44260] [SC-135618][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[1215-1245-2329] &Usar checkError() para verificar Exceção no _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: encapsular todos os parâmetros relacionados ao SPJ no BatchScanExec
• [SPARK-44292] [SC-135844][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][conectar] Desserialização de Seta Direta
• [SPARK-44324] [SC-137172][sql][CONNECT] Mover CaseInsensitiveMap para sql/api
• [SPARK-44395] [SC-136744][sql] Adicionar teste de volta ao StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Transformar pyspark.sql.is_remote em uma API
• [SPARK-44278] [SC-137400][conectar] Implementar um interceptador de servidor GRPC que limpa as propriedades locais do thread
• [SPARK-44264] [SC-137211][ml][PYTHON] Suporte ao treinamento distribuído de funções usando deepspeed
• [SPARK-44430] [SC-136970][sql] Adicionar causa a quando a AnalysisException opção for inválida
• [SPARK-44264] [SC-137167][ml][PYTHON] Incorporando FunctionPickler no TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Tornar pública a API assertSchemaEqual
• [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
• [SPARK-43203] [SC-134528][sql] Mover todos os casos de exclusão de tabelas para o DataSource V2
• [SPARK-43755] [SC-137171][connect][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren em vez de usar a cópia em MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Refatorando o TorchDistributor para permitir um ponteiro de função personalizado "run_training_on_file"
• [SPARK-43755] [SC-136838][connect] Mover a execução para fora do SparkExecutePlanStreamHandler e para um thread diferente
• [SPARK-44411] [SC-137198][sql] Use a API do PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Use a API PartitionEvaluator em DebugExec
• [SPARK-43967] [SC-137057][python] Suporte a UDTFs normais do Python com retornos vazios
• [SPARK-43915] [SC-134766][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Suporte a UDTF do Python no Spark Connect
• [SPARK-44154] [SC-137050][sql] Adicionou mais testes de unidade ao BitmapExpressionUtilsSuite e fez pequenas melhorias nas expressões de agregação bitmap
• [SPARK-44169] [SC-135497][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Remove StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Suporte a UDTFs do Python com otimização de seta
• [SPARK-44321] [SC-136308][connect] Desacoplar ParseException de AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reativar test_artifact com alterações relevantes
• [SPARK-44145] [SC-136698][sql] Retorno de chamada quando estiver pronto para execução
• [SPARK-43983] [SC-136404][python][ML][connect] Habilitar teste do estimador de validação cruzada
• [SPARK-44399] [SC-136669][python][CONNECT] Importar SparkSession no Python UDF somente quando useArrow for None
• [SPARK-43631] [SC-135300][connect][PS] Habilitar Series.interpolate com Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Adicionar código de exemplo para ML distribuído para spark connect
• [SPARK-44282] [SC-135948][connect] Preparar a análise de DataType para uso no cliente do Spark Connect Scala
• [SPARK-44052] [SC-134469][connect][PS] Adicionar util para obter a classe Column ou DataFrame adequada para o Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementar estimador de validador cruzado
• [SPARK-44290] [SC-136300][Spark Connect] Arquivos e coleções de arquivos baseados em sessão no Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Suporte functions.date_part para Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Limpar e consolidar tíquetes para simplificar as tarefas.
• [SPARK-44150] [SC-135790][python][CONNECT] Conversão explícita de Arrow para tipo de retorno incompatível em UDF Python de Arrow
• [SPARK-43903] [SC-134754][python][CONNECT] Melhorar o suporte para entrada de ArrayType no Arrow Python UDF
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementar avaliador de classificação
• [SPARK-44255] [SC-135704][sql] Realocar StorageLevel para common/utils
• [SPARK-42169] [SC-135735] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
• [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
• [SPARK-44133] [SC-134795][python] Atualizar MyPy de 0,920 para 0,982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de Evento no formato JSON
• [SPARK-43353] Reverter “[SC-132734][es-729763][PYTHON] Migrar erros de sessão restantes para a classe de erro”
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Mover namespace de pyspark.mlv2 para pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Mover StringConcat para sql/api
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementar o avaliador de pipeline para ML no Spark Connect
• [SPARK-43888] [SC-132893][core] Realocar registro de logs para common/utils
• [SPARK-42941] Reverter "[SC-134707][ss][CONNECT][1/2] StreamingQueryListener – Serde de Evento no formato JSON"
• [SPARK-43624] [SC-134557][ps][CONNECT] Adicionar EWM ao SparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Implementação básica de salvamento/carregamento para ML no Spark Connect
• [SPARK-43205] [SC-133371][sql] corrigir SQLQueryTestSuite
• [SPARK-43376] Reverter "[SC-130433][sql] Melhorar a subconsulta de reutilização com cache de tabela"
• [SPARK-44040] [SC-134366][sql] Corrigir o cálculo de estatísticas quando o nó AggregateExec está acima de QueryStageExec
• [SPARK-43919] [SC-133374][sql] Extrair funcionalidade JSON fora da linha
• [SPARK-42618] [SC-134433][python][PS] Aviso sobre as alterações de comportamento relacionadas ao pandas na próxima versão principal
• [SPARK-43893] [SC-133381][python][CONNECT] Suporte a tipos de dados não atômicos em UDF do Python otimizados pelo Arrow
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Habilitar pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python
• [SPARK-43616] [SC-133849][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.mode no Spark Connect
• [SPARK-43133] [SC-133728] Suporte ao Cliente Scala DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correção (NullOps|NumOps).(eq|ne) para Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Habilitar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.product no Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Habilitar InternalFrame.attach_distributed_column no Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.repeat no Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Gerar arquivos de descritor protobuf durante a construção
• [SPARK-43613] [SC-133727][ps][CONNECT] Habilitar pyspark.pandas.spark.functions.covar no Spark Connect
• [SPARK-43376] [SC-130433][sql] Melhorar a subconsulta de reutilização com cache de tabela
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementar SparkSession.addArtifact(s) no cliente Python
• [SPARK-43920] [SC-133611][sql][CONNECT] Criar módulo sql/api
• [SPARK-43097] [SC-133372][ml] Novo estimador de regressão logística do Pyspark ML implementado baseado no distribuidor
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Tornar o MLv2 (ML no spark connect) compatível com pandas >= 2.0
• [SPARK-43024] [SC-132716][python] Atualizar pandas para 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Acelerar a inferência do tipo Timestamp com formato legado na fonte de dados JSON/CSV
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Cliente Python DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][sql][PYTHON] Suporte para tipo de carimbo de data/hora aninhado
• [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
• [SPARK-43304] [SC-129969][connect][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfaces base do sparkML para spark3.5: avaliador/transformador/modelo/avaliador
• [SPARK-43128] Reverter "[SC-131628][conectar][SS] Tornar recentProgress e lastProgress retornar StreamingQueryProgress consistente com a API scala nativa"
• [SPARK-43543] [SC-131839][python] Corrigir comportamento mapType aninhado no Pandas UDF
• [SPARK-38469] [SC-131425][core] Use a classe de erro em org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Estender INTERNAL_ERROR com categorias e adicionar classe de erro INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Mover estrutura de erro para um módulo utils comum
• [SPARK-43440] [SC-131229][python][CONNECT] Suporte ao registro de uma UDF Python otimizada para Arrow
• [SPARK-43528] [SC-131531][sql][PYTHON] Suportar nomes de campo duplicados em createDataFrame com pandas DataFrame
• [SPARK-43412] [SC-130990][python][CONNECT] Introduza SQL_ARROW_BATCHED_UDF EvalType para UDFs do Python otimizadas com Arrow
• [SPARK-40912] [SC-130986][core]Impacto das exceções no KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Acelerar a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV
• [SPARK-43473] [SC-131372][python] Suporte ao tipo de struct em createDataFrame do Pandas DataFrame
• [SPARK-43443] [SC-131024][sql] Adicionar benchmark para inferência de tipo Timestamp ao usar valor inválido
• [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação de operações que envolvem vários quadros de dados
• [SPARK-43296] [SC-130627][connect][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
• [SPARK-43324] [SC-130455][sql] Manipular UPDATE comandos para fontes baseadas em delta
• [SPARK-43347] [SC-130148][python] Remover suporte ao Python 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Mover ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor de dados que carrega dados de dados de partição do Spark
• [SPARK-43331] [SC-130061][connect] Adicionar Spark Connect SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migrar ValueError de tipos SQL do Spark para a classe de erro
• [SPARK-43261] [SC-129674][python] Migrar TypeError de tipos SQL do Spark para a classe de erro.
• [SPARK-42992] [SC-129465][python] Introdução de PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Transferir canWrite para DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] UDFs de Python otimizados com Apache Arrow no Spark Connect
• [SPARK-43084] [SC-128654] [SS] Adicionar suporte a applyInPandasWithState para o Spark Connect
• [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [SPARK-43098] [SC-77059][sql] Corrigir bug de contagem de correção quando a subconsulta escalar tem cláusula GROUP BY
• [SPARK-42884] [SC-126662][connect] Adicionar integração com o Ammonite REPL
• [SPARK-42994] [SC-128333][ml][CONNECT] O Distribuidor PyTorch dá suporte ao Modo Local
• [SPARK-41498] [SC-125343]Reverter "Propagar metadados por meio da União"
• [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o Distribuidor PyTorch compatível com o Spark Connect
• [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [SPARK-42874] [SC-126442][sql] Habilitar nova estrutura de teste de arquivo padrão para análise de todos os arquivos de entrada
• [SPARK-42779] [SC-126042][sql] Permitir escritas V2 indicar o tamanho da partição de shuffle sugerida
• [SPARK-42891] [SC-126458][connect][PYTHON] Implementar API de Mapa CoAgrupado
• [SPARK-42791] [SC-126134][sql] Criar uma nova estrutura de teste de arquivo ouro para análise
• [SPARK-42615] [SC-124237][connect][PYTHON] Refatorar o RPC do AnalyzePlan e adicionar session.version
• [SPARK-41302] Reverter "[TODOS OS TESTES][sc-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-40770] Reverter “[TODOS OS TESTES][sc-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas devido a mismatch de esquema”
• [SPARK-42398] [SC-123500][sql] Refinar a interface DS v2 do valor padrão da coluna
• [SPARK-40770] [TODOS OS TESTES][sc-122652][PYTHON] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-40770] Reverter "[SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
• [SPARK-40770] [SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-42038] [TODOS OS TESTES] Reversão "Reverter “[SC-122533][sql] SPJ: Suporte à distribuição parcialmente clusterizada””
• [SPARK-42038] Reverter "[SC-122533][sql] SPJ: suporte à distribuição parcialmente clusterizada"
• [SPARK-42038] [SC-122533][sql] SPJ: suporte à distribuição parcialmente clusterizado
• [SPARK-40550] [SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta
• [SPARK-40770] Reverter "[SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema"
• [SPARK-40770] [SC-122652][python] Mensagens de erro aprimoradas para applyInPandas para incompatibilidade de esquema
• [SPARK-41302] Reverter "[SC-122423][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
• [SPARK-40550] Reverter "[SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta"
• [SPARK-42123] Reverter "[SC-121453][sql] Incluir valores padrão de coluna em DESCRIBE e SHOW CREATE TABLE saída"
• [SPARK-42146] [SC-121172][core] Refatoração Utils#setStringField para fazer o build do maven passar quando o módulo sql usar esse método
• [SPARK-42119] Revogar “[SC-121342][sql] Adicionar funções incorporadas com valor de tabela inline e inline_outer”

Destaques

• Correção das funções aes_decrypt e ln no Connect SPARK-45109
• Correção para que as tuplas nomeadas herdadas funcionem em createDataFrame SPARK-44980
• O CodeGenerator Cache agora é específico do carregador de classes [SPARK-44795]
• Adição de SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Fazer com que as Consultas de Streaming funcionem com o gerenciamento de artefatos do Connect [SPARK-44794]
• O ArrowDeserializer funciona com classes geradas por REPL [SPARK-44791]
• Correção da UDF do Python com otimização de Arrow no Spark Connect [SPARK-44876]
• Suporte ao cliente do Scala and Go no Spark Connect SPARK-42554SPARK-43351
• Suporte de ML distribuído baseado em PyTorch para o Spark Connect SPARK-42471
• Suporte de streaming estruturado para o Spark Connect em Python e Scala SPARK-42938
• Suporte à API do Pandas para o cliente Python do Spark Connect SPARK-42497
• Introduzir UDFs Arrow no Python SPARK-40307
• Suporte a funções de tabela definidas pelo usuário do Python SPARK-43798
• Migrar erros do PySpark para classes de erro SPARK-42986
• Framework de teste PySpark SPARK-44042
• Adicionar suporte para o Datasketches HllSketch SPARK-16484
• Melhoria da função SQL interna SPARK-41231
• IDENTIFIER cláusula SPARK-43205
• Adicione funções SQL em API do Scala, Python e R SPARK-43907
• Adicionar suporte a argumentos nomeados para funções SQL SPARK-43922
• Evitar a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
• ML Distribuído <> no spark connect SPARK-42471
• Distribuidor DeepSpeed SPARK-44264
• Implementar ponto de verificação de log de mudança para armazenamento de estado do RocksDB SPARK-43421
• Introduzir propagação de marca d'água entre os operadores SPARK-42376
• Introduzir dropDuplicatesWithinWatermark SPARK-42931
• Aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado do RocksDB SPARK-43311

Spark Connect

• Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que podem ser compartilhadas entre o cliente do Scala Spark Connect e do Spark e evita extrair todas as dependências transitivas do Spark. SPARK-44273
• Apresentando o cliente do Scala para o Spark Connect SPARK-42554
• Suporte à API do Pandas para o cliente Python do Spark Connect SPARK-42497
• Suporte de ML distribuído baseado em PyTorch para o Spark Connect SPARK-42471
• Suporte de streaming estruturado para o Spark Connect em Python e Scala SPARK-42938
• Versão inicial do cliente Go SPARK-43351
• Muitos aprimoramentos de compatibilidade entre os clientes nativos do Spark e do Spark Connect em Python e Scala
• Melhor capacidade de depuração e manipulação de solicitações para aplicativos clientes (processamento assíncrono, novas tentativas, consultas de longa duração)

Spark SQL

Recursos

• Adicionar início e comprimento do bloco de arquivo de coluna de metadados SPARK-42423
• Suporte a parâmetros posicionais em sql() no Scala/Java SPARK-44066
• Adicionar suporte a parâmetros nomeados no analisador para chamadas de função SPARK-43922
• Suporte SELECT DEFAULT com ORDER BY, LIMITOFFSET para INSERT a relação de origem SPARK-43071
• Adicionar gramática SQL para PARTITION BY e ORDER BY cláusula após TABLE argumentos para chamadas de TVF SPARK-44503
• Incluir valores padrão de coluna em DESCRIBE e SHOW CREATE TABLEsaída SPARK-42123
• Adicionar padrão opcional para Catalog.listCatalogs SPARK-43792
• Adicionar padrão opcional para Catalog.listDatabases SPARK-43881
• Retorno de chamada quando estiver pronto para execução SPARK-44145
• Declaração Insert By Name de suporte SPARK-42750
• Adicionar call_function para a API do Scala SPARK-44131
• Aliases de colunas derivadas estáveis SPARK-40822
• Suporte a expressões constantes gerais como valores para as opções de CREATE/REPLACE TABLESPARK-43529
• Suporte a subconsultas com correlação por meio de INTERSECT/EXCEPT SPARK-36124
• IDENTIFIER cláusula SPARK-43205
• MODO ANSI: O conv deve retornar um erro se a conversão interna estourar SPARK-42427

Functions

• Adicionar suporte para o Datasketches HllSketch SPARK-16484
• Suporte ao modo CBC aes_encrypt()/aes_decrypt() SPARK-43038
• Implementar regra do analisador de argumentos para Função de Valor de Tabela TABLESPARK-44200
• Implementar funções de bitmap SPARK-44154
• Adicionar a função try_aes_decrypt() SPARK-42701
• array_insert deve falhar com o índice 0 SPARK-43011
• Adicionar alias to_varchar para to_char SPARK-43815
• Função de alta ordem: implementação array_compact SPARK-41235
• Adicionado suporte ao analisador de argumentos nomeados para funções internas SPARK-44059
• Adicionar NULLs para INSERTs com listas especificadas pelo usuário com menos colunas que a tabela de destino SPARK-42521
• Adiciona suporte para aes_encrypt IVs e AAD SPARK-43290
• A função DECODE retorna resultados incorretos quando passada NULL SPARK-41668
• Suporte a udf 'luhn_check' SPARK-42191
• Suporte à resolução implícita de alias de coluna lateral na Agregação SPARK-41631
• Suporte a alias de coluna lateral implícita em consultas com Window SPARK-42217
• Adicionar aliases de função 3 argumentos DATE_ADD e DATE_DIFF SPARK-43492

Fontes de dados

• Suporte Char/Varchar para Catálogo JDBC SPARK-42904
• Suporte para obter palavras-chave do SQL dinamicamente por meio da API JDBC e de TVF SPARK-43119
• DataSource V2: manipular comandos MERGE para fontes baseadas em delta SPARK-43885
• DataSource V2: manipular comandos MERGE para fontes baseadas em grupo SPARK-43963
• DataSource V2: Lidar com comandos para fontes baseadas em grupos UPDATE
• DataSource V2: permite representar atualizações como exclusões e inserções SPARK-43775
• Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela SPARK-41516
• SPJ: suporte à distribuição parcialmente clusterizado SPARK-42038
• O DSv2 permite que o CTAS/RTAS reserve a nulidade do esquema SPARK-43390
• Adicionar spark.sql.files.maxPartitionNum SPARK-44021
• Manipular UPDATE comandos para fontes baseadas em delta SPARK-43324
• Permitir que gravações V2 indiquem o tamanho da partição de embaralhamento de consultoria SPARK-42779
• Suporte a codec de compactação lz4raw para Parquet SPARK-43273
• Avro: escrevendo uniões complexas SPARK-25050
• Acelerar a inferência de tipo de carimbo de data/hora com o formato fornecido pelo usuário na fonte de dados JSON/CSV SPARK-39280
• Avro para suporte tipo decimal personalizado suportado por Long SPARK-43901
• Evitar aleatório na junção com partição de armazenamento quando as chaves de partição não forem compatíveis, mas as expressões de junção forem compatíveis SPARK-41413
• Alterar binário para dataType sem suporte no formato CSV SPARK-42237
• Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo SPARK-43333
• Acelerar a inferência de tipos de carimbo de data/hora com o formato herdado na fonte de dados JSON/CSV SPARK-39281

Otimização de consultas

• A eliminação de subexpressão dá suporte à expressão de atalho SPARK-42815
• Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade SPARK-39851
• Introduzir o limite de grupo da janela para o filtro baseado em classificação para otimizar a computação top-k SPARK-37099
• Corrigir o comportamento de IN nulo (lista vazia) nas regras de otimização SPARK-44431
• Inferir e reduzir o limite da janela pela janela se partitionSpec estiver vazio SPARK-41171
• Remover a junção externa se todas elas forem funções de agregação distintas SPARK-42583
• Recolher duas janelas adjacentes com a mesma partição/ordem na subconsulta SPARK-42525
• Reduzir o limite por meio de UDFs do Python SPARK-42115
• Otimizar a ordem dos predicados de filtragem SPARK-40045

Geração de Código e Execução de Consulta

• O filtro de runtime deve dar suporte ao lado de junção aleatória de vários níveis como o lado de criação de filtro SPARK-41674
• Suporte do Codegen para HiveSimpleUDF SPARK-42052
• Compatível com Codegen para HiveGenericUDF SPARK-42051
• Suporte do Codegen para a junção hash aleatória externa do lado da compilação SPARK-44060
• Implementar geração de código para função to_csv (StructsToCsv) SPARK-42169
• Fazer com que AQE suporte InMemoryTableScanExec SPARK-42101
• Suporte à compilação esquerda da junção externa esquerda ou compilação diretita da junção externa direita na junção hash aleatória SPARK-36612
• Respeitar RequiresDistributionAndOrdering em CTAS/RTAS SPARK-43088
• Unir buckets em junção aplicados no lado do fluxo de junção de transmissão SPARK-43107
• Definir anulável corretamente na chave de junção unida na junção USING externa completa SPARK-44251
• Corrigir nulidade ListQuery da subconsulta IN SPARK-43413

Outras alterações importantes

• Definir anulável corretamente para chaves em junções USING SPARK-43718
• Correção de COUNT(*) é um bug nulo na subconsulta escalar correlacionada SPARK-43156
• Junção externa Dataframe.joinWith deve retornar um valor nulo para linha sem correspondência SPARK-37829
• Renomear automaticamente colunas de metadados conflitantes SPARK-42683
• Documente as classes de erro do Spark SQL na documentação voltada para o usuário SPARK-42706

PySpark

Recursos

• Suporte a parâmetros posicionais no Python sql() SPARK-44140
• Suporte a SQL parametrizado por sql() SPARK-41666
• Suporte a funções de tabela definidas pelo usuário do Python SPARK-43797
• Suporte para definir executável Python para APIs de função UDF e pandas em trabalhos durante o runtime SPARK-43574
• Adicionar DataFrame.offset ao PySpark SPARK-43213
• Implementar dir() em pyspark.sql.dataframe.DataFrame para incluir colunas SPARK-43270
• Adicionar opção para usar vetores de largura variável grandes para operações de seta UDF SPARK-39979
• Fazer mapInPandas/mapInArrow dar suporte à execução do modo de barreira SPARK-42896
• Adicionar APIs JobTag ao PySpark SparkContext SPARK-44194
• Suporte para UDTF Python para análise no Python SPARK-44380
• Expor TimestampNTZType em pyspark.sql.types SPARK-43759
• Suporte ao tipo de carimbo de data/hora aninhado SPARK-43545
• Suporte a UserDefinedType em createDataFrame do Pandas DataFrame e toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Adicionar a opção binária de descritor à API do Pyspark Protobuf SPARK-43799
• Aceitar tupla genérica como dicas de digitação do UDF Pandas SPARK-43886
• Adicionar função array_prepend SPARK-41233
• Adicionar a função util assertDataFrameEqual SPARK-44061
• Suporte a UDTFs Python com otimização de seta SPARK-43964
• Permitir precisão personalizada para igualdade de aproximação fp SPARK-44217
• Tornar a API assertSchemaEqual pública SPARK-44216
• Suporte fill_value para ps.Series SPARK-42094
• Suporte ao tipo de struct em createDataFrame do pandas DataFrame SPARK-43473

Outras alterações importantes

• Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Preterir e remover as APIs que serão removidas no pandas 2.0 [SPARK-42593]
• Tornar o Python a primeira guia para exemplos de código - Guia para Spark SQL, DataFrames e Conjuntos de dados SPARK-42493
• Atualizando os exemplos de código de documentação restantes do Spark para mostrar o Python por padrão SPARK-42642
• Usar nomes de campo com eliminação de duplicação ao criar Arrow RecordBatch [SPARK-41971]
• Suporte a nomes de campo duplicados em createDataFrame com pandas DataFrame [SPARK-43528]
• Permitir parâmetro de colunas ao criar DataFrame com Series [SPARK-42194]

Núcleo

• Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução SPARK-40082
• Introduzir PartitionEvaluator para execução do operador SQL SPARK-43061
• Permitir que ShuffleDriverComponent declare se os dados aleatórios são armazenados de forma confiável SPARK-42689
• Adicionar limitação máxima de tentativas para estágios para evitar possíveis repetições infinitas SPARK-42577
• Suporte à configuração de nível de log com configuração estática do Spark SPARK-43782
• Otimizar PercentileHeap SPARK-42528
• Adicionar argumento de motivo a TaskScheduler.cancelTasks SPARK-42602
• Evitar a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
• Corrigindo a subconta do acumulador no caso da tarefa de repetição com o cache rdd SPARK-41497
• Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão SPARK-42277
• Wrapper NonFateSharingCache para Guava Cache SPARK-43300
• Melhorar o desempenho de MapOutputTracker.updateMapOutput SPARK-43043
• Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Ordem Externo SPARK-43179
• Adicionar variável env SPARK_DRIVER_POD_IP aos pods do executor SPARK-42769
• Monta o mapa de configurações do hadoop no pod do executor SPARK-43504

Streaming estruturado

• Adicionar suporte para rastrear o uso de memória de blocos fixados para o repositório de estado RocksDB SPARK-43120
• Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado do RocksDB SPARK-43311
• Introduzir dropDuplicatesWithinWatermark SPARK-42931
• Introduzir um novo retorno de chamada onQueryIdle() ao StreamingQueryListener SPARK-43183
• Adicionar opção para ignorar o coordenador de commit como parte da API StreamingWrite para fontes/coletores DSv2 SPARK-42968
• Introduzir um novo retorno de chamada “onQueryIdle” ao StreamingQueryListener SPARK-43183
• Implementar o ponto de verificação baseado em log de mudanças para o provedor de repositório de estado RocksDB SPARK-43421
• Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de streaming SPARK-42792
• Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados no streaming SPARK-42819
• A aquisição de bloqueio do StateStore do RocksDB deve acontecer depois de obter o iterador de entrada do inputRDD SPARK-42566
• Introduzir propagação de marca d'água entre os operadores SPARK-42376
• Limpar arquivos de log e sst órfãos no diretório de ponto de verificação do RocksDB SPARK-42353
• Expandir QueryTerminatedEvent para conter a classe de erro se ela existir em exceção SPARK-43482

ML

• Suporte ao treinamento distribuído de funções usando o Deepspeed SPARK-44264
• Interfaces base do sparkML para spark3.5: estimator/transformer/model/evaluator SPARK-43516
• Fazer MLv2 (ML on spark connect) suportar pandas >= 2.0 SPARK-43783
• Atualizar interfaces do transformador MLv2 SPARK-43516
• Novo avaliador de regressão logística do pyspark ML implementado na parte superior do distribuidor SPARK-43097
• Adicionar Classifier.getNumClasses de volta SPARK-42526
• Escrever uma classe de aprendizado distribuído do Deepspeed DeepspeedTorchDistributor SPARK-44264
• Implementação básica de salvamento/carregamento para ML no Spark Connect SPARK-43981
• Melhorar o modelo de regressão logística salvando SPARK-43097
• Implementar o avaliador de pipeline para ML no Spark Connect SPARK-43982
• Implementar o avaliador de validador cruzado SPARK-43983
• Implementar o avaliador de classificação SPARK-44250
• Tornar o distribuidor PyTorch compatível com o Spark Connect SPARK-42993

interface do usuário

• Adicionar uma página de interface do usuário do Spark para Spark Connect SPARK-44394
• Suporte à coluna histograma do Heap na guia Executores SPARK-44153
• Mostrar mensagem de erro na interface do usuário para cada consulta com falha SPARK-44367
• Exibir adicionar/remover tempo de executores na guia Executores SPARK-44309

Build e outros

• Remover o suporte do Python 3.7 SPARK-43347
• Aumentar a versão mínima do PyArrow para 4.0.0 SPARK-44183
• Suporte ao R 4.3.1 SPARK-43447SPARK-44192
• Adicionar APIs JobTag ao SparkR SparkContext SPARK-44195
• Adicionar funções matemáticas ao SparkR SPARK-44349
• Atualização de parquet para 1.13.1 SPARK-43519
• Atualizar o ASM para o 9.5 SPARK-43537SPARK-43588
• Atualizar o rocksdbjni para o 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Atualizar o Netty para o 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Atualizar o zstd-jni para o 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465
• Atualizar o dropwizard metrics 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Atualizar o gcs-connector para o 2.2.14 SPARK-42888SPARK-43842
• Atualizar commons-crypto para 1.2.0 SPARK-42488
• Atualizar scala-parser-combinadores de 2.1.1 para 2.2.0 SPARK-42489
• Atualizar o protobuf-java para o 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Atualizar commons-codec para 1.16.0 SPARK-44151
• Atualizar o Apache Kafka para o 3.4.1 SPARK-42396SPARK-44181
• Atualizar o RoaringBitmap para o 0.9.45 SPARK-42385SPARK-43495SPARK-44221
• Atualizar o ORC para o 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Atualizar para o Avro 1.11.2 SPARK-44277
• Atualizar commons-compress para 1.23.0 SPARK-43102
• Atualizar o joda-time da versão 2.12.2 para 2.12.5 SPARK-43008
• Atualizar o snappy-java para o 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Atualizar mysql-connector-java de 8.0.31 para 8.0.32 SPARK-42717
• Atualizar o Apache Arrow para o 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Atualizar commons-io para 2.12.0 SPARK-43739
• Atualizar o Apache commons-io para o 2.13.0 SPARK-43739SPARK-44028
• Atualizar o FasterXML jackson para o 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Atualizar o log4j2 para 2.20.0 SPARK-42536
• Atualizar o slf4j para 2.0.7 SPARK-42871
• Atualizar numpy e pandas na versão Dockerfile SPARK-42524
• Atualizar o Jersey para 2.40 SPARK-44316
• Atualizar H2 de 2.1.214 para 2.2.220 SPARK-44393
• Atualizar o optionator para ^0.9.3 SPARK-44279
• Atualizar bcprov-jdk15on e bcpkix-jdk15on para 1.70 SPARK-44441
• Atualizar o mlflow para 2.3.1 SPARK-43344
• Atualizar o Tink para 1.9.0 SPARK-42780
• Atualizar o silencer para o 1.7.13 SPARK-41787SPARK-44031
• Atualizar o Ammonite para 2.5.9 SPARK-44041
• Atualizar o Scala para 2.12.18 SPARK-43832
• Atualizar org.scalatestplus:selenium-4-4 para org.scalatestplus:selenium-4-7 SPARK-41587
• Atualizar minimatch para 3.1.2 SPARK-41634
• Atualizar o sbt-assembly de 2.0.0 para 2.1.0 SPARK-41704
• Atualizar o maven-checkstyle-plugin de 3.1.2 para 3.2.0 SPARK-41714
• Atualizar o dev.ludovic.netlib para 3.0.3 SPARK-41750
• Atualizar o hive-storage-api para 2.8.1 SPARK-41798
• Atualizar o Apache httpcore para 4.4.16 SPARK-41802
• Atualizar o jetty para 9.4.52.v20230823 SPARK-45052
• Atualizar compress-lzf para 1.1.2 SPARK-42274

Remoções, substituições e alterações de comportamento

Remoção futura

Os recursos a seguir serão removidos na próxima versão principal do Spark

• Suporte para Java 8 e Java 11, e a versão mínima do Java com suporte será Java 17
• O suporte para Scala 2.12 e a versão mínima do Scala com suporte será 2.13

Guias de Migração

• Spark Core
• SQL, Conjuntos de dados e DataFrame
• Streaming estruturado
• MLlib (Machine Learning)
• PySpark (Python no Spark)
• SparkR (R no Spark)

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2023-07-13.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)