Tempo de execução do Databricks 16.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.0, desenvolvido pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em novembro de 2024.

Mudanças comportamentais

• Mudança disruptiva: JDK 17 agora é o padrão
• Mudança de rutura: O RStudio hospedado está em fim de vida útil
• Alteração de ruptura: Remoção do suporte para alterar byte, short, int e long tipos para tipos mais amplos
• Análise correta dos padrões de regex com negação em agrupamentos aninhados de caracteres
• Melhorar a deteção de duplicados no Delta Lake MERGE
• O método de instalação da biblioteca de clusters não pode mais ser substituído
• Tempo limite padrão de duas horas para instalações de bibliotecas com escopo de cluster
• A instalação de bibliotecas do DBFS e a configuração do spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed estão desativadas
• A addArtifact() funcionalidade agora é consistente entre os tipos de computação
• Regra de backticks aplicada corretamente para identificadores principais com caracteres especiais

Mudança disruptiva: JDK 17 agora é o padrão

No Databricks Runtime 16.0 e superior, a versão padrão do JDK é trocada do JDK 8 para o JDK 17. Essa alteração é feita devido à descontinuação planejada e ao fim do suporte para o JDK 8. Isso afeta o seguinte:

• O código Java em execução na computação do Azure Databricks deve ser compatível com o Java 17.
• O código Scala em execução em blocos de anotações ou no ambiente de execução do Azure Databricks deve ser compatível com Java 17.
• As bibliotecas Java e Scala instaladas na computação devem ser compatíveis com o Java 17.
• Versões do cliente metastore Apache Hive abaixo de 2.x. Definir a configuração spark.sql.hive.metastore.version do Spark para uma versão inferior a 2.x causará problemas de compatibilidade com o Java 17 e falhas de conexão com o metastore do Hive. O Databricks recomenda atualizar o Hive para uma versão acima da 2.0.0.

Se você precisar reverter para o Java 8, adicione o seguinte às variáveis de ambiente do Spark ao configurar sua computação do Azure Databricks:

JNAME=zulu8-ca-amd64

Se você estiver usando instâncias ARM, use o seguinte:

JNAME=zulu8-ca-arm64

Para saber mais sobre como especificar versões do JDK com a computação do Azure Databricks, consulte Criar um cluster com uma versão específica do JDK.

Para obter ajuda com a migração do código do Java 8, consulte os seguintes guias:

• Transição do Java 8 para o Java 11
• Migrando do JDK 8 para versões posteriores do JDK

Alteração de quebra: O RStudio hospedado está em fim de vida

Com esta versão, o Servidor RStudio hospedado no Databricks está em fim de vida útil e indisponível em qualquer espaço de trabalho do Azure Databricks que execute o Databricks Runtime 16.0 e superior. Para saber mais e ver uma lista de alternativas ao RStudio, consulte Conectar-se a um servidor RStudio hospedado pelo Databricks.

Mudança descontinuada: Remoção do suporte para alterar byte, short, int e long de tipos para tipos mais genéricos

No Databricks Runtime 15.4.3 e superior, as seguintes alterações de tipo de dados não podem mais ser aplicadas a tabelas com o recurso de alargamento de tipo habilitado:

• byte, short, int e long para decimal.
• byte, short, e int para double.

Essa alteração é feita para garantir um comportamento consistente nas tabelas Delta e Apache Iceberg. Para saber mais sobre o alargamento de tipos, consulte Alargamento de tipos.

Análise correta de padrões regex com negação no agrupamento de caracteres aninhados

Esta versão inclui uma alteração para suportar a análise correta de padrões regex com negação no agrupamento de caracteres aninhados. Por exemplo, [^[abc]] será analisado como "qualquer personagem que NÃO seja um de 'abc'".

Além disso, o comportamento do Photón foi inconsistente com o Spark para classes de caracteres aninhadas. Os padrões Regex contendo classes de caracteres aninhadas não usarão mais o Photon e, em vez disso, usarão o Spark. Uma classe de caractere aninhada é qualquer padrão que contenha colchetes entre colchetes, como [[a-c][1-3]].

Melhorar a deteção de correspondência duplicada no Delta Lake MERGE

No Databricks Runtime 15.4 LTS e versões anteriores, MERGE as operações falham se mais de uma linha da tabela de origem corresponder a uma única linha na tabela de destino com base na condição especificada na cláusula MERGE. No Databricks Runtime 16.0 e superior, MERGE também considera as WHEN MATCHED condições especificadas na cláusula. Veja Incorporar numa tabela Delta Lake usando mesclagem.

O método de instalação da biblioteca de clusters não pode mais ser substituído

As configurações spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution e spark.databricks.libraries.enableCRANResolutionnow agora são padrão para true e não podem ser substituídas.

Tempo limite padrão de duas horas para as instalações de bibliotecas no âmbito do cluster

No Databricks Runtime 16.0 ou superior, a instalação da biblioteca com escopo de cluster tem um tempo limite padrão de duas horas. As instalações da biblioteca que levarem mais tempo limite do que esse tempo limite falharão e a instalação será encerrada. Ao configurar um cluster, você pode alterar o período de tempo limite usando a configuração spark.databricks.driver.clusterLibraryInstallationTimeoutSecdo Spark .

A instalação de bibliotecas do DBFS e a configuração do spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed estão desativadas

No Databricks Runtime 16.0 e superior, a instalação de bibliotecas do DBFS está totalmente desativada. Essa alteração é feita para melhorar a segurança das bibliotecas em um espaço de trabalho Databricks. Além disso, no Databricks Runtime 16.0 e superior, você não pode mais usar a configuração spark.databricks.driver.dbfsLibraryInstallationAlloweddo Spark .

A addArtifact() funcionalidade agora é consistente entre os tipos de computação

Com esta versão, o ficheiro é descompactado automaticamente ao utilizar addArtifact(archive = True) para adicionar uma dependência à computação compartilhada ou sem servidor do Azure Databricks. Essa alteração torna o comportamento nesses tipos de computação consistente com a addArtifact(archive = True) computação dedicada (anteriormente computação de usuário único), que já suporta a descompactação automática de arquivos.

Regra de backticks aplicada corretamente para identificadores principais com caracteres especiais

Com esta versão, os identificadores principais com caracteres especiais em GRANT, DENYe REVOKE instruções agora lançarão um erro se não estiverem incluídos em backticks.

Novos recursos e melhorias

• Recarregamento mais fiável de módulos Python modificados, com melhorias em autoreload
• Suporte Avro para esquema recursivo
• to_avro e from_avro funções
• Suporte ampliado para Confluent Schema Registry para Avro
• Forçar o reagrupamento em tabelas com agrupamento líquido
• As APIs Delta para Python e Scala agora suportam colunas de identidade
• O controle de acesso refinado em computação dedicada (anteriormente computação de usuário único) está geralmente disponível
• Crie tabelas clusterizadas líquidas durante gravações de streaming
• Apoio à cláusula OPTIMIZE INTEGRAL
• Suporte para especificação de opções WITH em INSERT e referência de tabela
• Novas funções SQL
• Habilite a evolução automática do esquema ao mesclar dados em uma tabela Delta

Recarregamento mais confiável de módulos Python modificados graças a melhorias em autoreload

No Databricks Runtime 16.0 e superior, as atualizações para a autoreload extensão melhoram a segurança e a confiabilidade do recarregamento de módulos Python modificados importados de arquivos de espaço de trabalho. Com essas alterações, autoreload, quando possível, recarrega apenas a parte de um módulo que foi alterada em vez do módulo inteiro. Além disso, o Azure Databricks agora sugere automaticamente o uso da extensão autoreload se o módulo tiver sido alterado desde sua última importação. Consulte Autoreload para módulos Python.

Suporte Avro para esquema recursivo

Agora você pode usar a recursiveFieldMaxDepth opção com a from_avro função e a fonte de avro dados. Esta opção define a profundidade máxima para recursão de esquema na fonte de dados Avro. Consulte Ler e gravar dados de streaming Avro.

to_avro e from_avro funções

As funções to_avro e from_avro permitem a conversão de tipos SQL para dados binários Avro e vice-versa.

Suporte expandido para Confluent Schema Registry for Avro

O Azure Databricks agora dá suporte à referência de esquema Avro com o Registro de Esquema Confluent. Consulte Autenticar a um Confluent Schema Registry externo.

Forçar o reagrupamento em tabelas com agrupamento líquido

No Databricks Runtime 16.0 e versões superiores, você pode usar a OPTIMIZE FULL sintaxe para forçar o reagrupamento de todos os registros em uma tabela com clustering líquido ativado. Consulte Forçar o reagrupamento de todos os registos.

As APIs Delta para Python e Scala agora suportam colunas de identidade

Agora você pode usar as APIs Delta para Python e Scala para criar tabelas com colunas de identidade. Veja Utilizar colunas de identidade no Delta Lake.

O controle de acesso refinado em computação dedicada (anteriormente computação de usuário único) está geralmente disponível

No Databricks Runtime 16.0 e superior, o controle de acesso refinado em computação dedicada está geralmente disponível. Em espaços de trabalho habilitados para computação sem servidor, se uma consulta for executada em computação suportada, como computação dedicada, e a consulta acessar qualquer um dos seguintes objetos, o recurso de computação passará a consulta para a computação sem servidor para executar a filtragem de dados:

• Vistas definidas em tabelas nas quais o utilizador não tem o privilégio SELECT.
• Vistas dinâmicas.
• Tabelas com filtros de linha ou máscaras de coluna aplicadas.
• Visualizações materializadas e tabelas de streaming

Crie tabelas clusterizadas líquidas durante gravações de streaming

Agora você pode usar clusterBy para habilitar o clustering líquido ao criar novas tabelas com gravações de Streaming Estruturado. Consulte Ativar agrupamento de líquidos.

Apoio à cláusula OPTIMIZE FULL

O Databricks Runtime 16.0 suporta a cláusula OPTIMIZE FULL. Esta cláusula otimiza todos os registos em uma tabela que usa agrupamento líquido, incluindo dados que podem ter sido agregados anteriormente.

Suporte para especificação de opções WITH em INSERT e referência de tabela

O Databricks Runtime 16.0 suporta uma especificação de opções para referências de tabela e nomes de tabela de uma INSERT instrução que pode ser usada para controlar o comportamento de fontes de dados.

Novas funções SQL

As seguintes funções SQL são adicionadas no Databricks Runtime 16.0:

• try_url_decode

  Esta função é uma versão tolerante a erros do url_decode. Essa função retornará NULL se a entrada não for uma cadeia de caracteres codificada por URL válida.

• zeroifnull

  Se a expressão de entrada para a zeroifnull() função for NULL, então a função retornará 0. Caso contrário, o valor da expressão de entrada será retornado.

• nullifzero

  Retorna NULL se a entrada for 0 ou a própria entrada se esta não for 0. Se a expressão de entrada para a nullifzero() função for 0, então a função retornará NULL. Se a expressão de entrada não for 0, o valor da expressão de entrada será retornado

Habilite a evolução automática do esquema ao mesclar dados em uma tabela Delta

Esta versão adiciona suporte para o membro withSchemaEvolution() da classe DeltaMergeBuilder. Use withSchemaEvolution() para habilitar a evolução automática do esquema durante as operações MERGE. Por exemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Outras alterações

O SparkR foi preterido

Na Databricks Runtime 16.0 e superior, o SparkR no Databricks foi deprecado em preparação para a sua descontinuação na próxima versão do Spark 4. Consulte o thread Apache Spark Deprecate SparkR.

A Databricks recomenda usar sparklyr em vez disso.

O Databricks Runtime 16.0 não é suportado com PVC

O Databricks Runtime 16.0 não é suportado pelo Databricks Private Virtual Cloud (PVC). Você deve usar o Databricks Runtime 15.4 ou versões anteriores com todas as versões de PVC.

Correções de erros

Auto Loader agora resgata tipos de registro Avro com esquemas vazios

Ao carregar um arquivo Avro em uma tabela Delta usando o Auto Loader, record os tipos no arquivo que têm um esquema vazio agora são adicionados à coluna de dados resgatados. Como não é possível ingerir tipos de dados complexos vazios em uma tabela Delta, isso resolve um problema com o carregamento de alguns arquivos Avro. Para saber mais sobre os dados resgatados, consulte O que é a coluna de dados resgatados?.

Correção de erro ao gravar carimbos de data/hora com fusos horários que contêm um deslocamento de segundos.

Esta versão corrige um bug que afeta alguns timestamps com fusos horários que contêm um segundo offset. Esse bug faz com que os segundos sejam omitidos ao gravar em JSON, XML ou CSV, levando a valores de carimbo de data/hora incorretos.

Para retornar ao comportamento anterior, use a seguinte opção ao gravar em um dos formatos afetados: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • azure-core da versão 1.30.2 para a versão 1.31.0
  • azure-storage-blob de 12.19.1 a 12.23.0
  • azure-storage-file-datalake de 12.14.0 a 12.17.0
  • black de 23.3.0 a 24.4.2
  • blinker: versão de 1.4 a 1.7.0
  • boto3 de 1.34.39 a 1.34.69
  • botocore de 1.34.39 a 1.34.69
  • certifi de 22.7.2023 a 2.6.2024
  • CFFI de 1.15.1 a 1.16.0
  • Clique de 8.0.4 para 8.1.7
  • comunicação de 0.1.2 a 0.2.1
  • contourpy de 1.0.5 para 1.2.0
  • Criptografia de 41.0.3 a 42.0.5
  • Cython de 0.29.32 a 3.0.11
  • Databricks-SDK de 0.20.0 a 0.30.0
  • dbus-python de 1.2.18 a 1.3.2
  • filelock de 3.13.4 para 3.15.4
  • Fonttools de 4.25.0 a 4.51.0
  • GitPython de 3.1.43 a 3.1.37
  • google-api-core de 2.18.0 a 2.20.0
  • google-auth de 2.31.0 para 2.35.0
  • google-cloud-storage de 2.17.0 a 2.18.2
  • google-crc32c de 1.5.0 a 1.6.0
  • google-resumable-media de 2.7.1 a 2.7.2
  • googleapis-common-protos de 1.63.2 a 1.65.0
  • httplib2 de 0.20.2 a 0.20.4
  • IDNA de 3,4 a 3,7
  • ipykernel de 6.25.1 para 6.28.0
  • iPython de 8.15.0 a 8.25.0
  • Jedi de 0.18.1 a 0.19.1
  • jmespath de 0.10.0 a 1.0.1
  • joblib de 1.2.0 a 1.4.2
  • jupyter_client de 7.4.9 a 8.6.0
  • jupyter_core de 5.3.0 a 5.7.2
  • launchpadlib de 1.10.16 a 1.11.0
  • lazr.restfulclient de 0.14.4 a 0.14.6
  • matplotlib de 3.7.2 a 3.8.4
  • mlflow-skinny de 2.11.4 a 2.15.1
  • mais-itertools de 8.10.0 a 10.3.0
  • mypy-extensões de 0.4.3 para 1.0.0
  • nest-asyncio de 1.5.6 a 1.6.0
  • numpy de 1.23.5 a 1.26.4
  • oauthlib de 3.2.0 a 3.2.2
  • embalagem de 23,2 a 24,1
  • patsy de 0.5.3 a 0.5.6
  • pip de 23.2.1 a 24.2
  • plotly de 5.9.0 a 5.22.0
  • prompt-toolkit de 3.0.36 para 3.0.43
  • pyarrow de 14.0.1 para 15.0.2
  • Pydantic de 1.10.6 a 2.8.2
  • PyGObject de 3.42.1 a 3.48.2
  • PyJWT de 2.3.0 a 2.7.0
  • pyodbc de 4.0.38 para 5.0.1
  • python-dateutil de 2.8.2 a 2.9.0.post0
  • python-lsp-jsonrpc de 1.1.1 a 1.1.2
  • pytz de 2022.7 a 2024.1
  • PyYAML de 6.0 a 6.0.1
  • pyzmq de 23.2.0 a 25.1.2
  • Pedidos de 2.31.0 a 2.32.2
  • scikit-learn de 1.3.0 a 1.4.2
  • scipy de 1.11.1 a 1.13.1
  • seaborn de 0.12.2 a 0.13.2
  • setuptools de 68.0.0 a 74.0.0
  • smmap de 5.0.1 para 5.0.0
  • sqlparse de 0.5.0 a 0.5.1
  • statsmodels versão 0.14.0 a 0.14.2
  • Tornado de 6.3.2 a 6.4.1
  • características de 5.7.1 a 5.14.3
  • typing_extensions da versão 4.10.0 para a 4.11.0
  • ujson de 5.4.0 a 5.10.0
  • virtualenv de 20.24.2 a 20.26.2
  • roda de 0.38.4 a 0.43.0
  • zipp de 3.11.0 a 3.17.0
• Bibliotecas R atualizadas:
  • seta de 14.0.0.2 para 16.1.0
  • Retroportações de 1.4.1 a 1.5.0
  • base de 4.3.2 a 4.4.0
  • bitops de 1.0-7 a 1.0-8
  • inicializar de 1.3-28 a 1.3-30
  • brio de 1.1.4 a 1.1.5
  • broom de 1.0.5 para 1.0.6
  • bslib de 0.6.1 a 0.8.0
  • cachem de 1.0.8 a 1.1.0
  • callr de 3.7.3 para 3.7.6
  • CLI de 3.6.2 a 3.6.3
  • relógio de 0.7.0 a 0.7.1
  • agrupamento de 2.1.4 a 2.1.6
  • CodeTools de 0.2-19 a 0.2-20
  • espaço de cores de 2.1-0 a 2.1-1
  • compilador de 4.3.2 a 4.4.0
  • giz de cera de 1.5.2 a 1.5.3
  • curvatura de 5.2.0 a 5.2.1
  • data.table de 1.15.0 até 1.15.4
  • conjuntos de dados de 4.3.2 a 4.4.0
  • DBI de 1.2.1 a 1.2.3
  • dbplyr de 2.4.0 a 2.5.0
  • digest de 0.6.34 a 0.6.36
  • downlit de 0.4.3 para 0.4.4
  • avaliar de 0,23 a 0,24,0
  • cores de 2.1.1 a 2.1.2
  • fastmap de 1.1.1 para 1.2.0
  • estrangeiro de 0,8-85 a 0,8-86
  • fs de 1.6.3 para 1.6.4
  • Atualização futura de 1.33.1 para 1.34.0
  • Atualização do future.apply de 1.11.1 para 1.11.2
  • Gert de 2.0.1 a 2.1.0
  • ggplot2 de 3.4.4 a 3.5.1
  • gh de 1.4.0 a 1.4.1
  • globais de 0.16.2 a 0.16.3
  • gráficos de 4.3.2 a 4.4.0
  • grDevices de 4.3.2 a 4.4.0
  • grelha de 4.3.2 a 4.4.0
  • gt de 0.10.1 a 0.11.0
  • gtable de 0.3.4 a 0.3.5
  • Hardhat de 1.3.1 a 1.4.0
  • maior de 0,10 a 0,11
  • htmltools de 0.5.7 a 0.5.8.1
  • httpuv de 1.6.14 a 1.6.15
  • httr2 de 1.0.0 a 1.0.2
  • ipred de 0,9-14 a 0,9-15
  • KernSmooth de 2.23-21 a 2.23-22
  • knitr de 1,45 a 1,48
  • rede de 0,21-8 a 0,22-5
  • lava de 1.7.3 a 1.8.0
  • markdown de 1.12 para 1.13
  • MASS de 7.3-60 a 7.3-60.0.1
  • Matriz de 1,5-4,1 a 1,6-5
  • Métodos de 4.3.2 a 4.4.0
  • mgcv de 1.8-42 a 1.9-1
  • mlflow de 2.10.0 a 2.14.1
  • Munsell de 0.5.0 a 0.5.1
  • nlme de 3.1-163 a 3.1-165
  • openssl de 2.1.1 a 2.2.0
  • paralelo de 4.3.2 a 4.4.0
  • paralelamente de 1.36.0 a 1.38.0
  • pkgbuild de 1.4.3 para 1.4.4
  • pkgdown de 2.0.7 para 2.1.0
  • pkgload de 1.3.4 a 1.4.0
  • processx de 3.8.3 a 3.8.4
  • prodlim de 2023.08.28 a 2024.06.25
  • Promessas de 1.2.1 a 1.3.0
  • ps de 1.7.6 para 1.7.7
  • ragg de 1.2.7 a 1.3.2
  • Rcpp de 1.0.12 a 1.0.13
  • RcppEigen de 0.3.3.9.4 a 0.3.4.0.0
  • reactR de 0.5.0 para 0.6.0
  • receitas de 1.0.9 a 1.1.0
  • Controles remotos de 2.4.2.1 a 2.5.0
  • reprex de 2.1.0 para 2.1.1
  • rlang de 1.1.3 a 1.1.4
  • rmarkdown de 2,25 para 2,27
  • roxigen2 de 7.3.1 a 7.3.2
  • parte de 4.1.21 a 4.1.23
  • RSQLite de 2.3.5 a 2.3.7
  • rstudioapi de 0.15.0 a 0.16.0
  • rvest de 1.0.3 a 1.0.4
  • sass de 0.4.8 a 0.4.9
  • forma de 1.4.6 a 1.4.6.1
  • brilhante de 1.8.0 a 1.9.1
  • Sparklyr de 1.8.4 a 1.8.6
  • espacial de 7,3-15 a 7,3-17
  • splines de 4.3.2 a 4.4.0
  • Estatísticas de 4.3.2 a 4.4.0
  • stats4 da versão 4.3.2 para 4.4.0
  • stringi de 1.8.3 a 1.8.4
  • sobrevida de 3,5-5 a 3,6-4
  • swagger de 3.33.1 para 5.17.14.1
  • systemfonts de 1.0.5 a 1.1.0
  • tcltk de 4.3.2 a 4.4.0
  • testthat de 3.2.1 a 3.2.1.1
  • textshaping de 0.3.7 a 0.4.0
  • tidyselect de 1.2.0 a 1.2.1
  • tinytex de 0,49 a 0,52
  • Ferramentas de 4.3.2 a 4.4.0
  • usethis da versão 2.2.2 para a versão 3.0.0
  • utils de 4.3.2 a 4.4.0
  • UUID de 1.2-0 a 1.2-1
  • V8 de 4.4.1 a 4.4.2
  • withr, da versão 3.0.0 para a 3.0.1
  • xfun de 0,41 a 0,46
  • xopen de 1.0.0 a 1.0.1
  • yaml de 2.3.8 a 2.3.10
• Bibliotecas Java atualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-config de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-core de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-directory de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-dynamoDB de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ecs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-efs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-emr de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-glacier de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-glue de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-iam de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-importexport de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-kms de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-lambda de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-logs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-rds de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-redshift de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-route53 de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-s3 de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ses de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-sns de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-sqs de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-ssm de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-sts de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-support de 1.12.610 a 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 a 1.12.638
  • com.amazonaws.jmespath-java de 1.12.610 a 1.12.638
  • com.google.protobuf.protobuf-java de 2.6.1 a 3.25.1
  • io.airlift.aircompressor de 0,25 a 0,27
  • io.delta.delta-sharing-client_2.12 de 1.1.3 a 1.2.0
  • Atualizar pacote io.netty.netty-all de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-buffer de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec-http de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec-http2 de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-codec-socks de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-common de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-handler de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-handler-proxy de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-resolver de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport-classes-epoll de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 a 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 a 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.96.Final a 4.1.108.Final
  • org.apache.ivy.ivy de 2.5.1 a 2.5.2
  • org.apache.zookeeper.zookeeper de 3.6.3 a 3.9.2
  • org.apache.zookeeper.zookeeper-jute de 3.6.3 a 3.9.2
  • org.rocksdb.rocksdbjni de 8.11.4 a 9.2.1
  • org.scalactic.scalactic_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-compatible de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-core_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-freespec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-funspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-propspec_2.12 da versão 3.2.15 para a versão 3.2.16
  • org.scalatest.scalatest-refspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest_2.12 de 3.2.15 a 3.2.16

Apache Spark

O Databricks Runtime 16.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.4 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-49093] [DBRRM-1371] Reverter "[SC-172958][sql] GROUP BY com MapType nes...
• [SPARK-49898] [DBRRM-1282][sc-178410] Corrigir a documentação e o padrão para o sinalizador de registo do acumulador de métricas de tarefas do registo de eventos do SPARK-42204
• [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
• [SPARK-49816] [SC-177896][sql] Deve atualizar apenas out-going-ref-count para relação CTE externa referenciada
• [SPARK-48939] [SC-177022][sc-172766][AVRO] Suporte à leitura Avro com referência de esquema recursivo
• [SPARK-49688] [SC-177468][es-1242349][CONNECT] Corrigir uma corrida de dados entre o plano de interrupção e execução
• [SPARK-49771] [SC-177466][python] Melhorar o erro UDF do Pandas Scalar Iter quando as linhas de saída excedem as linhas de entrada
• [SPARK-48866] [SC-170772][sql] Corrija dicas de charset válido na mensagem de erro do INVALID_PARAMETER_VALUE. CARSET
• [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Salvar e reutilizar RDD/Broadcast criado por SparkPlan
• [FAÍSCA-49585] [CONECTAR] Substitua o mapa de execuções em SessionHolder pelo conjunto de operationID
• [SPARK-49211] [SC-174257][sql] O catálogo V2 também pode suportar fontes de dados incorporadas
• [SPARK-49684] Minimizar a duração do bloqueio de restauração da sessão
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Estrutura de log estruturada no lado java
• [SPARK-48857] [SC-170661][sql] Restringir conjuntos de caracteres em CSVOptions
• [SPARK-49152] [SC-173690][sql] V2SessionCatalog deve usar V2Command
• [SPARK-42846] [SC-176588][sql] Remover condição de erro _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [SC-177267][core] Salvar e reutilizar RDD/Broadcast criado por SparkPlan
• [SPARK-49630] [SC-177379][ss] Adicionar opção de nivelamento para processar tipos de coleta com leitor de fonte de dados de estado
• [SPARK-49699] [SC-177154][ss] Desativar PruneFilters para cargas de trabalho de streaming
• [SPARK-48781] [SC-175282][sql] Adicionar APIs de catálogo para carregar procedimentos armazenados
• [SPARK-49667] [SC-177068][sql] Não permitir agrupadores CS_AI com expressões que usam StringSearch
• [SPARK-49737] [SC-177207][sql] Desabilitar bucketing em colunas agrupadas em tipos complexos
• [SPARK-48712] [SC-169794][sql] Melhoria do Perf para codificação com valores vazios ou charset UTF-8
• [SPARK-49038] [SC-173933][sql] SQLMetric deve relatar o valor bruto no evento de atualização do acumulador
• [SPARK-48541] [SC-169066][core] Adicione um novo código de saída para executores mortos pelo TaskReaper
• [SPARK-48774] [SC-170138][sql] Usar SparkSession em SQLImplicits
• [SPARK-49719] [SC-177139][sql] Criar UUID e SHUFFLE aceitar números inteiros seed
• [SPARK-49713] [SC-177135][python][CONNECT] Fazer com que a função count_min_sketch aceite argumentos numéricos
• [SPARK-47601] [SC-162499][graphx] Graphx: Migrar logs com variáveis para a estrutura de log estruturada
• [SPARK-49738] [SC-177219][sql] Termina com correção de bug
• [SPARK-48623] [SC-170822][core] Migrações de log estruturado [Parte 3]
• [SPARK-49677] [SC-177148][ss] Certifique-se de que os arquivos changelog sejam gravados na confirmação e que o sinalizador forceSnapshot também seja redefinido
• [SPARK-49684] [SC-177040][connect] Remover bloqueios globais dos gerenciadores de sessão e execução
• [SPARK-48302] [SC-168814][python] Preservar nulos em colunas de mapa em tabelas PyArrow
• [SPARK-48601] [SC-169025][sql] Forneça uma mensagem de erro mais amigável ao definir um valor nulo para a opção JDBC
• [SPARK-48635] [SC-169263][sql] Atribuir classes a erros de tipos de junção e erro de junção as-of
• [SPARK-49673] [SC-177032][connect] Aumentar CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][python][CONNECT] Refine a representação de cadeia de caracteres de timedelta
• [SPARK-49687] [SC-176901][sql] Retardar a classificação em validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][ps] Alternar o gráfico para dados amostrados
• [SPARK-48472] [SC-169044][sql] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
• [SPARK-48484] [SC-167484][sql] Correção: V2Write usar o mesmo TaskAttemptId para diferentes tentativas de tarefa
• [SPARK-48341] [SC-166560][connect] Permitir que plugins usem QueryTest em seus testes
• [SPARK-42252] [SC-168723][core] Adicionar spark.shuffle.localDisk.file.output.buffer e depreciar spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][ss] Não duplique arquivos de cache para FileStreamSource usando Trigger.AvailableNow
• [SPARK-49567] [SC-176241][python] Use classic em vez de vanilla da base de código PySpark
• [SPARK-48374] [SC-167596][python] Suporta tipos de coluna adicionais da Tabela PyArrow
• [SPARK-48300] [SC-166481][sql] Suporte para Codegen from_xml
• [SPARK-49412] [SC-177059][ps] Calcule todas as métricas de gráfico de caixa em um único trabalho
• [SPARK-49692] [SC-177031][python][CONNECT] Refine a representação de cadeia de caracteres de data literal e data/hora
• [SPARK-49392] [ES-1130351][sc-176705][SQL] Detetar erros ao não gravar na fonte de dados externa
• [SPARK-48306] [SC-166241][sql] Melhorar UDT na mensagem de erro
• [SPARK-44924] [SC-166379][ss] Adicionar configuração para arquivos em cache do FileStreamSource
• [SPARK-48176] [SC-165644][sql] Ajustar o nome de FIELD_ALREADY_EXISTS condição de erro
• [SPARK-49691] [SC-176988][python][CONNECT] A função substring deve aceitar nomes de colunas
• [SPARK-49502] [SC-176077][core] Evite NPE em SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [SC-176703][sql] Outras melhorias de exceção para analisador/interpretador
• [SPARK-48355] [SC-176684][sql] Suporte para instrução CASE
• [SPARK-49355] [SC-175121][sql] levenshtein deve verificar se os collation valores de todos os tipos de parâmetros são os mesmos
• [SPARK-49640] [SC-176953][ps] Aplicar amostragem de reservatório em SampledPlotBase
• [SPARK-49678] [SC-176857][core] Suporte spark.test.master em SparkSubmitArguments
• [SPARK-49680] [SC-176856][python] Limitar Sphinx o paralelismo de compilação a 4 por padrão
• [SPARK-49396] Reverter “[SC-176030][sql] Modificar verificação de anulabilidade para a expressão CaseWhen”
• [SPARK-48419] [SC-167443][sql] A propagação de valores dobráveis deve substituir a coluna dobrável...
• [SPARK-49556] [SC-176757][sql] Adicionar sintaxe de pipe SQL para o SELECT operador
• [SPARK-49438] [SC-175237][sql] Corrija o nome bonito da FromAvro expressão & ToAvro
• [SPARK-49659] [SC-1229924][sql] Adicione um bom erro voltado para o usuário para subconsultas escalares dentro da VALUES cláusula
• [SPARK-49646] [SC-176778][sql] corrigir a descorrelação de subconsultas para operações de união/conjunto quando parentOuterReferences tem referências não cobertas em collectedChildOuterReferences
• [SPARK-49354] [SC-175034][sql] split_part deve verificar se os collation valores de todos os tipos de parâmetros são os mesmos
• [SPARK-49478] [SC-175914][connect] Manipular métricas nulas em ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][sql] Suporte para instrução REPEAT
• [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable deve respeitar PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][sql] Introduzir o TVF collations() e remover o comando SHOW COLLATIONS
• [SPARK-49261] [SC-176589][sql] Não substitua literais em expressões agregadas por expressões de agrupamento
• [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
• [SPARK-49594] [SC-176569][ss] Adicionando verificação sobre se columnFamilies foram adicionados ou removidos para gravar o arquivo StateSchemaV3
• [SPARK-49578] [SC-176385][sql] Remova a sugestão de configuração ANSI no CAST_INVALID_INPUT e CAST_OVERFLOW
• [SPARK-48882] [SC-174256][ss] Atribuir nomes a classes de erro relacionadas ao modo de saída de streaming
• [SPARK-49155] [SC-176506][sql][SS] Use o tipo de parâmetro mais apropriado para construir GenericArrayData
• [SPARK-49519] [SC-176388][sql] Opções de mesclagem de tabela e relação ao construir o FileScanBuilder
• [SPARK-49591] [SC-176587][sql] Adicionar coluna de Tipo Lógico ao README da variante
• [SPARK-49596] [SC-176423][sql] Melhorar o desempenho de FormatString
• [SPARK-49525] [SC-176044][ss][CONNECT] Pequena melhoria de log para o ListenerBus do Listener de Consulta de Streaming no Servidor
• [SPARK-49583] [SC-176272][sql] Defina a subcondição SECONDS_FRACTION de erro para o padrão de fração de segundos inválido
• [FAÍSCA-49536] [SC-176242] Manipular erro na pré-obtenção de registos da fonte de dados de streaming em Python
• [SPARK-49443] [SC-176273][sql][PYTHON] Implemente a expressão to_variant_object e faça com que as expressões schema_of_variant imprimam "OBJECT" para Objetos Variantes.
• [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Substitua o bloqueio grosseiro no SparkConnectExecutionManager pelo ConcurrentMap
• [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Substitua o bloqueio grosseiro no SparkConnectSessionManager pelo ConcurrentMap
• [SPARK-49551] [SC-176218][ss] Melhorar o log do RocksDB para replayChangelog
• [SPARK-49595] [SC-176396][connect][SQL] Correção DataFrame.unpivot/melt no cliente Spark Connect Scala
• [FAÍSCA-49006] [SC-176162] Implementar limpeza para arquivos OperatorStateMetadataV2 e StateSchemaV3
• [SPARK-49600] [SC-176426][python] Remova Python 3.6 and oldera lógica relacionada de try_simplify_traceback
• [SPARK-49303] [SC-176013][ss] Implementar TTL para ValueState na API transformWithStateInPandas
• [SPARK-49191] [SC-176243][ss] Adicionar suporte para leitura de variáveis de estado do mapa transformWithState com leitor de fonte de dados de estado
• [SPARK-49593] [SC-176371][ss] Lançar exceção RocksDB para o chamador no DB fechar se um erro for visto
• [SPARK-49334] [SC-174803][sql] str_to_map deve verificar se os collation valores de todos os tipos de parâmetros são os mesmos
• [SPARK-42204] [SC-176126][core] Adicionar opção para desativar o log redundante de acumuladores internos do TaskMetrics em logs de eventos
• [SPARK-49575] [SC-176256][ss] Adicionar log para liberação de bloqueio somente se acquiredThreadInfo não for nulo
• [SPARK-49539] [SC-176250][ss] Atualize o identificador de início das famílias col internas para um identificador diferente
• [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning deve herdar HashPartitioningLike
• [SPARK-49396] [SC-176030][sql] Modificar a verificação de anulabilidade da expressão CaseWhen
• [SPARK-49476] [SC-175700][sql] Corrigir a anulabilidade da função base64
• [SPARK-47262] [SC-174829][sql] Atribuir nomes a condições de erro para conversões de parquet
• [SPARK-47247] [SC-158349][sql] Use um tamanho de destino menor ao aglutinar partições com junções explosivas
• [SPARK-49501] [SC-176166][sql] Corrigir escapamento duplo da localização da tabela
• [SPARK-49083] [SC-173214][connect] Permitir que from_xml e from_json trabalhem nativamente com esquemas json
• [SPARK-49043] [SC-174673][sql] Corrigir caminho de código interpretado 'group by' em mapa contendo cadeias de caracteres ordenadas
• [SPARK-48986] [SC-172265][connect][SQL] Adicionar representação intermediária ColumnNode
• [SPARK-49326] [SC-176016][ss] Classificar a classe de erro para erros da função de utilizador do coletor Foreach
• [SPARK-48348] [SC-175950][spark-48376][SQL] Introduzir as LEAVE e ITERATE instruções
• [SPARK-49523] [SC-175949][connect] Aumente o tempo máximo de espera para que o servidor de conexão seja testado
• [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Corrigir o caso de "select count(distinct 1) from t" em que t é uma tabela vazia, expandindo o RewriteDistinctAggregates - versão 16.x do DBR
• [SPARK-49311] [SC-175038][sql] Tornar possível que valores grandes de 'intervalo de segundos' sejam convertidos para o tipo decimal
• [SPARK-49200] [SC-173699][sql] Corrigir exceção de ordenação não-codegen de tipo nulo
• [SPARK-49467] [SC-176051][ss] Adicionar suporte para leitor para fonte de dados de estado e listar estado
• [SPARK-47307] [SC-170891][sql] Adicionar uma configuração para opcionalmente dividir cadeias de caracteres base64
• [SPARK-49391] [SC-176032][ps] Box plot seleciona outliers com base na distância das cercas
• [SPARK-49445] [SC-175845][ui] Suportar a exibição de tooltip na barra de progresso do UI
• [SPARK-49451] [SC-175702] Permitir chaves duplicadas no parse_json.
• [SPARK-49275] [SC-175701][sql] Corrigir a nulidade do tipo de retorno da expressão xpath
• [SPARK-49021] [SC-175578][ss] Adicionar suporte para a leitura de variáveis de estado de valor em transformWithState com o leitor de fonte de dados de estado
• [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Classificar a classe de Erro para erro da função de utilizador do FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][sql] Use IndexedSeq em ProjectingInternalRow
• [SPARK-49509] [SC-175853][core] Use Platform.allocateDirectBuffer em vez de ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][ps] Faça com que o gráfico da caixa de quadros renderize corretamente os panfletos/outliers
• [SPARK-49002] [SC-172846][sql] Lidar consistentemente com locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][core] Corrigir NullPointerException de SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][python] Melhorar pandas udf mensagem de erro de tipo de retorno inválido
• [SPARK-48693] [SC-169492][sql] Simplifique e unifique toString de Invoke e StaticInvoke
• [SPARK-49441] [SC-175716][ml] StringIndexer ordenar matrizes em executores
• [SPARK-49347] [SC-175004][r] Marcar o SparkR como obsoleto
• [SPARK-49357] [SC-175227][connect][PYTHON] Truncar verticalmente mensagem protobuf profundamente aninhada
• [SPARK-41982] [SC-120604][sql] As partições do tipo string não devem ser tratadas como tipos numéricos
• [SPARK-48776] [SC-170452][behave-72] Corrigir formatação de timestamp para JSON, XML e CSV
• [SPARK-49223] [SC-174800][ml] Simplifique o StringIndexer.countByValue com funções internas
• [FAÍSCA-49016] Reverter "[SC-174663][sql] Restaurar o comportamento em que consultas de arquivos CSV brutos não são permitidas quando apenas a coluna de registro corrompido é incluída e atribuir nome a _LEGACY_ERROR_TEMP_1285"
• [SPARK-49041] [SC-172392][python][CONNECT] Lance o erro adequado para dropDuplicates quando um subset incorreto é fornecido
• [SPARK-49050] [SC-175235] Habilitando o operador deleteIfExists no TWS com famílias de colunas virtuais
• [SPARK-49216] [SC-173919][core]Correção para não registar o contexto da mensagem ao construir explicitamente um LogEntry, quando a configuração de Registo Estruturado está desativada.
• [SPARK-49252] [SC-175596][core] TornarTaskSetExcludeList e HeathTracker independentes
• [SPARK-49352] [SC-174971][sql] Evite transformação de matriz redundante para expressão idêntica
• [SPARK-42307] [SC-173863][sql] Atribuir nome para erro _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][core] Redact Spark Command saída no módulo launcher
• [SPARK-48913] [SC-173934][sql] Implementar IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][python][SQL] Crie aliases de função SQL para 'zeroifnull' e 'nullifzero'
• [SPARK-48344] [SQL] Execução de scripts SQL (incluindo Spark Connect)
• [SPARK-49402] [SC-175122][python] Corrigir a integração do Binder na documentação do PySpark
• [SPARK-49017] [SC-174664][sql] A instrução Insert falha quando vários parâmetros estão sendo usados
• [SPARK-49318] [SC-174733][sql] Antecipe o erro de baixa prioridade na ACV até o final da análise de verificação para melhorar a experiência de erro
• [SPARK-49016] [SC-174663][sql] Restaure o comportamento de que consultas de arquivos CSV brutos não são permitidas quando apenas incluem coluna de registro corrompido e atribuem nome a _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][python] Corrigir dica de tipo para accuracy in percentile_approx e approx_percentile
• [SPARK-49131] [SC-174666][ss] TransformWithState deve definir corretamente as chaves de agrupamento implícitas, mesmo com iteradores preguiçosos
• [SPARK-49301] [SC-174795][ss] Dados de seta de bloco passados para o trabalhador Python
• [SPARK-49039] [SC-174651][ui] Redefinir a caixa de seleção quando as métricas do executor são carregadas na guia Estágios
• [SPARK-48428] [SC-169806][sql]: Corrigir IllegalStateException em NestedColumnAliasing
• [SPARK-49353] [SC-174830][sql] Atualizar documentos relacionados à UTF-32 codificação/decodificação
• [SPARK-48613] [SC-170966][sql] SPJ: Suporte a auto-shuffle de um dos lados + menor número de chaves de junção do que de partição
• [SPARK-47473] [SC-160450][behave-127][SQL] Corrigir a questão de precisão na conversão de carimbos de data/hora INFINITY do Postgres
• [SPARK-49142] [SC-173658][connect][PYTHON] Acompanhamento para reverter o impacto no desempenho da conversão de proto para cadeia de caracteres
• [SPARK-49300] [SC-175008][core] Corrija o vazamento de token de delegação do Hadoop quando tokenRenewalInterval não estiver definido.
• [SPARK-49367] [SC-175012][ps] Paralelizar o cálculo do KDE para várias colunas (plotly backend)
• [SPARK-49365] [SC-175011][ps] Simplifique a agregação de compartimentos num gráfico de histograma
• [SPARK-49372] [SC-175003][ss] Certifique-se de que latestSnapshot está definido como none on close para evitar o uso subsequente
• [SPARK-49341] [SC-174785] Remover connector/docker em favor de Apache Spark Operator
• [SPARK-49344] [SC-174894][ps] Suporte json_normalize para Pandas API no Spark
• [SPARK-49306] [SC-174794][sql] Criar novas funções SQL 'zeroifnull' e 'nullifzero'
• [SPARK-48796] [SC-174668][ss] Carregar ID da família de colunas do RocksDBCheckpointMetadata para VCF ao reiniciar
• [SPARK-49342] [SC-174899][sql] Tornar o argumento 'jsonFormatSchema' da função SQL TO_AVRO opcional
• [SPARK-48628] [SC-174695][core] Adicionar métricas de pico de memória on-heap/off-heap da tarefa
• [SPARK-47407] [SC-159379][behave-126][SQL] Suporte para mapear java.sql.Types.NULL para NullType
• [SPARK-48628] [SC-173407][core] Adicionar as métricas de memória de pico da tarefa dentro/fora do heap
• [SPARK-49166] [SC-173987][sql] Suportar OFFSET em subconsulta correlacionada
• [SPARK-49269] [SC-174676][sql] Avalie VALUESansiosamente () a lista no AstBuilder
• [SPARK-49281] [SC-174782][sql] Otimize o método getBytes do parquet binário utilizando getBytesUnsafe para evitar o custo de cópia
• [SPARK-49113] [SC-174734] Não verificar rigorosamente erros de tradução - suprimir silenciosamente a exceção
• [SPARK-49098] [SC-173253][sql] Adicionar opções de gravação para INSERT
• [SPARK-48638] [SC-174694][follow][CONNECT] Corrigir documentação para ExecutionInfo
• [SPARK-49250] [ES-1222826][sql] Melhorar a mensagem de erro para expressão de janela não resolvida aninhada no CheckAnalysis.
• [SPARK-48755] [SC-174258][ss][PYTHON] implementação base de transformWithState pyspark e suporte de ValueState
• [SPARK-48966] [SC-174329][sql] Melhorar a mensagem de erro com referência de coluna não resolvida inválida numa chamada UDTF
• [SPARK-46590] [SC-154115][sql] Correção para falha do coalesce com índices de partição inesperados
• [SPARK-49235] [SC-174159][sql] Refatore a regra ResolveInlineTables para que não atravesse toda a árvore
• [SPARK-49060] [SC-173107][conectar] Limpar as regras Mima para as verificações de compatibilidade binária de SQL-Connect
• [SPARK-48762] [SC-172525][sql] Apresentação de clusterBy DataFrameWriter API para Python
• [SPARK-49207] [SC-173852][sql] Corrija o mapeamento de casos um-para-muitos em SplitPart e StringSplitSQL
• [SPARK-49204] [SC-173850][sql] Corrigir manipulação de par substituto em StringInstr e StringLocate
• [SPARK-36680] [SC-170640][sql] Suporta opções de tabela dinâmica para Spark SQL
• [SPARK-49204] [SC-173849][sql] Corrigir manipulação de par substituto em SubstringIndex
• [SPARK-49204] [SC-173848][sql] Corrigir manipulação de par substituto no StringTrim
• [Spark-48967] [SC-173993] Corrigir o teste forward do SparkConfigOwnershipSuite para OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][sql] Corrigir manipulação de par substituto em StringReplace
• [SPARK-48967] [SC-173993][sql][16.x] Melhore o desempenho e a pegada de memória de "INSERT INTO ... VALUES"Declarações"
• [SPARK-49099] Reverter "[SC-173229][sql] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][sql] Suporte para a instrução WHILE
• [SPARK-49128] [SC-173344][core] Suporte para título personalizado do servidor de histórico na interface do utilizador.
• [SPARK-49146] [SC-173825][ss] Transferir os erros de asserção relacionados à ausência de marca d'água em consultas de streaming no modo de acréscimo para a estrutura de erros
• [SPARK-45787] [SC-172197][sql] Suporte para Catalog.listColumns em colunas de clustering
• [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
• [SPARK-49138] [SC-173483][sql] Corrigir CollationTypeCasts de várias expressões
• [SPARK-49163] [SC-173666][sql] Tentativa de criar tabela com base em resultados de dados de partição parquet quebrados deve retornar erro voltado para o usuário
• [SPARK-49201] [SC-173793][ps][PYTHON][connect] Reimplementar hist plotagem com o Spark SQL
• [SPARK-49188] [SC-173682][sql] Erro interno no concat_ws chamado na matriz de matrizes de string
• [SPARK-49137] [SC-173677][sql] Quando a condição booleana if statement é inválida, uma exceção deve ser lançada
• [SPARK-49193] [SC-173672][sql] Melhorar o desempenho de RowSetUtils.toColumnBasedSet
• [SPARK-49078] [SC-173078][sql] Suporte mostrar sintaxe de colunas na tabela v2
• [SPARK-49141] [SC-173388][sql] Marcar variante como tipo de dados incompatível com hive
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Mover SessionHolder.forTesting(...) para o pacote de teste
• [SPARK-49111] [SC-173661][sql] Mover withProjectAndFilter para o objeto complementar de DataSourceV2Strategy
• [SPARK-49185] [SC-173688][ps][PYTHON][connect] Reimplementar kde plot com o Spark SQL
• [SPARK-49178] [SC-173673][sql] Otimize o desempenho de Row#getSeq para corresponder ao desempenho ao usar o Spark 3.5 com o Scala 2.12
• [SPARK-49093] [SC-172958][sql] GROUP BY com MapType aninhado dentro de um tipo complexo
• [SPARK-49142] [SC-173469][connect][PYTHON] Reduzir o nível de log do cliente Spark Connect para depuração
• [SPARK-48761] [SC-172048][sql] Introduza a API clusterBy DataFrameWriter para Scala
• [SPARK-48346] [SC-173083][sql] Suporte para instruções IF ELSE em scripts SQL
• [SPARK-48338] [SC-173112][sql] Melhorar exceções lançadas pelo analisador/interpretador
• [SPARK-48658] [SC-169474][sql] As funções de codificação/decodificação relatam erros de codificação em vez de mojibake para caracteres não mapeáveis
• [SPARK-49071] [SC-172954][sql] Remover o traço ArraySortLike
• [SPARK-49107] Revert "Revert "[SC-173103][sql] ROUTINE_ALREADY_EXISTS suporta RoutineType""
• [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState é reescrito incorretamente para produzir um plano de consulta inválido
• [FAÍSCA-49114] [SC-173217] A subcategorização não pode carregar erros de armazenamento de estado
• [SPARK-49107] Reverter "[SC-173103][sql] ROUTINE_ALREADY_EXISTS suporta RoutineType"
• [SPARK-49048] [SC-173223][ss] Adicione suporte para leitura de metadados relevantes do operador em determinado ID de lote
• [SPARK-49094] [SC-173049][sql] Corrigir ignoreCorruptFiles não funcionando para hive orc impl com mergeSchema desligado
• [SPARK-49108] [SC-173102][exemplo] Adicionar submit_pi.sh exemplo de API REST
• [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS suporta RoutineType
• [SPARK-48997] [SC-172484][ss] Implementar descarregamentos individuais para falhas de threads no pool de manutenção
• [SPARK-49063] [SC-173094][sql] Correção entre com ScalarSubqueries
• [SPARK-45891] [SC-172305][sql][PYTHON][variant] Adicionar suporte para tipos de intervalo na especificação de variante
• [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Corrigir variante com df.cache()
• [SPARK-49003] [SC-172613][sql] Corrigir hashing de caminho de código interpretado para ter reconhecimento de agrupamento
• [SPARK-48740] [SC-172430][sql] Detetar erro de especificação de janela ausente cedo
• [SPARK-48999] [SC-172245][ss] Dividir PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Implementar validação para o operador TransformWithStateExec usando OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][python][ML] Faça com que as funções auxiliares de salvar/carregar o modelo aceitem sessão de faísca
• [SPARK-49032] [Backport][15.x][SS] Adicionar o caminho do esquema na entrada da tabela de metadados, verificar a versão esperada e adicionar teste relacionado aos metadados do operador para o formato de metadados v2 do operador.
• [SPARK-49034] [SC-172306][core] Suporte à substituição no lado do servidor na API de envio REST
• [SPARK-48931] [SC-171895][ss] Reduza o custo da API da Lista de Lojas na Nuvem para a tarefa de manutenção do armazenamento de estado
• [SPARK-48849] [SC-172068][ss]Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
• [SPARK-49013] [SC-172322] Alterar chave em collationsMap para tipos Map e Array em Scala
• [SPARK-48414] [SC-171884][python] Corrigir alteração incompatível na biblioteca Python fromJson
• [SPARK-48910] [SC-171001][sql] Use HashSet/HashMap para evitar pesquisas lineares em PreprocessTableCreation
• [SPARK-49007] [SC-172204][core] Melhorar MasterPage para suportar título personalizado
• [SPARK-49009] [SC-172263][sql][PYTHON] Fazer com que APIs e funções de coluna aceitem Enums
• [SPARK-49033] [SC-172303][core] Suporte à substituição no lado do servidor na API de envio REST
• [SPARK-48363] [SC-166470][sql] Limpe alguns códigos redundantes em from_xml
• [SPARK-46743] [SC-170867][sql][BEHAVE-84] Bug na contagem após o ScalarSubquery ser dobrado se tiver uma relação vazia
• [SPARK-49040] [SC-172351][sql] Corrigir doc sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ml] Salvamento/carregamento de modelos de meta algoritmos com SparkSession
• [SPARK-48959] [SC-171708][sql] Fazer NoSuchNamespaceException extensão NoSuchDatabaseException para restaurar o tratamento de exceções
• [SPARK-48996] [SC-172130][sql][PYTHON] Permitir literais nus para ee ou de Coluna
• [SPARK-48990] [SC-171936] Acompanhamento para #101759 - ajuste de teste
• [SPARK-48338] [SC-171912][sql] Verificar declarações de variáveis
• [SPARK-48990] [SC-171936][sql] Palavras-chave de sintaxe SQL relacionadas a variáveis unificadas
• [SPARK-48988] [SC-171915][ml] Fazer DefaultParamsReader/Writer lidar com metadados utilizando a sessão Spark
• [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Use SparkSession.implicits em vez de SQLContext.implicits
• [SPARK-48760] [SC-170870][sql] Corrigir CatalogV2Util.applyClusterByChanges
• [FAÍSCA-48928] [SC-171956] Aviso de log para chamar .unpersist() em RDDs de ponto de verificação local
• [SPARK-48760] [SC-170139][sql] Introduzir ALTER TABLE ... CLUSTER BY sintaxe SQL para alterar colunas de clusterização
• [SPARK-48844] Reverter “[SC-170669][sql] USE INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio”
• [SPARK-48833] [SC-171914][sql][VARIANT] Variante de suporte em InMemoryTableScan
• [SPARK-48975] [SC-171894][protobuf] Remova a definição desnecessária ScalaReflectionLock de protobuf
• [SPARK-48970] [SC-171800][python][ML] Evite usar SparkSession.getActiveSession no leitor/gravadore do Spark ML
• [SPARK-48844] [SC-170669][sql] Usar INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio
• [SPARK-48714] [SC-170136] Corrigir falhas nos testes df.mergeInto no PySpark e UC
• [SPARK-48957] [SC-171797][ss] Retorna classe de erro subclassificada na carga de armazenamento de estado para provedor hdfs e rocksdb
• [SPARK-48891] [Backport][15x][SC-171677][ss] Refactor StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado
• [SPARK-48972] [SC-171795][python] Unifique a manipulação literal de cadeias de caracteres em funções
• [SPARK-48388] [SC-171337][sql] Corrigir SET o comportamento da instrução para scripts SQL
• [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator deve lidar melhor quando getStruct retorna null
• [SPARK-48623] [15.x][sc-171322][CORE] Migrar registos do FileAppender para registos estruturados
• [SPARK-36680] [DBRRM-1123] Reverter "[SC-170640][sql] Suporta opções de tabela dinâmica para Spark SQL"
• [SPARK-48841] [SC-170868][behave-83][SQL] Incluir collationName a sql() de Collate
• [SPARK-48941] [SC-171703][python][ML] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação Dataframe
• [SPARK-48938] [SC-171577][python] Melhorar mensagens de erro ao registrar UDTFs Python
• [SPARK-48350] [SC-171040][sql] Introdução de exceções personalizadas para scripts SQL
• [SPARK-48907] [SC-171158][sql] Corrija o valor explicitTypes em COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][python] Simplifique as funções regex com lit
• [SPARK-48944] [SC-171576][connect] Unifique a manipulação de esquema no formato JSON no Connect Server
• [SPARK-48836] [SC-171569] Integrar esquema SQL com esquema/metadados de estado
• [SPARK-48946] [SC-171504][sql] NPE no método de ocultação quando a sessão é nula
• [SPARK-48921] [SC-171412][sql] Os codificadores ScalaUDF na subconsulta devem ser resolvidos para MergeInto
• [SPARK-45155] [SC-171048][connect] Adicionar documentos de API para o cliente JVM/Scala do Spark Connect
• [SPARK-48900] [SC-171319] Adicionar o reason campo para cancelJobGroup e cancelJobsWithTag
• [SPARK-48865] [SC-171154][sql] Adicionar função try_url_decode
• [SPARK-48851] [SC-170767][sql] Altere o valor de SCHEMA_NOT_FOUND de namespace para catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Suportar a API UDAF no Spark Connect
• [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Tornar from_xml o esquema StructType de suporte
• [SPARK-48930] [SC-171304][core] Editar awsAccessKeyId incluindo o padrão accesskey
• [SPARK-48909] [SC-171080][ml][MLLIB] Usa SparkSession sobre SparkContext ao escrever metadados
• [SPARK-48883] [SC-171133][ml][R] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação Dataframe
• [SPARK-48924] [SC-171313][ps] Adicionar uma função auxiliar semelhante à do pandas make_interval
• [SPARK-48884] [SC-171051][python] Remover função auxiliar não utilizada PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][sql] Executar prontamente vários comandos union
• [SPARK-48896] [SC-171079][ml][MLLIB] Evite a repartição ao escrever os metadados
• [SPARK-48892] [SC-171127][ml] Evitar a leitura de parâmetros linha a linha Tokenizer
• [SPARK-48927] [SC-171227][core] Mostrar o número de RDDs armazenados em cache em StoragePage
• [SPARK-48886] [15.x][backport][SC-171039][ss] Adicione informações de versão ao changelog v2 para permitir uma evolução mais fácil
• [SPARK-48903] [SC-171136][ss] Defina a última versão do instantâneo do RocksDB corretamente no carregamento remoto
• [SPARK-48742] [SC-170538][ss] Família de colunas virtuais para RocksDB
• [SPARK-48726] [15.x][sc-170753][SS] Crie o formato de arquivo StateSchemaV3 e escreva-o para o operador TransformWithStateExec
• [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto suporte para Spark Connect (Scala e Python)
• [SPARK-48714] [SC-170136][python] Implementar DataFrame.mergeInto no PySpark
• [SPARK-48772] [SC-170642][ss][SQL] Alteração da fonte de dados de estado Modo de leitor de feed
• [SPARK-48666] [SC-170887][sql] Não empurre o filtro para baixo se ele contiver PythonUDFs
• [SPARK-48845] [SC-170889][sql] GenericUDF captura exceções de crianças
• [SPARK-48880] [SC-170974][core] Evite lançar NullPointerException se o plug-in do driver falhar ao inicializar
• [SPARK-48888] [Backport][15x][SC-170973][ss] Remova a criação de snapshot com base no tamanho das operações do changelog
• [SPARK-48871] [SC-170876] Corrigir a validação de INVALID_NON_DETERMINISTIC_EXPRESSIONS em…
• [SPARK-48883] [SC-170894][ml][R] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação Dataframe
• [SPARK-36680] [SC-170640][sql] Suporta opções de tabela dinâmica para Spark SQL
• [SPARK-48804] [SC-170558][sql] Adicionar verificação de classIsLoadable & OutputCommitter.isAssignableFrom para configurações da classe de committer de saída.
• [SPARK-46738] [SC-170791][python] Reativar um grupo de doctests
• [SPARK-48858] [SC-170756][python] Remover a chamada de método preterido setDaemon de Thread em log_communication.py
• [SPARK-48639] [SC-169801][connect][PYTHON] Adicionar origem ao RelationCommon
• [SPARK-48863] [SC-170770][es-1133940][SQL] Corrija ClassCastException ao analisar JSON com "spark.sql.json.enablePartialResults" ativado
• [SPARK-48343] [SC-170450][sql] Introdução ao interpretador de scripts SQL
• [SPARK-48529] [SC-170755][sql] Introdução de rótulos em scripts SQL
• [SPARK-45292] Reverter "[SC-151609][sql][HIVE] Remover Guava de classes compartilhadas de IsolatedClientLoader"
• [SPARK-48037] [SC-165330][core][3.5] Corrigir o SortShuffleWriter que carece de métricas relacionadas ao 'shuffle write', resultando em dados potencialmente imprecisos.
• [SPARK-48720] [SC-170551][sql] Alinhar o comando ALTER TABLE ... UNSET TBLPROPERTIES ... em v1 e v2
• [SPARK-48485] [SC-167825][connect][SS] Suporte interruptTag e interruptAll em consultas de streaming
• [SPARK-45292] [SC-151609][sql][HIVE] Remover Guava de classes compartilhadas de IsolatedClientLoader
• [SPARK-48668] [SC-169815][sql] Suporte ALTER NAMESPACE ... PROPRIEDADES NÃO DEFINIDAS na v2
• [SPARK-47914] [SC-165313][sql] Não exibir o parâmetro splits em Range
• [SPARK-48807] [SC-170643][sql] Suporte binário para fonte de dados CSV
• [SPARK-48220] [SC-167592][python][15.X] Permite passar a tabela PyArrow para createDataFrame()
• [SPARK-48545] [SC-169543][sql] Crie funções to_avro e from_avro SQL para corresponder aos equivalentes do DataFrame
• [SPARK-47577] [SC-168875][spark-47579] Correção do uso enganoso da chave de log TASK_ID

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Escala: 2.12.15
• Píton: 3.12.3
• R: 4.4.0
• Lago Delta: 3.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir de um instantâneo CRAN do Gestor de Pacotes Posit de 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)