Partilhar via

Tempo de execução do Databricks 15.1 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.1, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em abril de 2024.

Alterações interruptivas

O suporte para Databricks Runtime 15.0 e Databricks Runtime 15.0 para Machine Learning termina em 31 de maio de 2024 porque uma atualização da biblioteca pandas de 1.5.3 para 2.0.3 em 15.0 causou uma alteração de quebra em várias APIs do Apache Spark. Para obter detalhes sobre as alterações de quebra, consulte A biblioteca Python pandas é rebaixada para 1.5.3. Para resolver essa incompatibilidade, o Databricks lançou o Databricks Runtime 15.1 e o Databricks Runtime 15.1 para Machine Learning. A funcionalidade suportada por essas versões é a mesma das versões 15.0, mas com a versão pandas rebaixada para 1.5.3.

Quaisquer clusters ou trabalhos existentes que usem versões do Databricks Runtime 15.0 continuarão a funcionar, mas não receberão atualizações de produto ou de segurança. Não é mais possível configurar uma nova computação que usa o Databricks Runtime 15.0 ou o Databricks Runtime 15.0 ML na interface do usuário do Databricks. Se você não estiver usando recursos ou APIs que exijam pandas 2.0+, o Databricks recomenda alternar essas cargas de trabalho para o Databricks Runtime 15.1.

Se você estiver usando recursos ou APIs disponíveis apenas no pandas 2.0+ e não estiver usando nenhuma função afetada por esta versão, o Databricks recomenda alternar para o Databricks Runtime 15.1 e atualizar o pacote pandas padrão usando bibliotecas com escopo de cluster ou notebook. Por exemplo, para atualizar a biblioteca pandas em um bloco de anotações Databricks, use o seguinte comando:

%pip install pandas==2.0.3

A biblioteca Python pandas é rebaixada para 1.5.3

Nesta versão, a biblioteca de pandas é rebaixada da versão 2.0.3 para 1.5.3. Esse downgrade foi necessário porque incompatibilidades na versão 2.0.3 dos pandas causaram erros em algumas APIs de pandas em funções do Spark. A seguir lista as funções afetadas pela versão 2.0.3 do pandas:

  • pyspark.date_range: O closed parâmetro está faltando, causando erros quando esta função é chamada pelo código existente.
  • A funcionalidade do GroupBy com colunas MultiIndex é alterada, causando um comportamento inesperado.
  • Alguns datetime atributos de (por exemploDatetimeIndex, , day, monthe assim por diante) retornam year tipos de int32 dados em vez de tipos de int64 dados.

A função PySpark spark.sql() agora falha para tipos de argumento inválidos

No Databricks Runtime 15.1 e posterior, o parâmetro args para parâmetros nomeados ou posicionais passados para a função spark.sql() deve ser um dicionário ou lista. Se qualquer outro tipo de objeto for passado, o seguinte erro será gerado: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

O armazenamento de bibliotecas na raiz DBFS foi preterido e desativado por padrão

Para melhorar a segurança das bibliotecas em um espaço de trabalho do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz DBFS é preterido e desabilitado por padrão, começando com o Databricks Runtime 15.1. O Databricks recomenda carregar todas as bibliotecas, incluindo bibliotecas Python, arquivos JAR e conectores Spark, para arquivos de espaço de trabalho, volumes do Catálogo Unity ou um repositório de pacotes. Consulte Recomendações para carregar bibliotecas.

Para reativar o armazenamento de bibliotecas na raiz DBFS, defina o seguinte parâmetro de configuração do Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

A versão padrão do Python é atualizada de 3.10 para 3.11

Com o Databricks Runtime 15.1, a versão padrão do Python é 3.11.0. Para obter a lista de bibliotecas Python atualizadas, consulte Atualizações de bibliotecas.

JDK 11 é removido

Conforme anunciado anteriormente, o JDK 11 foi removido do Databricks Runtime 15.1 e posterior. O Databricks recomenda a atualização para o JDK 17 ao atualizar para o Databricks Runtime 15.1 e posterior. Consulte Databricks SDK para Java.

O Python REPL agora termina graciosamente

Com o Databricks Runtime 15.1, o processo Python REPL do notebook agora termina elegantemente ao sair. Isso faz com que qualquer gancho de saída seja honrado. Por exemplo, em um fluxo de trabalho com várias tarefas do bloco de anotações Python, os ganchos de saída registrados na primeira tarefa são executados antes que a segunda tarefa do bloco de anotações Python seja executada.

Novos recursos e melhorias

A cláusula * (estrela) é agora suportada na cláusula WHERE

Agora você pode usar a cláusula estrela (*) na cláusula WHERE para fazer referência a todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A spark.sql.json.enablePartialResults configuração agora está habilitada por padrão

A configuração spark.sql.json.enablePartialResults do Spark agora está habilitada por padrão, permitindo que o analisador JSON manipule corretamente erros de análise para tipos complexos, como struct, map e array, sem descartar os campos restantes. Essa alteração corrige um problema de consistência para fontes de dados JSON com poda de colunas.

As bibliotecas de cluster agora suportam arquivos requirements.txt

Agora você pode instalar bibliotecas de cluster usando um arquivo requirements.txt armazenado em um arquivo de espaço de trabalho ou volume do Catálogo Unity. Nos clusters em modo de acesso Dedicado e Padrão, o arquivo requirements.txt pode referenciar outros arquivos. Em nenhum cluster de modo de acesso compartilhado de isolamento, apenas pacotes PyPI são suportados. Consulte Bibliotecas abrangidas por computação.

Databricks CLI agora disponível no terminal web

Agora você pode usar a CLI do Databricks a partir do terminal da Web no notebook. O bloco de notas deve estar ligado a um cluster no modo de acesso Dedicado ou Partilhado sem isolamento. Para obter detalhes, consulte Usar terminal da Web e CLI do Databricks.

Adicionar repositórios Python padrão a configurações de cluster

No Databricks Runtime 15.1 e versões posteriores, você pode configurar parâmetros globais pip index-url e extra-index-url para a instalação de bibliotecas com escopo de cluster e notebook ao configurar um cluster ou definir uma política de cluster. Para fazer isso, defina as variáveis de ambiente DATABRICKS_PIP_INDEX_URL e DATABRICKS_PIP_EXTRA_INDEX_URL.

Terminal Web disponível em clusters padrão

No Databricks Runtime 15.1 e superior, você pode usar o terminal da Web em clusters com o modo de acesso padrão .

Os controles de passagem de credenciais e de acesso à tabela de metastore do Hive foram preteridos

Passagem de credenciais e controlos de acesso à tabela do metastore do Hive são modelos de governança de dados herdados. Atualize para o Unity Catalog para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em sua conta. Consulte O que é o Unity Catalog?.

O suporte para passagem de credenciais e controles de acesso à tabela de metastore do Hive será removido em uma próxima versão do DBR.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • preto de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certifi de 2022.12.7 a 2023.7.22
    • Criptografia de 39.0.1 a 41.0.3
    • Databricks-SDK de 0.1.6 a 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadados de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • Protobuf de 4.24.0 a 4.24.1
    • Pyarrow de 8.0.0 a 14.0.1
    • Pigmentos de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 a 4.0.38
    • Pedidos de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 a 0.10.0
    • scikit-learn de 1.1.1 a 1.3.0
    • scipy de 1.10.0 a 1.11.1
    • setuptools de 65.6.3 a 68.0.0
    • statsmodels de 0.13.5 a 0.14.0
    • tenacidade de 8.1.0 a 8.2.2
    • Tornado de 6.1 a 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • widgetsnbextension de 3.6.1 a 4.0.5
    • zipp de 1.0.0 a 3.11.0
  • Bibliotecas R atualizadas:
    • seta de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • Base de 4.3.1 a 4.3.2
    • Fermentar de 1.0-8 a 1.0-10
    • brio de 1.1.3 a 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • CLI de 3.6.1 a 3.6.2
    • marca comum de 1.9.0 a 1.9.1
    • compilador de 4.3.1 a 4.3.2
    • Configuração de 0.3.1 a 0.3.2
    • CPP11 de 0.4.4 a 0.4.7
    • credenciais de 1.3.2 a 2.0.1
    • curvatura de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • conjuntos de dados de 4.3.1 a 4.3.2
    • DBI de 1.1.3 a 1.2.1
    • DBPlyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • resumo de 0.6.33 a 0.6.34
    • dplyr de 1.1.2 a 1.1.4
    • e1071 de 1.7-13 a 1.7-14
    • avaliar de 0,21 a 0,23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • futuro de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargarejo de 1.5.1 a 1.5.2
    • Gert de 1.9.2 a 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • cola de 1.6.2 a 1.7.0
    • gráficos de 4.3.1 a 4.3.2
    • grDevices de 4.3.1 a 4.3.2
    • grelha de 4.3.1 a 4.3.2
    • gtable de 0.3.3 a 0.3.4
    • Hardhat de 1.3.0 a 1.3.1
    • Refúgio de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • HTTR de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1,43 a 1,45
    • rotulagem de 0.4.2 a 0.4.3
    • mais tarde, de 1.3.1 para 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • ciclo de vida de 1.0.3 a 1.0.4
    • ouvir de 0.9.0 a 0.9.1
    • lubridato de 1.9.2 a 1.9.3
    • markdown de 1,7 para 1,12
    • Métodos de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • paralelo de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 a 1.8.9
    • unidades bonitas de 1.1.1 a 1.2.0
    • pROC de 1.18.4 a 1.18.5
    • processx de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progressos de 1.2.2 para 1.2.3
    • progressor de 0.13.0 a 0.14.0
    • promessas de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • ronronar de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RcppEigen de 0.3.3.9.3 a 0.3.3.9.4
    • Readr de 2.1.4 a 2.1.5
    • receitas de 1.0.6 a 1.0.9
    • revanche de 1.0.1 a 2.0.0
    • Controles remotos de 2.4.2 a 2.4.2.1
    • reprex de 2.0.2 a 2.1.0
    • Rlang de 1.1.1 a 1.1.3
    • Rmarkdown de 2,23 para 2,25
    • RODBC de 1.3-20 a 1.3-23
    • roxigen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Reserve de 1.8-11 a 1.8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • escalas de 1.2.1 a 1.3.0
    • brilhante de 1.7.4.1 a 1.8.0
    • Sparklyr de 1.8.1 a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • Estatísticas de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • de 3.1.10 a 3.2.1
    • formatação de texto de 0.3.6 a 0.3.7
    • Tidyr de 1.3.0 a 1.3.1
    • mudança de tempo de 0.2.0 para 0.3.0
    • horaData: de 4022.108 a 4032.109
    • tinytex de 0,45 a 0,49
    • Ferramentas de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utils de 4.3.1 a 4.3.2
    • UUID de 1.1-0 a 1.2-0
    • VCTRS de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • Waldo de 0.5.1 a 0.5.2
    • Withr de 2.5.0 a 3.0.0
    • xfun de 0,39 a 0,41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Apache Spark

O Databricks Runtime 15.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Reverter "[SC-151626][core] Usar fração para fazer o cálculo do recurso"
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] Adicione o sinalizador COLLATION_ENABLED de configuração
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorar pesquisa de tabela V2 quando uma tabela está no cache de tabela V1
  • [SPARK-46808] [SC-154113][python] Refine classes de erro em Python com função de classificação automática
  • [SPARK-47251] [SC-158291][python] Bloquear tipos inválidos do args argumento para sql comando
  • [SPARK-47251] [SC-158121][python] Bloquear tipos inválidos do args argumento para sql comando
  • [SPARK-47108] [SC-157204][core] Definir derby.connection.requireAuthentication para false explicitamente nas interfaces de linha de comandos (CLIs)
  • [SPARK-45599] [SC-157537][core] Use a igualdade de objetos no OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Use ordinalNumber para definir uniformemente o valor de paramIndex para a classe de erro UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Extraia uma função auxiliar para eliminar o código duplicado que recupera MessageParameters de ErrorParams dentro de GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Adicionar suporte para campos repetidos
  • [SPARK-46342] [SC-150283][sql] Substituir IllegalStateException por SparkException.internalError in sql
  • [SPARK-47123] [SC-157412][core] JDBCRDD não manipula corretamente erros em getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Ajustar nomes de erro de coluna e texto
  • [SPARK-45789] [SC-157101][sql] Suporte DESCRIBE TABLE para colunas de agrupamento
  • [SPARK-43256] [SC-157699][sql] Remover classe de erro _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics verifica os tipos de entrada
  • [SPARK-47183] [SC-157660][python] Corrija a classe de erro para sameSemantics
  • [SPARK-47179] [SC-157663][sql] Melhorar a mensagem de erro do SparkThrowableSuite para facilitar a depuração
  • [SPARK-46965] [SC-155791][core] Verificar logType em Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Introdução às expressões Collate e Collation
  • [SPARK-46946] [SC-155721][sql] Suporte à transmissão de várias chaves de filtragem no DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Adicionar informações de tipo de variante ao PySpark
  • [SPARK-47101] [SC-157360][sql] Permitir que a vírgula seja usada em nomes de colunas de nível superior e remover a verificação de definição de tipo aninhado em HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] Corrigir um erro de digitação na explicação da interface do usuário de streaming
  • [SPARK-47113] [SC-157348][core] Reverter a lógica de ajuste do endpoint S3A do SPARK-35878
  • [SPARK-47130] [SC-157462][core] Use listStatus para ignorar as informações de localização do bloco ao limpar os registros do driver
  • [SPARK-43259] [SC-157368][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec deve inicializar a projeção insegura
  • [SPARK-47137] [SC-157463][python][CONNECT] Adicione getAll ao spark.conf para paridade de recursos com o Scala
  • [SPARK-46924] [SC-154905][core] Corrigir botão na interface de registo
  • [SPARK-47069] [SC-157370][python][CONNECT] Introdução spark.profile.show/dump para criação de perfil baseada em SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Permitir que mapInPandas / mapInArrow suporte ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Collations - Apresentando o CollationFactory que fornece regras de comparação e hashing para agrupamentos suportados
  • [SPARK-47057] [SC-157036][python] Teste de dados Reeanble MyPy
  • [SPARK-46934] [SC-157084][sql] Leitura/gravação ida e volta para o tipo struct com caracteres especiais com HMS
  • [SPARK-46727] [SC-153472][sql] Porta classifyException() em dialetos JDBC em classes de erro
  • [SPARK-46964] [SC-155740][sql] Altere a assinatura do erro de execução de consulta hllInvalidLgK para tomar um inteiro como 4º argumento
  • [SPARK-46949] [SC-155719][sql] Apoiar CHAR/VARCHAR através de ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Corrigir substituição assimétrica para char/varchar em V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Implementar métodos dumpPerfProfiles e dumpMemoryProfiles de SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Suporte de criação de perfil v2 em group/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][connect] Permitir que o script do servidor Spark Connect aguarde
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Suporta criação de perfil v2 em UDFs Pandas agregados
  • [SPARK-47004] [SC-156499][connect] Adicionado mais testes ao ClientStreamingQuerySuite para aumentar a cobertura de teste do cliente Scala
  • [SPARK-46994] [SC-156169][python] Refactor PythonWrite para preparar para suportar a escrita de dados em streaming na fonte de dados Python
  • [SPARK-46979] [SC-156587][ss] Adicione suporte para especificar o codificador de chave e valor separadamente e também para cada família col no provedor de armazenamento de estado RocksDB
  • [SPARK-46960] [SC-155940][ss] Testando vários fluxos de entrada com o operador TransformWithState
  • [SPARK-46966] [SC-156112][python] Adicione a API UDTF para o método 'analyze' para indicar o subconjunto de colunas da tabela de entrada a serem selecionadas
  • [SPARK-46895] [SC-155950][core] Substitua o temporizador por um executor agendado de thread único
  • [SPARK-46967] [SC-155815][core][UI] Ocultar Thread Dump e Heap Histogram de Dead processos na Executors interface
  • [SPARK-46512] [SC-155826][core] Otimize a leitura aleatória quando a classificação e a combinação são usadas.
  • [SPARK-46958] [SC-155942][sql] Adicionar fuso horário ausente para coagir valores padrão
  • [SPARK-46754] [SC-153830][sql][AVRO] Corrigir a resolução do código de compressão nas opções de definição e gravação da tabela avro
  • [SPARK-46728] [SC-154207][python] Verifique a instalação do Pandas corretamente
  • [SPARK-43403] [SC-154216][ui] Verifique se o SparkUI antigo no HistoryServer foi desanexado antes de carregar um novo
  • [SPARK-39910] [SC-156203][sql] Delegar a qualificação do caminho ao sistema de arquivos durante o globbing do caminho do arquivo DataSource
  • [SPARK-47000] [SC-156123] Reverter "[SC-156123][core] Use getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Mover categorias de erro e estados para JSON
  • [SPARK-46997] [SC-156175][core] Ativar spark.worker.cleanup.enabled por padrão
  • [SPARK-46865] [SC-156168][ss] Adicionar suporte de lote para o operador TransformWithState
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate Evite operações desnecessárias setField
  • [SPARK-46970] [SC-155816][core] Reescrever OpenHashSet#hasher com pattern matching
  • [SPARK-46984] [SC-156024][python] Remover pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Utilização getTotalMemorySize em WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Evite usar APIs internas em testes completos de dataframe
  • [SPARK-46931] Reverter "[SC-155661][ps] Implementar {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][sql] Melhorar as mensagens de erro para o erro DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] Executar otimizador em CREATE TABLE valores padrão de coluna
  • [SPARK-46911] [SC-155724][ss] Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
  • [FAÍSCA-43273] [SQL] Suporte lz4raw a codec de compressão para Parquet
  • [SPARK-47002] [SC-156223][python] Deve devolver uma melhor mensagem de erro se o campo 'orderBy' do método 'analyze' do UDTF acidentalmente retornar uma lista de strings.
  • [SPARK-46890] [SC-155802][sql] Corrigir bug de análise CSV com valores padrão existentes e poda de coluna
  • [SPARK-46977] [SC-155892][core] Uma solicitação com falha para obter um token de um NameNode não deve ignorar solicitações de token subsequentes
  • [SPARK-46608] [SC-151806][sql] Restaurar a compatibilidade com versões anteriores de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Cláusula estrela de suporte na WHERE cláusula
  • [SPARK-46908] [SC-155702][sql] Cláusula estrela de suporte na WHERE cláusula
  • [SPARK-46852] [SC-155665][ss] Remova o uso do codificador de chave explícita e passe-o implicitamente ao operador para o operador transformWithState
  • [SPARK-46864] [SC-155669][ss] Incorporar StateV2 arbitrário na nova estrutura de classe de erro
  • [SPARK-45807] [SC-155706][sql] Retornar Modo de Exibição após chamar replaceView(..)
  • [SPARK-46899] [SC-154651][core] Remover POST APIs de MasterWebUI quando spark.ui.killEnabled é false
  • [SPARK-46868] [SC-154539][core] Interface do usuário de log do Spark Worker
  • [SPARK-46931] [SC-155661][ps] Implementar {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Remover não utilizado updateSparkConfigFromProperties e isAbsoluteURI em o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Use ThreadUtils.shutdown para encerrar grupos de threads
  • [SPARK-46400] [SC-155658][core][SQL] Quando houver arquivos corrompidos no repositório maven local, ignore esse cache e tente novamente
  • [FAÍSCA-46932] [SC-155655] Limpar as importações em pyspark.pandas.test_*
  • [FAÍSCA-46683] [SC-154120] Escreva um gerador de subconsultas que gere permutações de subconsultas para aumentar a cobertura de testes
  • [SPARK-46914] [SC-154776][ui] Encurtar o nome do aplicativo na tabela de resumo na página Histórico
  • [SPARK-46831] [SC-154699][sql] Agrupamentos - Estendendo StringType e PhysicalStringType com campo collationId
  • [SPARK-46816] [SC-154415][ss] Adicione suporte base para novo operador de gerenciamento de estado arbitrário, tipo valueState único, variáveis de estado múltiplo e suporte subjacente para famílias de colunas para RocksDBStateStoreProvider com/sem ponto de verificação de changelog
  • [SPARK-46925] [SC-154890][python][CONNECT] Adicione um aviso que instrua a instalação de memory_profiler para criação de perfil de memória
  • [SPARK-46927] [SC-154904][python] Faça assertDataFrameEqual funcionar corretamente sem PyArrow
  • [SPARK-46021] [SC-148987][core] Suporte para cancelar tarefas futuras pertencentes a um grupo de tarefas
  • [SPARK-46747] [SC-154789][sql] Evite a verificação em getTableExistsQuery para dialetos JDBC
  • [SPARK-46904] [SC-154704][ui] Corrigir problema na exibição do resumo da interface histórica
  • [SPARK-46870] [SC-154541][core] Suporte Spark Master Log UI
  • [SPARK-46893] [SC-154780][ui] Remover scripts embutidos das descrições da interface do usuário
  • [SPARK-46910] [SC-154760][python] Elimine o requisito JDK na instalação do PySpark
  • [SPARK-46907] [SC-154736][core] Mostrar localização do registo do controlador no Spark History Server
  • [SPARK-46902] [SC-154661][ui] Corrigir a interface do usuário do Spark History Server para utilizar setAppLimit não exportado
  • [SPARK-46687] [SC-154725][python][CONNECT] Suporte básico do criador de perfil de memória baseado em SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Substitua SimpleDateFormat por DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Quando o mode é nulo, um NullPointException deve not ser lançado
  • [SPARK-46872] [SC-154543][core] Recuperar log-view.js para deixar de ser módulo
  • [SPARK-46883] [SC-154629][core] API de suporte /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Ativar spark.ui.prometheus.enabled por padrão
  • [SPARK-46873] [SC-154638][ss] Não recrie o novo StreamingQueryManager para a mesma sessão do Spark
  • [SPARK-46829] [SC-154419][core] Remover createExecutorEnv do SparkEnv
  • [SPARK-46827] [SC-154280][core] Faça RocksDBPersistenceEngine para suportar um link simbólico
  • [SPARK-46903] [SC-154662][core] Suporte da interface do utilizador dos logs do Servidor de Histórico do Spark
  • [SPARK-46874] [SC-154646][python] Remover pyspark.pandas dependência de assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Validar spark.master.ui.decommission.allow.mode configuração
  • [SPARK-46850] [SC-154443][sql] Converter _LEGACY_ERROR_TEMP_2102 para UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Corrigir MasterPage para classificar corretamente a Running Drivers tabela pela Duration coluna
  • [SPARK-46796] [SC-154279][ss] Certifique-se de que os arquivos remotos corretos (mencionados no metadata.zip) sejam usados no carregamento da versão do RocksDB
  • [SPARK-46888] [SC-154636][core] Correção Master para rejeitar /workers/kill/ solicitações se a desativação estiver desativada.
  • [SPARK-46818] [SC-154422][sql] Melhorar as mensagens de erro para o Range com entradas não dobráveis
  • [SPARK-46898] [SC-154649][connect] Simplifique a transformação da função protobuf no Planner
  • [SPARK-46828] [SC-154413][sql] Remova a asserção inválida do modo remoto para o shell spark sql
  • [SPARK-46733] [SC-154274][core] Simplifique o BlockManager garantindo que a operação de saída dependa apenas do thread de interrupção.
  • [SPARK-46777] [SC-154016][ss] Refatorar StreamingDataSourceV2Relation a estrutura do catalisador para ficar mais alinhada com a versão em lote
  • [FAÍSCA-46515] [SC-151716] Adicionar função MONTHNAME
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion deve verificar a nulidade
  • [SPARK-46787] [SC-154404][connect] bloomFilter função deve gerar AnalysisException para entrada inválida
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation instâncias do mesmo plano armazenado em cache devem ser semanticamente equivalentes
  • [SPARK-45827] [SC-153973] Não permitir particionamento na coluna Variante
  • [SPARK-46797] [SC-154085][core] Renomear spark.deploy.spreadOut para spark.deploy.spreadOutApps
  • [FAÍSCA-46094] [SC-153421] Criação de perfil JVM do executor de suporte
  • [SPARK-46746] [SC-153557][sql][AVRO] Anexar extensão de codec a arquivos de fonte de dados avro
  • [SPARK-46698] [SC-153288][core] Substitua o temporizador pelo executor agendado de thread único para ConsoleProgressBar.
  • [FAÍSCA-46629] [SC-153835] Correção para DDL tipo STRUCT não pegando anulabilidade e comentário
  • [SPARK-46750] [SC-153772][connect][PYTHON] Limpeza de código de APIs DataFrame
  • [SPARK-46769] [SC-153979][sql] Refinar a inferência de esquema relacionada ao carimbo temporal
  • [SPARK-46765] [SC-153904][python][CONNECT] Especifique shuffle o tipo de dados de seed
  • [SPARK-46579] [SC-151481][sql] Redigir o URL JDBC nos erros e logs
  • [SPARK-46686] [SC-153875][python][CONNECT] Suporte básico do criador de perfil Python UDF baseado em SparkSession
  • [SPARK-46748] Reverter “[SC-153800][core] Remover *slav**.sh scri...
  • [SPARK-46707] [SC-153833][sql] Adicionado campo lançável às expressões para melhorar o pushdown de predicados.
  • [SPARK-46519] [SC-151278][sql] Limpar classes de erro não utilizadas do error-classes.json arquivo
  • [SPARK-46677] [SC-153426][sql][CONNECT] Corrigir resolução dataframe["*"]
  • [SPARK-46317] [SC-150184][python][CONNECT] Combine correspondência de comportamento menor no SparkSession com cobertura total de teste
  • [SPARK-46748] [SC-153800][core] Remover *slav**.sh scripts
  • [SPARK-46663] [SC-153490][python] Desativar a ferramenta de perfilamento de memória para pandas UDFs com iteradores
  • [SPARK-46410] [SC-150776][sql] Atribua classes/subclasses de erro a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][python] Valide URLs de inicialização com a configuração definida
  • [SPARK-46612] [SC-153536][sql] Não converta a string de tipo de array recuperada pelo driver JDBC
  • [SPARK-46254] [SC-149788][python] Remova a verificação de versão do Python 3.8/3.7 obsoleta
  • [SPARK-46490] [SC-151335][sql] Requer classes de erro em SparkThrowable subclasses
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Reduza o uso da pilha do motorista reduzindo a duração de vida de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Corrigir a referência de coluna ambígua na autojunção
  • [SPARK-46381] [SC-150495][sql] Migrar subclasses de AnalysisException para classes de erro
  • [SPARK-46351] [SC-150335][sql] Requer uma classe de erro em AnalysisException
  • [SPARK-46220] [SC-149689][sql] Restringir conjuntos de caracteres em decode()
  • [SPARK-46369] [SC-150340][core] Remover kill link de RELAUNCHING drivers em MasterPage
  • [SPARK-46052] [SC-153284][core] Remover função TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Suporte GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Remover inferTimestampNTZ não utilizado no ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Simplificar ReloadingX509TrustManager de forma que a operação de saída dependa apenas da interrupção do thread.
  • [SPARK-46722] [SC-153438][connect] Adicione um teste referente à verificação de compatibilidade com versões anteriores para StreamingQueryListener no Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][sql] Alinhar a geração automática de código e a implementação manual de StringDecode
  • [SPARK-46258] [SC-149799][core] Adicionar RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Melhorar FileSystemPersistenceEngine para suportar compressões
  • [SPARK-46189] [SC-149567][ps][SQL] Realizar comparações e operações aritméticas entre tipos iguais em várias funções de agregação do Pandas para evitar erros no modo interpretado
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Reduza a profundidade da pilha substituindo Option.isDefined por Option.isEmpty
  • [SPARK-46700] [SC-153329][core] Contar o último derramamento para a métrica de bytes de derramamento em disco do shuffle
  • [SPARK-45642] [SC-150286][core][SQL] Correção FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Corrija RemoveRedundantAlias excluindo atributos de subconsulta
  • [SPARK-46681] [SC-153287][core] Refatorar ExecutorFailureTracker#maxNumExecutorFailures para evitar calcular defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES está configurado
  • [SPARK-46695] [SC-153289][sql][HIVE] Sempre definindo hive.execution.engine como mr
  • [SPARK-46325] [SC-150228][connect] Remova funções de substituição desnecessárias ao construir WrappedCloseableIterator em ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Migre todos os ValueError restantes para a estrutura de erro do PySpark.
  • [SPARK-46547] [SC-153174][ss] Engolir exceção não fatal na tarefa de manutenção para evitar impasse entre o thread de manutenção e o operador de agregação de streaming
  • [SPARK-46169] [SC-149373][ps] Atribua números JIRA apropriados para parâmetros ausentes da DataFrame API.
  • [SPARK-45857] [SC-148096][sql] Impor as classes de erro em subclasses de AnalysisException

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 15.1.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.11.0
  • R: 4.3.2
  • Lago Delta: 3.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AstTokens 2.0.5 Astunparse 1.6.3 azure-core 1.30.1
Azure Storage Blob 12.19.1 Armazenamento de Ficheiros Azure Data Lake 12.14.0 Backcall 0.2.0
preto 23.3.0 pisca-pisca 1.4 Boto3 1.34.39
Botocore 1.34.39 Ferramentas de cache 5.3.3 certifi 2023.7.22
CFFI 1.15.1 Chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 Cloudpickle 2.2.1 Comm 0.1.2
contorno 1.0.5 criptografia 41.0.3 ciclista 0.11.0
Quisto 0.29.32 Databricks-SDK 0.20.0 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 Distlib 0.3.8
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.1.1
bloqueio de arquivo 3.13.1 Fonttools 4.25.0 GitDB 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 Google-Auth 2.28.2
google-nuvem-core 2.4.1 google-nuvem-armazenamento 2.15.0 Google-CRC32C 1.5.0
google-retomable-media 2.7.0 googleapis-comuns-protos 1.63.0 Grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 IDNA 3.4
importlib-metadados 6.0.0 ipyflow-núcleo 0.0.198 Ipykernel 6.25.1
IPython 8.15.0 ipywidgets 8.0.4 Isodato 0.6.1
Jedi 0.18.1 Jeepney 0.7.1 JmesPath 0.10.0
Joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 porta-chaves 23.5.0 Kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
Matplotlib 3.7.2 matplotlib-em linha 0.1.6 mlflow-magro 2.11.1
mais-itertools 8.10.0 mypy-extensões 0.4.3 Ninho-Asyncio 1.5.6
dormência 1.23.5 OAuthlib 3.2.0 embalagem 23.2
pandas 1.5.3 Parso 0.8.3 PathSpec 0.10.3
vítima 0.5.3 Espere 4.8.0 pickleshare 0.7.5
Travesseiro 9.4.0 pip (o gestor de pacotes do Python) 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 kit de ferramentas de prompt 3.0.36 Protobuf 4.24.1
PSUTIL 5.9.0 PSYCOPG2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 Pyarrow 14.0.1 Piasn1 0.4.8
pyasn1-módulos 0.2.8 Pyccolo 0.0.52 Pycparser 2.21
Pidântico 1.10.6 Pigmentos 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 Pyodbc 4.0.38 Pyparsing 3.0.9
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 python-lsp-jsonrpc 1.1.1 Pytz 2022.7
PyYAML 6,0 Pyzmq 23.2.0 pedidos 2.31.0
RSA 4,9 s3transferir 0.10.0 scikit-learn (biblioteca de aprendizado de máquina em Python) 1.3.0
SciPy 1.11.1 nascido no mar 0.12.2 Armazenamento Secreto 3.3.1
Ferramentas de configuração 68.0.0 seis 1.16.0 smmap 5.0.1
SQLPARSE 0.4.4 ssh-import-id 5.11 dados de pilha 0.2.0
statsmodels (uma biblioteca de Python para modelos estatísticos) 0.14.0 tenacidade 8.2.2 ThreadPoolCtl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traços 5.7.1
typing_extensions (extensões de digitação) 4.7.1 tzdata 2022.1 Ujson 5.4.0
Upgrades autônomos 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 largura de wc 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp | 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 AskPass 1.2.0 asserçãoat 0.2.1
Retroportagens 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 pouco 4.0.5 bit64 4.0.5
Bitops 1.0-7 blob 1.2.4 arranque 1.3-28
fabricação de cerveja 1.0-10 Brio 1.1.4 vassoura 1.0.5
BSLIB 0.6.1 cachemira 1.0.8 Chamador 3.7.3
acento circunflexo 6.0-94 Cellranger 1.1.0 crono 2.3-61
classe 7.3-22 CLI 3.6.2 Clipr 0.8.0
relógio 0.7.0 cluster 2.1.4 CodeTools 0.2-19
espaço em cores 2.1-0 marca comum 1.9.1 compilador 4.3.2
configuração 0.3.2 conflituosos 1.2.0 CPP11 0.4.7
lápis de cor 1.5.2 credenciais 2.0.1 encaracolar 5.2.0
tabela de dados 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
DBPlyr 2.4.0 descrição 1.4.3 DevTools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 resumo 0.6.34
Iluminação reduzida 0.4.3 DPLYR 1.1.4 DTPlyr 1.3.1
E1071 1.7-14 reticências 0.3.2 avaliar 0.23
Fãsi 1.0.6 Farver 2.1.1 mapa rápido 1.1.1
fontawesome 0.5.2 FORCATS 1.0.0 para cada 1.5.2
externa 0.8-85 forjar 0.2.0 FS 1.6.3
Futuro 1.33.1 futuro.apply 1.11.1 gargarejo 1.5.2
genérico 0.1.3 Gert 2.0.1 GGPLOT2 3.4.4
GH 1.4.0 Git2R 0.33.0 gitcreds 0.1.2
GLMNET 4.1-8 Globais 0.16.2 colar 1.7.0
GoogleDrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
gráficos 4.3.2 grDispositivos 4.3.2 grelha 4.3.2
gridExtra 2.3 GSUBFN 0,7 GT 0.10.1
tabela g 0.3.4 capacete 1.3.1 Refúgio 2.5.4
mais alto 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets (componentes HTML interativos) 1.6.4 httpuv 1.6.14 HTTR 1.4.7
HTTR2 1.0.0 IDs 1.0.1 ini 0.3.1
ipred 0.9-14 Isoband 0.2.7 iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 suco suculento 0.1.0
KernSmooth 2.23-21 Knitr 1,45 etiquetagem 0.4.3
mais tarde 1.3.2 treliça 0.21-8 lave 1.7.3
ciclo de vida 1.0.4 ouvirv 0.9.1 lubridato 1.9.3
Magrittr 2.0.3 Marcação 1.12 MASSA 7.3-60
Matriz 1.5-4.1 memorização 2.0.1 métodos 4.3.2
MGCV 1.8-42 mímica 0,12 miniUI 0.1.1.1
Mlflow 2.10.0 ModelMetrics 1.2.2.2 Modelador 0.1.11
Munsell 0.5.0 NLME 3.1-163 NNET 7.3-19
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 2.1.1 paralelo 4.3.2
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 Plyr 1.8.9 elogiar 1.0.0
unidades bonitas 1.2.0 pROC 1.18.5 processx 3.8.3
Prodlim 2023.08.28 Profvis 0.3.8 Progresso 1.2.3
progressor 0.14.0 promessas 1.2.1 prototipo 1.0.0
proxy 0.4-27 PS 1.7.6 ronronar 1.0.2
R6 2.5.1 RAGG 1.2.7 Floresta Aleatória 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactável 0.4.4
reactR 0.5.0 Leitor 2.1.5 ReadXL 1.4.3
receitas 1.0.9 revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.4.2.1 Reprex 2.1.0 remodelar2 1.4.4
Rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
oxigénio2 7.3.1 rpart (função de partição recursiva em R) 4.1.21 rprojroot 2.0.4
Reserva 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversões 2.1.2 Rvest 1.0.3 Sass 0.4.8
escalas 1.3.0 seletor 0.4-2 Informação da sessão 1.2.2
forma 1.4.6 brilhante 1.8.0 ferramentas de origem 0.1.7-1
Brilho 1.8.4 espacial 7.3-15 estrias 4.3.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.2
estatísticas4 4.3.2 string 1.8.3 stringr 1.5.1
sobrevivência 3.5-5 Charme 3.33.1 Sistema 3.4.2
fontes do sistema 1.0.5 tcltk (uma linguagem de programação) 4.3.2 testeatat 3.2.1
formatação de texto 0.3.7 Tibble 3.2.1 Tidyr 1.3.1
arrumadoselecionar 1.2.0 Tidyverse 2.0.0 mudança de hora 0.3.0
data e hora 4032.109 Tinytex 0.49 ferramentas 4.3.2
TZDB 0.4.0 verificador de URL 1.0.1 usethis 2.2.2
UTF8 1.2.4 utilitários 4.3.2 Identificador Único Universal (UUID) 1.2-0
V8 4.4.1 VCTRS 0.6.5 viridisLite 0.4.2
vruum 1.6.5 Waldo 0.5.2 vibrissas 0.4.1
murchar 3.0.0 xfun 0.41 XML2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
Zeallot 0.1.0 ZIP 2.3.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.390
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws AWS Java SDK para CloudSearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-diretório 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-rota53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws AWS Java SDK para SES 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.390
com.amazonaws AWS-Java-SDK-STS 1.12.390
com.amazonaws aws-java-sdk-suporte 1.12.390
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Reserva 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks Jatos 3T 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core Jackson-Core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-módulo-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-Java 1.1-Nativos
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs JSR305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone anotações_propensas_a_erros 2.10.0
com.google.flatbuffers flatbuffers-java 23/05/2026
com.google.goiaba Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger gerador de perfis 1.1.1
com.jcraft JSCH 0.1.55
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver MSSQL-JDBC 11.2.2.jre8
com.ning compressa-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter Chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocidade analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
codec commons codec commons 1.16.0
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-client_2.12 1.0.4
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics métricas-base 4.2.19
io.dropwizard.metrics métricas-grafite 4.2.19
io.dropwizard.metrics métricas e verificações de saúde 4.2.19
io.dropwizard.metrics métricas-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics métricas-json 4.2.19
io.dropwizard.metrics métricas do JVM 4.2.19
io.dropwizard.metrics Métricas-Servlets 4.2.19
io.netty netty-tudo 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver (resolução do Netty) 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Última
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometeu cliente simples 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.transaction JTA 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ANT-JSCH 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow formato de seta 15.0.0
org.apache.arrow seta-memória-núcleo 15.0.0
org.apache.arrow seta-memória-netty 15.0.0
org.apache.arrow vetor de seta 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro AVRO-IPC 1.11.3
org.apache.avro avro-mapeado 1.11.3
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-comprimir 1.23.0
org.apache.commons commons-cripto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-matemática3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curador curador-cliente 2.13.0
org.apache.curador curador-framework 2.13.0
org.apache.curador curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.6
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Hive-CLI 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive API de armazenamento Hive 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents Núcleo Http 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-núcleo 1.9.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.2-protobuf sombreado
org.apache.orc Orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper cuidador de zoológico 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-coleções 11.1.0
org.eclipse.collections eclipse-collections-API 11.1.0
org.eclipse.píer Jetty-Cliente 9.4.52.v20230823
org.eclipse.píer jetty-continuation (componente de software do Jetty) 9.4.52.v20230823
org.eclipse.píer Jetty-HTTP 9.4.52.v20230823
org.eclipse.píer Molhe IO 9.4.52.v20230823
org.eclipse.píer Cais-JNDI 9.4.52.v20230823
org.eclipse.píer Cais-Plus 9.4.52.v20230823
org.eclipse.píer Jetty-Proxy 9.4.52.v20230823
org.eclipse.píer Segurança do Jetty 9.4.52.v20230823
org.eclipse.píer servidor jetty 9.4.52.v20230823
org.eclipse.píer Jetty-servlet 9.4.52.v20230823
org.eclipse.píer Jetty-servlets 9.4.52.v20230823
org.eclipse.píer Jetty-util 9.4.52.v20230823
org.eclipse.píer cais-util-ajax 9.4.52.v20230823
org.eclipse.píer Aplicação web Jetty 9.4.52.v20230823
org.eclipse.píer Jetty-XML 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 HK2-Utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.externo aopalliance-reembalado 2.6.1
org.glassfish.hk2.externo jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-cliente 2.40
org.glassfish.jersey.core Jersey comum 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-registro em log 3.3.2.Final
org.jdbi JDBI 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mlflow mlflow-spark_2,12 2.9.1
org.objenesis objenese 2.5.1
org.postgresql PostgreSQL 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-compatível-com-slf4j 2.0.7
org.slf4j jul-para-slf4j 2.0.7
org.slf4j SLF4J-API 2.0.7
org.slf4j SLF4J-Simples 1.7.25
org.threeten trêsdez-extra 1.7.1
org.tukaani XZ 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial SQLITE-JDBC 3.42.0.0
org.xerial.snappy Snappy-java 1.1.10.3
org.yaml Snakeyaml 2.0
ouro ouro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
  • Last updated on