Compartilhar via

Databricks Runtime 15.0 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte histórico do fim de suporte. No caso de todas as versões do Databricks Runtime com suporte, consulte Versões sobre as notas e compatibilidade do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 15.0, da plataforma Apache Spark 3.5.0.

O Databricks lançou esta versão em março de 2024.

Alterações de quebra

A função PySpark spark.sql() agora falha para tipos de argumento inválidos

No Databricks Runtime 15.0 e posterior, o parâmetro args para parâmetros nomeados ou posicionais passados para a função spark.sql() precisa ser um dicionário ou uma lista. Se qualquer outro tipo de objeto for passado, o seguinte erro será gerado: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

O armazenamento de bibliotecas na raiz DBFS foi preterido e desabilitado por padrão

Para aprimorar a segurança das bibliotecas em um workspace do Azure Databricks, o armazenamento dos arquivos de biblioteca na raiz do DBFS é preterido e desabilitado por padrão no Databricks Runtime 15.0 e superior. O Databricks recomenda carregar todas as bibliotecas, que incluem bibliotecas Python, arquivos JAR e conectores Spark, para arquivos de workspace, volumes do Catálogo do Unity ou usando um repositório de pacotes. Confira Recomendações para upload de bibliotecas.

Para habilitar novamente as bibliotecas de armazenamento na raiz do DBFS, defina o seguinte parâmetro de configuração do Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

A versão padrão do Python foi atualizada da 3.10 para a 3.11

Com o Databricks Runtime 15.0, a versão padrão do Python é 3.11.0. Para obter a lista de bibliotecas do Python atualizadas, consulte Atualizações de bibliotecas.

O JDK 11 foi removido

Conforme anunciado anteriormente, o JDK 11 foi removido do Databricks Runtime 15.0 e posterior. O Databricks recomenda a atualização para o JDK 17 ao atualizar para o Databricks Runtime 15.0 e posterior. Consulte o SDK do Databricks para Java.

O REPL do Python agora termina normalmente

Com o Databricks Runtime 15.0, o processo de REPL do Python do notebook agora termina normalmente na saída. Isso faz com que todos os ganchos de atexit sejam honrados. Por exemplo, em um fluxo de trabalho com várias tarefas do notebook Python, os ganchos de atexit registrados na primeira tarefa são executados antes da segunda tarefa do notebook Python ser executada.

Novos recursos e melhorias

A cláusula * (estrela) agora tem suporte na cláusula WHERE

Agora você pode usar a cláusula de asterisco (*) na cláusula WHERE para fazer referência a todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A configuração spark.sql.json.enablePartialResults agora está habilitada por padrão

A configuração spark.sql.json.enablePartialResults do Spark agora está habilitada por padrão, permitindo que o analisador JSON lide corretamente com erros de análise para tipos complexos, como struct, mapa e matriz sem remover os campos restantes. Essa alteração corrige um problema de consistência para fontes de dados JSON com a remoção de coluna.

As bibliotecas de cluster agora dão suporte a arquivos requirements.txt

Agora você pode instalar bibliotecas de cluster usando um arquivo requirements.txt armazenado em um arquivo de workspace ou volume do Catálogo do Unity. Em clusters de modo de acesso Dedicado e Padrão, o arquivo pode referenciar outros arquivos. Em clusters de modo de acesso Sem isolamento compartilhado, há suporte apenas para pacotes PyPI. Consulte bibliotecas com escopo de computação.

A CLI do Databricks agora está disponível no terminal da Web

Agora você pode usar a CLI do Databricks no terminal da Web no notebook. O notebook deve ser anexado a um cluster no modo de acesso dedicado ou sem compartilhamento de isolamento. Para obter detalhes, consulte Usar o terminal da Web e a CLI do Databricks.

Adicionar repositórios padrão do Python às configurações de cluster

No Databricks Runtime 15.0 e posterior, você pode configurar parâmetros pip index-url e extra-index-url globais para instalação de biblioteca com escopo de cluster e notebook ao configurar um cluster ou definir uma política de cluster. Para fazer isso, defina as variáveis de ambiente DATABRICKS_PIP_INDEX_URL e DATABRICKS_PIP_EXTRA_INDEX_URL.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • black de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certifi de 2022.12.7 a 2023.7.22
    • cryptography de 39.0.1 a 41.0.3
    • databricks-sdk de 0.1.6 a 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadata de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • pandas de 1.5.3 a 2.0.3
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • protobuf de 4.24.0 a 4.24.1
    • pyarrow de 8.0.0 a 14.0.1
    • Pygments de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 a 4.0.38
    • solicitações de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 a 0.10.0
    • scikit-learn de 1.1.1 a 1.3.0
    • scipy de 1.10.0 para 1.11.1
    • setuptools de 65.6.3 a 68.0.0
    • statsmodels de 0.13.5 a 0.14.0
    • tenacity de 8.1.0 a 8.2.2
    • tornado de 6.1 a 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • widgetsnbextension de 3.6.1 a 4.0.5
    • zipp de 1.0.0 a 3.11.0
  • Bibliotecas R atualizadas:
    • arrow de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • base de 4.3.1 a 4.3.2
    • brew de 1.0-8 a 1.0-10
    • brio de 1.1.3 a 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • cli de 3.6.1 a 3.6.2
    • commonmark de 1.9.0 a 1.9.1
    • compiler de 4.3.1 a 4.3.2
    • config de 0.3.1 a 0.3.2
    • cpp11 de 0.4.4 a 0.4.7
    • credentials de 1.3.2 a 2.0.1
    • curl de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • datasets de 4.3.1 a 4.3.2
    • DBI de 1.1.3 a 1.2.1
    • dbplyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • digest de 0.6.33 a 0.6.34
    • dplyr de 1.1.2 a 1.1.4
    • e1071 de 1.7-13 a 1.7-14
    • evaluate de 0.21 a 0.23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • future de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargle de 1.5.1 a 1.5.2
    • gert de 1.9.2 a 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • glue de 1.6.2 a 1.7.0
    • graphics de 4.3.1 a 4.3.2
    • grDevices de 4.3.1 a 4.3.2
    • grid de 4.3.1 a 4.3.2
    • gtable de 0.3.3 a 0.3.4
    • hardhat de 1.3.0 a 1.3.1
    • haven de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • httr de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1.43 a 1.45
    • rotulagem de 0.4.2 a 0.4.3
    • later de 1.3.1 a 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • lifecycle de 1.0.3 a 1.0.4
    • listenv de 0.9.0 a 0.9.1
    • lubridate de 1.9.2 a 1.9.3
    • markdown de 1.7 a 1.12
    • methods de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • parallel de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 a 1.8.9
    • prettyunits de 1.1.1 a 1.2.0
    • pROC de 1.18.4 a 1.18.5
    • processx de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progress de 1.2.2 a 1.2.3
    • progressr de 0.13.0 a 0.14.0
    • promises de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • purrr de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RcppEigen de 0.3.3.9.3 a 0.3.3.9.4
    • readr de 2.1.4 a 2.1.5
    • recipes de 1.0.6 a 1.0.9
    • revanche de 1.0.1 a 2.0.0
    • remotes de 2.4.2 a 2.4.2.1
    • reprex de 2.0.2 a 2.1.0
    • rlang de 1.1.1 a 1.1.3
    • rmarkdown de 2.23 a 2.25
    • RODBC de 1.3-20 a 1.3-23
    • roxygen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Rserve de 1.8-11 a 1.8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • scales de 1.2.1 a 1.3.0
    • shiny de 1.7.4.1 a 1.8.0
    • sparklyr de 1.8.1 a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • stats de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • testthat de 3.1.10 a 3.2.1
    • textshaping de 0.3.6 a 0.3.7
    • tidyr de 1.3.0 a 1.3.1
    • timechange de 0.2.0 a 0.3.0
    • timeDate de 4022.108 a 4032.109
    • tinytex de 0.45 a 0.49
    • tools de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utils de 4.3.1 a 4.3.2
    • uuid de 1.1-0 a 1.2-0
    • vctrs de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • waldo de 0.5.1 a 0.5.2
    • withr de 2.5.0 a 3.0.0
    • xfun de 0.39 a 0.41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1
  • Bibliotecas do Java atualizadas:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Apache Spark

O Databricks Runtime 15.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-45527] [DBRRM-805][es-1073714] Reverter "[SC-151626][core] Usar fração para fazer o cálculo de recursos"
  • [SPARK-47102] [DBRRM-803] [sc-158253] [SQL] Adicionar o sinalizador de configuração COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] Ignorar pesquisa de tabela V2 quando uma tabela estiver no cache da tabela V1
  • [SPARK-46808] [SC-154113][python] Refinar classes de erro em Python com função de classificação automática
  • [SPARK-47251] [SC-158291][python] Bloquear tipos inválidos do args argumento para sql comando
  • [SPARK-47251] [SC-158121][python] Bloquear tipos inválidos do args argumento para sql comando
  • [SPARK-47108] [SC-157204][core] Definir derby.connection.requireAuthenticationfalse explicitamente nas CLIs
  • [SPARK-45599] [SC-157537][core] Use a igualdade de objetos no OpenHashSet
  • [SPARK-47099] [SC-157352][sql] Use ordinalNumber para definir uniformemente o valor da paramIndex na classe de erro UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] Extrair uma função auxiliar para eliminar o código duplicado que recupera MessageParameters de ErrorParams dentro GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][connect] Fazer com que ProtoUtils.abbreviate dê suporte a campos repetidos
  • [SPARK-46342] [SC-150283][SQL] Substituir IllegalStateException por SparkException.internalError no SQL
  • [SPARK-47123] [SC-157412][core] JDBCRDD não manipula corretamente erros em getQueryOutputSchema
  • [SPARK-47189] [SC-157667][sql] Ajustar nomes de erro e texto da coluna
  • [SPARK-45789] [SC-157101][sql] Suporte DESCRIBE TABLE para colunas de agrupamento
  • [SPARK-43256] [SC-157699][sql] Remover a classe de erro _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics verifica os tipos de entrada
  • [SPARK-47183] [SC-157660][python] Corrigir a classe de erro para sameSemantics
  • [SPARK-47179] [SC-157663][sql] Melhorar a mensagem de erro do SparkThrowableSuite para obter melhor depuração
  • [SPARK-46965] [SC-155791][core] Verificar logType em Utils.getLog
  • [SPARK-46832] [SC-156774][sql] Introdução das expressões Collate e Collation
  • [SPARK-46946] [SC-155721][sql] Suporte à transmissão de várias chaves de filtragem no DynamicPruning
  • [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] Adicionar informações de tipo Variant ao PySpark
  • [SPARK-47101] [SC-157360][sql] Permitir que a vírgula seja usada em nomes de colunas de nível superior e remover a verificação de definição de tipo aninhado em HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][interface do usuário] Corrija um erro de digitação na explicação da interface do usuário do streaming
  • [SPARK-47113] [SC-157348][core] Reverter a lógica de ajuste do ponto de extremidade S3A do SPARK-35878
  • [SPARK-47130] [SC-157462][core] Use listStatus para contornar as informações de localização de bloco ao limpar os logs do driver
  • [SPARK-43259] [SC-157368][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec deve inicializar a projeção não segura
  • [SPARK-47137] [SC-157463][python][CONNECT] Adicione getAll ao spark.conf para paridade de recursos com Scala
  • [SPARK-46924] [SC-154905][core] Corrigir botão Load New na Master/HistoryServer interface do usuário do log
  • [SPARK-47069] [SC-157370][python][CONNECT] Introdução spark.profile.show/dump à criação de perfil baseada em SparkSession
  • [SPARK-46812] [SC-157075][sql][PYTHON] Tornar mapInPandas/mapInArrow compatível com ResourceProfile
  • [SPARK-46833] [SC-155866][sql] Ordenações – Introdução ao CollationFactory, que fornece regras de comparação e hashing para ordenações suportadas
  • [SPARK-47057] [SC-157036][python] Reabilitar o teste de dados do MyPy
  • [SPARK-46934] [SC-157084][sql] Ciclo de leitura/gravação para o tipo de struct com caracteres especiais com o HMS
  • [SPARK-46727] [SC-153472][sql] Portar classifyException() para dialetos JDBC em classes de erro
  • [SPARK-46964] [SC-155740][sql] Altere a assinatura do erro de execução da consulta hllInvalidLgK para usar um inteiro como o 4º argumento
  • [SPARK-46949] [SC-155719][sql] Adicionar suporte para CHAR/VARCHAR por meio de ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][sql] Corrigir substituição assimétrica para char/varchar em V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][python][CONNECT] Implementar métodos dumpPerfProfiles e dumpMemoryProfiles de SparkSession
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] Suporte à criação de perfil v2 em group/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][conectar] Permitir que o Script do Servidor do Spark Connect aguarde
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Suporte à criação de perfil v2 em UDFs de Pandas de agregação
  • [SPARK-47004] [SC-156499][connect] Adicionado mais testes ao ClientStreamingQuerySuite para aumentar a cobertura de teste do cliente Scala
  • [SPARK-46994] [SC-156169][python] Refatorar PythonWrite para se preparar para dar suporte à gravação de streaming de fonte de dados do Python
  • [SPARK-46979] [ss-156587] [SS] Adicionar suporte para especificar o codificador de chave e valor separadamente e também para cada família col no provedor de repositório de estado RocksDB
  • [SPARK-46960] [SC-155940][ss] Testando vários fluxos de entrada com o operador TransformWithState
  • [SPARK-46966] [SC-156112][python] Adicionar a API UDTF para o método 'analyze' para indicar o subconjunto de colunas de tabela de entrada a serem selecionadas
  • [SPARK-46895] [SC-155950][core] Substituir Timer por executor programado de uma única thread
  • [SPARK-46967] [SC-155815][core][UI] Ocultar Thread Dump e Heap Histogram dos executores na interface do usuário DeadExecutors
  • [SPARK-46512] [SC-155826][core] Otimize a leitura aleatória quando ambos classificarem e combinarem forem usados.
  • [SPARK-46958] [SC-155942][sql] Adicionar fuso horário ausente para coagir valores padrão
  • [SPARK-46754] [SC-153830][sql][AVRO] Corrigir resolução de código de compactação na definição da tabela avro e nas opções de gravação
  • [SPARK-46728] [SC-154207][python] Verifique a instalação do Pandas corretamente
  • [SPARK-43403] [SC-154216][ui] Verifique se o SparkUI antigo no HistoryServer foi desanexado antes de carregar um novo
  • [SPARK-39910] [SC-156203][sql] Delegar qualificação de caminho para o sistema de arquivos durante a globbing do caminho do arquivo DataSource
  • [SPARK-47000] [SC-156123] Reverter "[SC-156123][core] Usar getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] Mover categorias de erro e estados para JSON
  • [SPARK-46997] [SC-156175][core] Habilitar spark.worker.cleanup.enabled por padrão
  • [SPARK-46865] [SC-156168][ss] Adicionar suporte em lote para o operador TransformWithState
  • [SPARK-46987] [SC-156040][conectar] ProtoUtils.abbreviate evitar operação desnecessária setField
  • [SPARK-46970] [SC-155816][core] Reescrever OpenHashSet#hasher com pattern matching
  • [SPARK-46984] [SC-156024][python] Remover pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] Usar getTotalMemorySize em WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] Evite usar APIs internas em testes integrais de dataframe.
  • [SPARK-46931] Reverter "[ps-155661][PS] Implementar {Frame, Series}.to_hdf”
  • [SPARK-46618] [SC-153828][sql] Melhorar as mensagens de erro para erro DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][sql] Executar o otimizador nos padrões de coluna CREATE TABLE
  • [SPARK-46911] [SC-155724] [ss] Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Suporte ao codec de compactação lz4raw para Parquet
  • [SPARK-47002] [SC-156223][python] Retornar melhor mensagem de erro se o campo 'analyze' do método 'orderBy' da UDTF retornar acidentalmente uma lista de cadeias de caracteres
  • [SPARK-46890] [SC-155802][sql] Corrigir bug de análise de CSV com valores padrão de existência e poda de coluna
  • [SPARK-46977] [SC-155892][core] Uma solicitação com falha para obter um token de um NameNode não deve ignorar solicitações de token subsequentes
  • [SPARK-46608] [SC-151806][sql] Restaurar compatibilidade com versões anteriores de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] Suporte para cláusula estrela na cláusula WHERE
  • [SPARK-46908] [SC-155702][sql] Suporte para cláusula estrela na cláusula WHERE
  • [SPARK-46852] [SC-155665][ss] Remover o uso do codificador de chave explícito e passá-lo implicitamente para o operador transformWithState
  • [SPARK-46864] [SC-155669] [ss] Integrar StateV2 Arbitrário à Nova Estrutura de Classe de Erro
  • [SPARK-45807] [SC-155706][sql] Retornar Visualização após chamar replaceView(..)
  • [SPARK-46899] [SC-154651][core] Remover POST APIs de MasterWebUI quando spark.ui.killEnabled é false
  • [SPARK-46868] [SC-154539][core] Suporte à interface do usuário do Log de Trabalho do Spark
  • [SPARK-46931] [SC-155661][ps] Implementar {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] Remover não utilizado updateSparkConfigFromProperties e isAbsoluteURI em o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] Use ThreadUtils.shutdown para fechar pools de threads
  • [SPARK-46400] [SC-155658][core][SQL] Quando houver arquivos corrompidos no repositório maven local, ignore este cache e tente novamente
  • [SPARK-46932] [SC-155655] Limpar as importações em pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Escrever um gerador de subconsulta que gera permutações de subconsultas para aumentar a cobertura de teste
  • [SPARK-46914] [SC-154776][ui] Encurtar o nome do aplicativo na tabela de resumo na Página histórico
  • [SPARK-46831] [SC-154699][sql] Colações – Estendendo StringType e PhysicalStringType com o campo collationId
  • [SPARK-46816] [SC-154415] [ss] Adicionar suporte base para novo operador de gerenciamento de estado arbitrário, tipo único valueState, várias variáveis de estado e suporte subjacente para famílias de colunas para RocksDBStateStoreProvider com/sem uso de ponto de verificação para o log de alterações
  • [SPARK-46925] [SC-154890][python][CONNECT] Adicione um aviso que instrui a instalar memory_profiler para criação de perfil de memória
  • [SPARK-46927] [SC-154904][python] Faça assertDataFrameEqual o trabalho corretamente sem PyArrow
  • [SPARK-46021] [SC-148987][core] Suporte para cancelar trabalhos futuros pertencentes a um grupo de trabalho
  • [SPARK-46747] [SC-154789][sql] Evite a varredura em getTableExistsQuery para dialetos JDBC
  • [SPARK-46904] [SC-154704][ui] Corrigir problema de exibição do resumo da interface de histórico
  • [SPARK-46870] [SC-154541][core] Suporte à interface do usuário do Log Principal do Spark
  • [SPARK-46893] [SC-154780][ui] Remover scripts embutidos das descrições da interface do usuário
  • [SPARK-46910] [SC-154760][python] Elimine o requisito do JDK na instalação do PySpark
  • [SPARK-46907] [SC-154736][core] Mostrar o local do log do driver no Servidor de Histórico do Spark
  • [SPARK-46902] [SC-154661][ui] Corrigir a interface do usuário do Servidor de Histórico do Spark para usar a funcionalidade setAppLimit que não foi exportada
  • [SPARK-46687] [SC-154725][python][CONNECT] Suporte básico do criador de perfil de memória baseado em SparkSession
  • [SPARK-46623] [SC-153831][core][MLLIB][sql] Substituir SimpleDateFormat por DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] Quando mode for nulo, um NullPointException deve not ser lançado
  • [SPARK-46872] [SC-154543][core] Recuperar log-view.js para deixar de ser módulo
  • [SPARK-46883] [SC-154629][core] API de suporte /json/clusterutilization
  • [SPARK-46886] [SC-154630][core] Habilitar spark.ui.prometheus.enabled por padrão
  • [SPARK-46873] [SC-154638][ss] Não recrie o novo StreamingQueryManager para a mesma Sessão spark
  • [SPARK-46829] [SC-154419][core] Remover o método createExecutorEnv do SparkEnv
  • [SPARK-46827] [SC-154280][core] Faça RocksDBPersistenceEngine para dar suporte a um link simbólico
  • [SPARK-46903] [SC-154662][core] Suporte à interface do usuário do Log do Servidor de Histórico do Spark
  • [SPARK-46874] [SC-154646] [python] Remover a dependência pyspark.pandas de assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] Validar spark.master.ui.decommission.allow.mode configuração
  • [SPARK-46850] [SC-154443][sql] Converter _LEGACY_ERROR_TEMP_2102 em UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] Correção MasterPage para classificar Running Drivers tabela por Duration coluna corretamente
  • [SPARK-46796] [SC-154279][ss] Verifique se os arquivos remotos corretos (mencionados em metadata.zip) são usados na carga de versão do RocksDB
  • [SPARK-46888] [SC-154636][core] Correção Master para rejeitar /workers/kill/ solicitações se o descomissionamento estiver desabilitado
  • [SPARK-46818] [SC-154422][sql] Aprimorar mensagens de erro para Range com entradas não dobráveis
  • [SPARK-46898] [SC-154649] [connect] Simplificar a transformação da função protobuf no Planner
  • [SPARK-46828] [SC-154413][sql] Remova a declaração inválida do modo remoto para o shell do spark sql
  • [SPARK-46733] [SC-154274][core] Simplificar o BlockManager de modo que a operação de saída dependa apenas de interromper a thread.
  • [SPARK-46777] [SC-154016][ss] Refatoração da estrutura do catalisador StreamingDataSourceV2Relation para estar mais alinhada com a versão em lote
  • [SPARK-46515] [SC-151716] Adicionar a função MONTHNAME
  • [SPARK-46823] [SC-154276] [connect] [PYTHON] LocalDataToArrowConversion deve verificar a nulidade
  • [SPARK-46787] [SC-154404] [connect] A função bloomFilter deve gerar AnalysisException para entrada inválida
  • [SPARK-46779] [SC-154045][sql] InMemoryRelation instâncias do mesmo plano armazenado em cache devem ser semanticamente equivalentes
  • [SPARK-45827] [SC-153973] Não permitir particionamento na coluna Variant
  • [SPARK-46797] [SC-154085][core] Renomear spark.deploy.spreadOut para spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Suporte à criação de perfil JVM do executor
  • [SPARK-46746] [SC-153557][sql][AVRO] Anexar extensão de codec aos arquivos da fonte de dados Avro
  • [SPARK-46698] [SC-153288][core] Substitua Timer pelo executor agendado de thread único para ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Correção para DDL do tipo STRUCT que não detecta nulidade e comentário
  • [SPARK-46750] [SC-153772][connect][PYTHON] Limpeza de código de APIs de DataFrame
  • [SPARK-46769] [SC-153979][sql] Refinar a inferência de esquema relacionada a timestamp
  • [SPARK-46765] [SC-153904][python][CONNECT] Especifique shuffle o tipo de dados de seed
  • [SPARK-46579] [SC-151481][sql] Redigir/ocultar URL JDBC em erros e logs
  • [SPARK-46686] [SC-153875][python][CONNECT] Suporte básico do criador de perfil do Python UDF baseado em SparkSession
  • [SPARK-46748] Reverter "[SC-153800][núcleo] Remover *sla***.sh scri...
  • [SPARK-46707] [SC-153833][sql] Adicionado campo throwable a expressões para melhorar o pushdown do predicado
  • [SPARK-46519] [SC-151278][sql] Limpar classes de erro não utilizados do error-classes.json arquivo
  • [SPARK-46677] [SC-153426][sql][CONNECT] Corrigir dataframe["*"] resolução
  • [SPARK-46317] [SC-150184][python][CONNECT] Correspondência de comportamentos menores em SparkSession com cobertura de teste completa
  • [SPARK-46748] [SC-153800][core] Remover *sla***.sh scripts
  • [SPARK-46663] [SC-153490] [python] Desabilitar o criador de perfil de memória para UDFs do pandas com iteradores
  • [SPARK-46410] [SC-150776][sql] Atribuir classes de erro/subclasses a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [python] Validar URLs de inicialização com a configuração sendo definida
  • [SPARK-46612] [SC-153536][sql] Não converter cadeia de caracteres de tipo de matriz recuperada do jdbc driver
  • [SPARK-46254] [SC-149788][python] Remover verificação de versão obsoleta do Python 3.8/3.7
  • [SPARK-46490] [SC-151335][sql] Exigir classes de erro em SparkThrowable sub-classes
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] Reduzir o uso de heap do driver reduzindo o tempo de vida de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] Corrigir a referência de coluna ambígua na autojunção
  • [SPARK-46381] [SC-150495][sql] Migrar sub-classes de AnalysisException para classes de erro
  • [SPARK-46351] [SC-150335][sql] Exigir uma classe de erro em AnalysisException
  • [SPARK-46220] [SC-149689][sql] Restringir conjuntos de caracteres em decode()
  • [SPARK-46369] [SC-150340][core] Remover kill link de RELAUNCHING drivers em MasterPage
  • [SPARK-46052] [SC-153284][core] Remover função TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] Suporte ao GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] Remover inferTimestampNTZ não utilizado em ParquetReadSupport
  • [SPARK-46717] [SC-153423][core] Simplificar ReloadingX509TrustManager pela operação de saída depende apenas do thread de interrupção.
  • [SPARK-46722] [SC-153438][connect] Adicione um teste sobre a verificação de compatibilidade com versões anteriores para StreamingQueryListener no Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Alinhar a implementação codegen e não codegen de StringDecode
  • [SPARK-46258] [SC-149799][core] Adicionar RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] Aprimorar FileSystemPersistenceEngine para dar suporte a compactações
  • [SPARK-46189] [SC-149567][ps][SQL] Executar comparações e operações aritméticas entre os mesmos tipos em várias funções de agregação do Pandas para evitar erros no modo de interpretação.
  • [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Reduzir a profundidade da pilha substituindo Option.isDefined por Option.isEmpty.
  • [SPARK-46700] [SC-153329][core] Conta o último derramamento para a métrica de bytes de despejo de disco de embaralhamento
  • [SPARK-45642] [SC-150286][core][SQL] Correção FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] Corrigir RemoveRedundantAlias excluindo atributos de subconsulta
  • [SPARK-46681] [SC-153287][core] Refatorar ExecutorFailureTracker#maxNumExecutorFailures para evitar calcular defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES estiver configurado
  • [SPARK-46695] [SC-153289][sql][HIVE] Sempre definindo 'hive.execution.engine' como "mr"
  • [SPARK-46325] [SC-150228][connect] Remover funções de substituição desnecessárias ao construir WrappedCloseableIterator em ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][python] Migre todo o ValueError restante para a estrutura de erros do PySpark.
  • [SPARK-46547] [SC-153174] [ss] Absorver exceção não fatal na tarefa de manutenção para evitar deadlock entre o thread de manutenção e o operador de agregação de streaming
  • [SPARK-46169] [SC-149373][ps] Atribuir números JIRA apropriados para parâmetros ausentes da DataFrame API.
  • [SPARK-45857] [SC-148096][sql] Impor as classes de erro em sub-classes de AnalysisException

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 15.0.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
preto 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 ferramentas de cache 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 normalizador de conjunto de caracteres 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografia 41.0.3 ciclista 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 distlib 0.3.8
pontos de entrada 0.4 executing 0.8.3 Visão geral de facetas 1.1.1
bloqueio de arquivo 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets (biblioteca Python para widgets interativos) 8.0.4 isodate 0.6.1
Jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empacotamento 23.2
Pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Almofada 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 solicitações 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 seis 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels (biblioteca para modelos estatísticos em Python) 0.14.0 tenacidade 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
atualizações não supervisionadas 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 AskPass 1.2.0 afirme isso 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 ciar 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
sinal de interpolação 6.0-94 cellranger 1.1.0 chron 2.3-61
classe 7.3-22 cli 3.6.2 clipr 0.8.0
relógio 0.7.0 cluster 2.1.4 codetools 0.2-19
espaço de cores 2.1-0 commonmark 1.9.1 compilador 4.3.2
configuração 0.3.2 conflituoso 1.2.0 cpp11 0.4.7
crayon 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 hash 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 reticências 0.3.2 avaliar 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
estrangeiro 0.8-85 forge 0.2.0 fs 1.6.3
futuro 1.33.1 future.apply 1.11.1 gargle 1.5.2
genéricos 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 associar 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.2 grDevices 4.3.2 grade 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 refúgio 2.5.4
highr 0,10 hms 1.1.3 ferramentas HTML 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 rotulagem 0.4.3
posterior 1.3.2 treliça 0.21-8 lava vulcânica 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 coluna 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progresso 1.2.3
progressr 0.14.0 Promessas 1.2.1 proto 1.0.0
proxy 0.4-27 P.S. 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 capaz de reagir 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
Receitas 1.0.9 jogo de revanche 2.0.0 revanche2 2.1.2
remotos 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
escalas 1.3.0 selectr 0.4-2 informações de sessão 1.2.2
forma 1.4.6 brilhante 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 estatísticas 4.3.2
estatísticas4 4.3.2 stringi 1.8.3 stringr 1.5.1
sobrevivência 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
formatação de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 mudança de horário 0.3.0
data e hora 4032.109 tinytex 0,49 ferramentas 4.3.2
tzdb 0.4.0 verificador de URL 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 identificador único universal (UUID) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws SDK Java para o ECS da AWS 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.datatype jackson-module-paranamer 2.15.2
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone anotações_propensas_a_erros 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas-verificações de saúde 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty Netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curador de receitas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive API de armazenamento do Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zelador de zoológico 3.6.3
org.apache.zookeeper guarda de zoológico-juta 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty servidor jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty Webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API de WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on