Compartilhar via

Databricks Runtime 8.4 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para ver todas as versões compatíveis do Databricks Runtime, consulte Versões de notas de versão do Databricks Runtime e compatibilidade.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 8.4 e o Databricks Runtime 8.4 Photon, da plataforma Apache Spark 3.1.2. O Databricks lançou esta versão em julho de 2021. O Photon está em Visualização Pública.

Novos recursos e aprimoramentos

Recursos e melhorias do Delta Lake

GA (feed de dados de alteração de tabela delta)

O feed de dados de alteração da tabela Delta agora está em disponibilidade geral. Ele representa as alterações no nível da linha entre diferentes versões da tabela. Quando habilitada, informações adicionais são registradas sobre alterações no nível da linha para cada operação de gravação na tabela. Confira Usar o feed de dados de alterações do Delta Lake no Azure Databricks.

Carregar tabelas Delta compartilhadas facilmente com o Databricks Runtime

O Apache Spark Conector para Compartilhamento Delta 0.1.0 agora está no Databricks Runtime. Você pode carregar uma tabela compartilhada usando diretamente spark.read.format("deltaSharing").load(uri) sem anexar o conector do Compartilhamento Delta do Spark ao cluster.

Mais tabelas se beneficiam da remoção dinâmica de arquivos

O recurso de remoção de arquivo dinâmico foi ajustado para disparar em tabelas com menos arquivos. Confira Remoção de arquivo dinâmico.

Melhor desempenho com ajuste automático de tamanho de arquivo de destino

O tamanho do arquivo de destino para tabelas Delta agora é ajustado automaticamente com base no tamanho da tabela. Anteriormente, o tamanho do arquivo de destino para OPTIMIZE e OPTIMIZE ZORDER BY era de 1 GB. Com o ajuste automático com base no tamanho da tabela, as tabelas Delta de até 2,56 TB usarão 256 MB como o tamanho de destino. Tabelas com mais de 10 TB usarão 1 GB como antes. As tabelas entre esses tamanhos usarão tamanhos de destino que crescem proporcionalmente com o tamanho da tabela. Confira Configurar o Delta Lake para controlar o tamanho do arquivo de dados.

Mais maneiras de especificar tabelas no DeltaTable.forName

DeltaTable.forName agora dá suporte ao uso de delta.`<path>` para identificar tabelas.

Gravações robustas de várias tabelas de fluxo usando foreachBatch

Agora há suporte para gravações de fluxo Delta idempotentes foreachBatch() dentro do comando. Para obter detalhes, confira Gravações de várias tabelas idempotentes.

Desempenho de consulta de leitura aprimorado em determinadas cargas de trabalho devido a pontos de verificação ajustados

O Delta Lake agora ajusta a frequência com que ele faz pontos de verificação aprimorados. Em vez de pontos de verificação em um intervalo fixo, o Delta agora ajusta dinamicamente a frequência do ponto de verificação com base em determinados gatilhos de evento. Isso melhora o desempenho da consulta de leitura em cargas de trabalho em que alguma otimização de pular dados não podia ser aplicada antes. Para usar essas otimizações, atualize seus trabalhos que escrevem no Delta Lake para Databricks Runtime 8.4.

Criar GroupState para testar as funções de fluxo estruturado definidas pelo usuário

Até agora, somente o mecanismo de Fluxo Estruturado podia criar instâncias do GroupState. Portanto, todos os testes de unidade da função definida pelo usuário exigiam a execução de uma consulta de streaming no Apache Spark.

Agora você pode criar instâncias do GroupState usando TestGroupState.create(…). Isso permite que você teste uma função definida pelo usuário em testes de unidade simples que não exigem a execução do Spark. Consulte Testar a mapGroupsWithState função de atualização. Especificamente, ele produz instâncias do tipo TestGroupState que estendem a interface GroupState com métodos adicionais para introspecção do estado interno depois que a função definida pelo usuário foi aplicada.

Aprimoramentos e recursos do Carregador Automático

Configurar o provisionamento para capturar arquivos perdidos

O Carregador Automático agora dá suporte à execução de provisionamentos de forma assíncrona para capturar todos os arquivos que poderiam ter sido perdidos com notificações de arquivo. Sistemas de armazenamento de arquivos e sistemas de notificação não podem garantir a entrega de 100% de todos os eventos de arquivo. Portanto, o Databricks recomenda a habilitação de provisionamentos periódicos para capturar todos os seus dados com o Carregador Automático. Use a opção cloudFiles.backfillInterval para agendar os provisionamentos regulares sobre seus dados. Confira Opções comuns do Carregador Automático.

Volume de armazenamento limitado para fluxos de volume grandes

Agora você pode configurar o Carregador Automático para expirar e remover entradas no RocksDB para que ele limite seu espaço de armazenamento no local do ponto de verificação. O Databricks não recomenda que você o use, a menos que você esteja ingerindo dados na ordem de milhões de arquivos por hora. Definir essa opção incorretamente ou tentar afiná-la pode levar a muitos problemas de qualidade de dados, como arquivos não processados sendo ignorados ou a duplicação de alguns arquivos em vez de serem processados exatamente uma vez. Para obter detalhes, consulte o acompanhamento de eventos de arquivo.

Configuração simplificada com suporte sem caminho

Buckets S3

Agora você pode fornecer a fila do SQS que recebe eventos de vários caminhos ou buckets S3. Se você fornecer a URL da fila do SQS, a opção path não será necessária para esse caso de uso. O Carregador Automático constrói caminhos S3 usando o bucket e a chave dos eventos S3. Se você quiser ler os arquivos por meio de pontos de montagem do DBFS, poderá usar cloudFiles.pathRewrites para alterar prefixos de caminho para DBFS. Isso não é necessário, a menos que você esteja acessando dados em contas diferentes com AssumeRole.

Confira Opções de notificação de arquivo.

Contêineres do Azure Data Lake Storage

Agora você pode fornecer a fila do Azure que recebe eventos de vários contêineres. Se você fornecer o nome da fila do Azure, a opção path não será necessária. Por padrão, o Carregador Automático constrói caminhos do Azure Data Lake Storage usando o contêiner e a chave nos eventos de arquivo. Se você quiser usar caminhos WASB ou pontos de montagem DBFS, poderá usar cloudFiles.pathRewrites para alterar prefixos de caminho.

Confira Opções de notificação de arquivo.

Atualizações do conector

  • O conector do Snowflake Spark foi atualizado para v2.9.0.
  • A criptografia do KMS agora tem suporte na instrução UNLOAD do conector do Redshift.

Correções de bug

  • Corrigido um problema para clusters habilitados com o controle de acesso à tabela, em que o select * from folder pode mostrar o conteúdo da pasta mesmo que o usuário não tenha permissão de acesso a arquivos.
  • Os proprietários de banco de dados que não são administradores agora podem soltar tabelas não pertencentes a bancos de dados. Isso corrige o problema em que os proprietários do banco de dados não podiam soltar um banco de dados se as tabelas sem propriedade existissem no banco de dados.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • certificado atualizado de 2020.12.5 para 2021.5.30.
    • distill atualizado de 0.3.1 para 0.3.2
    • koalas atualizado de 1.8.0 para 1.8.1
    • protobuf atualizado de 3.17.0 para 3.17.3
  • Bibliotecas do R atualizadas:
    • base de 4.0.4 para 4.1.0
    • inicialização de 1.3-27 para 1.3-28
    • classe de 7.3-18 para 7.3-19
    • cluster de 2.1.1 para 2.1.2
    • compilador de 4.0.4 para 4.1.0
    • conjuntos de dados de 4.0.4 para 4.1.0
    • gráficos de 4.0.4 para 4.1.0
    • grDevices de 4.0.4 para 4.1.0
    • grade de 4.0.4 para 4.1.0
    • KernSmooth de 2.23-18 para 2.23-20
    • lattice de 0.20-41 para 0.20-44
    • MASS de 7.3-53.1 para 7.3-54
    • Matriz de 1.3-2 para 1.3-3
    • métodos de 4.0.4 para 4.1.0
    • mgcv de 1.8-33 para 1.8-35
    • nnet de 7.3-15 para 7.3-16
    • paralelo de 4.0.4 para 4.1.0
    • Rserve de 1.8-7 para 1.8-8
    • SparkR de 3.1.1 para 3.1.2
    • splines de 4.0.4 para 4.1.0
    • estatísticas de 4.0.4 para 4.1.0
    • stats4 de 4.0.4 para 4.1.0
    • survival de 3.2-7 para 3.2-11
    • tcltk de 4.0.4 para 4.1.0
    • tools de 4.0.4 para 4.1.0
    • utils de 4.0.4 para 4.1.0
  • Bibliotecas do Java atualizadas:
    • snowflake-jdbc de 3.12.8 para 3.13.3
    • spark-snowflake_2.12 de 2.8.1-spark_3.0 para 2.9.0-spark_3.1
    • RoaringBitmap de 0.9.0 para 0.9.14
    • shims de 0.9.0 para 0.9.14
    • rocksdbjni de 6.2.2 para 6.20.3

Apache Spark

O Databricks Runtime 8.4 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.3 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-35792] [SQL] A exibição não deve capturar configurações usadas no RelationConversions
  • [SPARK-35700][SQL] Lê a tabela char/varchar orc quando criada e gravada por sistemas externos.
  • [SPARK-35636] [SQL] As chaves lambda não devem ser referenciadas fora da função lambda
  • [SPARK-35800] [Cherry Pick] Melhorando a capacidade de teste de GroupState introduzindo TestGroupState
  • [SPARK-35391] Corrigir perda de memória em ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Correção da métrica allUpdatesTimeMs em FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Remover a dependência de enumeração de subclasse StateStoreCustomMetric
  • [SPARK-35791 [SQL] Lançamento de mapa em andamento corretamente para a junção ANTI com valor NULO
  • [SPARK-35695] [SQL] Coletar métricas observadas de sub-árvores de execução adaptáveis e armazenadas em cache
  • [SPARK-35767] [SQL] Evitar a execução do plano filho duas vezes no CoalesceExec
  • [SPARK-35746] [UI] Corrigir taskid na linha do tempo do evento da tarefa da página de fase
  • [SPARK-35673] [SQL] Correção da dica definida pelo usuário e dica não reconhecida na subconsulta.
  • [SPARK-35714] [CORE] Correção de bug para deadlock durante o desligamento do executor
  • [SPARK-35689] [SS] Adicionar aviso de log quando keyWithIndexToValue retornar valor nulo
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint não deve ignorar o arquivo de ordem aleatória somente de índice durante a atualização
  • [SPARK-35643] [PYTHON] Corrigir referência ambígua em functions.py column()
  • [SPARK-35652] [SQL] joinWith em duas tabelas geradas da mesma
  • [SPARK-35679] [SQL] Estouro de instantToMicros
  • [SPARK-35602] [SS] Atualizar esquema de estado para poder aceitar JSON de comprimento longo
  • [SPARK-35653] [SQL] Correção de falha no caminho interpretado de CatalystToExternalMap para Map com classes case como chaves ou valores
  • [SPARK-35296] [SQL] Permitir que Dataset.observe funcione mesmo se CollectMetricsExec em uma tarefa manipular várias partições.
  • [SPARK-35659] [SS] Evitar gravar nulo em StateStore
  • [SPARK-35665] [SQL] Resolver UnresolvedAlias em CollectMetrics
  • [SPARK-35558] Otimiza a recuperação de vários quantis
  • [SPARK-35621] [SQL] Adicionar remoção de ID de regra à regra TypeCoercion
  • [SPARK-35077] [SQL] Migrar para transformWithPruning para regras de otimizador restantes
  • [SPARK-35610] [CORE] Corrigir o vazamento de memória introduzido pelo gancho de desligamento do Executor
  • [SPARK-35544] [SQL] Adicionar remoção de padrão de árvore às regras do Analisador
  • [SPARK-35566] [SS] Corrigir linhas de saída StateStoreRestoreExec
  • [SPARK-35454] [SQL][3.1] Um LogicalPlan pode corresponder a várias IDs de conjuntos de dados
  • [SPARK-35538] [SQL] Migrar sites de chamada transformAllExpressions para usar transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][sql] Evite a falha na renomeação causada pelo diretório de destino que não existe
  • [SPARK-35287] [SQL] Permitir que RemoveRedundantProjects preserve ProjectExec, que gera UnsafeRow para DataSourceV2ScanRelation
  • [SPARK-35495] [R] Alterar o mantenedor do SparkR para CRAN
  • [SPARK-27991] [CORE] Adiar a solicitação de busca no Netty OOM
  • [SPARK-35171] [R] Declarar o pacote markdown como uma dependência do pacote SparkR
  • [SPARK-35454] [SQL] Um LogicalPlan pode corresponder a várias IDs de conjuntos de dados
  • [SPARK-35298] [SQL] Migrar para transformWithPruning para regras no Optimizer.scala
  • [SPARK-35480] [SQL] Fazer trabalho percentile_approx com dinâmico
  • [SPARK-35093] [SQL] O AQE agora usa o novo plano newQueryStage como chave para procurar trocas armazenadas em cache para reusar
  • [SPARK-35146] [SQL] Migrar para transformWithPruning ou resolveWithPruning para regras em finishAnalysis.scala
  • [SPARK-35411] [SQL] Adicionar informações essenciais ao serializar TreeNode para json
  • [SPARK-35294] [SQL] Adicionar remoção de travessia de árvore em regras com arquivos dedicados no otimizador
  • [SPARK-34897] [SQL][3.1] Suporte para reconciliar esquemas com base no índice após remoção de coluna aninhada
  • [SPARK-35144] [SQL] Migrar para transformWithPruning para regras de objeto
  • [SPARK-35155] [SQL] Adicionar remoção de ID de regra às regras do Analisador
  • [SPARK-35382] [PYTHON] Corrige problemas de nome de variável lambda em funções aninhadas do DataFrame em APIs do Python.
  • [SPARK-35359] [SQL] Inserir dados com o tipo de dados char/varchar falhará quando o comprimento dos dados exceder a limitação de tamanho
  • [SPARK-35381] [R] Corrigir problemas de nome de variável lambda em funções de ordem superior aninhadas em APIs R

Ambiente do sistema

  • Sistema operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
appdirs 1.4.4 asn1crypto 1.4.0 chamada de retorno 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certificação 2021.5.30 cffi 1.14.3 chardet 3.0.4
criptografia 3.1.1 ciclista 0.10.0 Cython 0.29.21
decorador 4.4.2 distlib 0.3.2 docutils 0.15.2
pontos de entrada 0,3 Visão geral de facetas 1.0.0 bloqueio de arquivo 3.0.12
IDNA 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 Cliente Jupyter 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Coalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
caroço 20.2.4 enredo 4.14.3 kit de ferramentas de prompt 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
Pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 Pytz 2020.5 pyzmq 19.0.2
solicitações 2.24.0 tentando novamente 1.3.3 s3transfer 0.3.6
scikit-aprender 0.23.2 Scipy 1.5.2 seaborn (biblioteca de visualização em Python) 0.10.0
Ferramentas de configuração 50.3.1 seis 1.15.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 02-11-2020.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1,1 afirme isso 0.2.1 retrocompatibilidades (backports) 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
ciar 1.3-28 Fabricação de cerveja 1.0-6 Brio 1.1.0
vassoura 0.7.2 chamador 3.5.1 sinal de interpolação 6.0-86
Cellranger 1.1.0 crono 2.3-56 classe 7.3-19
Interface de Linha de Comando (CLI) 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 espaço de cores 2.0-0 commonmark 1,7
compilador 4.1.0 configuração 0,3 cobertor 3.5.1
cpp11 0.2.4 giz de cera 1.3.4 credenciais 1.3.0
diafonia 1.1.0.1 encurvar 4.3 Tabela de Dados 1.13.4
conjuntos de dados 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Descrição 1.2.0 devtools 2.3.2 diffobj 0.3.2
hash 0.6.27 dplyr 1.0.2 DT 0.16
reticências 0.3.1 avaliar 0,14 fansi 0.4.1
cores 2.0.3 fastmap 1.0.1 para gatos 0.5.0
para cada 1.5.1 estrangeiro 0.8-81 forja 0.2.0
Fs 1.5.0 futuro 1.21.0 genéricos 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globais 0.14.0
cola 1.4.2 Gower 0.2.2 elemento gráfico 4.1.0
grDevices 4.1.0 grade 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 refúgio 2.3.1
mais alto 0,8 Hms 0.5.3 ferramentas HTML 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteradores 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 malhador 1.30
rotulagem 0.4.2 posterior 1.1.0.1 treliça 0.20-44
lava vulcânica 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
ouça 0.8.0 lubrificado 1.7.9.2 magrittr 2.0.1
redução de preço 1,1 MISSA 7.3-54 Matriz 1.3-3
memorizar 1.1.0 Métodos 4.1.0 mgcv 1.8-35
mímica 0,9 ModelMetrics 1.2.2.2 modelador 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 paralelo 4.1.0
paralelamente 1.22.0 coluna 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 elogio 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 Prodlim 2019.11.13
progresso 1.2.2 Promessas 1.1.1 proto 1.0.0
P.S. 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
Readr 1.4.0 readxl 1.3.1 Receitas 0.1.15
jogo de revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.2.0
exemplo reprodutível (reprex) 0.3.0 remodelar2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 escamas 1.1.1
Seletor 0.4-2 informações de sessão 1.1.1 forma 1.4.5
brilhante 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 espacial 7.3-11 Splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 estatísticas 4.1.0
estatísticas4 4.1.0 stringi 1.5.3 stringr 1.4.0
sobrevivência 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
data e hora 3043.102 tinytex 0,28 Ferramentas 4.1.0
usethis 2.0.0 utf8 1.1.4 utilitários 4.1.0
identificador único universal (UUID) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vibrissa 0,4 murchar 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 YAML 2.2.1 zíper 2.1.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws SDK Java para o ECS da AWS 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (biblioteca para interação com o serviço Amazon Glacier usando Java) 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.11.655
com.amazonaws aws-java-sdk-swf-libraryes 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.datatype jackson-module-paranamer 2.10.0
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib sistema_nativo-java 1,1
com.github.fommil.netlib sistema_nativo-java-nativos 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas-verificações de saúde 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (métricas em JSON) 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty Netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction API de transação 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolito 4,30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8-1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-core 2.0.0
org.apache.arrow Arrow-Memory-Netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons Texto Comum 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator estrutura do curador 2.7.1
org.apache.curator curador de receitas 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop cliente Hadoop 2.7.4
org.apache.hadoop hadoop-common (componente comum do Hadoop) 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app (aplicativo cliente do hadoop-mapreduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive API de armazenamento do Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.7
org.apache.htrace htrace-core 3.1.0-em incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-calços 1.5.12
org.apache.parquet coluna parquet 1.10.1-databricks9
org.apache.parquet parquet-comum 1.10.1-databricks9
org.apache.parquet codificação-parquet 1.10.1-databricks9
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4,15
org.apache.yetus comentários da audiência 0.5.0
org.apache.zookeeper zelador de zoológico 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty Continuação do Jetty (jetty-continuation) 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty segurança do jetty 9.4.36.v20210114
org.eclipse.jetty servidor jetty 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty Jetty Webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-comum 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc cliente Java do MariaDB 2.2.5
org.objenesis objenésia 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.LANÇAMENTO
org.springframework teste de primavera 4.1.4.LANÇAMENTO
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel maquinista_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52
  • Last updated on