Partilhar via


Tempo de execução do Databricks 8.4 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.4 e o Databricks Runtime 8.4 Photon, com tecnologia Apache Spark 3.1.2. A Databricks lançou esta versão em julho de 2021. Photon está em Pré-visualização Pública.

Novos recursos e melhorias

Recursos e melhorias do Delta Lake

Feed de dados de alteração de tabela delta (GA)

O feed de dados de alteração da tabela Delta agora está disponível para o público em geral. Ele representa as alterações de nível de linha entre diferentes versões da tabela. Quando ativado, registam-se informações adicionais sobre alterações ao nível da linha para cada operação de escrita na tabela. Consulte o feed de alterações de dados do Delta Lake no Azure Databricks.

Carregue tabelas Delta compartilhadas facilmente com o Databricks Runtime

O Apache Spark Connector para Delta Sharing 0.1.0 está agora em Databricks Runtime. Você pode carregar uma tabela compartilhada usando spark.read.format("deltaSharing").load(uri) diretamente sem anexar o conector Delta Sharing Spark ao cluster.

Mais tabelas se beneficiam da remoção dinâmica de arquivos

O recurso de remoção dinâmica de arquivos foi ajustado para ser acionado em tabelas com menos arquivos. Consulte Remoção dinâmica de ficheiros.

Melhor desempenho com ajuste automático do tamanho do arquivo de destino

O tamanho do arquivo de destino para tabelas Delta agora é ajustado automaticamente com base no tamanho da tabela. Anteriormente, o tamanho do arquivo de destino para OPTIMIZE e OPTIMIZE ZORDER BY era de 1GB. Com o ajuste automático baseado no tamanho da tabela, as tabelas Delta de até 2,56 TB usarão 256 MB como tamanho de destino. Tabelas maiores que 10TB usarão 1GB como antes. As tabelas entre esses tamanhos usarão tamanhos de destino que crescem proporcionalmente com o tamanho da tabela. Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.

Mais maneiras de especificar tabelas em DeltaTable.forName

DeltaTable.forName agora suporta o uso delta.`<path>` para identificar tabelas.

Transmissões robustas de escritas em múltiplas tabelas usando foreachBatch

As gravações de streaming Delta idempotentes dentro do foreachBatch() comando agora são suportadas. Para obter detalhes, consulte Idempotent multi-table writes.

Melhor desempenho da consulta de leitura em determinadas cargas de trabalho devido a pontos de verificação ajustados

O Delta Lake agora ajusta a frequência com que faz pontos de verificação aprimorados. Em vez de marcar pontos de verificação em um intervalo fixo, a Delta agora ajusta dinamicamente a frequência do ponto de verificação com base em determinados gatilhos de eventos. Isso melhora o desempenho da consulta de leitura em cargas de trabalho nas quais algumas otimizações de pulo de dados não podiam ser aplicadas antes. Para usar essas otimizações, atualize seus trabalhos que gravam no Delta Lake para o Databricks Runtime 8.4.

Criar GroupState para testar funções de Streaming Estruturado definidas pelo usuário

Até agora, apenas o mecanismo de Streaming Estruturado podia criar instâncias do GroupState. Assim, qualquer teste de unidade da função definida pelo usuário exigia a execução de uma consulta de streaming no Apache Spark.

Agora pode criar instâncias de GroupState usando TestGroupState.create(…). Isso permite que você teste uma função definida pelo usuário em testes de unidade simples que não exigem a execução do Spark. Veja Teste a função de atualização mapGroupsWithState. Especificamente, ele produz instâncias do tipo TestGroupState que estende a interface GroupState com métodos adicionais para introspeção do estado interno após a função definida pelo usuário ter sido aplicada.

Recursos e melhorias do Auto Loader

Configurar o preenchimento para capturar arquivos perdidos

O Auto Loader agora suporta a execução de backfills de forma assíncrona para capturar quaisquer arquivos que possam ter sido perdidos com notificações de arquivos. Os sistemas de armazenamento de arquivos e os sistemas de notificação não podem garantir 100% da entrega de todos os eventos de arquivos. Portanto, o Databricks recomenda ativar preenchimentos periódicos a fim de capturar todos os seus dados com o Auto Loader. Utilize a opção cloudFiles.backfillInterval para agendar preenchimentos regulares nos seus dados. Consulte Opções comuns do carregador automático.

Espaço de armazenamento limitado para fluxos de grandes volumes

Agora podes configurar o Auto Loader para expirar e remover entradas no RocksDB, limitando o seu impacto de armazenamento no local do ponto de verificação. O Databricks não recomenda que você use a menos que você esteja ingerindo dados na ordem de milhões de arquivos por hora. Definir esta opção incorretamente ou tentar ajustá-la pode levar a muitos problemas de qualidade de dados, como arquivos não processados sendo ignorados ou duplicação de alguns arquivos em vez de processamento uma vez apenas. Para obter detalhes, consulte Rastreamento de eventos de arquivo.

Configuração simplificada com suporte sem necessidade de caminho

Baldes S3

Agora você pode fornecer a fila SQS que recebe eventos de vários caminhos ou buckets do S3. Se você fornecer a URL da fila SQS, a path opção não será necessária para este caso de uso. O Auto Loader constrói caminhos do S3 usando o bucket e a chave dos eventos do S3. Se você quiser ler os arquivos através de pontos de montagem DBFS, você pode usar cloudFiles.pathRewrites para alterar prefixos de caminho para DBFS. Isso não é necessário, a menos que esteja a aceder a dados em contas diferentes com AssumeRole.

Consulte Opções de notificação de ficheiro.

Contêineres de Armazenamento de Data Lake do Azure

Agora você pode fornecer a fila do Azure que recebe eventos de vários contêineres. Se você fornecer o nome da fila do Azure, a path opção não será necessária. Por padrão, o Auto Loader constrói caminhos de Armazenamento do Azure Data Lake usando o contêiner e a chave nos eventos de arquivo. Se você quiser usar caminhos WASB ou pontos de montagem DBFS, você pode usar cloudFiles.pathRewrites para alterar prefixos de caminho.

Consulte Opções de notificação de ficheiro.

Atualizações do conector

  • O conector Snowflake Spark foi atualizado para v2.9.0.
  • A criptografia KMS é agora suportada na instrução UNLOAD do conector Redshift.

Correções de erros

  • Corrigido um problema para clusters habilitados com controle de acesso à tabela onde select * from folder pode mostrar o conteúdo da pasta mesmo se o usuário não tiver permissão de acesso a arquivos.
  • Os proprietários de bancos de dados não administradores agora podem descartar tabelas não pertencentes em bancos de dados. Isso corrige o problema em que os proprietários do banco de dados não podiam descartar um banco de dados se tabelas não pertencentes existissem no banco de dados.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • certifi foi atualizado de 2020.12.5 para 2021.5.30
    • destilado atualizado de 0.3.1 para 0.3.2
    • O software Koalas foi atualizado da versão 1.8.0 para a 1.8.1.
    • protobuf atualizado de 3.17.0 para 3.17.3
  • Bibliotecas R atualizadas:
    • atualizar base de 4.0.4 a 4.1.0
    • inicialização de 1.3-27 para 1.3-28
    • classe de 7.3-18 a 7.3-19
    • cluster de 2.1.1 a 2.1.2
    • compilador de 4.0.4 a 4.1.0
    • conjuntos de dados de 4.0.4 a 4.1.0
    • gráficos de 4.0.4 a 4.1.0
    • grDevices de 4.0.4 a 4.1.0
    • grelha de 4.0.4 a 4.1.0
    • KernSmooth de 2.23-18 a 2.23-20
    • rede de 0,20-41 a 0,20-44
    • MASSA de 7,3-53,1 a 7,3-54
    • Matriz de 1,3-2 a 1,3-3
    • Métodos de 4.0.4 a 4.1.0
    • mgcv de 1.8-33 a 1.8-35
    • nnet de 7,3-15 a 7,3-16
    • paralelo de 4.0.4 a 4.1.0
    • Reserve de 1.8-7 a 1.8-8
    • SparkR de 3.1.1 a 3.1.2
    • splines de 4.0.4 a 4.1.0
    • Estatísticas de 4.0.4 a 4.1.0
    • stats4 de 4.0.4 a 4.1.0
    • sobrevida de 3,2-7 a 3,2-11
    • tcltk de 4.0.4 a 4.1.0
    • Ferramentas de 4.0.4 a 4.1.0
    • utils de 4.0.4 a 4.1.0
  • Bibliotecas Java atualizadas:
    • snowflake-jdbc de 3.12.8 a 3.13.3
    • spark-snowflake_2.12 de 2.8.1-spark_3.0 a 2.9.0-spark_3.1
    • RoaringBitmap de 0.9.0 a 0.9.14
    • calços de 0.9.0 a 0.9.14
    • rocksdbjni atualizado de 6.2.2 para 6.20.3

Faísca Apache

O Databricks Runtime 8.4 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.3 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-35792] [SQL] View não deve capturar as configurações usadas em RelationConversions
  • [FAÍSCA-35700] [SQL] Leia a tabela ORC de char ou varchar criada e escrita por sistemas externos
  • [SPARK-35636] [SQL] As teclas do Lambda não devem ser referenciadas fora da função lambda
  • [SPARK-35800] [Seleção criteriosa] Melhorando a capacidade de teste do GroupState introduzindo o TestGroupState
  • [SPARK-35391] Corrigir fuga de memória em ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Corrigir a medição da métrica allUpdatesTimeMs em FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Remover dependência de enumeração da subclasse StateStoreCustomMetric
  • [SPARK-35791 [SQL] Liberte corretamente o mapa em processamento para a junção ANTI sensível a NULL
  • [FAÍSCA-35695] [SQL] Coletar métricas observadas de subárvores de execução adaptáveis e em cache
  • [SPARK-35767] [SQL] Evitar executar o plano filho duas vezes no CoalesceExec
  • [SPARK-35746] [UI] Corrigir o ID da tarefa na linha do tempo do evento da tarefa na página da fase
  • [SPARK-35673] [SQL] Corrigir a dica definida pelo utilizador e a dica não reconhecida na subconsulta.
  • [SPARK-35714] [CORE] Correção de erro para bloqueio durante o encerramento do executor
  • [FAÍSCA-35689] [SS] Adicionar aviso de log quando keyWithIndexToValue retorna valor nulo
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint não deve ignorar o arquivo de apenas índice para shuffle durante a atualização
  • [SPARK-35643] [PYTHON] Corrigir referência ambígua na função column() em functions.py
  • [SPARK-35652] [SQL] joinWith em duas tabelas geradas a partir da mesma table
  • [SPARK-35679] [SQL] overflow em instantToMicros
  • [SPARK-35602] [SS] Atualizar esquema de estado para poder aceitar JSON de comprimento longo
  • [FAÍSCA-35653] [SQL] Corrigir falha no caminho interpretado CatalystToExternalMap para Map com case classes como chaves ou valores
  • [SPARK-35296] [SQL] Permitir que Dataset.observe funcione mesmo se CollectMetricsExec numa tarefa gerir múltiplas partições.
  • [SPARK-35659] [SS] Evite gravar null em StateStore
  • [SPARK-35665] [SQL] Resolver UnresolvedAlias em CollectMetrics
  • [SPARK-35558] Otimiza para recuperação multiquantil
  • [SPARK-35621] [SQL] Adicionar podagem de id de regra à TypeCoercion regra
  • [SPARK-35077] [SQL] Migrar para transformWithPruning para regras do otimizador pendentes
  • [SPARK-35610] [CORE] Corrija o vazamento de memória introduzido pelo gancho de desligamento de parada do Executor
  • [SPARK-35544] [SQL] Adicionar poda de padrão de árvore às regras do Analyzer
  • [SPARK-35566] [SS] Corrigir as linhas de saída do StateStoreRestoreExec
  • [FAÍSCA-35454] [SQL][3.1] Um LogicalPlan pode corresponder a vários IDs de conjuntos de dados
  • [FAÍSCA-35538] [SQL] Migrar pontos de chamada transformAllExpressions para usar transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][sql] Evite falha na renomeação causada pelo diretório de destino não existir
  • [SPARK-35287] [SQL] Permitir que RemoveRedundantProjects preserve o ProjectExec que gera UnsafeRow para DataSourceV2ScanRelation
  • [SPARK-35495] [R] Alterar o manutentor do SparkR para o CRAN
  • [SPARK-27991] [CORE] Adiar o pedido de obtenção no Netty OOM
  • [SPARK-35171] [R] Declarar o pacote markdown como uma dependência do pacote SparkR
  • [SPARK-35454] [SQL] Um LogicalPlan pode corresponder a vários identificadores de conjuntos de dados
  • [SPARK-35298] [SQL] Migrar para o transformWithPruning aplicando-o às regras no Optimizer.scala
  • [SPARK-35480] [SQL] Permitir que percentile_approx funcione com pivot
  • [SPARK-35093] [SQL] A AQE agora usa o plano newQueryStage como chave para procurar exchanges armazenadas em cache para reutilização
  • [SPARK-35146] [SQL] Migrar para transformWithPruning ou resolveWithPruning para regras em finishAnalysis.scala
  • [SPARK-35411] [SQL] Adicionar informação essencial ao serializar TreeNode para JSON
  • [SPARK-35294] [SQL] Adicionar a limitação da travessia de árvore nas regras com ficheiros dedicados no otimizador
  • [FAÍSCA-34897] [SQL][3.1] Suporte à reconciliação de esquemas com base em índice após a poda de coluna aninhada
  • [SPARK-35144] [SQL] Migrar para transformWithPruning para regras de objeto
  • [SPARK-35155] [SQL] Adicionar poda de id de regra para regras do Analyzer
  • [SPARK-35382] [PYTHON] Corrigir problemas de nome de variável lambda em funções DataFrame aninhadas em APIs Python.
  • [FAÍSCA-35359] [SQL] Inserir dados com o tipo de dado char/varchar falhará quando o comprimento dos dados exceder o limite de comprimento
  • [SPARK-35381] [R] Corrigir problemas de nome de variável lambda em funções de ordem superior aninhadas em APIs [R]

Ambiente do sistema

  • Sistema Operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Escala: 2.12.10
  • Píton: 3.8.8
  • R: 4.1.0 (18/05/2021)
  • Lago Delta 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Diretórios de aplicativos 1.4.4 asn1crypto 1.4.0 retorno de chamada 0.2.0
Boto3 1.16.7 Botocore 1.19.7 Brotlipia 0.7.0
certifi 2021.5.30 CFFI 1.14.3 Chardet 3.0.4
criptografia 3.1.1 ciclador 0.10.0 Cython 0.29.21
decorador 4.4.2 Distlib 0.3.2 Docutils 0.15.2
pontos de entrada 0,3 facetas-visão geral 1.0.0 bloqueio de ficheiro 3.0.12
IDNA 2.10 Ipykernel 5.3.4 IPython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 JmesPath 0.10.0
Joblib 0.17.0 Jupyter Client 6.1.7 Jupyter Core 4.6.3
Kiwisolver 1.3.0 coalas 1.8.1 Matplotlib 3.2.2
dormência 1.19.2 pandas 1.1.5 Parso 0.7.0
vítima 0.5.1 Espere 4.8.0 pickleshare 0.7.5
pip (o gestor de pacotes do Python) 20.2.4 enredo 4.14.3 kit de ferramentas de prompt 3.0.8
Protobuf 3.17.3 PSYCOPG2 2.8.5 ptyprocess 0.6.0
Pyarrow 1.0.1 Pycparser 2,20 Pigmentos 2.7.2
pyOpenSSL 19.1.0 Pyparsing 2.4.7 Meias PySocks 1.7.1
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.1 Pytz 2020.5 Pyzmq 19.0.2
pedidos 2.24.0 A tentar... 1.3.3 s3transferência 0.3.6
scikit-learn (biblioteca de aprendizado de máquina em Python) 0.23.2 SciPy 1.5.2 nascido no mar 0.10.0
Ferramentas de configuração 50.3.1 seis 1.15.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.12.0
ThreadPoolCtl 2.1.0 tornado 6.0.4 traços 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 largura de wc 0.2.5
wheel 0.35.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 retrocessos 1.2.1
base 4.1.0 base64enc 0.1-3 Belo Horizonte 1.72.0-3
pouco 4.0.4 bit64 4.0.5 blob 1.2.1
arranque 1.3-28 preparar 1.0-6 Brio 1.1.0
vassoura 0.7.2 Chamador 3.5.1 símbolo de inserção 6.0-86
Cellranger 1.1.0 crono 2.3-56 classe 7.3-19
CLI 2.2.0 Clipr 0.7.1 cluster 2.1.2
CodeTools 0.2-18 espaço em cores 2.0-0 marca comum 1.7
compilador 4.1.0 configuração 0,3 CoVR 3.5.1
CPP11 0.2.4 lápis de cor 1.3.4 credenciais 1.3.0
conversa cruzada 1.1.0.1 encaracolar 4.3 tabela de dados 1.13.4
conjuntos de dados 4.1.0 DBI 1.1.0 DBPlyr 2.0.0
descrição 1.2.0 DevTools 2.3.2 diffobj 0.3.2
resumo 0.6.27 DPLYR 1.0.2 DT 0,16
reticências 0.3.1 avaliar 0.14 Fãsi 0.4.1
Farver 2.0.3 mapa rápido 1.0.1 FORCATS 0.5.0
para cada 1.5.1 externa 0.8-81 forjar 0.2.0
FS 1.5.0 Futuro 1.21.0 genérico 0.1.0
Gert 1.0.2 GGPLOT2 3.3.2 GH 1.2.0
gitcreds 0.1.1 GLMNET 4.0-2 Globais 0.14.0
cola 1.4.2 Gower 0.2.2 gráficos 4.1.0
grDispositivos 4.1.0 grelha 4.1.0 gridExtra 2.3
GSUBFN 0,7 tabela g 0.3.0 Refúgio 2.3.1
mais alto 0.8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets (componentes HTML interativos) 1.5.3 httpuv 1.5.4 HTTR 1.4.2
Hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 Isoband 0.2.3 iteradores 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 Knitr 1,30
etiquetagem 0.4.2 mais tarde 1.1.0.1 treliça 0.20-44
lave 1.6.8.1 preguiça 0.2.2 ciclo de vida 0.2.0
ouvir 0.8.0 lubridato 1.7.9.2 Magrittr 2.0.1
Marcação 1.1 MASSA 7.3-54 Matriz 1.3-3
memorização 1.1.0 métodos 4.1.0 MGCV 1.8-35
mímica 0,9 ModelMetrics 1.2.2.2 Modelador 0.1.8
Munsell 0.5.0 NLME 3.1-152 NNET 7.3-16
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 1.4.3 paralelo 4.1.0
Paralelamente 1.22.0 pilar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
Plyr 1.8.6 elogiar 1.0.0 unidades bonitas 1.1.1
pROC 1.16.2 processx 3.4.5 Prodlim 2019.11.13
Progresso 1.2.2 promessas 1.1.1 prototipo 1.0.0
PS 1.5.0 ronronar 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest (Floresta Aleatória) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
Leitor 1.4.0 ReadXL 1.3.1 receitas 0.1.15
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.2.0
Exemplo Reproduzível 0.3.0 remodelar2 1.4.4 Rex 1.2.0
Rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
oxigénio2 7.1.1 rpart (função de partição recursiva em R) 4.1-15 rprojroot 2.0.2
Reserva 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversões 2.0.2 Rvest 0.3.6 escalas 1.1.1
seletor 0.4-2 informação da sessão 1.1.1 forma 1.4.5
brilhante 1.5.0 ferramentas de fonte 0.1.7 Brilho 1.5.2
Faísca 3.1.1 espacial 7.3-11 estrias 4.1.0
sqldf 0.4-11 QUADRADO 2020.5 estatísticas 4.1.0
estatísticas4 4.1.0 string 1.5.3 stringr 1.4.0
sobrevivência 3.2-11 Sistema 3.4 tcltk (uma linguagem de programação) 4.1.0
Demonstrações de Ensino 2.10 teste que 3.0.0 Tibble 3.0.4
Tidyr 1.1.2 arrumadoselecionar 1.1.0 Tidyverse 1.3.0
tempoData 3043.102 Tinytex 0.28 ferramentas 4.1.0
usethis 2.0.0 UTF8 1.1.4 utilitários 4.1.0
Identificador Único Universal (UUID) 0.1-4 VCTRS 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vibrissas 0.4 murchar 2.3.0
xfun 0.19 XML2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 ZIP 2.1.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.11.655
com.amazonaws AWS-Java-SDK-CloudFormation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws AWS Java SDK para CloudSearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-diretório 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-aprendizado de máquina 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-rota53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws AWS Java SDK para SES 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.11.655
com.amazonaws AWS-Java-SDK-STS 1.11.655
com.amazonaws aws-java-sdk-suporte 1.11.655
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Reserva 1.8-3
com.databricks Jatos 3T 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware kryo-sombreado 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core Jackson-Annotations 2.10.0
com.fasterxml.jackson.core Jackson-Core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-módulo-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs JSR305 3.0.0
com.google.code.gson Gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.goiaba Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2banco de dados h2 1.4.195
com.helger gerador de perfis 1.1.1
com.jcraft JSCH 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver MSSQL-JDBC 9.2.1.jre8
com.ning compressa-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter Chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocidade analisadores de univocidade 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
codec commons codec commons 1.10
Commons Collections Commons Collections 3.2.2
commons-configuração commons-configuração 1.6
commons-dbcp commons-dbcp 1.4
commons-digestor commons-digestor 1.8
carregamento-de-ficheiros-comuns carregamento-de-ficheiros-comuns 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2,3__hadoop-2,7 JETS3T-0,7 liball_deps_2.12
hive-2,3__hadoop-2,7 Zookeeper-3,4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
IO.Delta delta-compartilhamento-spark_2.12 0.1.0
io.dropwizard.metrics métricas-base 4.1.1
io.dropwizard.metrics metrics-Graphite 4.1.1
io.dropwizard.metrics métricas-verificações de integridade 4.1.1
io.dropwizard.metrics métricas-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics métricas-json 4.1.1
io.dropwizard.metrics métricas do JVM 4.1.1
io.dropwizard.metrics Métricas-Servlets 4.1.1
io.netty netty-tudo 4.1.51.Final
io.prometeu cliente simples 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jakarta.annotation-api 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp JSP-API 2.1
javax.transaction JTA 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.2
javax.xml.stream Stax-API 1.0-2
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores hive-2,3__hadoop-2,7 liball_deps_2.12
net.java.dev.jna JNA 5.8.0
net.razorvine pirolite 04:30
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.8-1
org.antlr modelo de string 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow Arrow-Memory-Netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro AVRO-IPC 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-comprimir 1,20
org.apache.commons commons-cripto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-matemática3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curador curador-cliente 2.7.1
org.apache.curador curador-framework 2.7.1
org.apache.curador receitas do curador 2.7.1
org.apache.derby dérbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api API-Util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations (anotações do hadoop) 2.7.4
org.apache.hadoop autenticação do Hadoop 2.7.4
org.apache.hadoop cliente hadoop 2.7.4
org.apache.hadoop hadoop-comum 2.7.4
org.apache.hadoop Hadoop-HDFS 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-cliente-core 2.7.4
org.apache.hadoop Cliente de Trabalho Hadoop MapReduce 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-cliente 2.7.4
org.apache.hadoop hadoop-yarn-comum 2.7.4
org.apache.hadoop hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) 2.7.4
org.apache.hive colmeia-abelha 2.3.7
org.apache.hive Hive-CLI 2.3.7
org.apache.hive Hive-JDBC 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive hive-llap-comum 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive API de armazenamento Hive 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-núcleo 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents Núcleo Http 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc núcleo de orc 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc Orc-calços 1.5.12
org.apache.parquet coluna parquet 1.10.1-DATABRICKS9
org.apache.parquet parquet-comum 1.10.1-DATABRICKS9
org.apache.parquet parquet-codificação 1.10.1-DATABRICKS9
org.apache.parquet formato parquet 2.4.0
org.apache.parquet Parquet-Hadoop 1.10.1-DATABRICKS9
org.apache.parquet Parquet-Jackson 1.10.1-DATABRICKS9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de público 0.5.0
org.apache.zookeeper tratador de animais 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson Jackson-Jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson Jackson-XC 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.píer Jetty-Cliente 9.4.36.v20210114
org.eclipse.píer jetty-continuation (componente de software do Jetty) 9.4.36.v20210114
org.eclipse.píer Jetty-HTTP 9.4.36.v20210114
org.eclipse.píer Molhe IO 9.4.36.v20210114
org.eclipse.píer Jetty-JNDI 9.4.36.v20210114
org.eclipse.píer Cais-Plus 9.4.36.v20210114
org.eclipse.píer Jetty-Proxy 9.4.36.v20210114
org.eclipse.píer Segurança do Jetty 9.4.36.v20210114
org.eclipse.píer servidor jetty 9.4.36.v20210114
org.eclipse.píer Jetty-servlet 9.4.36.v20210114
org.eclipse.píer Jetty-servlets 9.4.36.v20210114
org.eclipse.píer Jetty-util 9.4.36.v20210114
org.eclipse.píer cais-util-ajax 9.4.36.v20210114
org.eclipse.píer Aplicação web Jetty 9.4.36.v20210114
org.eclipse.píer Jetty-XML 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 HK2-Utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.externo aopalliance-reembalado 2.6.1
org.glassfish.hk2.externo jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-cliente 2.30
org.glassfish.jersey.core Jersey comum 2.30
org.glassfish.jersey.core servidor Jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-registro em log 3.3.2.Final
org.jdbi JDBI 2.63.1
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M5
org.json4s JSON4S-core_2.12 3.7.0-M5
org.json4s JSON4S-jackson_2,12 3.7.0-M5
org.json4s JSON4S-scalap_2.12 3.7.0-M5
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-cliente 2.2.5
org.objenesis objenese 2.5.1
org.postgresql PostgreSQL 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-compatível-com-slf4j 1.7.30
org.slf4j jul-para-slf4j 1.7.30
org.slf4j SLF4J-API 1.7.30
org.slf4j SLF4J-Log4J12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core (núcleo do Spring) 4.1.4.VERSÃO
org.springframework teste de primavera 4.1.4.VERSÃO
org.threeten trêsdez-extra 1.5.0
org.tukaani XZ 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel maquinista_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17.0-M1
org.typelevel torre-platform_2.12 0,17.0-M1
org.typelevel torre-util_2.12 0,17.0-M1
org.typelevel spire_2.12 0,17.0-M1
org.wildfly.openssl WildFly-OpenSSL 1.0.7.Final
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy Snappy-java 1.1.8.2
org.yaml Snakeyaml 1,24
ouro ouro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
XMLENC XMLENC 0.52