Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em agosto de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.2, alimentado pelo Apache Spark 3.0.
Novas funcionalidades
O Databricks Runtime 7.2 inclui os seguintes novos recursos.
Auto Loader está disponível em geral
Auto Loader é um método eficiente para ingerir incrementalmente um grande número de arquivos no Delta Lake. Agora é GA e adiciona os seguintes recursos: listagem de diretórios, API de gerenciamento de recursos em nuvem, opção de limitação de taxa e validação de opção.
Opção de modo de listagem de diretório
O Auto Loader adiciona um novo modo de listagem de diretórios, além do modo de notificação de arquivos existente, para determinar quando há novos arquivos.
- Modo de listagem de diretório: Em alguns cenários, há apenas alguns arquivos que precisam ser transmitidos regularmente. Nesses casos, identificar novos arquivos por listagem paralela do diretório de entrada e ingeri-los é razoavelmente eficiente. Isso permite que você inicie fluxos do Auto Loader sem qualquer configuração de permissão. O modo de listagem de diretórios é o modo padrão para o Auto Loader do Databricks Runtime 7.2 e superior.
- Modo de notificação de arquivo: você pode optar explicitamente pelo modo de notificação de arquivo, que é mais eficiente e escalável para diretórios de entrada grandes, mas requer que você configure permissões para que o serviço de notificação assine eventos de arquivo e defina
.option("cloudFiles.useNotifications", "true"). Os fluxos existentes do Auto Loader iniciados no Databricks Runtime 7.1 e abaixo optam automaticamente pelo modo de notificação de arquivo quando atualizam para o Databricks Runtime 7.2.
Para obter mais informações, consulte O que é o Auto Loader?.
API de gerenciamento de recursos na nuvem
Agora você pode usar nossa API Scala para gerenciar recursos de nuvem criados pelo Auto Loader. Você pode listar serviços de notificação e desmontar serviços de notificação específicos usando essa API. Para obter mais informações, consulte Configurar ou gerenciar manualmente recursos de notificação de arquivo.
Opção de limitação de taxa
Agora você pode usar a cloudFiles.maxBytesPerTrigger opção para limitar a quantidade de dados processados em cada microlote. Você pode especificar uma cadeia de caracteres de byte, como 10g para limitar cada microlote a 10 GB de dados. Este é um máximo suave. Se você tiver arquivos de 3 GB cada, o Azure Databricks processará 12 GB em um microlote. Esta opção não tem efeito quando usada com Trigger.Once()o . Quando essa opção não é fornecida, o valor padrão de cloudFiles.maxFilesPerTrigger 1000 arquivos é usado para limitar a taxa. Quando usado em conjunto com cloudFiles.maxFilesPerTriggero , o Azure Databricks consome até o limite mais baixo de cloudFiles.maxFilesPerTrigger ou cloudFiles.maxBytesPerTrigger, o que for atingido primeiro.
Para obter mais informações, consulte O que é o Auto Loader?.
Validação da opção
Auto Loader agora valida as opções que você fornece. Se você fornecer uma opção desconhecida, o Auto Loader retornará um erro em vez de ignorar silenciosamente a opção. A validação também deteta inconsistências nas opções fornecidas. Por exemplo, se você definir cloudFiles.useNotifications e false ao mesmo tempo fornecer opções de permissão para os serviços de Grade de Eventos do Azure e Armazenamento de Filas, validation falhará. Para ignorar a validação de opções, defina cloudFiles.validateOptions como false.
Alterações nos valores de opção padrão e compatibilidade
O comportamento padrão de algumas opções do Auto Loader foi alterado no Databricks Runtime 7.2. Para garantir a compatibilidade, o comportamento dos fluxos iniciados no Databricks Runtime 7.1 e abaixo permanecerá inalterado mesmo após a atualização para executar esses fluxos em um cluster executando o Databricks Runtime 7.2 ou superior. Consulte O que é Auto Loader?.
Copie eficientemente uma tabela Delta com clone (Visualização pública)
Agora você pode criar eficientemente um clone superficial ou profundo de uma tabela Delta em uma versão específica com o clone comando. Um clone profundo é um clone autônomo de uma tabela Delta formado pela cópia dos arquivos em paralelo da tabela de origem para a tabela de destino. Um clone superficial é um clone criado de forma barata que não copia arquivos para a tabela de destino, mas aponta para arquivos na tabela original. Quaisquer alterações feitas em um clone profundo ou superficial afetam apenas o clone e não a tabela original. Ver Clonar uma tabela no Azure Databricks.
Melhorias
Conector Snowflake: O conector foi atualizado para a versão 2.8.1, que inclui suporte ao Spark 3.0.
Usabilidade do PySpark: quando um UDF do PySpark ou pandas falha, o Azure Databricks agora exibe a exceção do lado Python e a linha de código do bloco de anotações executada mais recentemente (se aplicável) na parte superior da mensagem de erro.
Passagem de credencial:
- Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
- Agora você pode definir o diretório de ponto de verificação de armazenamento em um cluster habilitado para passagem.
Bibliotecas de cluster: o Azure Databricks agora processa todas as bibliotecas de cluster na ordem em que foram instaladas no cluster. No Databricks Runtime 7.1 e inferior, apenas as bibliotecas Maven e CRAN foram processadas na ordem em que foram instaladas no cluster. Outras bibliotecas foram instaladas em ordem não determinística.
TensorBoard:
- Gerencie os processos do TensorBoard com a
tensorboard.notebookAPI. - Você pode ter vários backends do TensorBoard em execução em um único cluster.
- Em blocos de anotações Python, exiba a interface do usuário do TensorBoard em linha usando o
%tensorboardcomando line magic. -
dbutils.tensorboardfoi preterido.
Consulte TensorBoard.
- Gerencie os processos do TensorBoard com a
Bibliotecas Python atualizadas:
- jmespath atualizado de 0.9.4 para 0.10.0.
- Koalas atualizado de 1.0.1 para 1.1.0.
Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
Faísca Apache
O Databricks Runtime 7.2 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-32234] [SQL] Os comandos sql do Spark estão falhando na seleção das tabelas orc
- [FAÍSCA-30616] [SQL] Introduzir a opção de configuração TTL para o Cache de Metadados SQL
- [FAÍSCA-21117] [SQL] Suporte a funções SQL integradas - WIDTH_BUCKET
- [FAÍSCA-32168] [SQL] Corrigir bug de correção de particionamento oculto na substituição do SQL
- [FAÍSCA-31935] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
- [SPARK-32270] [SQL] Usar o TextFileFormat na inferência de esquema do CSV com uma diferente codificação
- [FAÍSCA-28481] [SQL] Mais expressões devem estender NullIntolerant
- [FAÍSCA-32220] [SQL] SHUFFLE_REPLICATE_NL Dica não deve alterar o resultado da junção de produtos não cartesianos
- [SPARK-32232] [ML][pyspark] Verifique se o ML tem os mesmos valores de solucionador padrão entre Scala e Python
- [FAÍSCA-32238] [SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada no ScalaUDF
- [FAÍSCA-32220] [SQL] SHUFFLE_REPLICATE_NL Dica não deve alterar o resultado da junção de produtos não cartesianos
- [FAÍSCA-32256] [SQL] Forçar a inicialização do Hadoop VersionInfo no HiveExternalCatalog
- [FAÍSCA-32159] [SQL] Corrija a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
- [SPARK-32160] [CORE][pyspark] Não permitir a criação de SparkContext em executores
- [FAÍSCA-32168] [SQL] Corrigir bug de correção de particionamento oculto na substituição do SQL
- [FAÍSCA-32024] [WEBUI] Atualizar ApplicationStoreInfo.size durante a inicialização do HistoryServerDiskManager
- [FAÍSCA-32214] [SQL] A função de conversão de tipo gerada em makeFromJava para "outro" tipo usa uma variável errada
- [FAÍSCA-30703] [SQL] Atualização SqlBase.g4 comentário inválido
- [FAÍSCA-32163] [SQL] A poda aninhada deve funcionar mesmo com variações cosméticas
- [FAÍSCA-32124] [CORE] Use o valor inválido Int.MinValue para preencher o índice do mapa quando os logs de eventos da versão antiga do Spark
- [SPARK-32167] [SQL] Corrija GetArrayStructFields para respeitar a anulabilidade do campo interno em conjunto
- [FAÍSCA-32130] [SQL] Habilitar a inferência de carimbos de data/hora no JsonBenchmark
- [FAÍSCA-32121] [BARALHAR] Suporte ao sistema operacional Windows em ExecutorDiskUtils
-
[FAÍSCA-32130] [SQL] Desative a opção
inferTimestampJSON por padrão - [FAÍSCA-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
- [FAÍSCA-32095] [SQL] Atualizar a documentação para refletir o uso de estatísticas atualizadas
- [FAÍSCA-32131] [SQL] Corrigir mensagens AnalysisException em operações UNION/EXCEPT/MINUS
- [FAÍSCA-32068] [WEBUI] Corrigir tarefa lauchtime show problema devido ao fuso horário na guia estágio
- [FAÍSCA-29999] [SS] Teste de correção para verificar o diretório de log de metadados real
- [SPARK-32127] [SQL] Verificar regras para MERGE INTO deve usar MergeAction.conditition diferente de MergeAction.children
- [FAÍSCA-32038] [SQL] Torne o nome do alias bonito após a normalização float/double
- [FAÍSCA-32126] [SS] Scope Session.ative em IncrementalExecution
- [FAÍSCA-32115] [SQL] Corrigir SUBSTRING para lidar com estouros de números inteiros
- [FAÍSCA-32098] [PYTHON] Use iloc para fatiamento posicional em vez de fatiamento direto em createDataFrame com seta
- [FAÍSCA-32080][SPARK-31998] [SQL] Simplifique o acessador ArrowColumnVector ListArray
- [FAÍSCA-32028] [WEBUI] corrigir link de id do aplicativo para várias tentativas de aplicativo na página de resumo do histórico
- [FAÍSCA-31918] [R] Ignorar métodos genéricos S4 no namespace SparkR na limpeza de fechamento para suportar R 4.0.0+
- [FAÍSCA-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregados distintos
- [FAÍSCA-32034] [SQL] Porta HIVE-14817: Desligue o thread timeoutChecker do SessionManager corretamente após o desligamento
-
[FAÍSCA-32021] [SQL] Aumente a precisão de segundos e frações de
make_interval - [FAÍSCA-31980] [SQL] A função sequence() falha se o início e o fim do intervalo forem datas iguais
- [FAÍSCA-32020] [SQL] Melhor mensagem de erro quando SPARK_HOME ou spark.test.home não está definido
- [SPARK-32011] [PYTHON][core] Remova avisos sobre modos de pin-thread e guia para usar collectWithJobGroup
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.4 LTS
- Java: 1.8.0_252
- Escala: 2.12.10
- Píton: 3.7.5
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | Backcall | 0.1.0 | Boto3 | 1.12.0 |
| Botocore | 1.15.0 | certifi | 2020.6.20 | CFFI | 1.14.0 |
| Chardet | 3.0.4 | criptografia | 2.8 | ciclista | 0.10.0 |
| Quisto | 0.29.15 | decorador | 4.4.1 | Docutils | 0.15.2 |
| pontos de entrada | 0,3 | IDNA | 2.8 | Ipykernel | 5.1.4 |
| IPython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| JmesPath | 0.10.0 | Joblib | 0.14.1 | jupyter-cliente | 5.3.4 |
| Jupyter-core | 4.6.1 | Kiwisolver | 1.1.0 | coalas | 1.1.0 |
| Matplotlib | 3.1.3 | dormência | 1.18.1 | pandas | 1.0.1 |
| Parso | 0.5.2 | vítima | 0.5.1 | Espere | 4.8.0 |
| pickleshare | 0.7.5 | pip (o gestor de pacotes do Python) | 20.0.2 | kit de ferramentas de prompt | 3.0.3 |
| PSYCOPG2 | 2.8.4 | ptyprocess | 0.6.0 | Pyarrow | 0.15.1 |
| Pycparser | 2.19 | Pigmentos | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | Pyparsing | 2.4.6 | Meias PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.8.1 | Pytz | 2019.3 |
| Pyzmq | 18.1.1 | pedidos | 2.22.0 | s3transferir | 0.3.3 |
| scikit-learn (biblioteca de aprendizado de máquina em Python) | 0.22.1 | SciPy | 1.4.1 | nascido no mar | 0.10.0 |
| Ferramentas de configuração | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.11.0 | tornado | 6.0.3 | traços | 4.3.3 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| largura de wc | 0.1.8 | wheel | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-07-14.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | Retroportagens | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | Belo Horizonte | 1.72.0-3 |
| pouco | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| arranque | 1.3-25 | fabricação de cerveja | 1.0-6 | vassoura | 0.7.0 |
| Chamador | 3.4.3 | acento circunflexo | 6.0-86 | Cellranger | 1.1.0 |
| crono | 2.3-55 | classe | 7.3-17 | CLI | 2.0.2 |
| Clipr | 0.7.0 | cluster | 2.1.0 | CodeTools | 0,2-16 |
| espaço em cores | 1.4-1 | marca comum | 1.7 | compilador | 3.6.3 |
| configuração | 0,3 | CoVR | 3.5.0 | lápis de cor | 1.3.4 |
| conversa cruzada | 1.1.0.1 | encaracolar | 4.3 | tabela de dados | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | DBPlyr | 1.4.4 |
| descrição | 1.2.0 | DevTools | 2.3.0 | resumo | 0.6.25 |
| DPLYR | 0.8.5 | DT | 0.14 | reticências | 0.3.1 |
| avaliar | 0.14 | Fãsi | 0.4.1 | Farver | 2.0.3 |
| mapa rápido | 1.0.1 | FORCATS | 0.5.0 | para cada | 1.5.0 |
| externa | 0.8-76 | forjar | 0.2.0 | FS | 1.4.2 |
| genérico | 0.0.2 | GGPLOT2 | 3.3.2 | GH | 1.1.0 |
| Git2R | 0.27.1 | GLMNET | 3.0-2 | Globais | 0.12.5 |
| colar | 1.4.1 | Gower | 0.2.2 | gráficos | 3.6.3 |
| grDispositivos | 3.6.3 | grelha | 3.6.3 | gridExtra | 2.3 |
| GSUBFN | 0,7 | tabela g | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets (componentes HTML interativos) | 1.5.1 | httpuv | 1.5.4 | HTTR | 1.4.1 |
| Hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.2 | iteradores | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | Knitr | 1,29 |
| etiquetagem | 0,3 | mais tarde | 1.1.0.1 | treliça | 0.20-41 |
| lave | 1.6.7 | preguiça | 0.2.2 | ciclo de vida | 0.2.0 |
| lubridato | 1.7.9 | Magrittr | 1.5 | Marcação | 1.1 |
| MASSA | 7.3-51.6 | Matriz | 1.2-18 | memorização | 1.1.0 |
| métodos | 3.6.3 | MGCV | 1.8-31 | mímica | 0,9 |
| ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 | Munsell | 0.5.0 |
| NLME | 3.1-147 | NNET | 7.3-14 | numDeriv | 2016.8 a 1.1 |
| openssl (conjunto de ferramentas para criptografia) | 1.4.2 | paralelo | 3.6.3 | pilar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | Plyr | 1.8.6 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| Prodlim | 2019.11.13 | Progresso | 1.2.2 | promessas | 1.1.1 |
| prototipo | 1.0.0 | PS | 1.3.3 | ronronar | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | Floresta Aleatória | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.13 | revanche | 1.0.1 | revanche2 | 2.1.2 |
| Controles remotos | 2.1.1 | Reprex | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | RJSON | 0.2.20 | Rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | oxigénio2 | 7.1.1 |
| rpart (função de partição recursiva em R) | 4.1-15 | rprojroot | 1.3-2 | Reserva | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversões | 2.0.2 |
| Rvest | 0.3.5 | escalas | 1.1.1 | seletor | 0.4-2 |
| Informação da sessão | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
| ferramentas de origem | 0.1.7 | Brilho | 1.3.1 | Faísca | 3.0.0 |
| espacial | 7.3-11 | estrias | 3.6.3 | sqldf | 0.4-11 |
| QUADRADO | 2020.3 | estatísticas | 3.6.3 | estatísticas4 | 3.6.3 |
| string | 1.4.6 | stringr | 1.4.0 | sobrevivência | 3.1-12 |
| Sistema | 3.3 | tcltk (uma linguagem de programação) | 3.6.3 | Demonstrações de Ensino | 2.10 |
| testeatat | 2.3.2 | Tibble | 3.0.3 | Tidyr | 1.1.0 |
| arrumadoselecionar | 1.1.0 | Tidyverse | 1.3.0 | data e hora | 3043.102 |
| Tinytex | 0.24 | ferramentas | 3.6.3 | usethis | 1.6.1 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | Identificador Único Universal (UUID) | 0.1-4 |
| VCTRS | 0.3.1 | viridisLite | 0.3.0 | vibrissas | 0.4 |
| murchar | 2.2.0 | xfun | 0,15 | XML2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-CloudFormation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | AWS Java SDK para CloudSearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuração do AWS Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-diretório | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-aprendizado de máquina | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-rota53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | AWS Java SDK para SES | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-STS | 1.11.655 |
| com.amazonaws | aws-java-sdk-suporte | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-bibliotecas | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Reserva | 1.8-3 |
| com.databricks | Jatos 3T | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | Jackson-Core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | Jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-Java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | sistema_nativo-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-nativos | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | JSR305 | 3.0.0 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.goiaba | Goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2banco de dados | h2 | 1.4.195 |
| com.helger | gerador de perfis | 1.1.1 |
| com.jcraft | JSCH | 0.1.50 |
| com.jolbox | BoneCP | 0.8.0.LANÇAMENTO |
| com.lihaoyi | código-fonte_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK para Azure Data Lake Store) | 2.2.8 |
| com.microsoft.sqlserver | MSSQL-JDBC | 8.2.1.jre8 |
| com.ning | compressa-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | Json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | Chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocidade | analisadores de univocidade | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| codec commons | codec commons | 1.10 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-configuração | commons-configuração | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digestor | commons-digestor | 1.8 |
| commons-fileupload (upload de ficheiros comuns) | commons-fileupload (upload de ficheiros comuns) | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | métricas-base | 4.1.1 |
| io.dropwizard.metrics | métricas-grafite | 4.1.1 |
| io.dropwizard.metrics | métricas e verificações de saúde | 4.1.1 |
| io.dropwizard.metrics | métricas-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | métricas-json | 4.1.1 |
| io.dropwizard.metrics | métricas do JVM | 4.1.1 |
| io.dropwizard.metrics | Métricas-Servlets | 4.1.1 |
| io.netty | netty-tudo | 4.1.47.Final |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.ativação | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | JDO-API | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | JSP-API | 2.1 |
| javax.transaction | JTA | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | JAXB-API | 2.2.2 |
| javax.xml.stream | Stax-API | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| Joda-Time | Joda-Time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 04:30 |
| net.sf.jpam | JPAM | 1.1 |
| net.sf.opencsv | OpenCSV | 2.3 |
| net.sf.supercsv | Super-CSV | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combinado_tudo | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Runtime | 3.5.2 |
| org.antlr | antlr4-tempo de execução | 4.7.1 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ANT-JSCH | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | seta-memória | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | AVRO-IPC | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-comprimir | 1.8.1 |
| org.apache.commons | commons-cripto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-matemática3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curador | curador-cliente | 2.7.1 |
| org.apache.curador | curador-framework | 2.7.1 |
| org.apache.curador | curador-receitas | 2.7.1 |
| org.apache.derby | Dérbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | API-Util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations (anotações do hadoop) | 2.7.4 |
| org.apache.hadoop | autenticação do Hadoop | 2.7.4 |
| org.apache.hadoop | Cliente Hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-comum | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-cliente-core | 2.7.4 |
| org.apache.hadoop | Cliente de Trabalho Hadoop MapReduce | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-cliente | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-comum | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) | 2.7.4 |
| org.apache.hive | colmeia-abelha | 2.3.7 |
| org.apache.hive | Hive-CLI | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | Hive-JDBC | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | sistema de metadados do Hive | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | API de armazenamento Hive | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-núcleo | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | Núcleo Http | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-núcleo | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | Orc-calços | 1.5.10 |
| org.apache.parquet | coluna de parquet | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-comum | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | codificação-parquet | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | Parquet-Jackson | 1.10.1.2-DATABRICKS4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | cuidador de zoológico | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | Jackson-Jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | Jackson-XC | 1.9.13 |
| org.codehaus.janino | compilador comum | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | DataNucleus Core | 4.1.17 |
| org.datanucleus | Datanucleus-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.píer | Jetty-Cliente | 9.4.18.v20190429 |
| org.eclipse.píer | jetty-continuation (componente de software do Jetty) | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-HTTP | 9.4.18.v20190429 |
| org.eclipse.píer | Molhe IO | 9.4.18.v20190429 |
| org.eclipse.píer | Cais-JNDI | 9.4.18.v20190429 |
| org.eclipse.píer | Cais-Plus | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-Proxy | 9.4.18.v20190429 |
| org.eclipse.píer | Segurança do Jetty | 9.4.18.v20190429 |
| org.eclipse.píer | servidor jetty | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-util | 9.4.18.v20190429 |
| org.eclipse.píer | Aplicação web Jetty | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-XML | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | HK2-API | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | HK2-Utils | 2.6.1 |
| org.glassfish.hk2 | localizador de recursos OSGi | 1.0.3 |
| org.glassfish.hk2.externo | aopalliance-reembalado | 2.6.1 |
| org.glassfish.hk2.externo | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (serviço de contêiner Jersey) | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-cliente | 2.30 |
| org.glassfish.jersey.core | Jersey comum | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator (ferramenta de validação de dados de Java) | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-registro em log | 3.3.2.Final |
| org.jdbi | JDBI | 2.63.1 |
| org.joda | joda-converter | 1.7 |
| org.jodd | JODD-CORE | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.6.6 |
| org.json4s | JSON4S-core_2.12 | 3.6.6 |
| org.json4s | JSON4S-jackson_2,12 | 3.6.6 |
| org.json4s | JSON4S-scalap_2.12 | 3.6.6 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-cliente | 2.1.2 |
| org.objenesis | objenese | 2.5.1 |
| org.postgresql | PostgreSQL | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-compatível-com-slf4j | 1.7.30 |
| org.slf4j | jul-para-slf4j | 1.7.30 |
| org.slf4j | SLF4J-API | 1.7.30 |
| org.slf4j | SLF4J-Log4J12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core (núcleo do Spring) | 4.1.4.VERSÃO |
| org.springframework | teste de primavera | 4.1.4.VERSÃO |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | XZ | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | maquinista_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.xerial | SQLITE-JDBC | 3.8.11.2 |
| org.xerial.snappy | Snappy-java | 1.1.7.5 |
| org.yaml | Snakeyaml | 1,24 |
| ouro | ouro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | íon-java | 1.0.2 |
| Stax | Stax-API | 1.0.1 |
| XMLENC | XMLENC | 0.52 |