Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em abril de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.2, alimentado pelo Apache Spark 3.1.1.
Novos recursos e melhorias
- Novas opções do Auto Loader permitem uma evolução mais fácil do esquema
-
Ver
VACUUMmétricas (Pré-visualização Pública) - Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
- Ajuste o tamanho dos arquivos em tabelas Delta para atender às necessidades de suas cargas de trabalho
- Ingerir incrementalmente atualizações e exclusões em tabelas Delta usando um feed de dados de alteração (Visualização pública)
- Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Novas opções do Auto Loader permitem uma evolução mais fácil do esquema
O Auto Loader não requer mais que você especifique uma entrada de esquema para começar a ingerir dados JSON. Além disso, o Auto Loader pode detetar a introdução de novas colunas nos seus dados e reiniciar, para que nunca mais perca dados. O Auto Loader também "resgatará" dados inesperados (por exemplo, de diferentes tipos de dados) em uma coluna de blob JSON, que você pode optar por acessar posteriormente usando as APIs de acesso a dados semiestruturados. Consulte Configurar inferência e evolução de esquema no Auto Loader.
Ver VACUUM métricas (Pré-visualização Pública)
VACUUM commits para o log de transações Delta agora contêm informações sobre arquivos removidos e diretórios aspirados. Consulte Informações de auditoria e Revise os detalhes da tabela Delta Lake com detalhes de descrição.
Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
Os comandos Delta Lake CLONE e RESTORE agora retornam métricas quando são concluídos, para que você possa entender facilmente quantos dados foram clonados ou recuperados como resultado dessas operações. Consulte Métricas de clonagem e Métricas de restauração.
Ajuste o tamanho dos arquivos em tabelas Delta para atender às necessidades de suas cargas de trabalho
Agora você pode definir uma propriedade table para instruir o Delta Lake a selecionar tamanhos de arquivo adequados para tabelas com operações frequentes MERGE (por exemplo, atualização de dados de alteração em tabelas). O tempo de execução também pode detetar quando as tabelas são MERGE intensivas e autotunes tamanhos de arquivo.
Para um ajuste mais refinado, você pode definir o tamanho do destino como uma propriedade, e todas as operações de otimização de layout de dados (por exemplo, Otimizar, Gravações otimizadas e Compactação automática) farão uma tentativa de melhor esforço para gerar arquivos desse tamanho.
Consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Ingerir incrementalmente atualizações e exclusões em tabelas Delta usando um feed de dados de alteração (Visualização pública)
O feed de dados de alteração de uma tabela Delta representa as alterações no nível da linha entre diferentes versões da tabela. Quando habilitado, o tempo de execução registra informações adicionais sobre alterações no nível da linha para cada operação de gravação na tabela. Você pode consultar essas alterações por meio de leitores SQL e DataFrame e DataStream. O feed permite:
- Consumo eficiente a jusante de mesclagem, atualizações e exclusões. Obter linhas que foram atualizadas, inseridas ou excluídas melhora muito o desempenho do trabalho downstream que consome a saída da mesclagem, pois arquivos inteiros não precisam ser processados e desduplicados agora.
- Manter a sincronização entre réplicas de duas tabelas diferentes que representam os mesmos dados. É uma prática comum manter duas versões da mesma tabela, uma tabela estreita como fonte da verdade e uma tabela mais ampla com dados adicionais. As alterações podem ser aplicadas de forma eficiente da tabela estreita para a tabela mais ampla.
Para obter detalhes, consulte Usar o feed de dados de alteração do Delta Lake no Azure Databricks.
Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Os operadores SQL —:: e :— que permitem extrair facilmente dados de cadeias de caracteres JSON agora estão geralmente disponíveis. Consulte Consultar cadeias de caracteres JSON.
Atualizações da biblioteca
- Biblioteca Python atualizada:
- Koalas atualizado de 1.6.0 para 1.7.0.
- Biblioteca Java atualizada:
- univocity-parsers de 2.9.0 a 2.9.1.
Faísca Apache
O Databricks Runtime 8.2 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-34614] [SQL] Modo ANSI: Casting String to Boolean deve lançar exceção no erro de análise
- [FAÍSCA-33794] [SQL] NextDay expression throw runtime IllegalArgumentException ao receber entrada inválida no modo ANSI
- [FAÍSCA-34833] [SQL] Manipule referências externas em todos os lugares
- [FAÍSCA-34742] [SQL] Modo ANSI: Abs lança exceção se a entrada estiver fora do intervalo
- [FAÍSCA-34833] [SQL] Aplicar preenchimento à direita corretamente para subconsultas correlacionadas
- [FAÍSCA-34719] [SQL] Resolver corretamente a consulta de exibição com nomes de coluna duplicados
- [FAÍSCA-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
- [FAÍSCA-34436] [SQL] Suporte DPP LIKE ANY/ALL expressão
- [FAÍSCA-34497] [SQL] Corrigir fornecedores integrados de conexão JDBC para restaurar alterações no contexto de segurança da JVM
-
[FAÍSCA-34543] [SQL] Respeitar as configurações ao resolver a especificação de partição na v1
spark.sql.caseSensitive - [FAÍSCA-34550] [SQL] Ignorar valor nulo InSet durante o filtro push para o metastore do Hive
- [SPARK-34531] [CORE] Remover etiqueta de API experimental no PrometheusServlet
- [FAÍSCA-34515] [SQL] Corrija o NPE se InSet contiver valor nulo durante getPartitionsByFilter
- [FAÍSCA-34490] tabela talvez resolvida como uma exibição se a tabela for descartada
- [FAÍSCA-34613] A visualização de correção não captura a configuração de dica de desativação
-
[FAÍSCA-34504] Evite a resolução desnecessária da vista e remova o
performChecksinalizador - [FAÍSCA-34373] [SQL] HiveThriftServer2 startWithContext pode travar com um problema de corrida
- [SPARK-34421] [SQL] Resolver funções e views temporárias em views com CTEs
- [FAÍSCA-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
- [SPARK-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
- [SPARK-34681] [SQL] Corrigir o erro da associação externa completa de hash aleatório ao compilar o lado esquerdo com condição não igual
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 8.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
- Escala: 2.12.10
- Python: 3.8.8 (atualização de manutenção em 26 de maio de 2021, atualizado de 3.8.6)
- R: R versão 4.0.4 (2021-02-15)
- Lago Delta 0.8.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Appdirs | 1.4.4 | asn1crypto | 1.4.0 | Backcall | 0.2.0 |
| Boto3 | 1.16.7 | Botocore | 1.19.7 | Brotlipia | 0.7.0 |
| certifi | 2020.12.5 | CFFI | 1.14.3 | Chardet | 3.0.4 |
| criptografia | 3.1.1 | ciclista | 0.10.0 | Quisto | 0.29.21 |
| decorador | 4.4.2 | Distlib | 0.3.1 | Docutils | 0.15.2 |
| pontos de entrada | 0,3 | bloqueio de arquivo | 3.0.12 | IDNA | 2.10 |
| Ipykernel | 5.3.4 | IPython | 7.19.0 | ipython-genutils | 0.2.0 |
| Jedi | 0.17.2 | JmesPath | 0.10.0 | Joblib | 0.17.0 |
| jupyter-cliente | 6.1.7 | Jupyter-core | 4.6.3 | Kiwisolver | 1.3.0 |
| coalas | 1.7.0 | Matplotlib | 3.2.2 | dormência | 1.19.2 |
| pandas | 1.1.3 | Parso | 0.7.0 | vítima | 0.5.1 |
| Espere | 4.8.0 | pickleshare | 0.7.5 | pip (o gestor de pacotes do Python) | 20.2.4 |
| enredo | 4.14.3 | kit de ferramentas de prompt | 3.0.8 | PSYCOPG2 | 2.8.5 |
| ptyprocess | 0.6.0 | Pyarrow | 1.0.1 | Pycparser | 2,20 |
| Pigmentos | 2.7.2 | pyOpenSSL | 19.1.0 | Pyparsing | 2.4.7 |
| Meias PySocks | 1.7.1 | python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.8.1 | Pytz | 2020.5 |
| Pyzmq | 19.0.2 | pedidos | 2.24.0 | A tentar... | 1.3.3 |
| s3transferir | 0.3.4 | scikit-learn (biblioteca de aprendizado de máquina em Python) | 0.23.2 | SciPy | 1.5.2 |
| nascido no mar | 0.10.0 | Ferramentas de configuração | 50.3.1 | seis | 1.15.0 |
| statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.12.0 | ThreadPoolCtl | 2.1.0 | tornado | 6.0.4 |
| traços | 5.0.5 | urllib3 | 1.25.11 | virtualenv | 20.2.1 |
| largura de wc | 0.2.5 | wheel | 0.35.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | Retroportagens | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | Belo Horizonte | 1.72.0-3 |
| pouco | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-27 | fabricação de cerveja | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| Cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-18 |
| CLI | 2.2.0 | Clipr | 0.7.1 | cluster | 2.1.1 |
| CodeTools | 0.2-18 | espaço em cores | 2.0-0 | marca comum | 1.7 |
| compilador | 4.0.4 | configuração | 0,3 | CoVR | 3.5.1 |
| CPP11 | 0.2.4 | lápis de cor | 1.3.4 | credenciais | 1.3.0 |
| conversa cruzada | 1.1.0.1 | encaracolar | 4.3 | tabela de dados | 1.13.4 |
| conjuntos de dados | 4.0.4 | DBI | 1.1.0 | DBPlyr | 2.0.0 |
| descrição | 1.2.0 | DevTools | 2.3.2 | diffobj | 0.3.2 |
| resumo | 0.6.27 | DPLYR | 1.0.2 | DT | 0,16 |
| reticências | 0.3.1 | avaliar | 0.14 | Fãsi | 0.4.1 |
| Farver | 2.0.3 | mapa rápido | 1.0.1 | FORCATS | 0.5.0 |
| para cada | 1.5.1 | externa | 0.8-81 | forjar | 0.2.0 |
| FS | 1.5.0 | Futuro | 1.21.0 | genérico | 0.1.0 |
| Gert | 1.0.2 | GGPLOT2 | 3.3.2 | GH | 1.2.0 |
| gitcreds | 0.1.1 | GLMNET | 4.0-2 | Globais | 0.14.0 |
| colar | 1.4.2 | Gower | 0.2.2 | gráficos | 4.0.4 |
| grDispositivos | 4.0.4 | grelha | 4.0.4 | gridExtra | 2.3 |
| GSUBFN | 0,7 | tabela g | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets (componentes HTML interativos) | 1.5.3 | httpuv | 1.5.4 | HTTR | 1.4.2 |
| Hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.3 | iteradores | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | Knitr | 1,30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | treliça | 0.20-41 |
| lave | 1.6.8.1 | preguiça | 0.2.2 | ciclo de vida | 0.2.0 |
| ouvirv | 0.8.0 | lubridato | 1.7.9.2 | Magrittr | 2.0.1 |
| Marcação | 1.1 | MASSA | 7.3-53.1 | Matriz | 1.3-2 |
| memorização | 1.1.0 | métodos | 4.0.4 | MGCV | 1.8-33 |
| mímica | 0,9 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 |
| Munsell | 0.5.0 | NLME | 3.1-152 | NNET | 7.3-15 |
| numDeriv | 2016.8 a 1.1 | openssl (conjunto de ferramentas para criptografia) | 1.4.3 | paralelo | 4.0.4 |
| Paralelamente | 1.22.0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| Plyr | 1.8.6 | elogiar | 1.0.0 | unidades bonitas | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | Prodlim | 2019.11.13 |
| Progresso | 1.2.2 | promessas | 1.1.1 | prototipo | 1.0.0 |
| PS | 1.5.0 | ronronar | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | Floresta Aleatória | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| Leitor | 1.4.0 | ReadXL | 1.3.1 | receitas | 0.1.15 |
| revanche | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.2.0 |
| Reprex | 0.3.0 | remodelar2 | 1.4.4 | Rex | 1.2.0 |
| Rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| oxigénio2 | 7.1.1 | rpart (função de partição recursiva em R) | 4.1-15 | rprojroot | 2.0.2 |
| Reserva | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversões | 2.0.2 | Rvest | 0.3.6 | escalas | 1.1.1 |
| seletor | 0.4-2 | Informação da sessão | 1.1.1 | forma | 1.4.5 |
| brilhante | 1.5.0 | ferramentas de origem | 0.1.7 | Brilho | 1.5.2 |
| Faísca | 3.1.2 | espacial | 7.3-11 | estrias | 4.0.4 |
| sqldf | 0.4-11 | QUADRADO | 2020.5 | estatísticas | 4.0.4 |
| estatísticas4 | 4.0.4 | string | 1.5.3 | stringr | 1.4.0 |
| sobrevivência | 3.2-7 | Sistema | 3.4 | tcltk (uma linguagem de programação) | 4.0.4 |
| Demonstrações de Ensino | 2.10 | testeatat | 3.0.0 | Tibble | 3.0.4 |
| Tidyr | 1.1.2 | arrumadoselecionar | 1.1.0 | Tidyverse | 1.3.0 |
| data e hora | 3043.102 | Tinytex | 0.28 | ferramentas | 4.0.4 |
| usethis | 2.0.0 | UTF8 | 1.1.4 | utilitários | 4.0.4 |
| Identificador Único Universal (UUID) | 0.1-4 | VCTRS | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | vibrissas | 0.4 | murchar | 2.3.0 |
| xfun | 0.19 | XML2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | ZIP | 2.1.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-CloudFormation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | AWS Java SDK para CloudSearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuração do AWS Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-diretório | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-aprendizado de máquina | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-rota53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | AWS Java SDK para SES | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-STS | 1.11.655 |
| com.amazonaws | aws-java-sdk-suporte | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-bibliotecas | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Reserva | 1.8-3 |
| com.databricks | Jatos 3T | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | Jackson-Core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | Jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-Java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | sistema_nativo-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-nativos | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | JSR305 | 3.0.0 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.goiaba | Goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2banco de dados | h2 | 1.4.195 |
| com.helger | gerador de perfis | 1.1.1 |
| com.jcraft | JSCH | 0.1.50 |
| com.jolbox | BoneCP | 0.8.0.LANÇAMENTO |
| com.lihaoyi | código-fonte_2.12 | 0.1.9 |
| com.microsoft.sqlserver | MSSQL-JDBC | 9.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK para Azure Data Lake Store) | 2.3.9 |
| com.ning | compressa-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | Json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | Chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocidade | analisadores de univocidade | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| codec commons | codec commons | 1.10 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-configuração | commons-configuração | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digestor | commons-digestor | 1.8 |
| commons-fileupload (upload de ficheiros comuns) | commons-fileupload (upload de ficheiros comuns) | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | métricas-base | 4.1.1 |
| io.dropwizard.metrics | métricas-grafite | 4.1.1 |
| io.dropwizard.metrics | métricas e verificações de saúde | 4.1.1 |
| io.dropwizard.metrics | métricas-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | métricas-json | 4.1.1 |
| io.dropwizard.metrics | métricas do JVM | 4.1.1 |
| io.dropwizard.metrics | Métricas-Servlets | 4.1.1 |
| io.netty | netty-tudo | 4.1.51.Final |
| io.prometeu | cliente simples | 0.7.0 |
| io.prometeu | simpleclient_comum | 0.7.0 |
| io.prometeu | simpleclient_dropwizard | 0.7.0 |
| io.prometeu | simpleclient_pushgateway | 0.7.0 |
| io.prometeu | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.ativação | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | JDO-API | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | JSP-API | 2.1 |
| javax.transaction | JTA | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | JAXB-API | 2.2.2 |
| javax.xml.stream | Stax-API | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| Joda-Time | Joda-Time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 04:30 |
| net.sf.jpam | JPAM | 1.1 |
| net.sf.opencsv | OpenCSV | 2.3 |
| net.sf.supercsv | Super-CSV | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combinado_tudo | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Runtime | 3.5.2 |
| org.antlr | antlr4-tempo de execução | 4.8-1 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ANT-JSCH | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 2.0.0 |
| org.apache.arrow | seta-memória-núcleo | 2.0.0 |
| org.apache.arrow | seta-memória-netty | 2.0.0 |
| org.apache.arrow | vetor de seta | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | AVRO-IPC | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-comprimir | 1,20 |
| org.apache.commons | commons-cripto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-matemática3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curador | curador-cliente | 2.7.1 |
| org.apache.curador | curador-framework | 2.7.1 |
| org.apache.curador | curador-receitas | 2.7.1 |
| org.apache.derby | Dérbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | API-Util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations (anotações do hadoop) | 2.7.4 |
| org.apache.hadoop | autenticação do Hadoop | 2.7.4 |
| org.apache.hadoop | Cliente Hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-comum | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-cliente-core | 2.7.4 |
| org.apache.hadoop | Cliente de Trabalho Hadoop MapReduce | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-cliente | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-comum | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) | 2.7.4 |
| org.apache.hive | colmeia-abelha | 2.3.7 |
| org.apache.hive | Hive-CLI | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | Hive-JDBC | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | sistema de metadados do Hive | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | API de armazenamento Hive | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-núcleo | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | Núcleo Http | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | Orc-calços | 1.5.12 |
| org.apache.parquet | coluna de parquet | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-comum | 1.10.1-DATABRICKS6 |
| org.apache.parquet | codificação-parquet | 1.10.1-DATABRICKS6 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | Parquet-Jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | cuidador de zoológico | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | Jackson-Jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | Jackson-XC | 1.9.13 |
| org.codehaus.janino | compilador comum | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | DataNucleus Core | 4.1.17 |
| org.datanucleus | Datanucleus-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.píer | Jetty-Cliente | 9.4.36.v20210114 |
| org.eclipse.píer | jetty-continuation (componente de software do Jetty) | 9.4.36.v20210114 |
| org.eclipse.píer | Jetty-HTTP | 9.4.36.v20210114 |
| org.eclipse.píer | Molhe IO | 9.4.36.v20210114 |
| org.eclipse.píer | Cais-JNDI | 9.4.36.v20210114 |
| org.eclipse.píer | Cais-Plus | 9.4.36.v20210114 |
| org.eclipse.píer | Jetty-Proxy | 9.4.36.v20210114 |
| org.eclipse.píer | Segurança do Jetty | 9.4.36.v20210114 |
| org.eclipse.píer | servidor jetty | 9.4.36.v20210114 |
| org.eclipse.píer | Jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.píer | Jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.píer | Jetty-util | 9.4.36.v20210114 |
| org.eclipse.píer | cais-util-ajax | 9.4.36.v20210114 |
| org.eclipse.píer | Aplicação web Jetty | 9.4.36.v20210114 |
| org.eclipse.píer | Jetty-XML | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | HK2-API | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | HK2-Utils | 2.6.1 |
| org.glassfish.hk2 | localizador de recursos OSGi | 1.0.3 |
| org.glassfish.hk2.externo | aopalliance-reembalado | 2.6.1 |
| org.glassfish.hk2.externo | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (serviço de contêiner Jersey) | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-cliente | 2.30 |
| org.glassfish.jersey.core | Jersey comum | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator (ferramenta de validação de dados de Java) | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-registro em log | 3.3.2.Final |
| org.jdbi | JDBI | 2.63.1 |
| org.joda | joda-converter | 1.7 |
| org.jodd | JODD-CORE | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-jackson_2,12 | 3.7.0-M5 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-cliente | 2.1.2 |
| org.objenesis | objenese | 2.5.1 |
| org.postgresql | PostgreSQL | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | calços | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-compatível-com-slf4j | 1.7.30 |
| org.slf4j | jul-para-slf4j | 1.7.30 |
| org.slf4j | SLF4J-API | 1.7.30 |
| org.slf4j | SLF4J-Log4J12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core (núcleo do Spring) | 4.1.4.VERSÃO |
| org.springframework | teste de primavera | 4.1.4.VERSÃO |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | XZ | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | maquinista_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | SQLITE-JDBC | 3.8.11.2 |
| org.xerial.snappy | Snappy-java | 1.1.8.2 |
| org.yaml | Snakeyaml | 1,24 |
| ouro | ouro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | íon-java | 1.0.2 |
| Stax | Stax-API | 1.0.1 |
| XMLENC | XMLENC | 0.52 |