Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em setembro de 2020. Foi declarado Apoio de Longo Prazo (LTS) em outubro de 2020.
As seguintes notas de versão fornecem informações sobre o Databricks Runtime 7.3 LTS, alimentado pelo Apache Spark 3.0.
Para obter ajuda com a migração do Databricks Runtime 6.x, consulte Guia de migração do Databricks Runtime 7.x.
Novas funcionalidades
Recursos e melhorias do Delta Lake
Esta versão fornece os seguintes recursos e melhorias do Delta Lake:
Nesta secção
- As otimizações de desempenho do Delta Lake reduzem significativamente a sobrecarga
- Métricas de clonagem agora disponíveis
-
Melhorias no Lago
MERGE INTODelta - Especifique a posição inicial para a origem do Delta Lake Structured Streaming
As otimizações de desempenho do Delta Lake reduzem significativamente a sobrecarga
Esta versão permite uma coleção de otimizações que reduzem a sobrecarga das operações do Delta Lake de segundos para dezenas de milissegundos. Para habilitar essas otimizações, você deve atualizar todos os clusters que gravam e leem sua tabela Delta para o Databricks Runtime 7.3 LTS ou superior.
Métricas de clonagem agora disponíveis
As métricas da operação de clonagem agora são registradas e podem ser visualizadas quando você executa DESCRIBE HISTORYo . Para obter detalhes, consulte Revisar detalhes da tabela Delta Lake com detalhes de descrição.
Melhorias no Lago MERGE INTO Delta
- Mesclar agora suporta qualquer número de
MATCHEDeNOT MATCHEDcláusulas. - As consultas de mesclagem que excluem incondicionalmente as linhas correspondentes não geram mais erros em várias correspondências.
Especifique a posição inicial para a origem do Delta Lake Structured Streaming
O conector Delta Lake Structured Streaming agora suporta startingVersion opções para startingTimestamp especificar o ponto inicial da consulta de streaming sem processar a tabela inteira. Para obter detalhes, consulte Especificar posição inicial.
Execução de consultas adaptável
A execução adaptativa de consultas (AQE) é uma estrutura de reotimização de consultas que ajusta dinamicamente os planos de consulta durante a execução com base nas estatísticas de tempo de execução coletadas. O AQE está habilitado por padrão no Databricks Runtime 7.3 LTS. Agora você pode experimentar todos os recursos do AKE. Para obter detalhes, consulte Execução de consulta adaptável.
Melhorias
Carregador Automático
- Agora suporta o Azure Data Lake Storage Gen1 no modo de listagem de diretórios
- Se o formato de arquivo é
textoubinaryFilevocê não precisa mais fornecer o esquema. Como os dois formatos de arquivo têm um esquema fixo, o Auto Loader pode usar automaticamente um esquema fixo.
Novo controle de comprimento de coluna do conector do Azure Synapse Analytics
Agora você pode usar um novo parâmetro maxbinlength para controlar o comprimento das BinaryType colunas. Este parâmetro é traduzido como VARBINARY(maxbinlength).
O padrão anterior (não configurável) era VARBINARY(MAX), o que causava problemas ao criar tabelas com colunas binárias e o esquema de indexação padrão. Especificamente, a criação da tabela falharia, pois o índice columnstore padrão não suporta MAX as colunas string e binárias.
pandas para Spark DataFrame conversão simplificada
Para habilitar as seguintes melhorias, defina a configuração spark.databricks.execution.pandasZeroConfConversion.enableddo Spark :
-
createDataFrame(pandas_df)foi otimizado no Azure Databricks. - Um aviso é exibido se a conversão não puder ser feita de forma eficiente ou não for possível.
Novo maxResultSize em toPandas() chamada
Uma nova definição de configuração (spark.databricks.driver.localMaxResultSize) permite controlar maxResultSize uma df.toPandas() chamada. O limite é temporariamente alterado para max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). O valor padrão para a definição de configuração é o tamanho da memória física dividido por 4.
Um aviso será exibido se o tamanho do df.toPandas() resultado for maior spark.driver.maxResultSize e menor que spark.databricks.driver.localMaxResultSize.
Esta definição de configuração afeta apenas DataFrames criados por uma df.toPandas() chamada.
Nota
spark.databricks.driver.localMaxResultSize só entra em vigor quando spark.databricks.execution.pandasZeroConfConversion.enabled for verdadeiro.
Depuração de pandas e UDFs PySpark
Quando um pandas ou PySpark UDF falha em um bloco de anotações do Azure Databricks, a mensagem de erro agora inclui o número da linha onde o código falhou e informações sobre a causa raiz.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- Koalas atualizado de 1.1.0 para 1.2.0.
- Pyarrow atualizado de 0.15.1 para 1.0.1.
- Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
- A compilação do OpenJDK 8 é alterada do Ubuntu OpenJDK 8 para o Zulu OpenJDK 8.
Faísca Apache
O Databricks Runtime 7.3 LTS inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-32302][SPARK-28169] [SQL] Empurre parcialmente para baixo predicados disjuntivos através de Join/Partitions
- [FAÍSCA-32337] [SQL] Mostrar plano inicial na cadeia de caracteres da árvore de plano AQE
- [FAÍSCA-30662] Colocar de volta as alterações de API para HasBlockSize
- [FAÍSCA-32620] [SQL] Redefinir a métrica numPartitions quando o DPP estiver habilitado
- [FAÍSCA-32646] [SQL] O pushdown de predicado ORC deve funcionar com análise que não diferencia maiúsculas de minúsculas
- [FAÍSCA-32676] [ML] Corrigir cache duplo no KMeans/BiKMeans
- [SPARK-32092] [ML][pyspark] Código relativo a foldCol removido
-
[FAÍSCA-32594] [SQL] Substituir
get()e usar dias Julianos emDaysWritable - [FAÍSCA-32608] [SQL] Transformação de script ROW FORMAT DELIMIT valor deve formatar valor
- [SPARK-32092] [ML][pyspark] Corrija parâmetros que não estão sendo copiados em CrossValidatorModel.copy(), read() e write()
- [FAÍSCA-32672] [SQL] Corrigir corrupção de dados na compactação de conjunto de bits booleano
- [FAÍSCA-32663] [CORE] Evite o fechamento individual de TransportClients agrupados (que devem ser fechados através do pool)
- [SPARK-32621] [SQL] a opção 'path' pode causar problemas ao inferir o esquema em origens de dados CSV/JSON
- [FAÍSCA-28863] [SQL] Não reutilize o plano físico
- [FAÍSCA-32608] [SQL] Transformação de script ROW FORMAT DELIMIT valor deve formatar valor
- [FAÍSCA-28863] [SQL] Introduza AlreadyPlanned para evitar a reanálise de V1FallbackWriters
- [FAÍSCA-32451] [R] Suporte Apache Arrow 1.0.0
- [FAÍSCA-32652] [SQL] ObjectSerializerPruning falha para RowEncoder
- [FAÍSCA-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks deve considerar todos os tipos de recursos
- [SPARK-32559] [SQL] Corrigir a lógica de corte em UTF8String.toInt/toLong não manipulou caracteres não-ASCII corretamente
- [FAÍSCA-32625] [SQL] Registrar mensagem de erro ao voltar para o modo de intérprete
- [FAÍSCA-32543] [R] Remover a seta::as_tibble uso no SparkR
- [FAÍSCA-31703] [SQL] Parquet RLE float/double são lidos incorretamente em plataformas big endian
- [FAÍSCA-32586] [SQL] Corrigir mensagem de erro NumberFormatException quando ansi está ativado
- [FAÍSCA-32456] [SS] Verifique o Distinto assumindo-o como Agregado para Streaming Estruturado
-
[FAÍSCA-32576] [SQL] Suporte ao tipo PostgreSQL
bpchare matriz do tipo char - [SPARK-32559] [SQL] Corrigir a lógica de corte em UTF8String.toInt/toLong não manipulou caracteres não-ASCII corretamente
- [FAÍSCA-32560] [SQL] Melhorar a mensagem de exceção em InsertIntoHiveTable.processInsert
- [FAÍSCA-32546] [SQL] Obter nomes de tabelas diretamente de tabelas do Hive
- [FAÍSCA-32529] [CORE] Corrigir verificação de log do Historyserver abortada por alteração de status do aplicativo
- [FAÍSCA-32003] [CORE] Quando o serviço de shuffle externo é usado, cancele o registro de saídas para o executor na falha de busca após a perda do executor
- [SPARK-32160] [CORE][pyspark] Altere o nome da configuração para alternar allow/disallow SparkContext em executores
- [SPARK-32160] [CORE][pyspark] Adicione uma configuração para alternar permitir/não permitir criar SparkContext em executores
- [FAÍSCA-32083] [SQL] AQE não deve aglutinar partições para SinglePartition
- [FAÍSCA-32509] [SQL] Ignorar o filtro DPP True não utilizado na canonicalização
- [FAÍSCA-32332] [SQL] Suporte a trocas colunares
- [FAÍSCA-32227] Corrigir bug de regressão no load-spark-env.cmd com o Spark 3.0.0
- [SPARK-32478] [R][sql] Mensagem de erro para mostrar a incompatibilidade de esquema no gapply com vetorização de Arrow
- [SPARK-32030] [SQL] Ofereça suporte ilimitado a cláusulas MATCHED e NOT MATCHED em MERGE INTO no analisador SQL
- [FAÍSCA-32175] [CORE] Corrija a ordem entre a inicialização do ExecutorPlugin e o início do thread de pulsação
- [FAÍSCA-32283] [CORE] O Kryo deve suportar registradores de vários usuários
- [FAÍSCA-32424] [SQL] Corrigir a alteração silenciosa de dados para análise de carimbo de data/hora se ocorrer estouro f
- [FAÍSCA-32430] [SQL] Estenda SparkSessionExtensions para injetar regras na preparação do estágio de consulta AQE
- [SPARK-32310] [ML][pyspark] Paridade de valores padrão dos parâmetros de ML
- [FAÍSCA-32237] [SQL] Resolver dica no CTE
- [FAÍSCA-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight só deve reescrever atributos para nós ancestrais do plano de conflito
- [FAÍSCA-32364] [SQL] Adicionar toMap para retornar originalMapa e documentação
- [FAÍSCA-32364] [SQL] Use CaseInsensitiveMap para opções DataFrameReader/Writer
- [FAÍSCA-32377] [SQL] CaseInsensitiveMap deve ser determinístico para adição
- [FAÍSCA-32365] [SQL] Adicionar uma condição limite para índice negativo em regexp_extract
- [FAÍSCA-32368] [SQL] pathGlobFilter, recursiveFileLookup e basePath devem respeitar a indiferenciação de maiúsculas e minúsculas
- [FAÍSCA-32344] [SQL] Expr não avaliável é definido como FIRST/LAST ignoreNullsExpr em agregados distintos
- [FAÍSCA-32234] [SQL] Os comandos sql do Spark estão falhando na seleção das tabelas orc
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.3 LTS.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (compilação 1.8.0_265-b11)
- Escala: 2.12.10
- Píton: 3.7.5
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | Backcall | 0.1.0 | Boto3 | 1.12.0 |
| Botocore | 1.15.0 | certifi | 2020.6.20 | CFFI | 1.14.0 |
| Chardet | 3.0.4 | criptografia | 2.8 | ciclista | 0.10.0 |
| Quisto | 0.29.15 | decorador | 4.4.1 | Docutils | 0.15.2 |
| pontos de entrada | 0,3 | IDNA | 2.8 | Ipykernel | 5.1.4 |
| IPython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| JmesPath | 0.10.0 | Joblib | 0.14.1 | jupyter-cliente | 5.3.4 |
| Jupyter-core | 4.6.1 | Kiwisolver | 1.1.0 | coalas | 1.2.0 |
| Matplotlib | 3.1.3 | dormência | 1.18.1 | pandas | 1.0.1 |
| Parso | 0.5.2 | vítima | 0.5.1 | Espere | 4.8.0 |
| pickleshare | 0.7.5 | pip (o gestor de pacotes do Python) | 20.0.2 | kit de ferramentas de prompt | 3.0.3 |
| PSYCOPG2 | 2.8.4 | ptyprocess | 0.6.0 | Pyarrow | 1.0.1 |
| Pycparser | 2.19 | Pigmentos | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | Pyparsing | 2.4.6 | Meias PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.8.1 | Pytz | 2019.3 |
| Pyzmq | 18.1.1 | pedidos | 2.22.0 | s3transferir | 0.3.3 |
| scikit-learn (biblioteca de aprendizado de máquina em Python) | 0.22.1 | SciPy | 1.4.1 | nascido no mar | 0.10.0 |
| Ferramentas de configuração | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.11.0 | tornado | 6.0.3 | traços | 4.3.3 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| largura de wc | 0.1.8 | wheel | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-07-14.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | Retroportagens | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | Belo Horizonte | 1.72.0-3 |
| pouco | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| arranque | 1.3-25 | fabricação de cerveja | 1.0-6 | vassoura | 0.7.0 |
| Chamador | 3.4.3 | acento circunflexo | 6.0-86 | Cellranger | 1.1.0 |
| crono | 2.3-55 | classe | 7.3-17 | CLI | 2.0.2 |
| Clipr | 0.7.0 | cluster | 2.1.0 | CodeTools | 0,2-16 |
| espaço em cores | 1.4-1 | marca comum | 1.7 | compilador | 3.6.3 |
| configuração | 0,3 | CoVR | 3.5.0 | lápis de cor | 1.3.4 |
| conversa cruzada | 1.1.0.1 | encaracolar | 4.3 | tabela de dados | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | DBPlyr | 1.4.4 |
| descrição | 1.2.0 | DevTools | 2.3.0 | resumo | 0.6.25 |
| DPLYR | 0.8.5 | DT | 0.14 | reticências | 0.3.1 |
| avaliar | 0.14 | Fãsi | 0.4.1 | Farver | 2.0.3 |
| mapa rápido | 1.0.1 | FORCATS | 0.5.0 | para cada | 1.5.0 |
| externa | 0.8-76 | forjar | 0.2.0 | FS | 1.4.2 |
| genérico | 0.0.2 | GGPLOT2 | 3.3.2 | GH | 1.1.0 |
| Git2R | 0.27.1 | GLMNET | 3.0-2 | Globais | 0.12.5 |
| colar | 1.4.1 | Gower | 0.2.2 | gráficos | 3.6.3 |
| grDispositivos | 3.6.3 | grelha | 3.6.3 | gridExtra | 2.3 |
| GSUBFN | 0,7 | tabela g | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets (componentes HTML interativos) | 1.5.1 | httpuv | 1.5.4 | HTTR | 1.4.1 |
| Hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.2 | iteradores | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | Knitr | 1,29 |
| etiquetagem | 0,3 | mais tarde | 1.1.0.1 | treliça | 0.20-41 |
| lave | 1.6.7 | preguiça | 0.2.2 | ciclo de vida | 0.2.0 |
| lubridato | 1.7.9 | Magrittr | 1.5 | Marcação | 1.1 |
| MASSA | 7.3-52 | Matriz | 1.2-18 | memorização | 1.1.0 |
| métodos | 3.6.3 | MGCV | 1.8-32 | mímica | 0,9 |
| ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 | Munsell | 0.5.0 |
| NLME | 3.1-149 | NNET | 7.3-14 | numDeriv | 2016.8 a 1.1 |
| openssl (conjunto de ferramentas para criptografia) | 1.4.2 | paralelo | 3.6.3 | pilar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | Plyr | 1.8.6 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| Prodlim | 2019.11.13 | Progresso | 1.2.2 | promessas | 1.1.1 |
| prototipo | 1.0.0 | PS | 1.3.3 | ronronar | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | Floresta Aleatória | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.13 | revanche | 1.0.1 | revanche2 | 2.1.2 |
| Controles remotos | 2.1.1 | Reprex | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | RJSON | 0.2.20 | Rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | oxigénio2 | 7.1.1 |
| rpart (função de partição recursiva em R) | 4.1-15 | rprojroot | 1.3-2 | Reserva | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversões | 2.0.2 |
| Rvest | 0.3.5 | escalas | 1.1.1 | seletor | 0.4-2 |
| Informação da sessão | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
| ferramentas de origem | 0.1.7 | Brilho | 1.3.1 | Faísca | 3.0.0 |
| espacial | 7.3-11 | estrias | 3.6.3 | sqldf | 0.4-11 |
| QUADRADO | 2020.3 | estatísticas | 3.6.3 | estatísticas4 | 3.6.3 |
| string | 1.4.6 | stringr | 1.4.0 | sobrevivência | 3.1-12 |
| Sistema | 3.3 | tcltk (uma linguagem de programação) | 3.6.3 | Demonstrações de Ensino | 2.10 |
| testeatat | 2.3.2 | Tibble | 3.0.3 | Tidyr | 1.1.0 |
| arrumadoselecionar | 1.1.0 | Tidyverse | 1.3.0 | data e hora | 3043.102 |
| Tinytex | 0.24 | ferramentas | 3.6.3 | usethis | 1.6.1 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | Identificador Único Universal (UUID) | 0.1-4 |
| VCTRS | 0.3.1 | viridisLite | 0.3.0 | vibrissas | 0.4 |
| murchar | 2.2.0 | xfun | 0,15 | XML2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-CloudFormation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | AWS Java SDK para CloudSearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuração do AWS Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-diretório | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-aprendizado de máquina | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-rota53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | AWS Java SDK para SES | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-STS | 1.11.655 |
| com.amazonaws | aws-java-sdk-suporte | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-bibliotecas | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Reserva | 1.8-3 |
| com.databricks | Jatos 3T | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | Jackson-Core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | Jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-Java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | sistema_nativo-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-nativos | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | JSR305 | 3.0.0 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.goiaba | Goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2banco de dados | h2 | 1.4.195 |
| com.helger | gerador de perfis | 1.1.1 |
| com.jcraft | JSCH | 0.1.50 |
| com.jolbox | BoneCP | 0.8.0.LANÇAMENTO |
| com.lihaoyi | código-fonte_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK para Azure Data Lake Store) | 2.2.8 |
| com.microsoft.sqlserver | MSSQL-JDBC | 8.2.1.jre8 |
| com.ning | compressa-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | Json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | Chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocidade | analisadores de univocidade | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| codec commons | codec commons | 1.10 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-configuração | commons-configuração | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digestor | commons-digestor | 1.8 |
| commons-fileupload (upload de ficheiros comuns) | commons-fileupload (upload de ficheiros comuns) | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | métricas-base | 4.1.1 |
| io.dropwizard.metrics | métricas-grafite | 4.1.1 |
| io.dropwizard.metrics | métricas e verificações de saúde | 4.1.1 |
| io.dropwizard.metrics | métricas-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | métricas-json | 4.1.1 |
| io.dropwizard.metrics | métricas do JVM | 4.1.1 |
| io.dropwizard.metrics | Métricas-Servlets | 4.1.1 |
| io.netty | netty-tudo | 4.1.47.Final |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.ativação | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | JDO-API | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | JSP-API | 2.1 |
| javax.transaction | JTA | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | JAXB-API | 2.2.2 |
| javax.xml.stream | Stax-API | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| Joda-Time | Joda-Time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 04:30 |
| net.sf.jpam | JPAM | 1.1 |
| net.sf.opencsv | OpenCSV | 2.3 |
| net.sf.supercsv | Super-CSV | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combinado_tudo | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Runtime | 3.5.2 |
| org.antlr | antlr4-tempo de execução | 4.7.1 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ANT-JSCH | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | seta-memória | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | AVRO-IPC | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-comprimir | 1.8.1 |
| org.apache.commons | commons-cripto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-matemática3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curador | curador-cliente | 2.7.1 |
| org.apache.curador | curador-framework | 2.7.1 |
| org.apache.curador | curador-receitas | 2.7.1 |
| org.apache.derby | Dérbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | API-Util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations (anotações do hadoop) | 2.7.4 |
| org.apache.hadoop | autenticação do Hadoop | 2.7.4 |
| org.apache.hadoop | Cliente Hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-comum | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-cliente-core | 2.7.4 |
| org.apache.hadoop | Cliente de Trabalho Hadoop MapReduce | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-cliente | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-comum | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) | 2.7.4 |
| org.apache.hive | colmeia-abelha | 2.3.7 |
| org.apache.hive | Hive-CLI | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | Hive-JDBC | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | sistema de metadados do Hive | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | API de armazenamento Hive | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-núcleo | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | Núcleo Http | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-núcleo | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | Orc-calços | 1.5.10 |
| org.apache.parquet | coluna de parquet | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-comum | 1.10.1-DATABRICKS6 |
| org.apache.parquet | codificação-parquet | 1.10.1-DATABRICKS6 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | Parquet-Jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | cuidador de zoológico | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | Jackson-Jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | Jackson-XC | 1.9.13 |
| org.codehaus.janino | compilador comum | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | DataNucleus Core | 4.1.17 |
| org.datanucleus | Datanucleus-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.píer | Jetty-Cliente | 9.4.18.v20190429 |
| org.eclipse.píer | jetty-continuation (componente de software do Jetty) | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-HTTP | 9.4.18.v20190429 |
| org.eclipse.píer | Molhe IO | 9.4.18.v20190429 |
| org.eclipse.píer | Cais-JNDI | 9.4.18.v20190429 |
| org.eclipse.píer | Cais-Plus | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-Proxy | 9.4.18.v20190429 |
| org.eclipse.píer | Segurança do Jetty | 9.4.18.v20190429 |
| org.eclipse.píer | servidor jetty | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-util | 9.4.18.v20190429 |
| org.eclipse.píer | Aplicação web Jetty | 9.4.18.v20190429 |
| org.eclipse.píer | Jetty-XML | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | HK2-API | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | HK2-Utils | 2.6.1 |
| org.glassfish.hk2 | localizador de recursos OSGi | 1.0.3 |
| org.glassfish.hk2.externo | aopalliance-reembalado | 2.6.1 |
| org.glassfish.hk2.externo | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (serviço de contêiner Jersey) | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-cliente | 2.30 |
| org.glassfish.jersey.core | Jersey comum | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator (ferramenta de validação de dados de Java) | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-registro em log | 3.3.2.Final |
| org.jdbi | JDBI | 2.63.1 |
| org.joda | joda-converter | 1.7 |
| org.jodd | JODD-CORE | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.6.6 |
| org.json4s | JSON4S-core_2.12 | 3.6.6 |
| org.json4s | JSON4S-jackson_2,12 | 3.6.6 |
| org.json4s | JSON4S-scalap_2.12 | 3.6.6 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-cliente | 2.1.2 |
| org.objenesis | objenese | 2.5.1 |
| org.postgresql | PostgreSQL | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-compatível-com-slf4j | 1.7.30 |
| org.slf4j | jul-para-slf4j | 1.7.30 |
| org.slf4j | SLF4J-API | 1.7.30 |
| org.slf4j | SLF4J-Log4J12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core (núcleo do Spring) | 4.1.4.VERSÃO |
| org.springframework | teste de primavera | 4.1.4.VERSÃO |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | XZ | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | maquinista_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.xerial | SQLITE-JDBC | 3.8.11.2 |
| org.xerial.snappy | Snappy-java | 1.1.7.5 |
| org.yaml | Snakeyaml | 1,24 |
| ouro | ouro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | íon-java | 1.0.2 |
| Stax | Stax-API | 1.0.1 |
| XMLENC | XMLENC | 0.52 |