Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Observação
O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.
O Databricks lançou essa versão em setembro de 2020. Ela foi declarada LTS (suporte de longo prazo) em outubro de 2020.
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 7.3 LTS, da plataforma do Apache Spark 3.0.
Para obter ajuda com a migração do Databricks Runtime 6.x, consulte o guia de migração do Databricks Runtime 7.x.
Novos recursos
Recursos e melhorias do Delta Lake
Esta versão fornece os seguintes recursos e aprimoramentos do Delta Lake:
Nesta seção
- Otimizações de desempenho do Delta Lake reduzem significativamente a sobrecarga
- Métricas de clonagem agora está disponível
-
Melhorias do Delta Lake
MERGE INTO - Especificar a posição inicial para a fonte de Fluxo estruturado do Delta Lake
Otimizações de desempenho do Delta Lake reduzem significativamente a sobrecarga
Esta versão oferece uma coleção de otimizações que reduzem a sobrecarga de operações do Delta Lake de segundos a dezenas de milissegundos. Para habilitar essas otimizações, você deve atualizar todos os clusters que gravam e leem sua tabela Delta para o Databricks Runtime 7.3 LTS ou superior.
Métricas de clonagem agora está disponível
As métricas de operação de clonagem agora são registradas e podem ser exibidas quando você executa o DESCRIBE HISTORY. Para obter detalhes, confira Examinar os detalhes da tabela do Delta Lake com detalhes de descrição.
Melhorias do Delta Lake MERGE INTO
- A mesclagem agora dá suporte a qualquer quantidade de cláusulas
MATCHEDeNOT MATCHED. - As consultas de mesclagem que excluem incondicionalmente as linhas correspondentes não lançam mais erros em várias correspondências.
Especificar a posição inicial para a fonte de Fluxo estruturado do Delta Lake
Agora, o conector de Fluxo estruturado do Delta Lake oferece suporte às opções startingVersion e startingTimestamp para especificar o ponto de partida da consulta de fluxo sem processar a tabela inteira. Para obter detalhes, confira Especificar a posição inicial.
Execução de consulta adaptável
A AQE (execução de consulta adaptável) é uma estrutura de reotimização de consulta que ajusta dinamicamente os planos de consulta durante a execução com base nas estatísticas de runtime coletadas. A AQE é habilitada por padrão no Databricks Runtime 7.3 LTS. Agora você pode experimentar todos os recursos da AQE. Para obter detalhes, confira Execução de consulta adaptável.
Aprimoramentos
Carregador Automático
- Agora dá suporte ao Azure Data Lake Storage Gen1 no modo de listagem de diretório
- Se o formato de arquivo for
textoubinaryFilevocê não precisará mais fornecer o esquema. Como os dois formatos de arquivo têm um esquema fixo, o Auto Loader pode usar automaticamente um esquema fixo.
Novo controle de comprimento de coluna do conector do Azure Synapse Analytics
Agora você pode usar um novo parâmetro maxbinlength para controlar o comprimento das colunas BinaryType. Esse parâmetro é convertido como VARBINARY(maxbinlength).
O padrão anterior (não configurável) era VARBINARY(MAX), o que causava problemas ao criar tabelas com colunas binárias e o esquema de indexação padrão. Especificamente, a criação da tabela falharia, pois o índice columnstore padrão não é compatível com MAX nas colunas de cadeia de caracteres e binárias.
Conversão de dataframe do pandas para Spark simplificada
Para habilitar os seguintes aprimoramentos, defina a configuração spark.databricks.execution.pandasZeroConfConversion.enabled do Spark:
-
createDataFrame(pandas_df)foi otimizado no Azure Databricks. - Um aviso será exibido se a conversão não puder ser feita com eficiência ou não for possível.
Novo maxResultSize na chamada toPandas()
Uma nova definição de configuração (spark.databricks.driver.localMaxResultSize) permite que você controle maxResultSize em uma chamada df.toPandas(). O limite é temporariamente alterado para max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). O valor padrão para a definição de configuração é o tamanho da memória física dividido por 4.
Um aviso será exibido se o tamanho resultante do df.toPandas() for maior que spark.driver.maxResultSize e menor que spark.databricks.driver.localMaxResultSize.
Essa definição de configuração afeta apenas DataFrames criados por uma chamada df.toPandas().
Observação
O spark.databricks.driver.localMaxResultSize entra em vigor somente quando spark.databricks.execution.pandasZeroConfConversion.enabled é verdadeiro.
Capacidade de depuração de UDFs do pandas e PySpark
Quando um UDF do pandas ou PySpark falha em um notebook do Azure Databricks, a mensagem de erro agora inclui o número de linha em que o código falhou e informações sobre a causa raiz.
Atualizações da biblioteca
- Bibliotecas do Python atualizadas:
- koalas atualizado do 1.1.0 para o 1.2.0.
- pyarrow atualizado de 0.15.1 para 1.0.1.
- Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.
- O build do OpenJDK 8 foi alterado do Ubuntu OpenJDK 8 para Zulu OpenJDK 8.
Apache Spark
O Databricks Runtime 7.3 LTS inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.2 (EoS), além das seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-32302][SPARK-28169] [SQL] Enviar parcialmente por push predicados disjuntivos por meio de junções/partições
- [SPARK-32337] [SQL] Mostrar plano inicial na cadeia de caracteres da árvore do plano da AQE
- [Spark-30662] Reverter as alterações de API de HasBlockSize
- [SPARK-32620] [SQL] Redefinir a métrica numPartitions quando DPP está habilitado
- [SPARK-32646] [SQL] O pushdown de predicado ORC deve funcionar com análise que não diferencia maiúsculas de minúsculas
- [SPARK-32676] [ML] Corrigir cache duplo em KMeans/BiKMeans
- [SPARK-32092] [ML][pyspark] Removido o código relacionado ao foldCol
-
[SPARK-32594] [SQL] Substituir
get()e usar dias do calendário juliano emDaysWritable - [SPARK-32608] [SQL] O valor do script Transform ROW FORMAT DELIMIT deve formatar o valor
- [SPARK-32092] [ML][pyspark] Corrigir parâmetros que não estão sendo copiados em CrossValidatorModel.copy(), read() e write()
- [SPARK-32672] [SQL] Corrigir dados corrompidos na compactação do conjunto de bits booliano
- [Spark-32663] [CORE] Evitar fechamento individual de TransportClients em pool (que deve ser fechado por meio do pool)
- A opção de caminho [SPARK-32621] [SQL] pode causar problemas ao inferir o esquema em fontes de dados CSV/JSON
- [SPARK-28863] [SQL] Não reutilizar o plano físico
- [SPARK-32608] [SQL] O valor do script Transform ROW FORMAT DELIMIT deve formatar o valor
- [SPARK-28863] [SQL] Introduzir AlreadyPlanned para evitar a reanálise de V1FallbackWriters
- [Spark-32451] [R] Suporte ao Apache Arrow 1.0.0
- [SPARK-32652] [SQL] ObjectSerializerPruning falha no RowEncoder
- [Spark-32518] [CORE] CoarseGrainedSchedulerBackend. maxNumConcurrentTasks deve considerar todos os tipos de recursos
- [SPARK-32559] [SQL] Corrigir a lógica de trim em UTF8String.toInt/toLong que não lidou corretamente com caracteres não ASCII
- [SPARK-32625] [SQL] Registrar mensagem de erro ao fazer fallback no modo interpretador
- [Spark-32543] [R] Remover uso de arrow::as_tibble no SparkR
- [SPARK-31703] [SQL] Float/double de RLE de Parquet são lidos incorretamente em plataformas big endian
- [SPARK-32586] [SQL] Corrigir a mensagem de erro NumberFormatException quando ANSI estiver habilitado
- [Spark-32456] [SS] Verificar o Distinct supondo-o como Aggregate para fluxo estruturado
-
[SPARK-32576] [SQL] Suporte ao tipo
bpchardo PostgreSQL e à matriz de tipo char - [SPARK-32559] [SQL] Corrigir a lógica de trim em UTF8String.toInt/toLong que não lidou corretamente com caracteres não ASCII
- [SPARK-32560] [SQL] Aprimorar a mensagem de exceção em InsertIntoHiveTable.processInsert
- [SPARK-32546] [SQL] Obter nomes de tabela diretamente de tabelas do Hive
- [Spark-32529] [CORE] Corrigir verificação de log de Historyserver anulada pela alteração de status do aplicativo
- [Spark-32003] [CORE] Quando o serviço de ordem aleatória externa é usado, cancelar o registro de saídas no executor na falha de busca após o executor ser perdido
- [SPARK-32160] [CORE][pyspark] Altere o nome da configuração para alternar allow/disallow SparkContext em executores
- [SPARK-32160] [CORE][pyspark] Adicionar uma configuração para alternar permitir/não permitir criar SparkContext em executores
- [SPARK-32083] [SQL] AQE não deve unir partições em SinglePartition
- [SPARK-32509] [SQL] Ignorar filtro True DPP não utilizado em Canonicalização
- [SPARK-32332] [SQL] Suporte a trocas em colunas
- [SPARK-32227] Corrigir o bug de regressão no load-spark-env.cmd com o Spark 3.0.0
- [SPARK-32478] [R][sql] Mensagem de erro que mostra a incompatibilidade de esquema no gapply com vetorização de Arrow
- [SPARK-32030] [SQL] Suporta cláusulas MATCHED e NOT MATCHED ilimitadas em MERGE INTO no analisador SQL
- [SPARK-32175] [CORE] Corrigir a ordem entre a inicialização de ExecutorPlugin e o início do thread de pulsação
- [SPARK-32283] [CORE] Kryo deve dar suporte a vários registradores de usuários
- [SPARK-32424] [SQL] Corrigir alteração de dados silenciosa para análise de carimbo de data/hora se o estouro de f ocorrer
- [SPARK-32430] [SQL] Estender SparkSessionExtensions para injetar regras na preparação do estágio de consulta AQE
- [SPARK-32310] [ML][pyspark] Paridade de valores padrão dos parâmetros de ML
- [SPARK-32237][SQL] Resolver dica na CTE
- [SPARK-32280][SPARK-32372] [SQL] O ResolveReferences.dedupRight só deve regravar atributos em nós ancestrais do plano de conflito
- [SPARK-32364] [SQL] Adicionar toMap para retornar originalMap e documentação
- [SPARK-32364] [SQL] Usar CaseInsensitiveMap para opções de Leitor/Gravador do DataFrame
- [SPARK-32377] [SQL] CaseInsensitiveMap deve ser determinístico para adição
- [SPARK-32365] [SQL] Adicionar uma condição de limite para o índice negativo no regexp_extract
- [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup e basePath devem respeitar a diferenciação de maiúsculas e minúsculas
- [SPARK-32344] [SQL] A expressão Unevaluable é definida como FIRST/LAST ignoreNullsExpr em agregações distintas
- [SPARK-32234][SQL] Os comandos de SQL do Spark estão falhando ao selecionar as tabelas ORC
Atualizações de manutenção
Confira Atualizações de manutenção do Databricks Runtime 7.3 LTS.
Ambiente do sistema
- Sistema operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
- Scala: 2.12.10
- Python: 3.7.5
- R: R versão 3.6.3 (29-02-2020)
- Delta Lake 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | chamada de retorno | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certificação | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | criptografia | 2.8 | ciclista | 0.10.0 |
| Cython | 0.29.15 | decorador | 4.4.1 | docutils | 0.15.2 |
| pontos de entrada | 0,3 | IDNA | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | Cliente Jupyter | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | Coalas | 1.2.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.5.2 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | caroço | 20.0.2 | kit de ferramentas de prompt | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | Pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | Pytz | 2019.3 |
| pyzmq | 18.1.1 | solicitações | 2.22.0 | s3transfer | 0.3.3 |
| scikit-aprender | 0.22.1 | Scipy | 1.4.1 | seaborn (biblioteca de visualização em Python) | 0.10.0 |
| Ferramentas de configuração | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels (biblioteca para modelos estatísticos em Python) | 0.11.0 | tornado | 6.0.3 | traitlets | 4.3.3 |
| atualizações não supervisionadas | 0,1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wheel | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN de 14/07/2020.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1,1 | afirme isso | 0.2.1 | backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| ciar | 1.3-25 | Fabricação de cerveja | 1.0-6 | vassoura | 0.7.0 |
| chamador | 3.4.3 | sinal de interpolação | 6.0-86 | Cellranger | 1.1.0 |
| crono | 2.3-55 | classe | 7.3-17 | Interface de Linha de Comando (CLI) | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| espaço de cores | 1.4-1 | commonmark | 1,7 | compilador | 3.6.3 |
| configuração | 0,3 | cobertor | 3.5.0 | giz de cera | 1.3.4 |
| diafonia | 1.1.0.1 | encurvar | 4.3 | Tabela de Dados | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| Descrição | 1.2.0 | devtools | 2.3.0 | hash | 0.6.25 |
| dplyr | 0.8.5 | DT | 0,14 | reticências | 0.3.1 |
| avaliar | 0,14 | fansi | 0.4.1 | cores | 2.0.3 |
| fastmap | 1.0.1 | para gatos | 0.5.0 | para cada | 1.5.0 |
| estrangeiro | 0.8-76 | forja | 0.2.0 | Fs | 1.4.2 |
| genéricos | 0.0.2 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globais | 0.12.5 |
| cola | 1.4.1 | Gower | 0.2.2 | elemento gráfico | 3.6.3 |
| grDevices | 3.6.3 | grade | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | refúgio | 2.3.1 |
| mais alto | 0,8 | Hms | 0.5.3 | ferramentas HTML | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | Iteradores | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | malhador | 1.29 |
| rotulagem | 0,3 | posterior | 1.1.0.1 | treliça | 0.20-41 |
| lava vulcânica | 1.6.7 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| lubrificado | 1.7.9 | magrittr | 1.5 | redução de preço | 1,1 |
| MISSA | 7.3-52 | Matriz | 1.2-18 | memorizar | 1.1.0 |
| Métodos | 3.6.3 | mgcv | 1.8-32 | mímica | 0,9 |
| ModelMetrics | 1.2.2.2 | modelador | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | paralelo | 3.6.3 | coluna | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | elogio | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.3 |
| Prodlim | 2019.11.13 | progresso | 1.2.2 | Promessas | 1.1.1 |
| proto | 1.0.0 | P.S. | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | Readr | 1.3.1 | readxl | 1.3.1 |
| Receitas | 0.1.13 | jogo de revanche | 1.0.1 | revanche2 | 2.1.2 |
| Controles remotos | 2.1.1 | exemplo reprodutível (reprex) | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversions | 2.0.2 |
| rvest | 0.3.5 | escamas | 1.1.1 | Seletor | 0.4-2 |
| informações de sessão | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| espacial | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | estatísticas | 3.6.3 | estatísticas4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | sobrevivência | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2,10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | data e hora | 3043.102 |
| tinytex | 0,24 | Ferramentas | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utilitários | 3.6.3 | identificador único universal (UUID) | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | vibrissa | 0,4 |
| murchar | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | YAML | 2.2.1 |
Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)
| ID do Grupo | ID do artefato | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | SDK Java para o ECS da AWS | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support (suporte para AWS Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraryes | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de classe | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | sistema_nativo-java | 1,1 |
| com.github.fommil.netlib | sistema_nativo-java-nativos | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | VERSÃO.0.8.0. |
| com.lihaoyi | código-fonte_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections (coleções comuns) | commons-collections (coleções comuns) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | métricas-verificações de saúde | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json (métricas em JSON) | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | Netty-all | 4.1.47.Final |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | API de transação | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolito | 4,30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | memória de seta | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | Texto Comum | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | estrutura do curador | 2.7.1 |
| org.apache.curator | curador de receitas | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | cliente Hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-common (componente comum do Hadoop) | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicativo cliente do hadoop-mapreduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | API de armazenamento do Hive | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | Agendador de Ajustes do Hive (hive-shims-scheduler) | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-em incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-calços | 1.5.10 |
| org.apache.parquet | coluna parquet | 1.10.1-databricks6 |
| org.apache.parquet | parquet-comum | 1.10.1-databricks6 |
| org.apache.parquet | codificação-parquet | 1.10.1-databricks6 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4,15 |
| org.apache.yetus | comentários da audiência | 0.5.0 |
| org.apache.zookeeper | zelador de zoológico | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | Continuação do Jetty (jetty-continuation) | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | segurança do jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | servidor jetty | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty Webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | Localizador de Recursos OSGi | 1.0.3 |
| org.glassfish.hk2.external | AliançaAOP-Reempacotado | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-comum | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | cliente Java do MariaDB | 2.1.2 |
| org.objenesis | objenésia | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,0 |
| org.scalanlp | breeze_2.12 | 1,0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.LANÇAMENTO |
| org.springframework | teste de primavera | 4.1.4.LANÇAMENTO |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | maquinista_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |