Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Observação
O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Notas de versão e compatibilidade do Databricks Runtime.
O Databricks lançou essa versão em julho de 2019. Ela foi declarada LTS (suporte de longo prazo) em agosto de 2019. O suporte foi encerrado em 27 de julho de 2021. O suporte estendido do Databricks Runtime 5.5 (EoS) foi lançado em 8 de julho de 2021 e estendido até dezembro de 2021. Ele usa o Ubuntu 18.04.5 LTS em vez da distribuição descontinuada do Ubuntu 16.04.6 LTS usada no Databricks Runtime 5.5 LTS original. O suporte ao Ubuntu 16.04.6 LTS foi encerrado em 1º de abril de 2021.
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 5.5, da plataforma Apache Spark.
Novos recursos
Delta Lake na Otimização Automática do Azure Databricks
Hoje, ao gravar dados no armazenamento em nuvem, você precisa compactar arquivos para obter o desempenho ideal de E/S. Você precisa se preocupar com o tamanho correto do arquivo, com que frequência compactar os arquivos, o tamanho de um cluster a ser usado e assim por diante. Para lidar com esse tipo de problema, temos o prazer de anunciar a disponibilidade geral da Otimização Automática com o Delta Lake no Azure Databricks. Durante cada gravação em tabelas Delta, descobrimos automaticamente os tamanhos de arquivo corretos e os arquivos compactos para que você não precise se preocupar em otimizar o layout de armazenamento. Durante as gravações, se a opção auto-optimize for true, o Azure Databricks determinará automaticamente se uma otimização é necessária e otimizará os arquivos pequenos. Para mais detalhes, confira Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Desempenho de consulta de agregação min, max e count aprimorado do Data Lake no Azure Databricks
O desempenho de consultas de agregação mínima, máxima e de contagem para Delta Lake no Azure Databricks foi significativamente melhorado reduzindo a quantidade de dados lidos. Essas consultas agora são executadas usando estatísticas e valores de partição nos metadados, em vez de examinando os dados.
Pipelines de inferência de modelo mais rápidos com uma fonte de dados de arquivo binário aprimorada e UDF do iterador escalar pandas (versão preliminar pública)
As tarefas de Machine Learning, principalmente no âmbito de imagem e vídeo, geralmente precisam operar em um grande número de arquivos. No Databricks Runtime 5.4, já disponibilizamos a fonte de dados de arquivo binário para facilitar o processo de ETL de arquivos arbitrários, como imagens, em tabelas do Spark. No Databricks Runtime 5,5, adicionamos uma opção, recursiveFileLookup, para carregar arquivos recursivamente de diretórios de entrada aninhados. Consulte Arquivo binário.
A fonte de dados de arquivos binários permite que você execute tarefas de inferência de modelo em paralelo a partir de tabelas do Spark usando um UDF escalar do Pandas. No entanto, pode ser necessário inicializar o modelo para cada lote de registros, o que apresenta sobrecarga. No Databricks Runtime 5.5, reportamos um novo tipo de UDF do Pandas chamado "iterador escalar" do Apache Spark mestre. Com ele, você pode inicializar um modelo apenas uma vez e aplicar o modelo a muitos lotes de entrada, o que pode resultar em um aumento de velocidade de 2 a 3 vezes para modelos como o ResNet50. Consulte Série para UDF escalar.
API de Segredos em notebooks R
A API de segredos permite injetar segredos em notebooks sem codificá-los. Essa API agora está disponível em notebooks R, além do suporte existente para notebooks Python e Scala. Você pode usar a função dbutils.secrets.get para obter segredos. Os segredos são reeditados antes da impressão em uma célula do notebook.
Aprimoramentos
- Suporte para execução de operações do Delta Lake SQL em Python
foreachBatch: corrigimos a limitação conhecida de não poder gravar em tabelas Delta de dentroforeachBatchde uma consulta de fluxo estruturado definida em Python. Isso é útil em cargas de trabalho comuns de streaming do Python; por exemplo, Gavar agregações de streaming no modo de atualização usando MERGE e foreachBatch. - Desempenho das tabelas Delta armazenadas no Azure Data Lake Gen2: a verificação da versão mais recente de uma tabela Delta no ADLS agora verifica apenas o final do log de transações, em vez de listar todas as versões disponíveis. Essa otimização torna
UPDATEuma operação de tempo constante, e melhora significativamente a latência. - Escalabilidade de otimização
ZORDER BY: a ordenação Z em tabelas Delta muito grandes agora usa unidades menores de trabalho governadas pelo controle de admissão avançado. Essa funcionalidade melhora a estabilidade dessa operação sem sacrificar a utilização do cluster. - Desempenho aprimorado de comandos DML em tabelas com grande número de colunas: agora, realizamos uma melhor remoção de coluna ao examinar dados correspondentes nos comandos
UPDATE,DELETEeMERGE. - Suporte para configuração de pontos de extremidade de serviço + VNet no conector de análise Spark-Synapse: adicionamos caminhos de ADL Gen2 a uma lista de permissões como locais de dados temporários (
.option("tempDir", "abfss://...")) e adicionamos uma nova opção chamadauseAzureMSI, a ser usada em vez deforward_spark_azure_storage_credentials, caso seu Synapse Analytics estiver configurado para autenticar por identidades gerenciadas à sua conta de armazenamento V2. - Invalidação automática para armazenamento em cache de disco: o armazenamento em cache de disco agora detecta automaticamente os arquivos que foram modificados ou substituídos após serem armazenados em cache. Todas as entradas obsoletas são automaticamente invalidadas e removidas do cache. Veja Otimizar o desempenho com o uso do cache no Azure Databricks.
- A roda da Biblioteca Python atualizada de 0.33.3 para 0.33.4.
- Atualizou-se a biblioteca R nlme da versão 3.1-139 para a 3.1-140.
Correções de bug
- Corrigido o cancelamento de comandos R que não executam trabalhos do Spark. Anteriormente, os comandos em R que não executavam trabalhos no Spark podiam ser cancelados, mas o estado do notebook seria perdido; agora, os comandos podem ser cancelados sem perder o estado do notebook.
- Descartar ou mover uma tabela gerenciada agora invalida o log do Delta Lake armazenado em cache.
- Foi corrigido um bug em que a gravação do ponto do Delta Lake pode falhar devido a
FileAlreadyExistsException. - O Scala REPL agora define o sinalizador adequado
-target:jvm-1.8para dar suporte à chamada de métodos Java que usam os recursos do Java 8.
Apache Spark
O Databricks Runtime 5.5 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados aoDatabricks Runtime 5.4 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [Spark-24695] Permitir que UDFs retornem CalendarInterval
- [SPARK-28056] Adicionar docString/doctest para UDF pandas SCALAR_ITER
- [Spark-28185] Fecha o gerador quando os UDFs do Python param antecipadamente
- [Spark-24703] Suporte para multiplicação de intervalo
- [SPARK-27018][CORE] Corrigir remoção incorreta do arquivo de ponto de verificação em PeriodicCheckpointer
- [SPARK-28127][SQL] Micro otimização no método mapChildren do TreeNode
- [SPARK-26038] Decimal toScalaBigInt/toJavaBigInteger para decimais que não se ajustam em comprimento
- [SPARK-26555][SQL] Tornar a verificação de thread do subtipo ScalaReflection segura
- [SPARK-28081][ML] Tratar contagens de vocabulário grandes no word2vec
- [SPARK-21882][CORE] OutputMetrics não conta bytes gravados corretamente na função saveAsHadoopDataset
- [SPARK-28030] Converter FilePath em URI em fonte de dados de arquivo binário
- [SPARK-27803][SQL] [PYTHON] Corrigir remoção de coluna para UDF do Python
- [SPARK-27917][SQL] A forma canônica do objeto CaseWhen está incorreta
- [SPARK-27798][SQL] from_avro não deve produzir o mesmo valor quando convertido em relação local
- [SPARK-27873][SQL] columnNameOfCorruptRecord não deve ser verificado com nomes de coluna no cabeçalho CSV ao desabilitar enforceSchema
- [SPARK-27907][SQL] HiveUDAF deve retornar NULO no caso de 0 linhas
- [SPARK-27699][SQL] Enviar por push parcialmente disjuntivo predicado em Parquet/ORC
- [SPARK-27868][CORE] Melhor valor padrão e documentação para a lista de pendências do servidor de soquete.
- [SPARK-27869][CORE] Editar informações confidenciais nas Propriedades do sistema da interface do usuário
- [SPARK-27863][SQL] [BACKPORT-2.4] Os arquivos de metadados e os arquivos temporários não devem ser contados como arquivos de dados
- [SPARK-27657][ML] Corrigir o formato de log de ml.util.Instrumentation.logFai…
- [SPARK-27858][SQL] Correção para desserialização do Avro em tipos de união com vários tipos não nulos
- [SPARK-27711][CORE] Desatribuir InputFileBlockHolder no final das tarefas
- [SPARK-27351][SQL] Estimativa de outputRows incorreta após AggregateEstimation com apenas coluna de valor nulo
- [SPARK-27539][SQL] Corrigir estimativa imprecisa do outputRows agregado com a coluna contendo valores nulos”
- [SPARK-27800][SQL] Corrigir resposta errada em casos de teste do BitwiseXor
- [SPARK-27639][SQL] InMemoryTableScan mostra o nome da tabela na interface do usuário, se possível
- [SPARK-27726][CORE] Ajustar o desempenho das exclusões do ElementTrackingStore ao usar o InMemoryStore sob cargas elevadas
- [SPARK-27771][SQL] Adicionar descrição SQL para funções de agrupamento (cube, rollup, grouping e grouping_id)
- [SPARK-27735][SS] A análise da cadeia de caracteres do intervalo não deve diferenciar maiúsculas de minúsculas em SS
- [Spark-26856][PYSPARK] Suporte ao Python para APIs from_avro e to_avro
- [SPARK-26870][SQL] Mover to_avro/from_avro para o objeto de funções devido à compatibilidade do Java
- [SPARK-26812][SQL] Relatar a nulidade correta para tipos de texto complexos em Union
- [SPARK-27671][SQL] Corrigir erro ao converter de um nulo aninhado em um struct
-
[SPARK-27673][SQL] Adicionar informações
sincea expressões aleatórias, regex e nulas -
[SPARK-27672][SQL] adicionar informações
sincea expressões de cadeia de caracteres - [SPARK-25139][SPARK-18406][CORE] Evitar NonFatals para encerrar o executor em PythonRunner
- [SPARK-27624][CORE] Corrigir CalendarInterval para mostrar um intervalo vazio corretamente
- [SPARK-27577][MLLIB] Corrigir limites downsampled em BinaryClassificationMetrics
- [SPARK-27621][ML] Regressão Linear - validar parâmetros relacionados ao treinamento, como perda somente durante a fase de ajuste
- [SPARK-26048][SPARK-24530] Cherrypick de todas as confirmações ausentes para o script de versão 2.4
- [SPARK-24935][SQL] suporte ao INIT ->UPDATE -> MERGE -> FINISH no adaptador do Hive UDAF
Atualizações de manutenção
Confira Atualizações de manutenção do Databricks Runtime 5.5.
Ambiente do sistema
- Sistema operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
- R: R versão 3.6.0 (2019-04-26)
-
Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
- Driver Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Observação
Embora o Scala 2.12 tenha suporte do Apache Spark 2.4, ele não tem suporte no Databricks Runtime 5.5.
Nesta seção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certificação | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1.5 | ciclista | 0.10.0 | Cython | 0.24.1 |
| decorador | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | contratos futuros | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | IDNA | 2.1 | endereço IP | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1,2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Almofada | 3.3.1 |
| caroço | 19.1.1 | Camada | 3.9 | kit de ferramentas de prompt | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| Pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | Pytz | 01/06/2016 |
| solicitações | 2.11.1 | s3transfer | 0.1.9 | scikit-aprender | 0.18.1 |
| Scipy | 0.18.1 | vasculhar | 0,32 | seaborn (biblioteca de visualização em Python) | 0.7.1 |
| Ferramentas de configuração | 41.0.1 | simplejson | 3.8.2 | simples3 | 1,0 |
| singledispatch | 3.4.0.3 | seis | 1.10.0 | statsmodels (biblioteca para modelos estatísticos em Python) | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.4 |
| wsgiref | 0.1.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | afirme isso | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | ciar | 1.3-20 |
| Fabricação de cerveja | 1.0-6 | chamador | 3.2.0 | carro | 3.0-2 |
| dadosDoCarro | 3.0-2 | acento circunflexo (^) | 6.0-82 | Cellranger | 1.1.0 |
| crono | 2.3-53 | classe | 7.3-15 | Interface de Linha de Comando (CLI) | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | espaço de cores | 1.4-1 | commonmark | 1,7 |
| compilador | 3.6.0 | configuração | 0,3 | giz de cera | 1.3.4 |
| encurvar | 3.3 | Tabela de Dados | 1.12.0 | conjuntos de dados | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Descrição | 1.2.0 |
| devtools | 2.0.1 | hash | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | reticências | 0.1.0 | fansi | 0.4.0 |
| para gatos | 0.4.0 | para cada | 1.4.4 | estrangeiro | 0.8-71 |
| forja | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| genéricos | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | associar | 1.3.1 |
| Gower | 0.2.0 | gráficos | 3.6.0 | grDevices | 3.6.0 |
| grade | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | H₂O | 3.22.1.1 | refúgio | 2.1.0 |
| Hms | 0.4.2 | ferramentas HTML | 0.3.6 | htmlwidgets | 1,3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iteradores | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | rotulagem | 0,3 |
| treliça | 0.20-38 | lava vulcânica | 1.6.5 | lazyeval | 0.2.2 |
| menor | 0.3.7 | lme4 | 1.1-21 | lubrificado | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
| maptools | 0.9-5 | MISSA | 7.3-51.1 | Matriz | 1.2-17 |
| MatrixModels | 0.4-1 | memorizar | 1.1.0 | métodos | 3.6.0 |
| mgcv | 1.8-28 | mímica | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1,3 | openxlsx | 4.1.0 |
| paralelo | 3.6.0 | pbkrtest | 0.4-7 | pilar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| elogio | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | Prodlim | 2018.04.18 | progresso | 1.2.0 |
| proto | 1.0.0 | P.S. | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | Readr | 1.3.1 |
| readxl | 1.3.1 | receitas | 0.1.5 | jogo de revanche | 1.0.1 |
| remotos | 2.0.2 | remodelar2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | escamas | 1.0.0 |
| informações de sessão | 1.1.1 | São Paulo | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | Esparso | 1.77 | espacial | 7.3-11 |
| Splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | estatísticas | 3.6.0 | estatísticas4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | data e hora | 3043.102 | ferramentas | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utilitários | 3.6.0 |
| viridisLite | 0.3.0 | vibrissa | 0.3-2 | murchar | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | YAML | 2.2.0 |
| zíper | 2.0.1 |
Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)
| ID do Grupo | ID do Artefato | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | SDK Java para o ECS da AWS | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support (suporte para AWS Java SDK) | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraryes | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de classe | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | VERSÃO.0.8.0. |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage (armazenamento em nuvem) | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections (coleções comuns) | commons-collections (coleções comuns) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | métricas-verificações de saúde | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json (métricas em JSON) | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | Netty-all | 4.1.17.Final |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolito | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | memória de seta | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubação |
| org.apache.calcite | calcite-core | 1.2.0-incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | estrutura do curador | 2.7.1 |
| org.apache.curator | curador de receitas | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | cliente Hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-common (componente comum do Hadoop) | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicativo cliente do hadoop-mapreduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-em incubação |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-calços | 1.5.2 |
| org.apache.parquet | coluna parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-comum | 1.10.1.1-databricks3 |
| org.apache.parquet | codificação-parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | tratador de animais | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | Continuação do Jetty (jetty-continuation) | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | segurança do jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | servidor jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty Webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | Localizador de Recursos OSGi | 1.0.1 |
| org.glassfish.hk2.external | AliançaAOP-Reempacotado | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-comum | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | Rápido | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | cliente Java do MariaDB | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenésia | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.LANÇAMENTO |
| org.springframework | teste de primavera | 4.1.4.LANÇAMENTO |
| org.tukaani | xz | 1.5 |
| org.typelevel | mecânico_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |