Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em julho de 2019. Foi declarado Apoio a Longo Prazo (LTS) em agosto de 2019. O apoio terminou em 27 de julho de 2021. O Databricks Runtime 5.5 Extended Support (EoS) foi lançado em 8 de julho de 2021 e estende o suporte 5.5 até dezembro de 2021. Ele usa o Ubuntu 18.04.5 LTS em vez da distribuição Ubuntu 16.04.6 LTS preterida usada no Databricks Runtime 5.5 LTS original. O suporte ao Ubuntu 16.04.6 LTS cessou em 1 de abril de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 5.5, desenvolvido pelo Apache Spark.
Novas funcionalidades
Delta Lake no Azure Databricks Auto Otimize
Hoje, quando você grava dados no armazenamento em nuvem, precisa compactar arquivos para obter um desempenho ideal de E/S. Você tem que se preocupar com o tamanho certo do arquivo, com que frequência compactar os arquivos, quão grande um cluster usar, e assim por diante. Para resolver essa classe de problemas, temos o prazer de anunciar a disponibilidade geral do Auto Otimize com Delta Lake no Azure Databricks. Durante cada gravação em tabelas Delta, descobrimos automaticamente os tamanhos de arquivo certos e os arquivos compactos para que você não precise se preocupar em otimizar o layout de armazenamento. Durante as gravações, se a auto-optimize opção for true, o Azure Databricks determina automaticamente se uma otimização é necessária e otimiza os arquivos pequenos. Para obter detalhes, consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Delta Lake no Azure Databricks melhorou o desempenho das consultas de agregação min, max e count.
O desempenho das consultas de agregação min, max e count para Delta Lake no Azure Databricks foi significativamente melhorado reduzindo a quantidade de dados lidos. Essas consultas agora são executadas usando estatísticas e valores de partição nos metadados, em vez de verificar os dados.
Pipelines de inferência de modelo mais rápidos com fonte de dados de arquivo binário aprimorada e iterador escalar pandas UDF (Public Preview)
As tarefas de aprendizado de máquina, especialmente no domínio de imagem e vídeo, muitas vezes têm que operar em um grande número de arquivos. No Databricks Runtime 5.4, já disponibilizámos a fonte de dados de arquivos binários para auxiliar no processo ETL de arquivos arbitrários, como imagens, em tabelas do Spark. No Databricks Runtime 5.5, adicionamos uma opção, recursiveFileLookup, para carregar arquivos recursivamente de diretórios de entrada aninhados. Consulte Arquivo binário.
A fonte de dados do arquivo binário permite executar tarefas de inferência de modelo em paralelo a partir de tabelas do Spark usando um UDF escalar de pandas. No entanto, talvez seja necessário inicializar o modelo para cada lote de registro, o que introduz sobrecarga. Na Databricks Runtime 5.5, retrocompatibilizámos um novo tipo de UDF de pandas chamado "iterador escalar" da versão principal do Apache Spark. Com ele você pode inicializar um modelo apenas uma vez e aplicar o modelo a muitos lotes de entrada, o que pode resultar em uma aceleração de 2-3x para modelos como ResNet50. Consulte Converter série para função escalar UDF.
API de segredos em notebooks R
A API Secrets permite injetar segredos em blocos de anotações sem codificá-los. Essa API agora está disponível em notebooks R, além do suporte existente para notebooks Python e Scala. Você pode usar a dbutils.secrets.get função para obter segredos. Os segredos são editados antes de serem impressos numa célula do caderno.
Melhorias
- Suporte para executar operações Delta Lake SQL em Python
foreachBatch: Corrigimos a limitação conhecida de não ser capaz de escrever em tabelas Delta a partir de uma consulta de streaming estruturado definida em Python. Isso é útil em cargas de trabalho comuns de streaming do Python; por exemplo, Gravando agregações de streaming no modo de atualização usando MERGE e foreachBatch. - Desempenho de tabelas Delta armazenadas no Azure Data Lake Gen2: a verificação da versão mais recente de uma tabela Delta no ADLS agora verifica apenas o final do log de transações, em vez de listar todas as versões disponíveis. Esta otimização faz
UPDATEuma operação de tempo constante, melhorando significativamente a latência. - Escalabilidade do Optimize
ZORDER BY: O Z-Ordering em tabelas Delta muito grandes agora utiliza unidades de trabalho menores que são regidas por controlo de admissão avançado. Esse recurso melhora a estabilidade dessa operação sem sacrificar a utilização do cluster. - Melhor desempenho dos comandos DML em tabelas com grande número de colunas: agora realizamos uma melhor poda de colunas ao verificar dados correspondentes em
UPDATE,DELETEeMERGEcomandos. - Suporte para configuração de VNet + Service Endpoints no Spark - Synapse Analytics connector: adicionamos caminhos ADL Gen2 a uma lista de permissões como locais de dados temporários (
.option("tempDir", "abfss://...")) e adicionamos uma nova opção chamadauseAzureMSI, para ser usada em vez de no caso de seu Synapse Analytics estar configurado para autenticar por meio deforward_spark_azure_storage_credentialsidentidades gerenciadas em sua conta de armazenamento V2. - Invalidação automática para cache de disco: o cache de disco agora deteta automaticamente os arquivos que foram modificados ou substituídos após serem armazenados em cache. Todas as entradas obsoletas são automaticamente invalidadas e removidas do cache. Consulte Otimizar o desempenho com cache no Azure Databricks.
- Roda de biblioteca Python atualizada de 0.33.3 para 0.33.4.
- Biblioteca R atualizada nlme de 3.1-139 para 3.1-140.
Correções de erros
- Corrigido o cancelamento para comandos R que não executam trabalhos do Spark. Anteriormente, os comandos R que não executam trabalhos do Spark podiam ser cancelados, mas o estado dos blocos de anotações seria perdido; Os comandos agora podem ser cancelados sem perder o estado do bloco de anotações.
- Soltar ou mover uma tabela gerenciada agora invalida o log Delta Lake armazenado em cache.
- Corrigido um bug que ao escrever o ponto de verificação Delta Lake pode falhar devido ao
FileAlreadyExistsException. - O Scala REPL agora define o sinalizador adequado
-target:jvm-1.8para suportar a chamada de métodos Java que usam recursos Java 8.
Apache Spark
O Databricks Runtime 5.5 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.4 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-24695] Permitir que UDFs retornem CalendarInterval
- [SPARK-28056] adicionar docstring/doctest para SCALAR_ITER pandas UDF
- [FAÍSCA-28185] Fecha o gerador quando UDFs em Python terminam cedo
- [SPARK-24703] Suporte para multiplicação de intervalos
- [SPARK-27018][CORE] Corrigir a remoção incorreta do ficheiro de checkpoint no PeriodicCheckpointer
- [SPARK-28127][SQL] Micro otimização no método mapChildren da TreeNode
- [SPARK-26038] Decimal toScalaBigInt/toJavaBigInteger para decimais que não cabem num tipo long
- [SPARK-26555][SQL] torna a verificação de subtipos em ScalaReflection segura para threads
- [SPARK-28081][ML] Manipular grandes contagens de vocábulos no Word2Vec
- [SPARK-21882][CORE] OutputMetrics não conta bytes gravados corretamente na função saveAsHadoopDataset
- [SPARK-28030] converter caminho do ficheiro para URI na fonte de dados de ficheiro binário
- [FAÍSCA-27803][SQL][PYTHON] Corrigir remoção de coluna para Python UDF
- [FAÍSCA-27917][SQL] forma canónica do objeto CaseWhen está incorreta
- [SPARK-27798][SQL] from_avro não deve produzir o mesmo valor quando convertido em relação local
- [FAÍSCA-27873][SQL] columnNameOfCorruptRecord não deve ser comparado com os nomes de coluna do cabeçalho CSV quando o enforceSchema estiver desativado.
- [SPARK-27907][SQL] HiveUDAF deve retornar NULL no caso de zero linhas
- [SPARK-27699][SQL] Efetuar parcialmente o empurrão de predicados disjuntivos em Parquet/ORC
- [SPARK-27868][CORE] Melhor valor padrão e documentação para a fila de espera do servidor de sockets.
- [FAÍSCA-27869][CORE] Redigir informações confidenciais nas Propriedades do Sistema da interface do usuário
- [SPARK-27863][SQL][BACKPORT-2.4] Arquivos de metadados e arquivos temporários não devem ser contados como arquivos de dados
- [SPARK-27657][ML] Corrigir o formato de log de ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Correção da desserialização Avro em tipos union com vários tipos não nulos
- [FAÍSCA-27711][CORE] Unset InputFileBlockHolder no final das tarefas
- [FAÍSCA-27351][SQL] Estimativa errada outputRows após AggregateEstimation com apenas coluna de valor nulo
- [SPARK-27539][SQL] Corrigir estimativa de linhas de saída agregadas imprecisas para colunas contendo valores nulos"
- [SPARK-27800][SQL] Corrigir resposta errada nos casos de teste de BitwiseXor
- [SPARK-27639][SQL] InMemoryTableScan mostra o nome da tabela na interface de utilizador, se possível
- [SPARK-27726][CORE] Corrigir o desempenho das eliminações do ElementTrackingStore ao usar InMemoryStore em condições de alta carga
- [SPARK-27771][SQL] Adicionar descrição SQL para funções de agrupamento (cube, rollup, grouping e grouping_id)
- [SPARK-27735][SS] A cadeia de caracteres intervalar deve ser insensível a maiúsculas e minúsculas no SS
- [SPARK-26856][PYSPARK] Suporte Python para APIs from_avro e to_avro
- [SPARK-26870][SQL] Mover to_avro/from_avro para o objeto functions devido à compatibilidade Java
- [FAÍSCA-26812][SQL] Relatar a anulabilidade correta para tipos de dados complexos na União
- [SPARK-27671][SQL] Corrigir erro ao converter de um elemento nulo aninhado numa estrutura
-
[SPARK-27673][SQL] Adicionar
sinceinformação a expressões aleatórias, regex, nulas -
[FAÍSCA-27672][SQL] Adicionar
sinceinformações a expressões de cadeia de caracteres - [FAÍSCA-25139][FAÍSCA-18406][CORE] Evite NonFatals para matar o Executor no PythonRunner
- [SPARK-27624][CORE] Corrigir CalenderInterval para mostrar um intervalo vazio corretamente
- [SPARK-27577][MLLIB] Corrigir amostragem reduzida nos limites em BinaryClassificationMetrics
- [FAÍSCA-27621][ML] Regressão Linear - valida parâmetros relacionados ao treinamento, como perda apenas durante a fase de ajuste
- [SPARK-26048][SPARK-24530] Cherrypick todos os commits ausentes para o script de versão 2.4
- [SPARK-24935][SQL] suporte a INIT ->UPDATE -> MERGE -> FINISH no adaptador UDAF do Hive
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 5.5.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Escala: 2.11.12
- Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
- R: R versão 3.6.0 (2019-04-26)
-
Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
- Piloto da Tesla 375.66
- CUDA 9,0
- cuDNN 7,0
Nota
Embora o Scala 2.12 seja suportado no Apache Spark 2.4, ele não é suportado no Databricks Runtime 5.5.
Nesta secção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | Argparse | 1.2.1 | backports-abc | 0,5 |
| botão | 2.42.0 | Boto3 | 1.4.1 | Botocore | 1.4.70 |
| cervejeiro2mpl | 1.4.1 | certifi | 2016.2.28 | CFFI | 1.7.0 |
| Chardet | 2.3.0 | Colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1.5 | ciclador | 0.10.0 | Cython | 0.24.1 |
| decorador | 4.0.10 | Docutils | 0.14 | ENUM34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futuros | 3.2.0 | Ggplot | 0.6.8 |
| html5lib | 0.999 | IDNA | 2.1 | endereço IP | 1.0.16 |
| IPython | 2.2.0 | ipython-genutils | 0.1.0 | JDCAL | 1.2 |
| Jinja2 | 2.8 | JmesPath | 0.9.0 | LLVMLITE | 0.13.0 |
| LXML | 3.6.4 | Marcação Segura | 0.23 | Matplotlib | 1.5.3 |
| MPLD3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| Dormência | 0.28.1 | dormência | 1.11.1 | openpyxl (biblioteca para manipular ficheiros Excel em Python) | 2.3.2 |
| pandas | 0.19.2 | Pathlib2 | 2.1.0 | bode expiatório | 0.4.1 |
| Espere | 4.0.1 | pickleshare | 0.7.4 | Travesseiro | 3.3.1 |
| pip (o gestor de pacotes do Python) | 19.1.1 | camada | 3.9 | kit de ferramentas de prompt | 1.0.7 |
| PSYCOPG2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| Pyarrow | 0.8.0 | Piasn1 | 0.1.9 | Pycparser | 2.14 |
| Pigmentos | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| Pyparsing | 2.2.0 | PYPNG | 0.0.18 | Python | 2.7.12 |
| python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.5.3 | Python-Geohash | 0.8.5 | Pytz | 1.6.2016 |
| pedidos | 2.11.1 | s3transferência | 0.1.9 | scikit-learn (biblioteca de aprendizado de máquina em Python) | 0.18.1 |
| SciPy | 0.18.1 | vasculhar | 0.32 | nascido no mar | 0.7.1 |
| Ferramentas de configuração | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| despacho único | 3.4.0.3 | seis | 1.10.0 | statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.6.1 |
| tornado | 5.1.1 | traços | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.4 |
| WSGIREF | 0.1.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| Retroportagens | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| Belo Horizonte | 1.69.0-1 | pouco | 1.1-14 | bit64 | 0.9-7 |
| Bitops | 1.0-6 | blob | 1.1.1 | arranque | 1.3-20 |
| preparar | 1.0-6 | Chamador | 3.2.0 | carro | 3.0-2 |
| dadosDoCarro | 3.0-2 | sinal de inserção | 6.0-82 | CellRanger | 1.1.0 |
| crono | 2.3-53 | classe | 7.3-15 | Interface de Linha de Comando (CLI) | 1.1.0 |
| Clipr | 0.5.0 | clisímbolos | 1.2.0 | cluster | 2.0.8 |
| CodeTools | 0,2-16 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.0 | configuração | 0,3 | lápis de cor | 1.3.4 |
| encaracolar | 3.3 | tabela de dados | 1.12.0 | conjuntos de dados | 3.6.0 |
| DBI | 1.0.0 | DBPlyr | 1.3.0 | descrição | 1.2.0 |
| DevTools | 2.0.1 | resumo | 0.6.18 | doMC | 1.3.5 |
| DPLYR | 0.8.0.1 | reticências | 0.1.0 | Fãsi | 0.4.0 |
| FORCATS | 0.4.0 | para cada | 1.4.4 | estrangeiro | 0,8-71 |
| forjar | 0.2.0 | FS | 1.2.7 | GBM | 2.1.5 |
| genérico | 0.0.2 | GGPLOT2 | 3.1.0 | GH | 1.0.1 |
| Git2R | 0.25.2 | GLMNET | 2.0-16 | cola | 1.3.1 |
| Gower | 0.2.0 | gráficos | 3.6.0 | grDispositivos | 3.6.0 |
| grelha | 3.6.0 | gridExtra | 2.3 | GSUBFN | 0,7 |
| tabela g | 0.3.0 | H₂O | 3.22.1.1 | Refúgio | 2.1.0 |
| HMS | 0.4.2 | htmltools | 0.3.6 | htmlwidgets (componentes HTML interativos) | 1.3 |
| HTTR | 1.4.0 | Hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iteradores | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | etiquetagem | 0,3 |
| treliça | 0.20-38 | lave | 1.6.5 | preguiça | 0.2.2 |
| menor | 0.3.7 | LME4 | 1.1-21 | lubridato | 1.7.4 |
| Magrittr | 1.5 | Mapproj | 1.2.6 | mapas | 3.3.0 |
| Ferramentas de mapa | 0.9-5 | MASSA | 7.3-51.1 | Matriz | 1.2-17 |
| Modelos de Matriz | 0.4-1 | memorizar | 1.1.0 | métodos | 3.6.0 |
| MGCV | 1.8-28 | mímica | 0,6 | Minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | Munsell | 0.5.0 | MVTnorm | 1.0-10 |
| NLME | 3.1-140 | NLOPTR | 1.2.1 | NNET | 7.3-12 |
| numDeriv | 2016.8-1 | openssl (conjunto de ferramentas para criptografia) | 1.3 | OpenXLSX | 4.1.0 |
| paralelo | 3.6.0 | pbkrtest | 0.4-7 | pilar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgGatinho | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | Plyr | 1.8.4 |
| elogiar | 1.0.0 | unidades elegantes | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | Prodlim | 2018.04.18 | Progresso | 1.2.0 |
| prototipo | 1.0.0 | PS | 1.3.0 | ronronar | 0.3.2 |
| Quantreg | 5,38 | R.métodosS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| Floresta Aleatória | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | Leitor | 1.3.1 |
| ReadXL | 1.3.1 | receitas | 0.1.5 | revanche | 1.0.1 |
| Controles remotos | 2.0.2 | remodelar2 | 1.4.3 | Rio | 0.5.16 |
| Rlang | 0.3.3 | RODBC | 1.3-15 | oxigénio2 | 6.1.1 |
| rpart (função de partição recursiva em R) | 4.1-15 | rprojroot | 1.3-2 | Reserva | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | escalas | 1.0.0 |
| informações da sessão | 1.1.1 | SP | 1.3-1 | Brilho | 1.0.0 |
| Faísca | 2.4.4 | SparseM | 1.77 | espacial | 7.3-11 |
| estrias | 3.6.0 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.30 | estatísticas | 3.6.0 | estatísticas4 | 3.6.0 |
| string | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.43-3 |
| Sistema | 3.1 | tcltk (uma linguagem de programação) | 3.6.0 | Demonstrações de Ensino | 2.10 |
| teste que | 2.0.1 | Tibble | 2.1.1 | Tidyr | 0.8.3 |
| arrumadoselecionar | 0.2.5 | data e hora | 3043.102 | ferramentas | 3.6.0 |
| usethis | 1.4.0 | UTF8 | 1.1.4 | utilitários | 3.6.0 |
| viridisLite | 0.3.0 | vibrissas | 0.3-2 | murchar | 2.1.2 |
| XML2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| ZIP | 2.0.1 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-CloudFormation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | AWS Java SDK para CloudSearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config (configuração do AWS Java SDK) | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-diretório | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-aprendizado de máquina | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-rota53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | AWS Java SDK para SES | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-STS | 1.11.313 |
| com.amazonaws | aws-java-sdk-suporte | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-bibliotecas | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | HPPC | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | fluxo | 2.7.0 |
| com.databricks | Reserva | 1.8-3 |
| com.databricks | DBML-local_2,11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-testes | 0.5.0-db8-faísca2.4 |
| com.databricks | Jatos 3T | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | SCALAPB-runtime_2,11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | Jackson-Annotations | 2.6.7 |
| com.fasterxml.jackson.core | Jackson-Core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-módulo-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.11 | 2.6.7.1 |
| com.github.fommil | Jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-Java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-nativos | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | Jtransforms | 2.4.0 |
| com.google.code.findbugs | JSR305 | 2.0.1 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.goiaba | Goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2banco de dados | h2 | 1.3.174 |
| com.jcraft | JSCH | 0.1.50 |
| com.jolbox | BoneCP | 0.8.0.LANÇAMENTO |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK para Azure Data Lake Store) | 2.2.8 |
| com.microsoft.azure | armazenamento Azure | 5.2.0 |
| com.microsoft.sqlserver | MSSQL-JDBC | 6.2.2.JRE8 |
| com.ning | compressa-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | Chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocidade | analisadores de univocidade | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3F79E055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| codec commons | codec commons | 1.10 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-configuração | commons-configuração | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digestor | commons-digestor | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | métricas-base | 3.1.5 |
| io.dropwizard.metrics | métricas-Ganglia | 3.1.5 |
| io.dropwizard.metrics | métricas-grafite | 3.1.5 |
| io.dropwizard.metrics | métricas-verificações de saúde | 3.1.5 |
| io.dropwizard.metrics | métricas-jetty9 | 3.1.5 |
| io.dropwizard.metrics | métricas-json | 3.1.5 |
| io.dropwizard.metrics | métricas do JVM | 3.1.5 |
| io.dropwizard.metrics | métricas-log4j | 3.1.5 |
| io.dropwizard.metrics | Métricas-Servlets | 3.1.5 |
| io.netty | biblioteca Netty | 3.9.9.Final |
| io.netty | netty-tudo | 4.1.17.Final |
| javax.ativação | ativação | 1.1.1 |
| javax.anotação | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | JDO-API | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | JSP-API | 2.1 |
| javax.transaction | JTA | 1.1 |
| javax.validação | API de validação | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | JAXB-API | 2.2.2 |
| javax.xml.stream | Stax-API | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| Joda-Time | Joda-Time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-árvores | colmeia-exec-com-cola | colmeia-12679-implantação_de_correção |
| maven-árvores | colmeia-exec-com-cola | colmeia-exec_shaded |
| net.hidromática | eigenbase-propriedades | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | JPAM | 1.1 |
| net.sf.opencsv | OpenCSV | 2.3 |
| net.sf.supercsv | Super-CSV | 2.2.0 |
| net.floco de neve | Snowflake-Ingest-SDK | 0.9.5 |
| net.floco de neve | Flocos de Neve-JDBC | 3.6.15 |
| net.floco de neve | faísca-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combinado_tudo | 0.1 |
| org.acplt | ONCRPC | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Runtime | 3.4 |
| org.antlr | antlr4-tempo de execução | 4.7 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ANT-JSCH | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | AVRO-IPC | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcita-avatica | 1.2.0 incubação |
| org.apache.calcite | núcleo de calcita | 1.2.0 incubação |
| org.apache.calcite | calcita-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-comprimir | 1.8.1 |
| org.apache.commons | commons-cripto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-matemática3 | 3.4.1 |
| org.apache.curador | curador-cliente | 2.7.1 |
| org.apache.curador | curador-framework | 2.7.1 |
| org.apache.curador | seletor de receitas | 2.7.1 |
| org.apache.derby | Dérbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | API-Util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations (anotações do hadoop) | 2.7.3 |
| org.apache.hadoop | autenticação do Hadoop | 2.7.3 |
| org.apache.hadoop | cliente Hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-comum | 2.7.3 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-cliente-core | 2.7.3 |
| org.apache.hadoop | Cliente de Trabalho Hadoop MapReduce | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-cliente | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-comum | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) | 2.7.3 |
| org.apache.htrace | htrace-núcleo | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | Núcleo Http | 4.4.8 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | Orc-calços | 1.5.2 |
| org.apache.parquet | coluna de parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-comum | 1.10.1.1-databricks3 |
| org.apache.parquet | codificação-parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | Parquet-Jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | tratador de animais | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | Jackson-Jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | Jackson-XC | 1.9.13 |
| org.codehaus.janino | compilador comum | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | DataNucleus Core | 3.2.10 |
| org.datanucleus | Datanucleus-RDBMS | 3.2.9 |
| org.eclipse.píer | Jetty-Cliente | 9.3.20.v20170531 |
| org.eclipse.píer | jetty-continuation (componente de software do Jetty) | 9.3.20.v20170531 |
| org.eclipse.píer | Jetty-HTTP | 9.3.20.v20170531 |
| org.eclipse.píer | Molhe IO | 9.3.20.v20170531 |
| org.eclipse.píer | Cais-JNDI | 9.3.20.v20170531 |
| org.eclipse.píer | Cais-Plus | 9.3.20.v20170531 |
| org.eclipse.píer | Jetty-Proxy | 9.3.20.v20170531 |
| org.eclipse.píer | Segurança do Jetty | 9.3.20.v20170531 |
| org.eclipse.píer | servidor jetty | 9.3.20.v20170531 |
| org.eclipse.píer | Jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.píer | Jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.píer | Jetty-util | 9.3.20.v20170531 |
| org.eclipse.píer | Aplicação web Jetty | 9.3.20.v20170531 |
| org.eclipse.píer | Jetty-XML | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | HK2-API | 2.4.0-B34 |
| org.glassfish.hk2 | HK2-Localizador | 2.4.0-B34 |
| org.glassfish.hk2 | HK2-Utils | 2.4.0-B34 |
| org.glassfish.hk2 | localizador-de-recursos-osgi | 1.0.1 |
| org.glassfish.hk2.externo | aopalliance-reembalado | 2.4.0-B34 |
| org.glassfish.hk2.externo | javax.injet | 2.4.0-B34 |
| org.glassfish.jersey.bundles.reembalado | Jersey-Goiaba | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet (serviço de contêiner Jersey) | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-cliente | 2.22.2 |
| org.glassfish.jersey.core | Jersey comum | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator (ferramenta de validação de dados de Java) | 5.1.1.Final |
| org.iq80.snappy | rápido | 0.2 |
| org.javassist | Javassist | 3.18.1-GA |
| org.jboss.logging | jboss-registro em log | 3.1.3.GA |
| org.jdbi | JDBI | 2.63.1 |
| org.joda | joda-converter | 1.7 |
| org.jodd | JODD-CORE | 3.5.2 |
| org.json4s | JSON4S-ast_2.11 | 3.5.3 |
| org.json4s | JSON4S-core_2.11 | 3.5.3 |
| org.json4s | JSON4S-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-cliente | 2.1.2 |
| org.mockito | mockito-tudo | 1.9.5 |
| org.objenesis | objenese | 2.5.1 |
| org.postgresql | PostgreSQL | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2,11 | 2.11.12 |
| org.scala-lang | Escala-library_2,11 | 2.11.12 |
| org.scala-lang | Escala-reflect_2,11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2,11 | 1.1.0 |
| org.scala-lang.modules | Escala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | Brisa-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-compatível-com-slf4j | 1.7.16 |
| org.slf4j | jul-para-slf4j | 1.7.16 |
| org.slf4j | SLF4J-API | 1.7.16 |
| org.slf4j | SLF4J-Log4J12 | 1.7.16 |
| org.spark-project.hive | colmeia-abelha | 1.2.1.faísca2 |
| org.spark-project.hive | Hive-CLI | 1.2.1.faísca2 |
| org.spark-project.hive | Hive-JDBC | 1.2.1.faísca2 |
| org.spark-project.hive | sistema de metadados do Hive | 1.2.1.faísca2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-matemática | torre-macros_2.11 | 0.13.0 |
| org.spire-matemática | spire_2.11 | 0.13.0 |
| org.springframework | spring-core (núcleo do Spring) | 4.1.4.VERSÃO |
| org.springframework | teste de primavera | 4.1.4.VERSÃO |
| org.tukaani | XZ | 1.5 |
| org.typelevel | mecânico_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | SQLITE-JDBC | 3.8.11.2 |
| org.xerial.snappy | Snappy-java | 1.1.7.3 |
| org.yaml | Snakeyaml | 1.16 |
| ouro | ouro | 2.0.8 |
| software.amazon.ion | íon-java | 1.0.2 |
| Stax | Stax-API | 1.0.1 |
| XMLENC | XMLENC | 0.52 |