Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em janeiro de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.3, desenvolvido pelo Apache Spark.
Novas funcionalidades
Lago Delta
Esta versão introduz uma simultaneidade melhorada. As principais características são:
Simultaneidade aprimorada para todas as operações do Delta Lake - Agora você pode executar mais operações do Delta Lake simultaneamente. O controle de simultaneidade otimista do Delta Lake foi melhorado, tornando a deteção de conflitos mais refinada. Isso facilita a execução de fluxos de trabalho complexos em tabelas Delta. Por exemplo:
- Executar exclusões (por exemplo, para conformidade com o GDPR) simultaneamente em partições mais antigas enquanto partições mais recentes estão sendo acrescentadas.
- Executando atualizações e mesclagens simultaneamente em conjuntos separados de partições.
- Executar compactações de ficheiros em simultâneo com adições.
Consulte Níveis de isolamento e conflitos de gravação no Azure Databricks.
Suporte melhorado para compactação de ficheiros - Agora pode compactar ficheiros reescrevendo-os com a
DataFrameWriteropçãodataChangedefinida comofalse. Esta opção permite que uma operação de compactação seja executada simultaneamente com outras operações de lote e streaming. Consulte Arquivos Compactos para obter detalhes.Desempenho aprimorado para mesclagem somente inserção - o Delta Lake agora oferece um desempenho mais otimizado para operações de mesclagem que têm apenas cláusulas de inserção e nenhuma cláusula de atualização. Além disso, o Delta Lake garante que as gravações dessas mesclagens somente de inserção apenas acrescentem novos dados à tabela. Portanto, agora você pode usar o Streaming estruturado e mesclagens somente de inserção para fazer a desduplicação contínua de dados (por exemplo, logs). Consulte Eliminação de duplicação de dados ao gravar em tabelas Delta para obter detalhes.
Adicionar portas adicionais à lista de permissões quando o isolamento do processo estiver ativado
Nota
Este artigo contém referências ao termo whitelist, um termo que o Azure Databricks não usa. Quando o termo for removido do software, iremos removê-lo deste artigo.
Ao ativar opções de segurança, como ACLs de tabela ou passagem de credenciais no cluster, agora é possível especificar portas de saída adicionais que deseja que os processos Python possam acessar definindo a configuração Spark para as portas a serem permitidas. O formato suportado do valor de configuração é [port[:port][,port[:port]]...], por exemplo: 21,22,9000:9999. A porta deve estar dentro do intervalo válido, ou seja, 0-65535.
Desabilitar a saída de trabalhos para trabalhos do Scala
A saída do trabalho, como a saída de log emitida para stdout, está sujeita a um limite de tamanho de 20MB.
Você pode impedir que o stdout seja retornado do driver para o Azure Databricks definindo a configuração do spark.databricks.driver.disableScalaOutput Spark como true. O sinalizador controla a saída da célula para trabalhos JAR Scala e notebooks Scala. Consulte Criar um JAR compatível com o Azure Databricks.
Figuras Matplotlib em linha agora suportadas nos blocos de notas do Azure Databricks (Pré-visualização Pública)
Agora você pode exibir automaticamente figuras Matplotlib sem precisar passar a figura para o display método. Para obter detalhes, consulte Matplotlib.
Novo parâmetro adicionado ao Azure Synapse Analytics
O parâmetro applicationName é definido por padrão como Databricks-User-Query. O valor padrão impede que a ferramenta de Monitoramento do Banco de Dados do Azure gere alertas de injeção de SQL espúrios contra consultas. Se não for especificado ou se o valor for uma cadeia de caracteres vazia, o valor padrão da tag será adicionado à URL JDBC. Consulte Referência das opções do conector Synapse do Azure Databricks.
Melhorias
-
shutil.copytreeagora trabalhe para/dbfsa . - Ao executar trabalhos de produção de Streaming Estruturado em clusters de modo de Alta Simultaneidade, as reinicializações de um trabalho ocasionalmente falhariam, porque o trabalho em execução anterior não foi encerrado corretamente. Para garantir que a execução anterior pare, defina a configuração
spark.sql.streaming.stopActiveRunOnRestart trueSQL no cluster. Caso o fluxo não possa ser interrompido corretamente, uma exceção de tempo limite será lançada em 15 segundos. Nesse caso, recomendamos reiniciar o cluster. - Foram atualizadas várias bibliotecas R que estavam instaladas. Consulte Bibliotecas R instaladas.
Apache Spark
O Databricks Runtime 6.3 inclui o Apache Spark 2.4.4. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [SPARK-30198][CORE] BytesToBytesMap não expande o vetor interno de longos como esperado
- [SPARK-29918][SQL] RecordBinaryComparator deve verificar endianness quando comparado utilizando 'long'
- [SPARK-30274][CORE] Evite que a pesquisa BytesToBytesMap fique pendente para sempre quando as chaves atingem a capacidade máxima
- [SPARK-25392][CORE][WEBUI] Impedir página de erro ao aceder à página de pools a partir do servidor de histórico
- [SPARK-30263][CORE] Não registre valores potencialmente confidenciais de propriedades que não sejam do Spark ignoradas no spark-submit
- [SPARK-28637][SQL] Suporte do Thriftserver para o tipo de intervalo
- [SPARK-30238][SQL] A poda de partições do hive só pode suportar tipos de dados de string e integrais.
- [SPARK-30198][CORE] BytesToBytesMap não expande o vetor interno de longos como esperado
- [SPARK-24666][ML] Corrigir vetores infinitos produzidos pelo Word2Vec quando "numIterations" são grandes
- [SPARK-30129][CORE] Definir id do cliente em TransportClient após autenticação bem-sucedida
- [SPARK-30050][SQL] analisar tabela e renomear tabela não deve apagar informações de bucketing de tabela Hive
- [FAÍSCA-28152][SQL] Mapeado ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
-
[SPARK-29971][CORE] Corrigir fugas de buffer em
TransportFrameDecoder/TransportCipher - [SPARK-29970][WEBUI] Preservar estado aberto/fechado do Timelineview
- [SPARK-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
- [SPARK-27558][CORE] Limpeza graciosa da tarefa quando falha com exceção de falta de memória (OOM)
-
[FAÍSCA-29758][SQL] Corrigir truncamento de campos de cadeia de caracteres solicitados em
json_tuple - [SPARK-29949][SQL] Corrigir a formatação de carimbos de data/hora por fontes de dados JSON/CSV
- [FAÍSCA-29936][R] Corrija erros de fiapos do SparkR e adicione ação do GitHub do lint-r
- [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV
- [FAÍSCA-29904][SQL] Analise carimbos de data/hora com precisão de microssegundos por fontes de dados JSON/CSV
- [SPARK-26499][SQL] JdbcUtils.makeGetter não lida com ByteType
- [SPARK-29682][SQL] Resolver atributos conflitantes em Expand corretamente
- [SPARK-29875][PYTHON][SQL] Evitar usar a API pyarrow.open_stream obsoleta no Spark 2.4.x
- [SPARK-29850][SQL] junção por mesclagem de uma tabela vazia não deve causar vazamento de memória
- [SPARK-28939][SQL] Propagar SQLConf para planos executados por meio de toRdd
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 6.3.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Escala: 2.11.12
- Píton: 3.7.3
- R: R versão 3.6.2 (2019-12-12)
- Lago Delta: 0.5.0
Nota
Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é suportado no Databricks Runtime 6.3.
Nesta secção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | chamada de retorno | 0.1.0 | botão | 2.49.0 |
| Boto3 | 1.9.162 | " botocore | 1.12.163 | certifi | 2019.3.9 |
| CFFI | 1.12.2 | Chardet | 3.0.4 | criptografia | 2.6.1 |
| ciclador | 0.10.0 | Cython | 0.29.6 | decorador | 4.4.0 |
| Docutils | 0.14 | IDNA | 2.8 | Ipykernel | 5.1.0 |
| IPython | 7.4.0 | ipython-genutils | 0.2.0 | Jedi | 0.13.3 |
| JmesPath | 0.9.4 | Jupyter Client | 5.2.4 | Jupyter-core | 4.4.0 |
| Kiwisolver | 1.1.0 | Matplotlib | 3.0.3 | dormência | 1.16.2 |
| pandas | 0.24.2 | Parso | 0.3.4 | ingénuo | 0.5.1 |
| Espere | 4.6.0 | pickleshare | 0.7.5 | pip (o gestor de pacotes do Python) | 19.0.3 |
| kit de ferramentas de prompt | 2.0.9 | PSYCOPG2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| Pyarrow | 0.13.0 | Pycparser | 2.19 | Pycurl | 7.43.0 |
| Pigmentos | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| Pyparsing | 2.4.6 | Meias PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.8.0 | Pytz | 2018.9 | Pyzmq | 18.0.0 |
| pedidos | 2.21.0 | s3transferência | 0.2.1 | scikit-learn (biblioteca de aprendizado de máquina em Python) | 0.20.3 |
| SciPy | 1.2.1 | nascido no mar | 0.9.0 | Ferramentas de configuração | 40.8.0 |
| seis | 1.12.0 | ssh-import-id | 5,5 | statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.9.0 |
| tornado | 6.0.2 | traços | 4.3.2 | Atualizações automáticas | 0.1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | largura de wc | 0.1.7 |
| wheel | 0.33.1 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| Abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| Retroportagens | 1.1.5 | base | 3.6.2 | base64enc | 0.1-3 |
| Belo Horizonte | 1.69.0-1 | pouco | 1.1-14 | bit64 | 0.9-7 |
| Bitops | 1.0-6 | blob | 1.2.0 | arranque | 1.3-23 |
| fabricação de cerveja | 1.0-6 | Chamador | 3.3.2 | carro | 3.0-4 |
| dadosDoCarro | 3.0-2 | símbolo de inserção | 6.0-84 | Cellranger | 1.1.0 |
| crono | 2.3-54 | classe | 7.3-15 | CLI | 1.1.0 |
| Clipr | 0.7.0 | clisímbolos | 1.2.0 | cluster | 2.1.0 |
| CodeTools | 0,2-16 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.2 | configuração | 0,3 | CoVR | 3.3.2 |
| lápis de cor | 1.3.4 | conversa cruzada | 1.0.0 | encaracolar | 4.2 |
| tabela de dados | 1.12.6 | conjuntos de dados | 3.6.2 | DBI | 1.0.0 |
| DBPlyr | 1.4.2 | descrição | 1.2.0 | DevTools | 2.2.1 |
| resumo | 0.6.22 | doMC | 1.3.6 | DPLYR | 0.8.3 |
| DT | 0,9 | reticências | 0.3.0 | avaliar | 0.14 |
| Fãsi | 0.4.0 | mapa rápido | 1.0.1 | FORCATS | 0.4.0 |
| para cada | 1.4.7 | externa | 0.8-74 | forjar | 0.2.0 |
| FS | 1.3.1 | GBM | 2.1.5 | genérico | 0.0.2 |
| GGPLOT2 | 3.2.1 | GH | 1.0.1 | Git2R | 0.26.1 |
| GLMNET | 2.0-18 | colar | 1.3.1 | Gower | 0.2.1 |
| gráficos | 3.6.2 | grDispositivos | 3.6.2 | grelha | 3.6.2 |
| gridExtra | 2.3 | GSUBFN | 0,7 | tabela g | 0.3.0 |
| H₂O | 3.26.0.2 | Refúgio | 2.1.1 | HMS | 0.5.1 |
| htmltools | 0.4.0 | htmlwidgets (componentes HTML interativos) | 1.5.1 | httpuv | 1.5.2 |
| HTTR | 1.4.1 | Hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | iteradores | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | etiquetagem | 0,3 |
| mais tarde | 1.0.0 | treliça | 0.20-38 | lave | 1.6.6 |
| preguiça | 0.2.2 | ciclo de vida | 0.1.0 | mais pequeno | 0.3.9 |
| LME4 | 1.1-21 | lubridato | 1.7.4 | Magrittr | 1.5 |
| Mapproj | 1.2.6 | mapas | 3.3.0 | Ferramentas de mapa | 0.9-8 |
| MASSA | 7.3-51.5 | Matriz | 1.2-18 | MatrizModels | 0.4-1 |
| memorização | 1.1.0 | métodos | 3.6.2 | MGCV | 1.8-31 |
| mímica | 0,7 | Minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| Munsell | 0.5.0 | MVTnorm | 1.0-11 | NLME | 3.1-143 |
| NLOPTR | 1.2.1 | NNET | 7.3-12 | numDeriv | 2016.8 a 1.1 |
| openssl (conjunto de ferramentas para criptografia) | 1.4.1 | OpenXLSX | 4.1.2 | paralelo | 3.6.2 |
| pbkrtest | 0.4-7 | pilar | 1.4.2 | pkgbuild | 1.0.6 |
| pkgconfig | 2.0.3 | pkgGatinho | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | Plyr | 1.8.4 | elogiar | 1.0.0 |
| unidades bonitas | 1.0.2 | pROC | 1.15.3 | processx | 3.4.1 |
| Prodlim | 2018.04.18 | Progresso | 1.2.2 | promessas | 1.1.0 |
| prototipo | 1.0.0 | PS | 1.3.0 | ronronar | 0.3.3 |
| Quantreg | 5.51 | R.métodosS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| Floresta Aleatória | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.7 | revanche | 1.0.1 | Controles remotos | 2.1.0 |
| remodelar2 | 1.4.3 | Rex | 1.1.2 | Rio | 0.5.16 |
| Rlang | 0.4.1 | RODBC | 1.3-16 | oxigénio2 | 6.1.1 |
| rpart (função de partição recursiva em R) | 4.1-15 | rprojroot | 1.3-2 | Reserva | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversões | 2.0.0 |
| escalas | 1.0.0 | informação de sessão | 1.1.1 | brilhante | 1.4.0 |
| ferramentas de código fonte | 0.1.7 | SP | 1.3-1 | Brilho | 1.0.4 |
| Faísca | 2.4.5 | SparseM | 1.77 | espacial | 7.3-11 |
| estrias | 3.6.2 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.32 | estatísticas | 3.6.2 | estatísticas4 | 3.6.2 |
| string | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.44-1.1 |
| Sistema | 3.3 | tcltk (uma linguagem de programação) | 3.6.2 | Demonstrações de Ensino | 2.10 |
| testeatat | 2.2.1 | Tibble | 2.1.3 | Tidyr | 1.0.0 |
| arrumadoselecionar | 0.2.5 | data e hora | 3043.102 | ferramentas | 3.6.2 |
| usethis | 1.5.1 | UTF8 | 1.1.4 | utilitários | 3.6.2 |
| VCTRS | 0.2.0 | viridisLite | 0.3.0 | vibrissas | 0.4 |
| murchar | 2.1.2 | XML2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | Zeallot | 0.1.0 |
| ZIP | 2.0.4 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-CloudFormation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | AWS Java SDK para CloudSearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config (configuração do AWS Java SDK) | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-diretório | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-aprendizado de máquina | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-rota53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | AWS Java SDK para SES | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-STS | 1.11.595 |
| com.amazonaws | aws-java-sdk-suporte | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-bibliotecas | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | HPPC | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | fluxo | 2.7.0 |
| com.databricks | Reserva | 1.8-3 |
| com.databricks | DBML-local_2,11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-testes | 0.5.0-db8-faísca2.4 |
| com.databricks | Jatos 3T | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | SCALAPB-runtime_2,11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | Jackson-Annotations | 2.6.7 |
| com.fasterxml.jackson.core | Jackson-Core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-módulo-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.11 | 2.6.7.1 |
| com.github.fommil | Jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-Java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | sistema_nativo-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-nativos | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | Jtransforms | 2.4.0 |
| com.google.code.findbugs | JSR305 | 2.0.1 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.goiaba | Goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2banco de dados | h2 | 1.3.174 |
| com.jcraft | JSCH | 0.1.50 |
| com.jolbox | BoneCP | 0.8.0.LANÇAMENTO |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK para Azure Data Lake Store) | 2.2.8 |
| com.microsoft.azure | Armazenamento Azure | 7.0.0 |
| com.microsoft.sqlserver | MSSQL-JDBC | 6.2.2.JRE8 |
| com.ning | compressa-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | Chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocidade | analisadores de univocidade | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3F79E055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| codec commons | codec commons | 1.10 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-configuração | commons-configuração | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digestor | commons-digestor | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | métricas-base | 3.1.5 |
| io.dropwizard.metrics | métricas-Ganglia | 3.1.5 |
| io.dropwizard.metrics | métricas-grafite | 3.1.5 |
| io.dropwizard.metrics | verificações de saúde de métricas | 3.1.5 |
| io.dropwizard.metrics | métricas-jetty9 | 3.1.5 |
| io.dropwizard.metrics | métricas-json | 3.1.5 |
| io.dropwizard.metrics | métricas do JVM | 3.1.5 |
| io.dropwizard.metrics | métricas-log4j | 3.1.5 |
| io.dropwizard.metrics | Métricas-Servlets | 3.1.5 |
| io.netty | biblioteca Netty | 3.9.9.Final |
| io.netty | netty-tudo | 4.1.42.Final |
| javax.ativação | ativação | 1.1.1 |
| javax.anotação | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | JDO-API | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | JSP-API | 2.1 |
| javax.transaction | JTA | 1.1 |
| javax.validação | API de validação | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | JAXB-API | 2.2.2 |
| javax.xml.stream | Stax-API | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| Joda-Time | Joda-Time | 2.9.3 |
| JUNIT | JUNIT | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hidromática | eigenbase-propriedades | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | JPAM | 1.1 |
| net.sf.opencsv | OpenCSV | 2.3 |
| net.sf.supercsv | Super-CSV | 2.2.0 |
| net.floco de neve | Snowflake Ingest SDK | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.0 |
| net.floco de neve | faísca-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combinado_tudo | 0.1 |
| org.acplt | ONCRPC | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Runtime | 3.4 |
| org.antlr | antlr4-tempo de execução | 4.7 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ANT-JSCH | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | AVRO-IPC | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcita-avatica | 1.2.0 incubação |
| org.apache.calcite | núcleo de calcita | 1.2.0 incubação |
| org.apache.calcite | calcita-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-comprimir | 1.8.1 |
| org.apache.commons | commons-cripto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-matemática3 | 3.4.1 |
| org.apache.curador | curador-cliente | 2.7.1 |
| org.apache.curador | curador-framework | 2.7.1 |
| org.apache.curador | curadoria de receitas | 2.7.1 |
| org.apache.derby | Dérbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | API-Util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations (anotações do hadoop) | 2.7.3 |
| org.apache.hadoop | autenticação do Hadoop | 2.7.3 |
| org.apache.hadoop | Cliente Hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-comum | 2.7.3 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-cliente-core | 2.7.3 |
| org.apache.hadoop | Cliente de Trabalho Hadoop MapReduce | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-cliente | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-comum | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) | 2.7.3 |
| org.apache.htrace | htrace-núcleo | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | Núcleo Http | 4.4.10 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | Orc-calços | 1.5.5 |
| org.apache.parquet | coluna de parquet | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-comum | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | codificação-parquet | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | Parquet-Jackson | 1.10.1.2-DATABRICKS4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | guardião de zoológico | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | Jackson-Jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | Jackson-XC | 1.9.13 |
| org.codehaus.janino | compilador comum | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | DataNucleus Core | 3.2.10 |
| org.datanucleus | Datanucleus-RDBMS | 3.2.9 |
| org.eclipse.píer | Jetty-Cliente | 9.3.27.v20190418 |
| org.eclipse.píer | jetty-continuation (componente de software do Jetty) | 9.3.27.v20190418 |
| org.eclipse.píer | Jetty-HTTP | 9.3.27.v20190418 |
| org.eclipse.píer | Molhe IO | 9.3.27.v20190418 |
| org.eclipse.píer | Cais-JNDI | 9.3.27.v20190418 |
| org.eclipse.píer | Cais-Plus | 9.3.27.v20190418 |
| org.eclipse.píer | Jetty-Proxy | 9.3.27.v20190418 |
| org.eclipse.píer | Segurança do Jetty | 9.3.27.v20190418 |
| org.eclipse.píer | servidor jetty | 9.3.27.v20190418 |
| org.eclipse.píer | Jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.píer | Jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.píer | Jetty-util | 9.3.27.v20190418 |
| org.eclipse.píer | Aplicação web Jetty | 9.3.27.v20190418 |
| org.eclipse.píer | Jetty-XML | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | HK2-API | 2.4.0-B34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-B34 |
| org.glassfish.hk2 | HK2-Utils | 2.4.0-B34 |
| org.glassfish.hk2 | localizador de recursos OSGi | 1.0.1 |
| org.glassfish.hk2.externo | aopalliance-reembalado | 2.4.0-B34 |
| org.glassfish.hk2.externo | javax.injet | 2.4.0-B34 |
| org.glassfish.jersey.bundles.reembalado | Jersey-Goiaba | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet (serviço de contêiner Jersey) | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-cliente | 2.22.2 |
| org.glassfish.jersey.core | Jersey comum | 2.22.2 |
| org.glassfish.jersey.core | servidor Jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | núcleo de hamcreste | 1.3 |
| org.hamcrest | hamcrest-biblioteca | 1.3 |
| org.hibernate | hibernate-validator (ferramenta de validação de dados de Java) | 5.1.1.Final |
| org.iq80.snappy | rápido | 0.2 |
| org.javassist | Javassist | 3.18.1-GA |
| org.jboss.logging | jboss-registro em log | 3.1.3.GA |
| org.jdbi | JDBI | 2.63.1 |
| org.joda | joda-converter | 1.7 |
| org.jodd | JODD-CORE | 3.5.2 |
| org.json4s | JSON4S-ast_2.11 | 3.5.3 |
| org.json4s | JSON4S-core_2.11 | 3.5.3 |
| org.json4s | JSON4S-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-cliente | 2.1.2 |
| org.mockito | mockito-núcleo | 1.10.19 |
| org.objenesis | objenese | 2.5.1 |
| org.postgresql | PostgreSQL | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2,11 | 2.11.12 |
| org.scala-lang | Escala-library_2,11 | 2.11.12 |
| org.scala-lang | Escala-reflect_2,11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2,11 | 1.1.0 |
| org.scala-lang.modules | Escala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | Brisa-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-compatível-com-slf4j | 1.7.16 |
| org.slf4j | jul-para-slf4j | 1.7.16 |
| org.slf4j | SLF4J-API | 1.7.16 |
| org.slf4j | SLF4J-Log4J12 | 1.7.16 |
| org.spark-project.hive | colmeia-abelha | 1.2.1.faísca2 |
| org.spark-project.hive | Hive-CLI | 1.2.1.faísca2 |
| org.spark-project.hive | Hive-JDBC | 1.2.1.faísca2 |
| org.spark-project.hive | sistema de metadados do Hive | 1.2.1.faísca2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-matemática | torre-macros_2.11 | 0.13.0 |
| org.spire-matemática | spire_2.11 | 0.13.0 |
| org.springframework | spring-core (núcleo do Spring) | 4.1.4.VERSÃO |
| org.springframework | teste de primavera | 4.1.4.VERSÃO |
| org.tukaani | XZ | 1.5 |
| org.typelevel | mecânico_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | SQLITE-JDBC | 3.8.11.2 |
| org.xerial.snappy | Snappy-java | 1.1.7.3 |
| org.yaml | Snakeyaml | 1.16 |
| ouro | ouro | 2.0.8 |
| software.amazon.ion | íon-java | 1.0.2 |
| Stax | Stax-API | 1.0.1 |
| XMLENC | XMLENC | 0.52 |