Partilhar via

Tempo de execução do Databricks 5.3 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

A Databricks lançou esta versão em abril de 2019.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 5.3, desenvolvido pelo Apache Spark.

Novos recursos

Databricks Delta

Viagem no tempo GA

A viagem no tempo Delta passou para a disponibilidade geral. Ele adiciona a capacidade de consultar um instantâneo de uma tabela usando uma cadeia de caracteres de carimbo de data/hora ou uma versão, usando sintaxe SQL, bem como DataFrameReader opções para expressões de carimbo de data/hora.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

A viagem no tempo tem muitos casos de uso, incluindo:

  • Recriar análises, relatórios ou saídas (por exemplo, a saída de um modelo de aprendizado de máquina), o que é útil para depuração ou auditoria, especialmente em setores regulamentados.
  • Escrever consultas temporais complexas.
  • Corrigir erros nos seus dados.
  • Fornecendo isolamento de instantâneo para um conjunto de consultas para tabelas de mudança rápida.

Viagem no tempo Delta

Veja Trabalhar com o histórico de tabelas do Delta Lake.

Replicação de tabelas MySQL para Delta Public Preview

Transmita dados de uma tabela MySQL diretamente para o Delta para consumo downstream em fluxos de trabalho de análise ou ciência de dados do Spark. Aproveitando a mesma estratégia que o MySQL usa para replicação para outras instâncias, o binlog é usado para identificar atualizações que são processadas e transmitidas para o Databricks da seguinte maneira:

  • Lê eventos de alteração do log do banco de dados.
  • Transmite os eventos para o Databricks.
  • Grava na mesma ordem em uma tabela Delta.
  • Mantém o estado em caso de desconexões da fonte.

Funcionalidades de pré-visualização privada

Esta versão contém os seguintes recursos de visualização privada para Delta Lake:

  • Adicionado um comando experimental que permite ao Presto consultar diretamente tabelas Delta.
  • A Otimização Automática otimiza o layout de arquivos durante gravações individuais em uma tabela Delta e impede que pequenos arquivos se acumulem em suas tabelas Delta para manter o desempenho de consultas extremamente rápidas. Além disso, gravações e upserts em tabelas Delta particionadas podem desfrutar de grandes acelerações graças a um shuffle adaptativo introduzido nas gravações.

Se você quiser participar de qualquer visualização, entre em contato com sua equipe de conta Databricks.

Pasta DBFS FUSE otimizada para cargas de trabalho de aprendizagem profunda

O Azure Databricks agora oferece uma montagem FUSE otimizada. Você pode ter acesso a dados de alto desempenho durante o treinamento e a inferência sem aplicar scripts init. Os dados armazenados e dbfs:/ml acessíveis localmente em file:/dbfs/ml agora são apoiados por esta montagem FUSE otimizada. Consulte Carregar dados para aprendizado de máquina e aprendizado profundo.

Melhorias

  • Bibliotecas restritas ao notebook
    • Suporte para Extras em dbutils.library.installPyPI.
    • Suporte para instalação de biblioteca com escopo de bloco de anotações para bibliotecas no sistema de arquivos do Azure, incluindo wasbs, adlse abfss.
    • Mensagens de erro melhoradas para bibliotecas com escopo de bloco de anotações em destinos sem suporte. Por exemplo: "Os utilitários de biblioteca não estão disponíveis no Databricks Runtime for Machine Learning."
  • Conecte-se ao Azure Data Lake Storage (ADLS) sem precisar conceder uma função RBAC de "Colaborador de Dados de Blob do Armazenamento" em toda a conta para o Principal de Serviço.
  • O Databricks Advisor tem dicas adicionais para melhorar o desempenho das consultas:
    • Quando há muitos arquivos pequenos por partição -> Converter tabela para Delta e executar OPTIMIZE.
    • Quando houver um filtro altamente seletivo -> Converta para Delta e use ZORDER BY.
    • Quando as buscas de metadados do Hive se tornarem um gargalo -> Converta sua tabela em Delta.
  • Ubuntu atualizado de 16.04.5 LTS para 16.04.6 LTS.
  • Scala 2.11 atualizado de 2.11.8 para 2.11.12.
  • Atualizado algumas bibliotecas Python instaladas:
    • pip: 18.1 a 19.0.3.
    • setuptools: 40.6.3 a 40.8.0
    • roda: 0.32.3 a 0.33.1
  • R atualizado de 3.4.4 para 3.5.2.
  • Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.

Preterição

  • O conector Apache Kafka 0.8 para Streaming Estruturado não é mais suportado. Ele está incluído no Databricks Runtime 5.3, mas será removido de uma versão futura do Databricks Runtime.
  • O Databricks ML Model Export foi preterido e será removido no Databricks Runtime 6.0. Em vez disso, use MLeap para importar e exportar modelos.
  • Removido spark.databricks.pyspark.enableExecutorFsPerms como uma opção de configuração.

Correções de erros

  • Instalação fixa da biblioteca Python Egg em todo o cluster para clusters habilitados para ACLs de tabela.
  • Cancelamento de comando Python melhorado corrigindo a situação em que o cancelamento é chamado antes que o comando seja executado.
  • Corrigido um bug em ACLs de tabela: agora, quando você lista objetos em um banco de dados ou catálogo, você vê apenas os objetos que você tem permissão para ver.

Apache Spark

O Databricks Runtime 5.3 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-27134][SQL] array_distinct função não funciona corretamente com colunas contendo matriz de matriz
  • [SPARK-24669][SQL] Invalidar tabelas em caso de DROP DATABASE CASCADE
  • [FAÍSCA-26572][SQL] corrigir avaliação de resultados de codegen agregado
  • [FAÍSCA-27046][DSTREAMS] Remover referências relacionadas a SPARK-19185 da documentação
  • [FAÍSCA-26449][PYTHON] Adicionar método de transformação à API DataFrame
  • [FAÍSCA-26740][SQL] Ler estatísticas da coluna de carimbo de data/hora escritas pelo Spark 3.0
  • [SPARK-26909][SQL] utilizar unsafeRow.hashCode() como valor hash em HashAggregate
  • [FAÍSCA-26990][SQL] FileIndex: use nomes de campo especificados pelo usuário, se possível
  • [FAÍSCA-26851][SQL] Corrigir bloqueio verificado duas vezes no CachedRDDBuilder
  • [FAÍSCA-26864][SQL] Consulta pode retornar resultado incorreto quando Python UDF é usado como uma condição de junção semi-esquerda
  • [FAÍSCA-26887][SQL][PYTHON] Crie datetime.date diretamente em vez de criar datetime64 como dados intermediários.
  • [FAÍSCA-26859][SQL] Corrigir bug de índice do gravador de campo no desserializador ORC não vetorizado
  • [FAÍSCA-26864][SQL] A consulta pode retornar um resultado incorreto quando o Python UDF é usado como uma condição de junção e o udf usa atributos de ambas as pernas da semijunção esquerda
  • [FAÍSCA-24360][FAÍSCA-26091][BACKPORT][SQL] Suporte Hive 3.1 metastore
  • [FAÍSCA-26873][SQL] Use um carimbo de data/hora consistente para criar IDs de trabalho do Hadoop.
  • [FAÍSCA-26734][STREAMING] Corrigir StackOverflowError com fila de blocos grande
  • [FAÍSCA-26758][CORE] Executores ociosos não estão sendo mortos após o valor spark.dynamiAllocation.executorIdleTimeout
  • [FAÍSCA-26751][SQL] Corrigir vazamento de memória quando a instrução é executada em segundo plano e lançar exceção que não é HiveSQLException
  • [FAÍSCA-26806][SS] EventTimeStats.merge deve manipular zeros corretamente
  • [FAÍSCA-26745][FAÍSCA-24959][SQL] Reverter a otimização da contagem na fonte de dados JSON por
  • [FAÍSCA-26757][GRAPHX] Retorno 0 para contagem de RDDs de borda/vértice vazios
  • [FAÍSCA-26726] Sincronizar a quantidade de memória usada pela variável broadcast com a exibição da interface do usuário
  • [FAÍSCA-26718][SS] Estouro de inteiro fixo no cálculo SS kafka rateLimit
  • [SPARK-26708][SQL] Resultado incorreto causado por inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico
  • [FAÍSCA-26735][SQL] Verificar a integridade do plano para expressões especiais
  • [FAÍSCA-26619][SQL] Prune os serializadores não utilizados de SerializeFromObject
  • [FAÍSCA-26379][SS] Use o fictício TimeZoneId para evitar UnresolvedException em CurrentBatchTimestamp
  • [FAÍSCA-26495][SQL] Simplifique o extrator SelectedField
  • [FAÍSCA-26379][SS] Corrigir problema ao adicionar current_timestamp/current_date à consulta de streaming
  • [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente
  • [FAÍSCA-26680][SQL] Crie ansiosamente inputVars enquanto as condições são apropriadas
  • [FAÍSCA-26682][SQL] Use taskAttemptID em vez de attemptNumber para Hadoop.
  • [FAÍSCA-26706][SQL] Corrigir illegalNumericPrecedence para ByteType
  • [FAÍSCA-26228][MLLIB] Problema OOM encontrado ao calcular a matriz Gramian
  • [FAÍSCA-26665][CORE] Corrija um bug que BlockTransferService.fetchBlockSync pode travar para sempre
  • [FAÍSCA-26549][PYSPARK] Correção para a reutilização do trabalhador python não ter efeito para paralelizar intervalo iterável preguiçoso
  • [FAÍSCA-26351][MLLIB] Atualizar documento e pequena correção nas métricas de avaliação mllib
  • [FAÍSCA-26450]Evite reconstruir o mapa do esquema para cada coluna em uma projeção
  • [FAÍSCA-26638][PYSPARK][ML] As classes vetoriais Pyspark sempre retornam erro para negação unária
  • [FAÍSCA-26633][REPL] Adicionar ExecutorClassLoader.getResourceAsStream
  • [FAÍSCA-26629][SS] Corrigido erro com fluxo de vários arquivos em uma consulta + reiniciar em um lote que não tem dados para um fluxo de arquivos
  • [FAÍSCA-25992][PYTHON] O Document SparkContext não pode ser compartilhado para multiprocessamento
  • [FAÍSCA-26615][CORE] Corrigindo vazamentos de recursos do servidor/cliente de transporte nos testes de unidade principais
  • [FAÍSCA-26350][SS] Permitir substituir o ID de grupo do consumidor Kafka
  • [FAÍSCA-26538][SQL] Definir precisão e escala padrão para elementos de matriz numérica postgres
  • [FAÍSCA-26586][SS] Corrigir condição de corrida que faz com que os fluxos sejam executados com confs inesperados
  • [FAÍSCA-26551][SQL] Corrigir erro de remoção de esquema ao selecionar um campo complexo e ter um predicado nulo em outro
  • [FAÍSCA-26576][SQL] Dica de difusão não aplicada à tabela particionada
  • [FAÍSCA-26571][SQL] Atualizar o mapeamento do Hive Serde com o nome canônico de Parquet e Orc FileFormat
  • [FAÍSCA-26267][SS] Tente novamente ao detetar deslocamentos incorretos de Kafka (2.4)
  • [SPARK-26559][ML][PYSPARK] A imagem ML não pode funcionar com versões numpy anteriores à 1.9
  • [FAÍSCA-26078][SQL] Atributos de associação automática do Dedup em subconsultas IN

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 5.3.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Escala: 2.11.12
  • Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
  • R: R versão 3.5.2 (2018-12-20)
  • Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
    • Piloto da Tesla 375.66
    • CUDA 9,0
    • cuDNN 7,0

Nota

Embora o Scala 2.12 seja suportado no Apache Spark 2.4, ele não é suportado no Databricks Runtime 5.3.

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 Argparse 1.2.1 backports-abc 0,5
botão 2.42.0 Boto3 1.4.1 Botocore 1.4.70
cervejeiro2mpl 1.4.1 certifi 2016.2.28 CFFI 1.7.0
Chardet 2.3.0 Colorama 0.3.7 configobj 5.0.6
criptografia 1.5 ciclista 0.10.0 Quisto 0.24.1
decorador 4.0.10 Docutils 0.14 ENUM34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 Ggplot 0.6.8
html5lib 0.999 IDNA 2.1 endereço IP 1.0.16
IPython 2.2.0 ipython-genutils 0.1.0 JDCAL 1.2
Jinja2 2.8 JmesPath 0.9.0 LLVMLITE 0.13.0
LXML 3.6.4 Marcação Segura 0.23 Matplotlib 1.5.3
MPLD3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
Dormência 0.28.1 dormência 1.11.1 openpyxl (biblioteca para manipular ficheiros Excel em Python) 2.3.2
pandas 0.19.2 Pathlib2 2.1.0 vítima 0.4.1
Espere 4.0.1 pickleshare 0.7.4 Travesseiro 3.3.1
pip (o gestor de pacotes do Python) 19.0.3 camada 3.9 kit de ferramentas de prompt 1.0.7
PSYCOPG2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
Pyarrow 0.8.0 Piasn1 0.1.9 Pycparser 2.14
Pigmentos 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
Pyparsing 2.2.0 PYPNG 0.0.18 Python 2.7.12
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.5.3 Python-Geohash 0.8.5 Pytz 1.6.2016
pedidos 2.11.1 s3transferir 0.1.9 scikit-learn (biblioteca de aprendizado de máquina em Python) 0.18.1
SciPy 0.18.1 vasculhar 0.32 nascido no mar 0.7.1
Ferramentas de configuração 40.8.0 simplejson 3.8.2 simples3 1.0
despacho único 3.4.0.3 seis 1.10.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.6.1
tornado 5.1.1 traços 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 largura de wc 0.1.7 wheel 0.33.1
WSGIREF 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Abind 1.4-5 AskPass 1.1 asserçãoat 0.2.0
Retroportagens 1.1.3 base 3.5.2 base64enc 0.1-3
Belo Horizonte 1.69.0-1 pouco 1.1-14 bit64 0.9-7
Bitops 1.0-6 blob 1.1.1 arranque 1.3-20
fabricação de cerveja 1.0-6 Chamador 3.1.1 carro 3.0-2
dadosDoCarro 3.0-2 acento circunflexo 6.0-81 Cellranger 1.1.0
crono 2.3-53 classe 7.3-15 CLI 1.0.1
Clipr 0.5.0 clisímbolos 1.2.0 cluster 2.0.7-1
CodeTools 0,2-16 espaço em cores 1.4-0 marca comum 1.7
compilador 3.5.2 configuração 0,3 lápis de cor 1.3.4
encaracolar 3.3 tabela de dados 1.12.0 conjuntos de dados 3.5.2
DBI 1.0.0 DBPlyr 1.3.0 descrição 1.2.0
DevTools 2.0.1 resumo 0.6.18 doMC 1.3.5
DPLYR 0.8.0.1 reticências 0.1.0 Fãsi 0.4.0
FORCATS 0.4.0 para cada 1.4.4 externa 0,8-71
forjar 0.2.0 FS 1.2.6 GBM 2.1.5
genérico 0.0.2 GGPLOT2 3.1.0 GH 1.0.1
Git2R 0.24.0 GLMNET 2.0-16 colar 1.3.0
Gower 0.1.2 gráficos 3.5.2 grDispositivos 3.5.2
grelha 3.5.2 gridExtra 2.3 GSUBFN 0,7
tabela g 0.2.0 H2O 3.22.1.1 Refúgio 2.1.0
HMS 0.4.2 htmltools 0.3.6 htmlwidgets (componentes HTML interativos) 1.3
HTTR 1.4.0 Hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 iteradores 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 etiquetagem 0,3
treliça 0.20-38 lave 1.6.5 preguiça 0.2.1
menor 0.3.6 LME4 1.1-20 lubridato 1.7.4
Magrittr 1.5 Mapproj 1.2.6 mapas 3.3.0
Ferramentas de mapa 0.9-5 MASSA 7.3-51.1 Matriz 1.2-15
MatrizModels 0.4-1 memorização 1.1.0 métodos 3.5.2
MGCV 1.8-27 mímica 0,6 Minqa 1.2.4
ModelMetrics 1.2.2 Munsell 0.5.0 MVTnorm 1.0-9
NLME 3.1-137 NLOPTR 1.2.1 NNET 7.3-12
numDeriv 2016.8-1 openssl (conjunto de ferramentas para criptografia) 1.2.2 OpenXLSX 4.1.0
paralelo 3.5.2 pbkrtest 0.4-7 pilar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgGatinho 0.1.4
pkgload 1.0.2 plogr 0.2.0 Plyr 1.8.4
elogiar 1.0.0 unidades bonitas 1.0.2 pROC 1.13.0
processx 3.2.1 Prodlim 2018.04.18 Progresso 1.2.0
prototipo 1.0.0 PS 1.3.0 ronronar 0.3.0
Quantreg 5,38 R.métodosS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
Floresta Aleatória 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 Leitor 1.3.1
ReadXL 1.3.0 receitas 0.1.4 revanche 1.0.1
Controles remotos 2.0.2 remodelar2 1.4.3 Rio 0.5.16
Rlang 0.3.1 RODBC 1.3-15 oxigénio2 6.1.1
rpart (função de partição recursiva em R) 4.1-13 rprojroot 1.3-2 Reserva 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 escalas 1.0.0
Informação da sessão 1.1.1 SP 1.3-1 Brilho 1.0.0
Faísca 2.4.2 Disperso 1.77 espacial 7.3-11
estrias 3.5.2 sqldf 0.4-11 QUADRADO 2017.10-1
estatmod 1.4.30 estatísticas 3.5.2 estatísticas4 3.5.2
string 1.3.1 stringr 1.4.0 sobrevivência 2.43-3
Sistema 3.0 tcltk (uma linguagem de programação) 3.5.2 Demonstrações de Ensino 2.10
testeatat 2.0.1 Tibble 2.0.1 Tidyr 0.8.3
arrumadoselecionar 0.2.5 data e hora 3043.102 ferramentas 3.5.2
usethis 1.4.0 UTF8 1.1.4 utilitários 3.5.2
viridisLite 0.3.0 vibrissas 0.3-2 murchar 2.1.2
XML2 1.2.0 xopen 1.0.0 yaml 2.2.0
ZIP 2.0.0

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.8.10
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.11.313
com.amazonaws AWS-Java-SDK-CloudFormation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws AWS Java SDK para CloudSearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-diretório 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-aprendizado de máquina 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-rota53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws AWS Java SDK para SES 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.11.313
com.amazonaws AWS-Java-SDK-STS 1.11.313
com.amazonaws aws-java-sdk-suporte 1.11.313
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch HPPC 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics fluxo 2.7.0
com.databricks Reserva 1.8-3
com.databricks DBML-local_2,11 0.5.0-db8-faísca2.4
com.databricks dbml-local_2.11-testes 0.5.0-db8-faísca2.4
com.databricks Jatos 3T 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb SCALAPB-runtime_2,11 0.4.15-9
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.0.0
com.fasterxml.jackson.core jackson-anotações 2.6.7
com.fasterxml.jackson.core Jackson-Core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-módulo-paranamer 2.6.7
com.fasterxml.jackson.module jackson-módulo-scala_2.11 2.6.7.1
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.luben ZSTD-JNI 1.3.2-2
com.github.rwl Jtransforms 2.4.0
com.google.code.findbugs JSR305 2.0.1
com.google.code.gson Gson 2.2.4
com.google.goiaba Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2banco de dados h2 1.3.174
com.jcraft JSCH 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.2.8
com.microsoft.azure armazenamento-do-azure 5.2.0
com.microsoft.sqlserver MSSQL-JDBC 6.2.2.JRE8
com.ning compressa-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter Chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocidade analisadores de univocidade 2.7.3
com.vlkan flatbuffers 1.2.0-3F79E055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
codec commons codec commons 1.10
Commons Collections Commons Collections 3.2.2
commons-configuração commons-configuração 1.6
commons-dbcp commons-dbcp 1.4
commons-digestor commons-digestor 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.ponte aérea compressor de ar 0.10
io.dropwizard.metrics métricas-base 3.1.5
io.dropwizard.metrics métricas-Ganglia 3.1.5
io.dropwizard.metrics métricas-grafite 3.1.5
io.dropwizard.metrics métricas e verificações de saúde 3.1.5
io.dropwizard.metrics métricas-jetty9 3.1.5
io.dropwizard.metrics métricas-json 3.1.5
io.dropwizard.metrics métricas do JVM 3.1.5
io.dropwizard.metrics métricas-log4j 3.1.5
io.dropwizard.metrics Métricas-Servlets 3.1.5
io.netty biblioteca Netty 3.9.9.Final
io.netty netty-tudo 4.1.17.Final
io.prometeu cliente simples 0.0.16
io.prometeu simpleclient_comum 0.0.16
io.prometeu simpleclient_dropwizard 0.0.16
io.prometeu simpleclient_servlet 0.0.16
io.prometheus.jmx recoletor 0,7
javax.ativação ativação 1.1.1
javax.anotação javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp JSP-API 2.1
javax.transaction JTA 1.1
javax.validação API de validação 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind JAXB-API 2.2.2
javax.xml.stream Stax-API 1.0-2
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hidromática eigenbase-propriedades 1.1.5
net.razorvine pirolite 4.13
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.5
net.floco de neve Flocos de Neve-JDBC 3.6.15
net.floco de neve faísca-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt ONCRPC 1.0.7
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.4
org.antlr antlr4-tempo de execução 4.7
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 0.10.0
org.apache.arrow seta-memória 0.10.0
org.apache.arrow vetor de seta 0.10.0
org.apache.avro Avro 1.8.2
org.apache.avro AVRO-IPC 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcita-avatica 1.2.0 incubação
org.apache.calcite núcleo de calcita 1.2.0 incubação
org.apache.calcite calcita-linq4j 1.2.0 incubação
org.apache.commons commons-comprimir 1.8.1
org.apache.commons commons-cripto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-matemática3 3.4.1
org.apache.curador curador-cliente 2.7.1
org.apache.curador curador-framework 2.7.1
org.apache.curador curador-receitas 2.7.1
org.apache.derby Dérbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api API-Util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations (anotações do hadoop) 2.7.3
org.apache.hadoop autenticação do Hadoop 2.7.3
org.apache.hadoop Cliente Hadoop 2.7.3
org.apache.hadoop hadoop-comum 2.7.3
org.apache.hadoop Hadoop-HDFS 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) 2.7.3
org.apache.hadoop hadoop-mapreduce-cliente-core 2.7.3
org.apache.hadoop Cliente de Trabalho Hadoop MapReduce 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-cliente 2.7.3
org.apache.hadoop hadoop-yarn-comum 2.7.3
org.apache.hadoop hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) 2.7.3
org.apache.htrace htrace-núcleo 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents Núcleo Http 4.4.8
org.apache.ivy hera 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc Orc-calços 1.5.2
org.apache.parquet coluna de parquet 1.10.1.1-databricks3
org.apache.parquet parquet-comum 1.10.1.1-databricks3
org.apache.parquet codificação-parquet 1.10.1.1-databricks3
org.apache.parquet formato parquet 2.4.0
org.apache.parquet Parquet-Hadoop 1.10.1.1-databricks3
org.apache.parquet Parquet-Jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-sombreado 4.8
org.apache.zookeeper cuidador de zoológico 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson Jackson-Jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.jackson Jackson-XC 1.9.13
org.codehaus.janino compilador comum 3.0.10
org.codehaus.janino Janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus DataNucleus Core 3.2.10
org.datanucleus Datanucleus-RDBMS 3.2.9
org.eclipse.píer Jetty-Cliente 9.3.20.v20170531
org.eclipse.píer jetty-continuation (componente de software do Jetty) 9.3.20.v20170531
org.eclipse.píer Jetty-HTTP 9.3.20.v20170531
org.eclipse.píer Molhe IO 9.3.20.v20170531
org.eclipse.píer Cais-JNDI 9.3.20.v20170531
org.eclipse.píer Cais-Plus 9.3.20.v20170531
org.eclipse.píer Jetty-Proxy 9.3.20.v20170531
org.eclipse.píer Segurança do Jetty 9.3.20.v20170531
org.eclipse.píer servidor jetty 9.3.20.v20170531
org.eclipse.píer Jetty-servlet 9.3.20.v20170531
org.eclipse.píer Jetty-servlets 9.3.20.v20170531
org.eclipse.píer Jetty-util 9.3.20.v20170531
org.eclipse.píer Aplicação web Jetty 9.3.20.v20170531
org.eclipse.píer Jetty-XML 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.4.0-B34
org.glassfish.hk2 localizador hk2 2.4.0-B34
org.glassfish.hk2 HK2-Utils 2.4.0-B34
org.glassfish.hk2 localizador de recursos OSGi 1.0.1
org.glassfish.hk2.externo aopalliance-reembalado 2.4.0-B34
org.glassfish.hk2.externo javax.injet 2.4.0-B34
org.glassfish.jersey.bundles.reembalado Jersey-Goiaba 2.22.2
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-cliente 2.22.2
org.glassfish.jersey.core Jersey comum 2.22.2
org.glassfish.jersey.core servidor de jersey 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator (ferramenta de validação de dados de Java) 5.1.1.Final
org.iq80.snappy rápido 0.2
org.javassist Javassist 3.18.1-GA
org.jboss.logging jboss-registro em log 3.1.3.GA
org.jdbi JDBI 2.63.1
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.11 3.5.3
org.json4s JSON4S-core_2.11 3.5.3
org.json4s JSON4S-jackson_2.11 3.5.3
org.json4s JSON4S-scalap_2.11 3.5.3
org.lz4 LZ4-Java 1.4.0
org.mariadb.jdbc mariadb-java-cliente 2.1.2
org.mockito mockito-tudo 1.9.5
org.objenesis objenese 2.5.1
org.postgresql PostgreSQL 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2,11 2.11.12
org.scala-lang Escala-library_2,11 2.11.12
org.scala-lang Escala-reflect_2,11 2.11.12
org.scala-lang.modules scala-parser-combinators_2,11 1.1.0
org.scala-lang.modules Escala-xml_2.11 1.0.5
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp Brisa-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-compatível-com-slf4j 1.7.16
org.slf4j jul-para-slf4j 1.7.16
org.slf4j SLF4J-API 1.7.16
org.slf4j SLF4J-Log4J12 1.7.16
org.spark-project.hive colmeia-abelha 1.2.1.faísca2
org.spark-project.hive Hive-CLI 1.2.1.faísca2
org.spark-project.hive hive-exec 1.2.1.faísca2
org.spark-project.hive Hive-JDBC 1.2.1.faísca2
org.spark-project.hive sistema de metadados do Hive 1.2.1.faísca2
org.spark-project.spark não utilizado 1.0.0
org.spire-matemática torre-macros_2.11 0.13.0
org.spire-matemática spire_2.11 0.13.0
org.springframework spring-core (núcleo do Spring) 4.1.4.VERSÃO
org.springframework teste de primavera 4.1.4.VERSÃO
org.tukaani XZ 1.5
org.typelevel mecânico_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy Snappy-java 1.1.7.1
org.yaml Snakeyaml 1.16
ouro ouro 2.0.8
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
XMLENC XMLENC 0.52
  • Last updated on