Compartilhar via

Databricks Runtime 7.2 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

O Databricks lançou essa versão em agosto de 2020.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 7.2 da plataforma Apache Spark 3.0.

Novos recursos

O Databricks Runtime 7.2 inclui os seguintes novos recursos.

O Carregador Automático está disponível para o público geral

O Carregador Automático é um método eficiente para ingestão incremental de um grande número de arquivos no Delta Lake. Agora ele é GA e adiciona os seguintes recursos: lista de diretórios, API de gerenciamento de recursos de nuvem, opção de limitação de taxa e validação de opção.

Opção de modo de listagem de diretório

O Carregador Automático adiciona um novo modo de listagem de diretório ao modo de notificação de arquivo existente para determinar quando há novos arquivos.

  • Modo de listagem de diretório: em alguns cenários, há apenas alguns arquivos que precisam ser transmitidos regularmente. Nesses casos, a identificação de novos arquivos pela listagem paralela do diretório de entrada e sua ingestão é razoavelmente eficiente. Isso permite que você inicie fluxos do Carregador Automático sem nenhuma configuração de permissão. O modo de listagem de diretórios é o padrão para o Carregador Automático no Databricks Runtime 7.2 e superior.
  • Modo de notificação de arquivo: você pode optar explicitamente pelo modo de notificação de arquivo, que é mais eficaz e escalonável para diretórios de entrada grandes, mas exige que você configure permissões para o serviço de notificação assinar eventos de arquivo e definir .option("cloudFiles.useNotifications", "true"). Os fluxos existentes do Carregador Automático iniciados no Databricks Runtime 7.1 e abaixo aceitam automaticamente o modo de notificação de arquivo quando eles são atualizados para o Databricks Runtime 7.2.

Para obter mais informações, confira O que é o Carregador Automático?.

API de grenciamento de recursos de nuvem

Você já pode usar nossa API do Scala para gerenciar recursos de nuvem criados pelo Carregador Automático. Liste os serviços de notificação e subdivida serviços de notificação específicos usando essa API. Para obter mais informações, consulte Configurar ou gerenciar manualmente os recursos de notificação de arquivo.

Opção de limitação de taxa

Você já pode usar a opção cloudFiles.maxBytesPerTrigger para limitar o volume de dados processados em cada microlote. Você pode especificar uma cadeia de caracteres de byte, como 10g, para limitar cada microlote a 10 GB de dados. O número máximo é flexível. Se você tiver arquivos que são de 3 GB cada, o Azure Databricks processará 12 GB em um microlote. Essa opção não tem efeito quando usada com Trigger.Once(). Quando essa opção não é fornecida, o valor padrão de cloudFiles.maxFilesPerTrigger 1000 arquivos é usado para limitação de taxa. Quando usado em conjunto com cloudFiles.maxFilesPerTrigger, o Azure Databricks consome até o limite inferior de cloudFiles.maxFilesPerTrigger ou cloudFiles.maxBytesPerTrigger, o que for atingido primeiro.

Para obter mais informações, confira O que é o Carregador Automático?.

Validação de opção

O Carregador Automático já valida as opções que você fornece. Se você fornecer uma opção desconhecida, o Carregador Automático retornará um erro em vez de ignorar silenciosamente a opção. A validação também detecta inconsistências nas opções fornecidas. Por exemplo, se você definir cloudFiles.useNotifications como false e, ao mesmo tempo fornecer as opções de permissão para a Grade de Eventos do Azure e os serviços de Armazenamento de fila, validation falhará. Para ignorar a validação da opção, defina cloudFiles.validateOptions como false.

Alterações nos valores de opção padrão e na compatibilidade

O comportamento padrão de algumas opções do Carregador Automático foi alterado no Databricks Runtime 7.2. Para garantir a compatibilidade, o comportamento dos fluxos iniciados no Databricks Runtime 7.1 e abaixo permanecerão inalterados mesmo após a atualização para a execução desses fluxos em um cluster que executa o Databricks Runtime 7.2 ou superior. Confira O que é o Carregador Automático?.

Copiar uma tabela Delta com eficiência clone (visualização pública)

Agora você pode criar com eficiência um clone superficial ou profundo de uma tabela Delta em uma versão específica com o comando clone. Um clone profundo é um clone autônomo de uma tabela Delta formada pela cópia dos arquivos em paralelo da tabela de origem para a tabela de destino. Um clone superficial é um clone criado de forma econômica que não copia arquivos para a tabela de destino, mas aponta para os arquivos na tabela original. Qualquer alteração feita em um clone profundo ou superficial afeta apenas o clone e não a tabela original. Veja Clonar uma tabela no Azure Databricks.

Aprimoramentos

  • Conector do Snowflake: o conector foi atualizado para a versão 2.8.1, que inclui o suporte do Spark 3.0.

  • Usabilidade do PySpark: quando um UDF de PySpark ou pandas falha, o Azure Databricks agora faz a superfície da exceção do lado do Python e da linha executada mais recentemente do código do notebook (se aplicável) na parte superior da mensagem de erro.

  • Passagem de credenciais:

    • Agora você pode usar a função de transformação LDA em um cluster habilitado para passagem.
    • Agora você pode definir o diretório de ponto de verificação de armazenamento em um cluster habilitado para passagem.

  • Bibliotecas de cluster: o Azure Databricks agora processa todas as bibliotecas de cluster na ordem em que elas foram instaladas no cluster. No Databricks Runtime 7.1 e inferior, somente as bibliotecas Maven e CRAN foram processadas na ordem em que foram instaladas no cluster. Outras bibliotecas foram instaladas em uma ordem não determinística.

  • TensorBoard:

    • Gerencie os processos do TensorBoard com a API tensorboard.notebook.
    • Você pode ter vários back-ends do TensorBoard em execução em um único cluster.
    • Em notebooks do Python, exiba a interface do usuário do TensorBoard embutida usando a linha mágica de comando %tensorboard.
    • dbutils.tensorboard foi preterido.

    Confira TensorBoard.

  • Bibliotecas do Python atualizadas:

    • jmespath atualizado de 0.9.4 para 0.10.0.
    • koalas atualizado de 1.0.1 para 1.1.0.

  • Atualizou várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Apache Spark

O Databricks Runtime 7.2 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-32234][SQL] Os comandos de SQL do Spark estão falhando ao selecionar as tabelas ORC
  • [SPARK-30616] [SQL] Introduzir a opção de configuração de TTL para o cache de metadados SQL
  • [SPARK-21117] [SQL] Suporte interno à função SQL - WIDTH_BUCKET
  • [SPARK-32168] [SQL] Corrigir o bug de correção de particionamento oculto na substituição de SQL
  • [SPARK-31935] A configuração do sistema de arquivos do Hadoop deve ser eficaz nas opções de fonte de dados
  • [SPARK-32270] [SQL] Usar TextFileFormat na inferência do esquema de CSV com uma codificação diferente
  • [SPARK-28481] [SQL] Mais expressões devem estender NullIntolerant
  • [SPARK-32220] [SQL] A dica SHUFFLE_REPLICATE_NL não deve alterar o resultado de junção de produto não cartesiano
  • [SPARK-32232] [ML][pyspark] Verifique se o ML tem os mesmos valores de solucionador padrão entre Scala e Python
  • [SPARK-32238][SQL] Usar Utils.getSimpleName para evitar que ocorra nome de classe malformado no ScalaUDF
  • [SPARK-32220] [SQL] A dica SHUFFLE_REPLICATE_NL não deve alterar o resultado de junção de produto não cartesiano
  • [SPARK-32256] [SQL] Forçar a inicialização do Hadoop VersionInfo no HiveExternalCatalog
  • [SPARK-32159] [SQL] Corrigir a integração entre Aggregator[Array[_], _, _] e UnresolvedMapObjects
  • [SPARK-32160] [CORE][pyspark] Não permite criar SparkContext em executores
  • [SPARK-32168] [SQL] Corrigir o bug de correção de particionamento oculto na substituição de SQL
  • [SPARK-32024] [WEBUI] Atualizar ApplicationStoreInfo.size durante a inicialização do HistoryServerDiskManager
  • [SPARK-32214] [SQL] A função de conversão de tipo gerada em makeFromJava para o tipo "other" usa uma variável incorreta
  • [SPARK-30703] [SQL] Atualizar o comentário inválido do SqlBase.g4
  • [SPARK-32163] [SQL] A remoção aninhada deve funcionar mesmo com variações superficiais
  • [SPARK-32124] [CORE] Use o valor inválido Int.MinValue para preencher o índice do mapa quando os logs de eventos da versão antiga do Spark
  • [SPARK-32167] [SQL] Corrigir GetArrayStructFields para respeitar a nulidade do campo interno em conjunto
  • [SPARK-32130] [SQL] Habilitar a inferência de carimbos de data/hora em JsonBenchmark
  • [SPARK-32121] [SHUFFLE] Suporte ao sistema operacional Windows em ExecutorDiskUtils
  • [SPARK-32130] [SQL] Desabilitar a opção JSON inferTimestamp por padrão
  • [SPARK-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções de fonte de dados
  • [SPARK-32095] [SQL] Atualizar a documentação para refletir o uso de estatísticas atualizadas
  • [SPARK-32131] [SQL] Corrigir mensagens AnalysisException em operações UNION/EXCEPT/MINUS
  • [SPARK-32068] [WEBUI] A inicialização correta da tarefa mostra um problema devido ao fuso horário na guia fase
  • [SPARK-29999] [SS] Corrigir teste para verificar o diretório de log de metadados real
  • [SPARK-32127] [SQL] Verifique se as regras devem MERGE INTO usar MergeAction.condition em vez de MergeAction.children
  • [SPARK-32038] [SQL] Criar o nome do alias logo após a normalização do float/double
  • [SPARK-32126] [SS] Escopo de Session.active em IncrementalExecution
  • [SPARK-32115] [SQL] Corrigir SUBSTRING para manipular estouros inteiros
  • [SPARK-32098] [PYTHON] Use o iloc para fatias posicionais em vez de fatia direta em createDataFrame com Seta
  • [SPARK-32080][SPARK-31998] [SQL] Simplificar o acessador ListArray de ArrowColumnVector
  • [SPARK-32028] [WEBUI] Corrigir o link de ID do aplicativo para o aplicativo de várias tentativas na página de resumo do histórico
  • [SPARK-31918] [R] Ignorar métodos genéricos de S4 no namespace do SparkR na limpeza de fechamento para dar suporte ao R 4.0.0 +
  • [SPARK-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregações distintas
  • [SPARK-32034] [SQL] Porta HIVE-14817: desligar o thread SessionManager timeoutChecker corretamente após o desligamento
  • [SPARK-32021] [SQL] Aumentar a precisão de segundos e frações demake_interval
  • [SPARK-31980] [SQL] A sequência de função() falhará se o início e o fim do intervalo forem datas iguais
  • [SPARK-32020] [SQL] Melhor mensagem de erro quando SPARK_HOME ou spark.test.home não está definido
  • [SPARK-32011] [PYTHON][core] Remover avisos sobre modos pin-thread e guia para usar collectWithJobGroup

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 7.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versão 3.6.3 (29-02-2020)
  • Delta Lake 0.7.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asn1crypto 1.3.0 chamada de retorno 0.1.0 boto3 1.12.0
botocore 1.15.0 certificação 2020.6.20 cffi 1.14.0
chardet 3.0.4 criptografia 2.8 ciclista 0.10.0
Cython 0.29.15 decorador 4.4.1 docutils 0.15.2
pontos de entrada 0,3 IDNA 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 Cliente Jupyter 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 Coalas 1.1.0
matplotlib 3.1.3 numpy 1.18.1 Pandas 1.0.1
parso 0.5.2 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 caroço 20.0.2 kit de ferramentas de prompt 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 Pyarrow 0.15.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 Pytz 2019.3
pyzmq 18.1.1 solicitações 2.22.0 s3transfer 0.3.3
scikit-aprender 0.22.1 Scipy 1.4.1 seaborn (biblioteca de visualização em Python) 0.10.0
Ferramentas de configuração 45.2.0 seis 1.14.0 ssh-import-id 5.7
statsmodels (biblioteca para modelos estatísticos em Python) 0.11.0 tornado 6.0.3 traitlets 4.3.3
atualizações não supervisionadas 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN de 14/07/2020.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1,1 afirme isso 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
ciar 1.3-25 Fabricação de cerveja 1.0-6 vassoura 0.7.0
chamador 3.4.3 sinal de interpolação 6.0-86 Cellranger 1.1.0
crono 2.3-55 classe 7.3-17 Interface de Linha de Comando (CLI) 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
espaço de cores 1.4-1 commonmark 1,7 compilador 3.6.3
configuração 0,3 cobertor 3.5.0 giz de cera 1.3.4
diafonia 1.1.0.1 encurvar 4.3 Tabela de Dados 1.12.8
conjuntos de dados 3.6.3 DBI 1.1.0 dbplyr 1.4.4
Descrição 1.2.0 devtools 2.3.0 hash 0.6.25
dplyr 0.8.5 DT 0,14 reticências 0.3.1
avaliar 0,14 fansi 0.4.1 cores 2.0.3
fastmap 1.0.1 para gatos 0.5.0 para cada 1.5.0
estrangeiro 0.8-76 forja 0.2.0 Fs 1.4.2
genéricos 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globais 0.12.5
cola 1.4.1 Gower 0.2.2 elemento gráfico 3.6.3
grDevices 3.6.3 grade 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 refúgio 2.3.1
mais alto 0,8 Hms 0.5.3 ferramentas HTML 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Iteradores 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 malhador 1.29
rotulagem 0,3 posterior 1.1.0.1 treliça 0.20-41
lava vulcânica 1.6.7 lazyeval 0.2.2 ciclo de vida 0.2.0
lubrificado 1.7.9 magrittr 1.5 redução de preço 1,1
MISSA 7.3-51.6 Matriz 1.2-18 memorizar 1.1.0
Métodos 3.6.3 mgcv 1.8-31 mímica 0,9
ModelMetrics 1.2.2.2 modelador 0.1.8 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 paralelo 3.6.3 coluna 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 elogio 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.3
Prodlim 2019.11.13 progresso 1.2.2 Promessas 1.1.1
proto 1.0.0 P.S. 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 Readr 1.3.1 readxl 1.3.1
Receitas 0.1.13 jogo de revanche 1.0.1 revanche2 2.1.2
Controles remotos 2.1.1 exemplo reprodutível (reprex) 0.3.0 remodelar2 1.4.4
Rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.5 escamas 1.1.1 Seletor 0.4-2
informações de sessão 1.1.1 forma 1.4.4 brilhante 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
espacial 7.3-11 Splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 estatísticas 3.6.3 estatísticas4 3.6.3
stringi 1.4.6 stringr 1.4.0 sobrevivência 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2,10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 data e hora 3043.102
tinytex 0,24 Ferramentas 3.6.3 usethis 1.6.1
utf8 1.1.4 utilitários 3.6.3 identificador único universal (UUID) 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 vibrissa 0,4
murchar 2.2.0 xfun 0.15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 YAML 2.2.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws SDK Java para o ECS da AWS 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.11.655
com.amazonaws aws-java-sdk-swf-libraryes 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.datatype jackson-module-paranamer 2.10.0
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib sistema_nativo-java 1,1
com.github.fommil.netlib sistema_nativo-java-nativos 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas-verificações de saúde 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (métricas em JSON) 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty Netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction API de transação 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolito 4,30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 0.15.1
org.apache.arrow memória de seta 0.15.1
org.apache.arrow vetor de seta 0.15.1
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons Texto Comum 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator estrutura do curador 2.7.1
org.apache.curator curador de receitas 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop cliente Hadoop 2.7.4
org.apache.hadoop hadoop-common (componente comum do Hadoop) 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app (aplicativo cliente do hadoop-mapreduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive API de armazenamento do Hive 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.7
org.apache.htrace htrace-core 3.1.0-em incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-calços 1.5.10
org.apache.parquet coluna parquet 1.10.1.2-databricks4
org.apache.parquet parquet-comum 1.10.1.2-databricks4
org.apache.parquet codificação-parquet 1.10.1.2-databricks4
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocidade 1.5
org.apache.xbean xbean-asm7-shaded 4,15
org.apache.yetus comentários da audiência 0.5.0
org.apache.zookeeper zelador de zoológico 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty Continuação do Jetty (jetty-continuation) 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty segurança do jetty 9.4.18.v20190429
org.eclipse.jetty servidor jetty 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty Jetty Webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-comum 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc cliente Java do MariaDB 2.1.2
org.objenesis objenésia 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Calços 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.LANÇAMENTO
org.springframework teste de primavera 4.1.4.LANÇAMENTO
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel maquinista_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0.52
  • Last updated on