Compartilhar via

Databricks Runtime 10.5 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.5 da plataforma Apache Spark 3.2.1. O Databricks lançou essa versão em maio de 2022.

Novos recursos e aprimoramentos

SQL: novas funções to_number e try_to_number

A to_number função e a try_to_number função permitem converter representações de caracteres de números em vários formatos em DECIMAL.

SQL: nova função try_sum

Ao contrário de sum, a try_sumfunção de agregação retorna NULL em vez de um erro quando ocorre um estouro.

SQL: atualizar para funções ceil, ceiling e floor

A ceil função, ceiling a função e a floor função agora dão suporte a um segundo argumento opcional para especificar uma escala de destino.

SQL: novas funções de agregação regr_avgx e regr_avgy

A nova regr_avgx função de agregação e regr_avgy a função de agregação dão suporte a regressões lineares.

SQL: atualizar para funções contains, startswith e endswith

A contains função, startswith a função e a endswith função agora dão suporte a tipos de dados binários como entrada, além de cadeias de caracteres.

SQL: nova função array_size

A nova array_size função calcula o tamanho de uma matriz.

Catálogo do Unity: a saída LIST SQL remove a coluna is_directory e adiciona / à direita para caminhos de diretório (Visualização Pública)

A saída da instrução SQL LIST para listar caminhos regidos pelo Unity Catalog foi alterada. A coluna is_directory não é mais exibida. Em vez disso, os caminhos que representam diretórios agora terminam com uma barra à direita (/) para as colunas path e name. Essa alteração serve para consistência com a saída do comando dbutils.fs.ls.

Carregador Automático: nova função SQL CLOUD_FILES_STATE

Você pode usar a nova função CLOUD_FILES_STATE para consultar o estado interno de um fluxo do Carregador Automático; confira Como consultar arquivos descobertos pelo Carregador Automático.

Carregador Automático: o suporte à notificação de arquivo está agora em GA

O suporte à notificação de arquivo para O que é o Carregador Automático? no Google Cloud já está em disponibilidade geral.

Delta Lake: a nova opção maxRecordsPerFile para o máximo de registros gravados em um único arquivo

Quando você usa as APIs do DataFrame para gravar em uma tabela Delta, pode usar a opção maxRecordsPerFile para especificar o número máximo de registros a serem gravados em apenas um arquivo. Especificar um valor de zero ou um valor negativo não representa nenhum limite. Confira Configurar o Delta Lake para controlar o tamanho do arquivo de dados.

Substituição do Koalas

No momento, o Koalas está preterido. O Koalas fornece APIs do pandas além do Apache Spark. O Koalas foi enviado como contribuição pela comunidade e está disponível como a API do pandas no Spark a partir do Apache Spark 3.2. O Koalas continua a ser pré-instalado para o Databricks Runtime 10.5, mas o Koalas não será mais pré-instalado a partir da próxima versão do Databricks Runtime.

Para saber mais sobre a API do pandas no Spark, confira:

Nova coluna _metadata para todos os formatos de arquivo

Você pode obter informações de metadados para arquivos de entrada com a coluna _metadata. A coluna _metadata está oculta. Esta coluna está disponível para todos os formatos de arquivo de entrada. Para incluir a coluna _metadata em um DataFrame retornado, você precisa referenciar explicitamente essa coluna em sua consulta. Confira Coluna de metadados de arquivo.

Testar seu pipeline com o Databricks Runtime 10.5

O Databricks Runtime 10.5 agora é a versão suportada para o Lakeflow Spark Declarative Pipelines. Para testar o pipeline com o Databricks Runtime 10.5, defina a configuração channel para preview nas configurações do pipeline.

Correções de bug

  • Correção da exibição dos resultados de métrica numUpdatedRows e numCopiedRows para operações de atualização em tabelas Delta que têm a CDC (captura de dados de alterações) habilitada.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • plotly de 5.5.0 para 5.6.0
  • Bibliotecas do R atualizadas:
    • base de 4.1.2 para 4.1.3
    • caret de 6.0-90 para 6.0-91
    • cluster de 2.1.2 para 2.1.3
    • commonmark de 1.7 a 1.8.0
    • compiler de 4.1.2 para 4.1.3
    • crayon de 1.5.0 para 1.5.1
    • Datasets de 4.1.2 para 4.1.3
    • desc de 1.4.0 para 1.4.1
    • fansi de 1.0.2 para 1.0.3
    • glue de 1.6.1 para 1.6.2
    • graphics de 4.1.2 para 4.1.3
    • grDevices de 4.1.2 para 4.1.3
    • grid de 4.1.2 para 4.1.3
    • knitr de 1.37 para 1.38
    • MASS de 7.3-55 para 7.3-56
    • Matrix de 1.4-0 para 1.4-1
    • methods de 4.1.2 para 4.1.3
    • mgcv de 1.8-39 para 1.8-40
    • nlme de 3.1-155 a 3.1-157
    • openssl de 1.4.6 para 2.0.0
    • parallel de 4.1.2 para 4.1.3
    • plyr de 1.8.6 a 1.8.7
    • processx de 3.5.2 a 3.5.3
    • r2d3 de 0.2.5 a 0.2.6
    • Rcpp de 1.0.8 para 1.0.8.3
    • rlang de 1.0.1 para 1.0.2
    • rmarkdown de 2.11 a 2.13
    • RSQLite de 2.2.10 para 2.2.11
    • sass de 0.4.0 para 0.4.1
    • splines de 4.1.2 para 4.1.3
    • stats de 4.1.2 para 4.1.3
    • stats4 de 4.1.2 para 4.1.3
    • tcltk de 4.1.2 para 4.1.3
    • tools de 4.1.2 para 4.1.3
    • utils de 4.1.2 para 4.1.3
    • uuid de 1.0-3 para 1.0-4
    • waldo de 0.3.1 para 0.4.0
    • withr de 2.4.3 para 2.5.0
    • xfun de 0.29 para 0.30
  • Bibliotecas do Java atualizadas:
    • com.h2database.h2 de 1.4.195 para 2.1.210
    • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks para 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime de 3.3.1 para 3.3.2
    • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Apache Spark

O Databricks Runtime 10.5 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.4 LTS (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

  • [SPARK-38354] [SC-97886] Reverter "[SQL] Adicionar métrica de investigações de hash para junção hash em ordem aleatória"
  • [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrumentar o módulo SQL do PySpark com logger de uso geral
  • [SPARK-38333] [SQL] A expressão PlanExpression deve ignorar a função addExprTree no Executor
  • [SPARK-38646] [PYTHON][10.x] Extrair uma característica para as funções do Python
  • [SPARK-38674] [PHOTON] Adicionar uma métrica ao PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Substitua o valor encontrado por elemento não nulo na lista restante para chave e remova os elementos nulos restantes de valores no repositório keyWithIndexToValue para junções de fluxo para fluxo
  • [SPARK-38446] [Core] Corrigir deadlock entre ExecutorClassLoader e FileDownloadCallback causado por Log4j
  • [SPARK-38705] [SQL] Usar o identificador de função no comando de função criar e soltar
  • [SPARK-38684] [SS] Corrigir o problema de correção na junção externa de fluxo para fluxo com o provedor de repositório de estado RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase não consegue localizar a linha de deslocamento cuja entrada não é nula
  • [SPARK-38204] [SS] Use StatefulOpClusteredDistribution para operadores com estado com relação à compatibilidade com versões anteriores
  • [SPARK-38616] [SQL] Acompanhar texto de consulta SQL no Catalyst TreeNode
  • [SPARK-38600] [SQL] Incluir unit na cadeia de caracteres sql de TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagar metadados de colunas aninhadas no Alias
  • [SPARK-38535] [SQL] Adicionar a enumeração datetimeUnit e usá-la em TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Atualizar o tipo de resultado histogram_numeric (x, y) para tornar x == o tipo de entrada
  • [SPARK-38148] [SQL] Não adicionar a remoção de partição dinâmica se houver remoção de partição estática
  • [SPARK-37527] [SQL] Compilar COVAR_POP, COVAR_SAMP e CORR emH2Dialet
  • [SPARK-38510] [SQL] Tentar novamente ClassSymbol.selfType para resolver referências cíclicas
  • [SPARK-38509] [SQL] Cancelar o registro da funções TIMESTAMPADD/DIFF e removerDATE_ADD/DIFF
  • [SPARK-38504] [SQL] Não é possível ler TimestampNTZ como TimestampLTZ
  • [SPARK-38526] [SQL] Corrigir o nome do alias de função enganosa para RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementar suporte ao analisador para valores de coluna DEFAULT
  • [SPARK-38593] [SS] Transferir a métrica do número de eventos tardios removidos para SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Adicionar numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Restaurar o comportamento de to_timestamp que permite tipos numéricos
  • [SPARK-38481] [SQL] Substituto da exceção de estouro Java de TIMESTAMPADD pela exceção do Spark
  • [SPARK-37753] [SQL] Ajustar a lógica para rebaixar a junção hash de Difusão no DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH deve dar suporte a tipos de texto e binários
  • [SPARK-38345] [SQL] Introduzir função SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Melhorar mensagens de erro de instrução vazia e <EOF> em ParseException
  • [SPARK-37614] [SQL] Dar suporte à função de agregação ANSI: regr_avgx e regr_avgy
  • [SPARK-38560] [SQL] Se Sum, Count, Any acompanhado por distinct, não puder enviar agregação parcial por push.
  • [SPARK-38360] [SQL][ss][PYTHON] Introduza uma exists função para TreeNode eliminar padrões de código duplicados
  • [SPARK-38385] [SQL] Melhorar mensagens de erro de casos de 'entrada incompatível' da ANTLR
  • [SPARK-38240] [SQL] Aprimorar RuntimeReplaceable e adicionar uma diretriz para adicionar novas funções
  • [SPARK-38542] [SQL]UnsafeHashedRelation deve serializar numKeys out
  • [SPARK-38521] [SQL] Alterar partitionOverwriteMode da cadeia de caracteres para variável no Scala
  • [SPARK-38558] [SQL] Remover conversões desnecessárias entre IntegerType e IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly oferece suporte a expressões dobráveis
  • [SPARK-38410] [SQL] O suporte especifica o número de partição inicial para rebalanceamento
  • [SPARK-38107] [SQL] Usa classes de erro nos erros de compilação dos UDFS python/pandas
  • [SPARK-38354] [SQL] Adicionar métrica de investigações de hash para junção hash em ordem aleatória
  • [SPARK-38112] [SQL] Usa classes de erro nos erros de execução de data/carimbo de data/hora
  • [SPARK-38361] [SQL] Adicionar método de fábrica getConnection em JDBCDialect.
  • [SPARK-37865] [SQL] Corrigir bug de correção de eliminação de duplicação de união
  • [SPARK-38298] [SQL][testes] Corrigir DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite no modo ANSI
  • [SPARK-38407] [SQL] ANSI Cast: afrouxar a limitação de conversão de tipos complexos não nulos
  • [SPARK-38352] [SQL] Corrigir DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite no modo ANSI
  • [SPARK-38054] [SQL] Dar suporte a namespaces de lista no dialeto MySQL JDBC v2
  • [SPARK-37960] [SQL] Uma nova estrutura para representar expressões do Catalyst em APIs DS v2
  • [SPARK-38103] [SQL] Migrar erros de análise de transformação na nova estrutura de erros
  • [SPARK-38519] [SQL] A geração de exceção do AQE deve respeitar SparkFatalException
  • [SPARK-38528] [SQL] Iterar prontamente sobre a sequência de agregação ao criar lista de projetos em ExtractGenerator
  • [SPARK-38320] [SS] Corrigir tempo limite de flatMapGroupsWithState em lote com dados para chave
  • [SPARK-38442] [SQL] Corrigir ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite no modo ANSI
  • [SPARK-38268] [SQL] Ocultar o campo "failOnError" no método toString de Abs/CheckOverflow
  • [SPARK-37949] [SQL] Melhorar a estimativa de estatísticas de rebalanceamento
  • [SPARK-38450] [SQL] Corrigir HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite no modo ANSI
  • [SPARK-38501] [SQL] Corrigir falhas de teste do thriftserver no modo ANSI
  • [SPARK-37895] [SQL] Filtrar envio por push de coluna com colunas entre aspas
  • [SPARK-38449] [SQL] Evitar chamar createTable quando ignoreIfExists=true e a tabela existirem
  • [SPARK-38406] [SQL] Melhorar o desempenho de ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Extrair gerador da expressão GeneratorOuter contida por um operador Generate.
  • [SPARK-38309] [CORE] Corrigir SHS shuffleTotalReads e métricas de percentil shuffleTotalBlocks
  • [SPARK-38412] [SS] Corrija a sequência trocada de e para StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][sql][SS] Substituir correspondências de padrão em expressões boolianas por instruções condicionais
  • [SPARK-38104] [SQL] Migrar erros de análise de janela na nova estrutura de erros
  • [SPARK-38434] [SQL] Semântica correta do método CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] O processamento SS não pode ser iniciado porque o com...
  • [SPARK-38378] [SQL] Refatoração da definição de gramática ANTLR em arquivos separados de Analisador e Lexer
  • [SPARK-37475] [SQL] Adicionar parâmetro de escala às funções floor e ceil
  • [SPARK-38411] [CORE] Usar UTF-8 quando doMergeApplicationListingInternal ler logs de eventos
  • [SPARK-36553] [ML] KMeans evitam a computação de estatísticas auxiliares para K grande
  • [SPARK-38393] [SQL] Limpa o uso preterido de GenSeq/GenMap
  • [SPARK-38389] [SQL] Adiciona os aliases DATEDIFF() e DATE_DIFF() para TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Corrige o cache de índice de cálculo de peso em ordem aleatória para arquivos de índice pequenos
  • [SPARK-38353] [PYTHON] Instrumentar os métodos magic ENTER e EXIT para API do Pandas no Spark
  • [SPARK-38323] [SQL][streaming] Suporte aos metadados de arquivo ocultos no Streaming
  • [SPARK-38138] [SQL] Materializar subconsultas do QueryPlan
  • [SPARK-38094] Habilitar nomes de colunas de esquema correspondentes por IDs de campo
  • [SPARK-37923] [SQL] Gerar transformações de partição para BucketSpec dentro do analisador
  • [SPARK-38363] [SQL] Evite erros de runtime em Dataset.summary()/Dataset.describe() quando o modo ANSI estiver ativado
  • [SPARK-38284] [SQL] Adiciona a função TIMESTAMPDIFF()
  • [SPARK-38251] [SQL] Altere Cast.toString como "cast" em vez de "ansi_cast" no modo ANSI
  • [SPARK-38314] [SQL] Correção de não ler arquivos parquet depois de gravar os metadados de arquivo ocultos em

Confira Atualizações de manutenção do Databricks Runtime 10.5.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) appdirs 1.4.4 argon2-cffi 20.1.0
gerador assíncrono 1,10 atributos 20.3.0 chamada de retorno 0.2.0
bidict 0.21.4 alvejante 3.3.0 boto3 1.16.7
botocore 1.19.7 certificação 2020.12.5 cffi 1.14.5
chardet 4.0.0 ciclista 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorador 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 pontos de entrada 0,3
Visão geral de facetas 1.0.0 bloqueio de arquivo 3.6.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (biblioteca Python para widgets interativos) 7.6.3 Jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
Cliente Jupyter 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 Coalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 Mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empacotando 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Almofada 8.2.0 caroço 21.0.1
enredo 5.6.0 prometheus-client 0.10.1 kit de ferramentas de prompt 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
Pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pirsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 Pytz 2020.5 pyzmq 20.0.0
solicitações 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-aprender 0.24.1 Scipy 1.6.2 seaborn (biblioteca de visualização em Python) 0.11.1
Send2Trash 1.5.0 Ferramentas de configuração 52.0.0 seis 1.15.0
ssh-import-id 5.10 statsmodels (biblioteca para modelos estatísticos em Python) 0.12.2 tenacidade 8.0.1
terminado 0.9.4 caminho de teste 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 atualizações não supervisionadas 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
codificações web 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 28/03/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1,1 afirme isso 0.2.1 retrocompatibilidades (backports) 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 ciar 1.3-28
Fabricação de cerveja 1.0-7 Brio 1.1.3 vassoura 0.7.12
bslib 0.3.1 cachem 1.0.6 chamador 3.7.0
sinal de interpolação 6.0-91 Cellranger 1.1.0 crono 2.3-56
classe 7.3-20 Interface de Linha de Comando (CLI) 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 espaço de cores 2.0-3
commonmark 1.8.0 compilador 4.1.3 configuração 0.3.1
cpp11 0.4.2 giz de cera 1.5.1 credenciais 1.3.2
encurvar 4.3.2 Tabela de Dados 1.14.2 conjuntos de dados 4.1.3
DBI 1.1.2 dbplyr 2.1.1 Descrição 1.4.1
devtools 2.4.3 diffobj 0.3.5 hash 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
reticências 0.3.2 avaliar 0.15 fansi 1.0.3
cores 2.1.0 mapa rápido 1.1.0 fontawesome 0.2.2
para gatos 0.5.1 para cada 1.5.2 estrangeiro 0.8-82
forja 0.2.0 Fs 1.5.2 futuro 1.24.0
future.apply 1.8.1 gargarejar 1.2.0 genéricos 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globais 0.14.0
cola 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 elemento gráfico 4.1.3 grDevices 4.1.3
grade 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 capacete de segurança 0.2.0 refúgio 2.4.3
mais alto 0,9 Hms 1.1.1 ferramentas HTML 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Identificadores 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteradores 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 malhador 1,38 rotulagem 0.4.2
posterior 1.3.0 treliça 0.20-45 lava vulcânica 1.6.10
ciclo de vida 1.0.1 ouça 0.8.0 lubrificado 1.8.0
magrittr 2.0.2 redução de preço 1,1 MISSA 7.3-56
Matriz 1.4-1 memorizar 2.0.1 Métodos 4.1.3
mgcv 1.8-40 mímica 0,12 ModelMetrics 1.2.2.2
modelador 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
paralelo 4.1.3 paralelamente 1.30.0 coluna 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 elogio 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.3
Prodlim 2019.11.13 progresso 1.2.2 progressador 0.10.0
Promessas 1.2.0.1 proto 1.0.0 proxy 0.4-26
P.S. 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 Readr 2.1.2 readxl 1.3.1
Receitas 0.2.0 jogo de revanche 1.0.1 revanche2 2.1.2
Controles remotos 2.4.2 exemplo reprodutível (reprex) 2.0.1 remodelar2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
escamas 1.1.1 Seletor 0.4-2 informações de sessão 1.2.2
forma 1.4.6 brilhante 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 espacial 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
estatísticas 4.1.3 estatísticas4 4.1.3 stringi 1.7.6
stringr 1.4.0 sobrevivência 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 data e hora 3043.102 tinytex 0,37
Ferramentas 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utilitários 4.1.3 identificador único universal (UUID) 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
Waldo 0.4.0 vibrissa 0,4 murchar 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 YAML 2.3.5 zíper 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws SDK Java para o ECS da AWS 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-swf-libraryes 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.datatype jackson-module-paranamer 2.12.3
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.12.3
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib sistema_nativo-java 1,1
com.github.fommil.netlib sistema_nativo-java-nativos 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Sininho 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas-verificações de saúde 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (métricas em JSON) 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty Netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction API de transação 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolito 4,30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr modelo de string 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-core 2.0.0
org.apache.arrow Arrow-Memory-Netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons Texto Comum 1.6
org.apache.curator curador-cliente 2.13.0
org.apache.curator estrutura do curador 2.13.0
org.apache.curator curador de receitas 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop api de cliente hadoop 3.3.2-databricks
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.2
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive API de armazenamento do Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-calços 1.6.13
org.apache.parquet coluna parquet 1.12.0-databricks-0004
org.apache.parquet parquet-comum 1.12.0-databricks-0004
org.apache.parquet codificação-parquet 1.12.0-databricks-0004
org.apache.parquet estruturas-do-formato-parquet 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus comentários da audiência 0.5.0
org.apache.zookeeper zelador de zoológico 3.6.2
org.apache.zookeeper guarda de zoológico-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty Continuação do Jetty (jetty-continuation) 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty segurança do jetty 9.4.43.v20210629
org.eclipse.jetty servidor jetty 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty Jetty Webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket API de WebSocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket servidor WebSocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-comum 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc cliente Java do MariaDB 2.2.5
org.objenesis objenésia 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on