Compartilhar via

Databricks Runtime 12.0 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 12.0, da plataforma Apache Spark 3.3.1.

O Databricks lançou essa versão em dezembro de 2022.

Novos recursos e aprimoramentos

E/S preditiva está em GA

A E/S preditiva agora está em disponibilidade geral. Para obter mais informações, consulte O que é E/S preditiva?.

O gravador do Photon dá suporte à compactação zstd

O gravador nativo do Photon agora dá suporte ao codec de compactação zstd quando o zstd é habilitado definindo spark.sql.parquet.compression.codec como zstd.

Suporte para o perfil de recurso da tarefa em nível de fase para clusters autônomos

Agora é possível usar o agendamento em nível de fase em clusters autônomos quando a alocação dinâmica está desabilitada. Para usar esse recurso, especifique os recursos de tarefa com ResourceProfileBuilder para cada fase.

Suporte de SQL para substituição seletiva com REPLACE WHERE

Agora é possível substituir seletivamente dados correspondentes a uma expressão arbitrária em uma tabela Delta usando o padrão a seguir.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Confira Substituição seletiva arbitrária com replaceWhere.

As marcas d'água agora são suportadas pelo SQL

Agora você pode especificar watermarks usando a interface SQL do DLT e em consultas SQL em DataFrames de streaming. Consulte a cláusula WATERMARK.

Criação de perfil de memória do PySpark

A criação de perfil de memória agora está habilitada para funções definidas pelo usuário do PySpark. Com isso, é possível obter informações sobre incremento de memória, uso de memória e número de ocorrências de cada linha de código em uma função definida pelo usuário.

Remoção dinâmica para DELETE e UPDATE

Ao usar a computação habilitada para Photon, DELETE e UPDATE agora usam a remoção dinâmica de arquivo e a partição onde é possível melhorar o desempenho. Por exemplo, a remoção dinâmica é habilitada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.

Métricas de exclusão no nível da linha para operações de linguagem de manipulação de dados particionados

Com predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de DML (linguagem de manipulação de dados), como DELETE, TRUNCATE e replaceWhere.

Correções de bug

Correção de um problema com a análise JSON no Carregador Automático em que todas as colunas eram deixadas como cadeias de caracteres. Anteriormente, cloudFiles.inferColumnTypes não era configurado ou era definido como false e o JSON continha objetos aninhados.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • argon2-cffi de 20.1.0 para 21.3.0
    • attrs de 21.2.0 para 21.4.0
    • backports.entry-points-selectable de 1.1.1 para 1.2.0
    • bleach de 4.0.0 para 4.1.0
    • boto3 de 1.21.18 para 1.21.32
    • botocore de 1.24.18 para 1.24.32
    • cffi de 1.14.6 para 1.15.0
    • click de 8.0.3 para 8.0.4
    • cycler de 0.10.0 para 0.11.0
    • Cython de 0.29.24 para 0.29.28
    • debugpy de 1.4.1 para 1.5.1
    • decorator de 5.1.0 para 5.1.1
    • entrypoints de 0.3 para 0.4
    • idna de 3.2 para 3.3
    • ipykernel de 6.12.1 para 6.15.3
    • ipython de 7.32.0 para 8.5.0
    • ipywidgets de 7.7.0 para 7.7.2
    • jedi de 0.18.0 para 0.18.1
    • joblib de 1.0.1 para 1.1.0
    • jsonschema de 3.2.0 para 4.4.0
    • kiwisolver de 1.3.1 para 1.3.2
    • matplotlib de 3.4.3 para 3.5.1
    • nbclient de 0.5.3 para 0.5.13
    • nbconvert de 6.1.0 para 6.4.4
    • nbformat de 5.1.3 para 5.3.0
    • nest-asyncio de 1.5.1 para 1.5.5
    • notebook de 6.4.5 para 6.4.8
    • numpy de 1.20.3 para 1.21.5
    • packaging de 21.0 para 21.3
    • pandas de 1.3.4 para 1.4.2
    • pandocfilters de 1.4.3 para 1.5.0
    • parso de 0.8.2 para 0.8.3
    • Pillow de 8.4.0 para 9.0.1
    • platformdirs de 2.5.2 para 2.5.4
    • plotly de 5.9.0 para 5.6.0
    • prometheus-client de 0.11.0 para 0.13.1
    • protobuf de 4.21.5 para 3.19.4
    • pycparser de 2.20 para 2.21
    • Pygments de 2.10.0 para 2.11.2
    • pyodbc de 4.0.31 para 4.0.32
    • pyzmq de 22.2.1 para 22.3.0
    • requests de 2.26.0 para 2.27.1
    • s3transfer de 0.5.2 para 0.5.0
    • scikit-learn de 0.24.2 para 1.0.2
    • scipy de 1.7.1 para 1.7.3
    • statsmodels de 0.12.2 para 0.13.2
    • terminado de 0.9.4 para 0.13.1
    • tomli de 2.0.1 para 1.2.2
    • traitlets de 5.1.0 para 5.1.1
    • urllib3 de 1.26.7 para 1.26.9
    • widgetsnbextension de 3.6.0 para 3.6.1
  • Bibliotecas do R atualizadas:
    • base de 4.1.3 para 4.2.2
    • brew de 1.0-7 para 1.0-8
    • bslib de 0.4.0 para 0.4.1
    • callr de 3.7.2 para 3.7.3
    • chron de 2.3-57 para 2.3-58
    • cli de 3.3.0 para 3.4.1
    • cluster de 2.1.3 para 2.1.4
    • commonmark de 1.8.0 para 1.8.1
    • compiler de 4.1.3 para 4.2.2
    • cpp11 de 0.4.2 para 0.4.3
    • crayon de 1.5.1 para 1.5.2
    • curl de 4.3.2 para 4.3.3
    • data.table de 1.14.2 para 1.14.4
    • datasets de 4.1.3 para 4.2.2
    • desc de 1.4.1 para 1.4.2
    • devtools de 2.4.4 para 2.4.5
    • digest de 0.6.29 para 0.6.30
    • e1071 de 1.7-11 para 1.7-12
    • evaluate de 0.16 para 0.18
    • fontawesome de 0.3.0 para 0.4.0
    • future de 1.28.0 para 1.29.0
    • future.apply de 1.9.1 para 1.10.0
    • gargle de 1.2.0 para 1.2.1
    • gert de 1.8.0 para 1.9.1
    • ggplot2 de 3.3.6 para 3.4.0
    • gh de 1.3.0 para 1.3.1
    • gitcreds de 0.1.1 para 0.1.2
    • graphics de 4.1.3 para 4.2.2
    • grDevices de 4.1.3 para 4.2.2
    • grid de 4.1.3 para 4.2.2
    • httpuv de 1.6.5 para 1.6.6
    • isoband de 0.2.5 para 0.2.6
    • jsonlite de 1.8.0 para 1.8.3
    • lava de 1.6.10 para 1.7.0
    • lifecycle de 1.0.1 para 1.0.3
    • lubridate de 1.8.0 para 1.9.0
    • markdown de 1.1 para 1.3
    • MASS de 7.3-56 para 7.3-58
    • Matrix de 1.4-1 para 1.5-1
    • methods de 4.1.3 para 4.2.2
    • mgcv de 1.8-40 para 1.8-41
    • nlme de 3.1-157 para 3.1-160
    • nnet de 7.3-17 para 7.3-18
    • openssl de 2.0.2 para 2.0.4
    • parallel de 4.1.3 para 4.2.2
    • pkgload de 1.3.0 para 1.3.1
    • processx de 3.7.0 para 3.8.0
    • ps de 1.7.1 para 1.7.2
    • purrr de 0.3.4 para 0.3.5
    • ragg de 1.2.2 para 1.2.4
    • RcppEigen de 0.3.3.9.2 para 0.3.3.9.3
    • readr de 2.1.2 para 2.1.3
    • recipes de 1.0.1 para 1.0.3
    • rlang de 1.0.5 para 1.0.6
    • rmarkdown de 2.16 para 2.18
    • rpart de 4.1.16 para 4.1.19
    • RSQLite de 2.2.16 para 2.2.18
    • shiny de 1.7.2 para 1.7.3
    • SparkR de 3.3.0 a 3.3.1
    • splines de 4.1.3 para 4.2.2
    • stats de 4.1.3 para 4.2.2
    • stats4 de 4.1.3 para 4.2.2
    • sys de 3.4 para 3.4.1
    • tcltk de 4.1.3 para 4.2.2
    • testthat de 3.1.4 para 3.1.5
    • tidyr de 1.2.0 para 1.2.1
    • tidyselect de 1.1.2 para 1.2.0
    • timeDate de 4021.104 para 4021.106
    • tinytex de 0.41 para 0.42
    • tools de 4.1.3 para 4.2.2
    • utils de 4.1.3 para 4.2.2
    • vctrs de 0.4.1 para 0.5.0
    • vroom de 1.5.7 para 1.6.0
    • xfun de 0.32 para 0.34
    • yaml de 2.3.5 para 2.3.6
    • zip de 2.2.0 para 2.2.2
  • Bibliotecas do Java atualizadas:
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 para 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations de 0.5.0 para 0.13.0

Apache Spark

O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.3 LTS (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Reverter "[SC-113542][ss] Inverter valor padrão da configuração de busca de deslocamento Kafka"
  • [SPARK-40646] [SC-116061] Reverter a alteração “[SC-113379][sql] que corrigiu o retorno de resultados parciais na fonte de dados JSON e nas funções JSON”
  • [SPARK-41195] [SC-116305][sql] Suporte PIVOT/UNPIVOT com crianças unidas
  • [SPARK-41178] [SC-116139][sql] Corrigir precedência de regra do analisador entre JOIN e vírgula
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Adicionar a classe STREAM_FAILED de erro a StreamingQueryException
  • [SPARK-40921] Reverter "[SC-115140][sc-114585][SQL] Adicionar quando não for correspondido pela cláusula SOURCE à MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet
  • [SPARK-41055] [SC-115582][sql] Renomear _LEGACY_ERROR_TEMP_2424 para GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Suporte de nome de classe de mensagem para PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalente de SQL para o comando de substituição de DataFrame
  • [SPARK-41095] [SC-115659][sql] Converter operadores não resolvidos em erros internos
  • [SPARK-41144] [SC-115866][sql] A dica não resolvida não deve causar falha na consulta
  • [SPARK-41137] [SC-115858][sql] Renomear LATERAL_JOIN_OF_TYPE para INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Renomeie a classe _LEGACY_ERROR_TEMP_0040 de erro para INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] UnitTest verificação de nulidade para o gerador de dados
  • [SPARK-40769] [SC-114923][core][SQL] Migrar falhas de verificação de tipo de expressões de agregação para classes de erro
  • [SPARK-41043] [SC-115183][sql] Renomeie a classe _LEGACY_ERROR_TEMP_2429 de erro para NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Suporte para importação de Protobuf e realocar classes de erro.
  • [SPARK-41019] [SC-114987][sql] Fornecer um contexto de consulta para failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Usar UNEXPECTED_INPUT_TYPE em vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Reduzir o tamanho de embaralhamento da ALS
  • [SPARK-41134] [SC-115851][sql] Melhorar a mensagem de erro de erros internos
  • [SPARK-37980] Reverter ” [SQL] Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet
  • [SPARK-41109] [SC-115788][sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1216 para INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Use NON_FOLDABLE_INPUT em vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Otimizar o uso do GenericArrayData construtor para Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Adicionar preenchimento de caracteres na leitura para abranger arquivos de dados externos
  • [SPARK-40978] [SC-114574][sql] Migrar sem contexto para classes de erro
  • [SPARK-40663] [SC-114586][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: suporte à filtragem de grupo de runtime em comandos de nível de linha
  • [SPARK-40372] [SC-115668][sql] Migrar falhas nas verificações de tipos de matriz para classes de erro
  • [SPARK-41038] [SC-115371][sql] Renomear MULTI_VALUE_SUBQUERY_ERROR para SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1208 de erro para FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrar falhas de verificação de tipo de condições para classes de erro
  • [SPARK-40371] [SC-114557][sql] Migrar falhas na verificação de tipos de NthValue e NTile para classes de erro
  • [SPARK-41092] [SC-115547][sql] Não use o identificador para corresponder às unidades de intervalo
  • [SPARK-41009] [SC-115360][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1070 de erro para LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet
  • [SPARK-40967] [SC-114448][sql] Migrar failAnalysis() para classes de erro
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumentar UDFs do Python usando métricas sql
  • [SPARK-41012] [SC-114873][sql] Renomear _LEGACY_ERROR_TEMP_1022 para ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Renomear PARSE_CHAR_MISSING_LENGTH para DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrar falhas de verificação de tipo de expressões diversas para classes de erro
  • [SPARK-37945] [SC-115534][sql][CORE] Use classes de erro nos erros de execução de operações aritméticas
  • [SPARK-40374] [SC-114705][sql] Migrar falhas na verificação de tipos de geradores de tipo em classes de erro
  • [SPARK-41056] [SC-115354][r] Corrigir novo comportamento de R_LIBS_SITE introduzido no R 4.2
  • [SPARK-41041] [SC-115357][sql] Integrar em _LEGACY_ERROR_TEMP_1279TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1019 de erro para STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Não patch filhos dobráveis de funções de agregação em RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Melhorar as classes de erro e as mensagens
  • [SPARK-40798] [SC-113782][sql] Alterar partição deve verificar se o valor está de acordo com a storeAssignmentPolicy.
  • [SPARK-40810] [SC-113533][sql] Use SparkIllegalArgumentException em vez de IllegalArgumentException em CreateDatabaseCommand &AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Adicionar a cláusula QUANDO NÃO CORRESPONDER À FONTE a MERGE INTO
  • [SPARK-40360] [SC-114965] Exceções ALREADY_EXISTS e NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Adicionar serializador ausente para java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrar falhas nas verificações de tipos nas funções de alta ordem para classes de erro
  • [SPARK-40248] [SC-114704][sql] Use um número maior de bits para criar o filtro Bloom
  • [SPARK-41040] [SC-115145][ss] Corrigir falha em consulta de streaming de união própria ao usar readStream.table
  • [SPARK-32380] [SC-114966][sql] Corrigindo o acesso da tabela HBase via Hive do Spark
  • [SPARK-40749] [SC-114860][sql] Migrar falhas de verificação de tipo dos geradores para as classes de erro
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Corrigir o operador de estado atrasado...
  • [SPARK-40654] [SC-112783] Remover linhas de log temporárias
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Corrigir avisos de compilação Java relacionados ao tipo genérico
  • [SPARK-40657] [SC-113642][cherry-pick] Adicionar suporte para classes Java no Protob...
  • [SPARK-40898] [SC-113932][sql] Colocar os nomes das funções entre aspas em erros de incompatibilidade de tipos de dados
  • [SPARK-40760] [SC-113750][sql] Migrar falhas na verificação de tipo das expressões de intervalo para classes de erro
  • [SPARK-36114] [SC-113771][sql] Subconsultas de suporte com predicados de não igualdade correlacionados
  • [SPARK-40856] [SC-113738][sql] Atualize o modelo de erro de WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
  • [SPARK-40750] [SC-113812][sql] Migrar as falhas na verificação de tipo de expressões matemáticas para as classes de erro
  • [SPARK-40756] [SC-113749][sql] Migrar falhas de verificação de tipo de expressões de cadeia de caracteres para classes de erro
  • [SPARK-40768] [SC-113640][sql] Migrar falhas na verificação de tipo da função bloom_filter_agg() para classes de erro
  • [SPARK-40369] [SC-113402][core][SQL] Migrar os erros de verificação de tipo de chamadas por meio de reflexão para classes de erro
  • [SPARK-39445] [SQL] Remover a janela quando windowExpressions estiver vazio na remoção de coluna
  • [SPARK-40761] [SC-113245][sql] Migração das falhas na verificação de tipo das expressões percentis para classes de erro
  • [SPARK-40361] [SC-112789][sql] Migrar falhas de verificação de tipo aritmético para classes de erro
  • [SPARK-40714] [SC-112576][sql] Remover PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Corrigir especificações de partição em PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Migrar as falhas de checagem de tipo de coleção para classes de erro
  • [SPARK-40910] [SC-114259][sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Adicionar UNPIVOT à sintaxe SQL
  • [SPARK-39783] [SC-113389][sql] Colocar aspas em qualifiedName para corrigir backticks em mensagens de erro para candidatos a coluna
  • [SPARK-40663] [SC-112520][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Renomeie a classe _LEGACY_ERROR_TEMP_0021 de erro para UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Eliminar campos de sub-classes de erro separados
  • [SPARK-40944] [SC-114530][sql] Relaxe a restrição de ordenação das opções de coluna
  • [SPARK-40815] [SC-114528][sql] Adicionar DelegateSymlinkTextInputFormat como solução paliativa para o bug SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Reimplementar df.stat.{cov, corr} com funções SQL internas
  • [SPARK-40932] [SC-114439][core] Corrigir mensagens de erro para allGather que estão sendo substituídas.
  • [SPARK-39312] [SQL] Usar Parquet nativo no predicado para o filtro de propagação
  • [SPARK-40862] [SC-114352][sql] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Definir nulo corretamente no projeto criado por ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Afrouxar o requisito da regra window_time - permitir múltiplas chamadas de window_time
  • [SPARK-40540] [SC-111639][sql] Migrar erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Correção para Unhex quando a entrada tem um número ímpar de símbolos
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Introduzir a função window_time para extrair o tempo do evento da coluna de janela
  • [SPARK-40800] [SC-113772][sql] Sempre inserir expressões em OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Reimplementar frequentItems usando operações de quadro de dados
  • [SPARK-40735] [SC-114022][sc-112657] Invoca consistentemente bash com /usr/bin/env bash em scripts para tornar o código mais portátil
  • [SPARK-40773] [SC-113091][sql] Refatorar checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Verificar a presença de tipos de dados sem suporte ao descorrelacionar subconsultas
  • [SPARK-40660] [SC-112293][core][SQL] Alterne para XORShiftRandom para distribuir elementos
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrar erros de compilação para classes de erro
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Adicionar APIs para operações de nível de linha baseadas em delta
  • [SPARK-39391] [SC-110676][core] Reutilizar classes do Particionador
  • [SPARK-40368] [SC-113396][sql] Migrar falhas de verificação de tipo do filtro Bloom para classes de erro
  • [SPARK-39146] [SC-111814][core][SQL] Introduza singleton local para ObjectMapper que possa ser reutilizado
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrar falhas na checagem de tipo de janela para classes de erro
  • [SPARK-40874] [SC-113756][python] Corrigir transmissões em UDFs do Python quando a criptografia estiver habilitada
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrar falhas na verificação de tipo em expressões CSV/JSON para classes de erro
  • [SPARK-40880] [SC-113764][sql] Reimplementar summary com operações de dataframe
  • [SPARK-40877] [SC-113763][sql] Reimplement crosstab com operações de dataframe
  • [SPARK-40382] [SC-113098][sql] Agrupar expressões de agregação distintas por elementos semanticamente equivalentes em RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Adicionar verificação adicional de renomeação de arquivo de ponto de verificação
  • [SPARK-40829] [SC-113426][sql] O serde AS armazenado na CREATE TABLE LIKE exibição não funciona
  • [SPARK-40844] [SC-113542][ss] Inverter o valor padrão da configuração de busca de deslocamento de Kafka
  • [SPARK-40488] [SC-113568][sc-111160] Não encapsular exceções geradas quando a gravação da fonte de dados falhar
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Renomear message para messageTemplate no STANDARD formato de erros
  • [SPARK-40618] [SC-113096][sql] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas utilizando rastreamento de referências
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
  • [SPARK-40806] [SC-113250][sql] Correção de erro de digitação: CREATE TABLE -> SUBSTITUIR TABLE
  • [SPARK-40646] [SC-113379][sql] Correção do retorno de resultados parciais em funções JSON e fonte de dados JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Suporte ao Protobuf para Spark - de...
  • [SPARK-40753] [SC-113539][sql] Corrigir bug no teste para a operação de diretório de catálogo
  • [SPARK-40765] [SC-113056][sql] Otimizar operação fs redundante no CommandUtils#calculateSingleLocationSize#getPathSize método
  • [SPARK-40114] [ES-479282][r][11.X] Suporte ao Arrow 9.0.0 com SparkR
  • [SPARK-40479] [SC-110935][sql] Migrar erro de tipo de entrada inesperado para uma classe de erro
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrar erros de análise para classes de erro
  • [SPARK-39853] [SC-111867][core] Suporte para perfil de recurso de tarefa em nível de estágio para cluster autônomo quando a alocação dinâmica está desabilitada (retroportado de PR-47157)
  • [SPARK-40407] [SC-111161][sql] Corrigir a possível distorção de dados causada pelo df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE não precisa fazer pesquisa de tabela
  • [SPARK-40703] [SC-113242][sql] Introduza embaralhar em SinglePartition para melhorar o paralelismo
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil para definir a origem das opções de configuração de hadoop/hive
  • [SPARK-39062] [11.x][core] Adicionar suporte de agendamento de recursos de nível de estágio para cluster autônomo
  • [SPARK-33861] [SC-109877]Reverter “[SQL] Simplificar condicional no predicado”
  • [SPARK-40667] [SC-113136][sql] Refatorar opções de fonte de dados de arquivo
  • [SPARK-40370] [SC-110677][sql] A verificação de tipo de migração falha nas classes de erro no CAST
  • [SPARK-40611] [SC-113105][sql] Melhorar o desempenho de setInterval & getInterval para UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Faça o conteúdo do SERDEPROPERTIES resultado de ShowCreateTableAsSerdeCommand ter uma ordem fixa
  • [SPARK-40585] [SC-112180][sql] Suporte a identificadores com aspas duplas
  • [SPARK-40772] [SC-112992][sql] Aprimorar spark.sql.adaptive.skewJoin.skewedPartitionFactor para dar suporte Double a valores
  • [SPARK-40565] [SC-112417][sql] Não envie filtros não determinísticos para fontes de arquivo V2
  • [SPARK-8731] [SC-112784] Beeline não funciona com a opção -e quando iniciado em segundo plano
  • [SPARK-35242] [SC-111398][sql] Suporte à alteração do banco de dados padrão do catálogo de sessão
  • [SPARK-40426] [SC-110672][sql] Retornar um mapa de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Otimizar o desempenho do padrão de keys.zipWithIndex.toMap código
  • [SPARK-40521] [SC-112430][sql] Retornar apenas as partições existentes na criação de partição do Hive
  • [SPARK-40705] [SC-112567][sql] Tratar caso de uso de matriz mutável ao converter Linha em JSON para Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Suporte para remoção de múltiplas colunas
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Remover operações redundantes do interpolador de cadeia de caracteres
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Classificar parâmetros de mensagem de erro por nomes nos formatos JSON
  • [SPARK-40403] [SC-110564][sql] Calcular tamanho de matriz não seguro usando longs para evitar tamanho negativo na mensagem de erro
  • [SPARK-40482] [SC-110831][sql] Reverter SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Passe parâmetros de mensagem de erro para exceções como mapas
  • [SPARK-40628] [SC-112414][sql] Não promova a condição de junção semi/anti-esquerda complexa através da projeção.
  • [SPARK-40562] [SC-111455][sql] Adicionar spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Adicionar PushProjectionThroughLimit para Otimizador
  • [SPARK-39200] [SC-111244][core] Fazer com que o Armazenamento de Contingência leia completamente o conteúdo
  • [SPARK-38717] [SC-111241][sql] Manipular o comportamento de preservação de caso de especificação de bucket do Hive
  • [SPARK-40385] [SC-111123][sql] Corrigir caminho interpretado para construtor de objeto complementar
  • [SPARK-40216] [SC-112413][sql] Extrair método comum ParquetUtils.prepareWrite para deduplicar código dentro ParquetFileFormat e ParquetWrite
  • [SPARK-40636] [SC-112160][core] Corrigir problema no registro de embaralhamentos restantes incorretos no BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corrigir a condição de corrida no tratamento das entradas stageTCMP de ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][sql] Corrigir o bug na regra MergeScalarSubqueries envolvendo subconsultas aninhadas
  • [SPARK-40612] [SC-111933][core] Corrigindo o principal usado para renovação de token de delegação em gerenciadores de recursos não YARN
  • [SPARK-40595] [SC-111662][sql] Melhorar a mensagem de erro para relações CTE não usadas
  • [SPARK-40314] [SC-111879][sql][PYTHON] Adicionar vinculações em scala e python para inline e inline_outer
  • [SPARK-40416] [SC-110945][sql] Mover mensagens de erro da expressão de subconsulta CheckAnalysis para usar a nova estrutura de erros
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() deve gerar as exceções de seu subcomponente
  • [SPARK-40509] [SC-111644][ss][PYTHON] Adicione exemplo para applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() deve gerar as exceções de seu filho
  • [SPARK-40016] [SQL] Remover o TryEval desnecessário na implementação de try_sum()
  • [SPARK-40527] [SC-111224][sql] Manter nomes de campos da struct ou chaves de mapa na função CreateStruct
  • [SPARK-38098] [SC-111178][python] Adicione suporte para ArrayType de StructType aninhado para conversão baseada em seta
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Fornecer contexto de consulta no AnalysisException
  • [SPARK-40492] [SC-111324][ss] Fazer manutenção antes de descarregar o StateStore durante a transmissão
  • [SPARK-40487] [SC-111124][sql] Fazer o defaultJoin em BroadcastNestedLoopJoinExec executando em paralelo
  • [SPARK-40474] [SC-111273][sql] Comportamento correto de inferência de esquema CSV e parsing de dados em colunas com datas e timestamps mistos
  • [SPARK-40508] [SC-111066][sql] Tratar particionamento desconhecido como UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Corrigir configurações para controlar "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Adicionar pacotes de teste para applyInPandasWithState no PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementar "applyInPandasWithState" no PySpark

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 12.0.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
atributos 21.4.0 chamada de retorno 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 preto 22.3.0 alvejante 4.1.0
boto3 1.21.32 botocore 1.24.32 certificação 2021.10.8
cffi 1.15.0 chardet 4.0.0 normalizador de conjunto de caracteres 2.0.4
clique 8.0.4 criptografia 3.4.8 ciclista 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorador 5.1.1 defusedxml 0.7.1 distlib 0.3.6
pontos de entrada 0,4 em execução 0.8.3 Visão geral de facetas 1.0.0
fastjsonschema 2.16.2 bloqueio de arquivo 3.8.0 fonttools 4.25.0
IDNA 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets (biblioteca Python para widgets interativos) 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 Cliente Jupyter 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
Mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook 6.4.8 numpy 1.21.5 empacotando 21.3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Almofada 9.0.1 caroço 21.2.4
platformdirs 2.5.4 enredo 5.6.0 prometheus-client 0.13.1
kit de ferramentas de prompt 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
Pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pirsistent 0.18.0 python-dateutil 2.8.2 Pytz 2021.3
pyzmq 22.3.0 solicitações 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-aprender 1.0.2 Scipy 1.7.3
seaborn (biblioteca de visualização em Python) 0.11.2 Send2Trash 1.8.0 Ferramentas de configuração 58.0.4
seis 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.10
dados empilhados 0.2.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.13.2 tenacidade 8.0.1
terminado 0.13.1 caminho de teste 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 atualizações não supervisionadas 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
codificações web 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 11/11/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 AskPass 1,1 afirme isso 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
ciar 1.3-28 Fabricação de cerveja 1.0-8 Brio 1.1.3
vassoura 1.0.1 bslib 0.4.1 cachem 1.0.6
chamador 3.7.3 sinal de interpolação 6.0-93 Cellranger 1.1.0
crono 2.3-58 classe 7.3-20 Interface de Linha de Comando (CLI) 3.4.1
clipr 0.8.0 relógio 0.6.1 cluster 2.1.4
codetools 0.2-18 espaço de cores 2.0-3 commonmark 1.8.1
compilador 4.2.2 configuração 0.3.1 cpp11 0.4.3
giz de cera 1.5.2 credenciais 1.3.2 encurvar 4.3.3
Tabela de Dados 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Descrição 1.4.2 devtools 2.4.5
diffobj 0.3.5 hash 0.6.30 iluminação para baixo 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
reticências 0.3.2 avaliar 0.18 fansi 1.0.3
cores 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
para gatos 0.5.2 para cada 1.5.2 estrangeiro 0.8-82
forja 0.2.0 Fs 1.5.2 futuro 1.29.0
future.apply 1.10.0 gargarejar 1.2.1 genéricos 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globais 0.16.1
cola 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 elemento gráfico 4.2.2 grDevices 4.2.2
grade 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 capacete de segurança 1.2.0 refúgio 2.5.1
mais alto 0,9 Hms 1.1.2 ferramentas HTML 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Identificadores 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 malhador 1.40
rotulagem 0.4.2 posterior 1.3.0 treliça 0.20-45
lava vulcânica 1.7.0 ciclo de vida 1.0.3 ouça 0.8.0
lubrificado 1.9.0 magrittr 2.0.3 redução de preço 1,3
MISSA 7.3-58 Matriz 1.5-1 memorizar 2.0.1
Métodos 4.2.2 mgcv 1.8-41 mímica 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelador 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 paralelo 4.2.2
paralelamente 1.32.1 coluna 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 elogio 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
Prodlim 2019.11.13 profvis 0.3.7 progresso 1.2.2
progressador 0.11.0 Promessas 1.2.0.1 proto 1.0.0
proxy 0.4-27 P.S. 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
Readr 2.1.3 readxl 1.4.1 Receitas 1.0.3
jogo de revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
exemplo reprodutível (reprex) 2.0.2 remodelar2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 escamas 1.2.1
Seletor 0.4-2 informações de sessão 1.2.2 forma 1.4.6
brilhante 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 espacial 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 estatísticas 4.2.2
estatísticas4 4.2.2 stringi 1.7.8 stringr 1.4.1
sobrevivência 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 formatação de texto 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 mudança de horário 0.1.1 data e hora 4021.106
tinytex 0,42 Ferramentas 4.2.2 tzdb 0.3.0
verificador de URL 1.0.1 usethis 2.1.6 utf8 1.2.2
utilitários 4.2.2 identificador único universal (UUID) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
vibrissa 0,4 murchar 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
YAML 2.3.6 zíper 2.2.2

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws SDK Java para o ECS da AWS 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-swf-libraryes 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.datatype jackson-module-paranamer 2.13.4
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib sistema_nativo-java 1,1
com.github.fommil.netlib sistema_nativo-java-nativos 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Sininho 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0,21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas-verificações de saúde 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (métricas em JSON) 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty Netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty Netty Resolver 4.1.74.Final
io.netty Netty Tcnative Classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-comum 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction API de transação 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine picles 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 7.0.0
org.apache.arrow seta-memória-core 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow vetor de seta 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Texto Comum 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator estrutura do curador 2.13.0
org.apache.curator curador de receitas 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop api de cliente hadoop 3.3.4-databricks
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.4
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive API de armazenamento do Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy hera 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-calços 1.7.6
org.apache.parquet coluna parquet 1.12.3-databricks-0001
org.apache.parquet parquet-comum 1.12.3-databricks-0001
org.apache.parquet codificação-parquet 1.12.3-databricks-0001
org.apache.parquet estruturas-do-formato-parquet 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus comentários da audiência 0.13.0
org.apache.zookeeper zelador de zoológico 3.6.2
org.apache.zookeeper guarda de zoológico-juta 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty Continuação do Jetty (jetty-continuation) 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty segurança do jetty 9.4.46.v20220331
org.eclipse.jetty servidor jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty Webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket API de WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket servidor WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-comum 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc cliente Java do MariaDB 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenésia 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Calços 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark não utilizado 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on