Partilhar via

Tempo de execução do Databricks 12.0 (EoS)

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.0, desenvolvido pelo Apache Spark 3.3.1.

A Databricks lançou esta versão em dezembro de 2022.

Novos recursos e melhorias

E/S preditiva é GA

A E/S preditiva está agora disponível para o público em geral. Para obter mais informações, consulte O que é E/S preditiva?.

Photon writer suporta compressão zstd

O gravador nativo de fótons agora suporta o codec de compactação zstd quando zstd é habilitado pela configuração spark.sql.parquet.compression.codec como zstd.

Suporte para perfil de recurso de tarefa em nível de estágio para clusters autônomos

Agora você pode usar o agendamento em nível de estágio em clusters autônomos quando a alocação dinâmica estiver desabilitada. Para usar esse recurso, especifique os recursos da tarefa com ResourceProfileBuilder para cada estágio.

Suporte SQL para substituição seletiva com REPLACE WHERE

Agora você pode substituir seletivamente os dados correspondentes a uma expressão arbitrária em uma tabela Delta usando o seguinte padrão.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Consulte Substituição seletiva arbitrária com replaceWhere.

Marcas d'água agora são suportadas em SQL

Agora pode especificar marcas d'água usando a interface DLT SQL e em consultas SQL em DataFrames em streaming. Ver WATERMARK cláusula.

Criação de perfil de memória PySpark

A criação de perfil de memória agora está habilitada para funções definidas pelo usuário do PySpark. Isso fornece informações sobre incremento de memória, uso de memória e número de ocorrências para cada linha de código em uma função definida pelo usuário.

Poda dinâmica para DELETE e UPDATE

Ao usar a computação ativada para Photon, DELETE e UPDATE agora usam a remoção dinâmica de arquivos e partições para melhorar o desempenho. Por exemplo, a remoção dinâmica é habilitada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.

Métricas de exclusão em nível de linha para operações de linguagem de manipulação de dados particionados

Com predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de linguagem de manipulação de dados (DML), como DELETE, TRUNCATEe replaceWhere.

Correções de erros

Corrigido um problema com a análise JSON no Auto Loader em que todas as colunas eram deixadas como strings. Anteriormente, cloudFiles.inferColumnTypes não estava definido ou configurado como false, e o JSON continha objetos aninhados.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • argon2-cffi de 20.1.0 a 21.3.0
    • attrs de 21.2.0 a 21.4.0
    • backports.entry-points-selecionável de 1.1.1 a 1.2.0
    • lixívia de 4.0.0 a 4.1.0
    • boto3 de 1.21.18 a 1.21.32
    • Botocore de 1.24.18 a 1.24.32
    • CFFI de 1.14.6 a 1.15.0
    • Clique de 8.0.3 para 8.0.4
    • cycler de 0.10.0 a 0.11.0
    • Cython de 0.29.24 a 0.29.28
    • depuração de 1.4.1 a 1.5.1
    • decorador de 5.1.0 a 5.1.1
    • pontos de entrada de 0,3 a 0,4
    • IDNA de 3.2 a 3.3
    • ipykernel de 6.12.1 a 6.15.3
    • ipython de 7.32.0 a 8.5.0
    • ipywidgets de 7.7.0 a 7.7.2
    • Jedi de 0.18.0 a 0.18.1
    • joblib de 1.0.1 a 1.1.0
    • jsonschema de 3.2.0 a 4.4.0
    • kiwisolver de 1.3.1 a 1.3.2
    • matplotlib de 3.4.3 a 3.5.1
    • nbclient de 0.5.3 a 0.5.13
    • nbconvert de 6.1.0 para 6.4.4
    • nbformat de 5.1.3 a 5.3.0
    • nest-asyncio de 1.5.1 a 1.5.5
    • notebook de 6.4.5 a 6.4.8
    • numpy de 1.20.3 a 1.21.5
    • embalagem de 21,0 a 21,3
    • pandas de 1.3.4 a 1.4.2
    • pandocfilters de 1.4.3 a 1.5.0
    • parso de 0.8.2 a 0.8.3
    • Almofada de 8.4.0 a 9.0.1
    • platformdirs de 2.5.2 a 2.5.4
    • plotly de 5.9.0 a 5.6.0
    • Prometheus-cliente de 0.11.0 a 0.13.1
    • Protobuf de 4.21.5 a 3.19.4
    • pycparser de 2,20 a 2,21
    • Pigmentos de 2.10.0 a 2.11.2
    • pyodbc de 4.0.31 a 4.0.32
    • pyzmq de 22.2.1 a 22.3.0
    • Pedidos de 2.26.0 a 2.27.1
    • s3transfer de 0.5.2 a 0.5.0
    • scikit-learn de 0.24.2 a 1.0.2
    • Scipy de 1.7.1 a 1.7.3
    • statsmodels de 0.12.2 a 0.13.2
    • terminado de 0.9.4 a 0.13.1
    • tomli de 2.0.1 a 1.2.2
    • traços de 5.1.0 a 5.1.1
    • urllib3 de 1.26.7 a 1.26.9
    • widgetsnbextensão de 3.6.0 a 3.6.1
  • Bibliotecas R atualizadas:
    • base de 4.1.3 a 4.2.2
    • Fermente de 1.0-7 a 1.0-8
    • BSLIB de 0.4.0 a 0.4.1
    • chamador de 3.7.2 a 3.7.3
    • Chron de 2.3-57 a 2.3-58
    • CLI de 3.3.0 a 3.4.1
    • cluster de 2.1.3 a 2.1.4
    • marca comum de 1.8.0 a 1.8.1
    • compilador de 4.1.3 a 4.2.2
    • CPP11 de 0.4.2 a 0.4.3
    • giz de cera de 1.5.1 a 1.5.2
    • curvatura de 4.3.2 a 4.3.3
    • data.table de 1.14.2 a 1.14.4
    • conjuntos de dados de 4.1.3 a 4.2.2
    • desc de 1.4.1 a 1.4.2
    • Devtools de 2.4.4 a 2.4.5
    • resumo de 0.6.29 a 0.6.30
    • e1071 de 1.7-11 a 1.7-12
    • avaliar de 0,16 a 0,18
    • fontawesome de 0.3.0 a 0.4.0
    • futuro de 1.28.0 a 1.29.0
    • future.apply de 1.9.1 a 1.10.0
    • gargarejo de 1.2.0 a 1.2.1
    • Gert de 1.8.0 a 1.9.1
    • ggplot2 de 3.3.6 a 3.4.0
    • GH de 1.3.0 a 1.3.1
    • gitcreds de 0.1.1 a 0.1.2
    • gráficos de 4.1.3 a 4.2.2
    • grDevices de 4.1.3 a 4.2.2
    • grelha de 4.1.3 a 4.2.2
    • httpuv de 1.6.5 a 1.6.6
    • isoband de 0.2.5 a 0.2.6
    • jsonlite de 1.8.0 a 1.8.3
    • lava de 1.6.10 a 1.7.0
    • ciclo de vida de 1.0.1 a 1.0.3
    • lubridato de 1.8.0 a 1.9.0
    • markdown de 1,1 para 1,3
    • MASSA de 7,3-56 a 7,3-58
    • Matriz de 1,4-1 a 1,5-1
    • Métodos de 4.1.3 a 4.2.2
    • mgcv de 1.8-40 a 1.8-41
    • nlme de 3.1-157 a 3.1-160
    • nnet de 7,3-17 a 7,3-18
    • openssl de 2.0.2 a 2.0.4
    • paralelo de 4.1.3 a 4.2.2
    • pkgload de 1.3.0 a 1.3.1
    • processx de 3.7.0 a 3.8.0
    • ps de 1.7.1 a 1.7.2
    • ronronar de 0.3.4 a 0.3.5
    • ragg de 1.2.2 a 1.2.4
    • RcppEigen de 0.3.3.9.2 a 0.3.3.9.3
    • Readr de 2.1.2 a 2.1.3
    • receitas de 1.0.1 a 1.0.3
    • RLANG de 1.0.5 a 1.0.6
    • rmarkdown de 2,16 para 2,18
    • parte de 4.1.16 a 4.1.19
    • RSQLite de 2.2.16 a 2.2.18
    • brilhante de 1.7.2 a 1.7.3
    • SparkR de 3.3.0 a 3.3.1
    • splines de 4.1.3 a 4.2.2
    • Estatísticas de 4.1.3 a 4.2.2
    • stats4 de 4.1.3 a 4.2.2
    • SYS de 3.4 a 3.4.1
    • tcltk de 4.1.3 a 4.2.2
    • ensaio de 3.1.4 a 3.1.5
    • Tidyr de 1.2.0 a 1.2.1
    • tidyselect de 1.1.2 a 1.2.0
    • horaData de 4021.104 a 4021.106
    • tinytex de 0,41 a 0,42
    • Ferramentas de 4.1.3 a 4.2.2
    • utils de 4.1.3 a 4.2.2
    • VCTRS de 0.4.1 a 0.5.0
    • vroom de 1.5.7 a 1.6.0
    • xfun de 0,32 a 0,34
    • yaml de 2.3.5 a 2.3.6
    • zip de 2.2.0 a 2.2.2
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 a 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-comum de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-codificação de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.yetus.audience-anotações de 0.5.0 a 0.13.0

Faísca Apache

O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.3 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Reverter "[SC-113542][ss] Inverter o valor padrão de Kafka offset fetching config"
  • [SPARK-40646] [SC-116061] Reverter "[SC-113379][sql] Corrigir o retorno de resultados parciais na fonte de dados JSON e funções JSON"
  • [SPARK-41195] [SC-116305][sql] Apoio PIVOT/UNPIVOT com filhos
  • [SPARK-41178] [SC-116139][sql] Corrigir a precedência da regra do analisador entre JOIN e vírgula
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Adicione a classe STREAM_FAILED de erro a StreamingQueryException
  • [SPARK-40921] Reverter "[SC-115140][sc-114585][SQL] Adicionar cláusula QUANDO NÃO HOUVER CORRESPONDÊNCIA COM A FONTE para MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Estender a coluna METADADOS para suportar índices de linha para ficheiros Parquet
  • [SPARK-41055] [SC-115582][sql] Renomear _LEGACY_ERROR_TEMP_2424 para GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Suporte de nome de classe de mensagem para PYSPARK-PROTOBUF
  • [FAÍSCA-40956] [SC-115867] Equivalente SQL para comando de substituição de Dataframe
  • [SPARK-41095] [SC-115659][sql] Converter operadores não resolvidos em erros internos
  • [SPARK-41144] [SC-115866][sql] Dica não resolvida não deve causar falha de consulta
  • [SPARK-41137] [SC-115858][sql] Renomear LATERAL_JOIN_OF_TYPE para INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Renomeie a classe _LEGACY_ERROR_TEMP_0040 de erro para INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] TesteUnitário verificação de valor nulo para gerador de dados
  • [SPARK-40769] [SC-114923][core][SQL] Migrar falhas de verificação de tipo de expressões agregadas para classes de erro
  • [SPARK-41043] [SC-115183][sql] Renomeie a classe _LEGACY_ERROR_TEMP_2429 de erro para NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Suporte para importação Protobuf e transferência de classes de erro.
  • [SPARK-41019] [SC-114987][sql] Forneça um contexto de consulta para failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Use UNEXPECTED_INPUT_TYPE em vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Reduzir o tamanho aleatório da ELA
  • [SPARK-41134] [SC-115851][sql] Melhorar a mensagem de erro para erros internos
  • [SPARK-37980] Revert " [SQL] Estender a coluna METADADOS para suportar índices de linhas para ficheiros Parquet
  • [SPARK-41109] [SC-115788][sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1216 para INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Use NON_FOLDABLE_INPUT em vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Otimizar o uso do construtor de GenericArrayData para Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Adicionar preenchimento de caracteres do lado da leitura para cobrir arquivos de dados externos
  • [SPARK-40978] [SC-114574][sql] Migrar failAnalysis() sem contexto para classes de erro
  • [SPARK-40663] [SC-114586][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: suporte à filtragem de grupos em tempo de execução em comandos ao nível de linha
  • [SPARK-40372] [SC-115668][sql] Migrar falhas de verificações de tipo de matriz para classes de erro
  • [SPARK-41038] [SC-115371][sql] Renomear MULTI_VALUE_SUBQUERY_ERROR para SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1208 de erro para FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrar falhas de verificação de tipo de condições para classes de erro
  • [SPARK-40371] [SC-114557][sql] Migrar falhas de verificação de tipo de NthValue e NTile para classes de erro
  • [SPARK-41092] [SC-115547][sql] Não use identificador para corresponder a unidades de intervalo
  • [SPARK-41009] [SC-115360][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1070 de erro para LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Estender a coluna METADADOS para suportar índices de linha para ficheiros Parquet
  • [SPARK-40967] [SC-114448][sql] Migrar failAnalysis() para classes de erro
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumento Python UDFs usando métricas SQL
  • [SPARK-41012] [SC-114873][sql] Renomear _LEGACY_ERROR_TEMP_1022 para ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Renomear PARSE_CHAR_MISSING_LENGTH para DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrar erros de verificação de tipos de expressões diversas para classes de erro
  • [SPARK-37945] [SC-115534][sql][CORE] Use classes de erro nos erros de execução de operações aritméticas
  • [SPARK-40374] [SC-114705][sql] Migrar falhas de validação de tipo de criadores de tipos para classes de erro
  • [SPARK-41056] [SC-115354][r] Corrigir novo comportamento de R_LIBS_SITE introduzido na R 4.2
  • [SPARK-41041] [SC-115357][sql] Integrar _LEGACY_ERROR_TEMP_1279 em TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1019 de erro para STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Não corrija elementos dobráveis de funções agregadas em RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Melhorar classes de erro e mensagens
  • [SPARK-40798] [SC-113782][sql] Alterar partição deve verificar se o valor segue a política de atribuição de armazenamento
  • [SPARK-40810] [SC-113533][sql] Use SparkIllegalArgumentException em vez de IllegalArgumentException em CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Adicionar a cláusula QUANDO NÃO CORRESPONDE À FONTE a MERGE INTO
  • [FAÍSCA-40360] [SC-114965] ALREADY_EXISTS e NOT_FOUND exceções
  • [SPARK-41007] [SC-115085][sql] Adicionar serializador ausente para java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrar falhas de verificação de tipo de funções de ordem alta para classes de erro
  • [SPARK-40248] [SC-114704][sql] Use um número maior de bits para criar o filtro Bloom
  • [SPARK-41040] [SC-115145][ss] Corrigir falha de consulta de streaming de auto-união ao usar readStream.table
  • [SPARK-32380] [SC-114966][sql] Corrigindo o acesso da tabela HBase via Hive do Spark
  • [SPARK-40749] [SC-114860][sql] Migrar falhas de verificação de tipo nos geradores para classes de erro
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Corrigir operador com estado re...
  • [SPARK-40654] [SC-112783] Remover linhas de log temporárias
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Corrigir avisos de compilação Java relacionados ao tipo genérico
  • [SPARK-40657] [SC-113642][cherry-pick] Adicionar suporte para classes Java no Protob...
  • [SPARK-40898] [SC-113932][sql] Citar nomes de funções em erros de incompatibilidade de tipos de dados
  • [SPARK-40760] [SC-113750][sql] Migrar falhas de verificação de tipo de expressões de intervalo para classes de erro
  • [SPARK-36114] [SC-113771][sql] Suportar subconsultas com predicados de não igualdade correlacionados
  • [SPARK-40856] [SC-113738][sql] Atualizar o modelo de erro do WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
  • [SPARK-40750] [SC-113812][sql] Migrar falhas de verificação de tipo de expressões matemáticas para categorias de erro
  • [SPARK-40756] [SC-113749][sql] Migrar falhas de verificação de tipo de expressões de cadeia de caracteres para classes de erro
  • [SPARK-40768] [SC-113640][sql] Migrar falhas de verificação de tipo de bloom_filter_agg() para classes de erro
  • [SPARK-40369] [SC-113402][core][SQL] Migrar falhas de verificação de tipos em chamadas por reflexão para classes de erro
  • [SPARK-39445] [SQL] Remova a janela se windowExpressions estiver vazia durante a poda de colunas
  • [SPARK-40761] [SC-113245][sql] Migrar falhas na verificação de tipos das expressões de percentil para classes de erro
  • [SPARK-40361] [SC-112789][sql] Migrar falhas de verificação de tipo aritmético para classes de erro
  • [SPARK-40714] [SC-112576][sql] Remover PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Corrigir especificações de partição em PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Migrar falhas de verificação de tipo de coleção para classes de erro
  • [SPARK-40910] [SC-114259][sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Adicionar UNPIVOT à sintaxe SQL
  • [SPARK-39783] [SC-113389][sql] Quote qualifiedName para corrigir backticks para candidatos a coluna em mensagens de erro
  • [SPARK-40663] [SC-112520][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Renomeie a classe _LEGACY_ERROR_TEMP_0021 de erro para UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Elimine campos de subclasses de erro separados
  • [SPARK-40944] [SC-114530][sql] Relaxe a restrição de ordenação para CREATE TABLE opções de coluna
  • [SPARK-40815] [SC-114528][sql] Adicionar DelegateSymlinkTextInputFormat como solução alternativa para o bug SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Reimplementar df.stat. {cov, corr} com funções sql incorporadas
  • [SPARK-40932] [SC-114439][core] Corrigir mensagens de problema para allGather são substituídas
  • [FAÍSCA-39312] [SQL] Use parquet nativo em predicado para no filtro empurrar para baixo
  • [SPARK-40862] [SC-114352][sql] Suporta subconsultas não agregadas em RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Definir anulável corretamente no projeto criado por ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Relaxar o requisito da regra window_time: permitir múltiplas chamadas de window_time
  • [SPARK-40540] [SC-111639][sql] Migrar erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Correção para Unhex quando a entrada tem número ímpar de símbolos
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Introduza window_time função para extrair o tempo do evento da coluna da janela
  • [SPARK-40800] [SC-113772][sql] Sempre expressões embutidas em OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Reimplementar frequentItems com operações de dataframe
  • [SPARK-40735] [SC-114022][sc-112657] Invoque consistentemente bash com /usr/bin/env bash em scripts para tornar o código mais portátil
  • [SPARK-40773] [SC-113091][sql] Refatorar checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Verifique os tipos de dados não suportados ao descorrelacionar subconsultas
  • [SPARK-40660] [SC-112293][core][SQL] Mudar para XORShiftRandom para distribuir elementos
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrar erros de compilação para classes de erro
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Adicionar APIs para operações de nível de linha baseadas em delta
  • [SPARK-39391] [SC-110676][core] Reutilizar classes de particionador
  • [SPARK-40368] [SC-113396][sql] Migrar falhas de verificação do tipo Bloom Filter para classes de erro
  • [SPARK-39146] [SC-111814][core][SQL] Introduza singleton local para ObjectMapper que possa ser reutilizado
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrar falhas na verificação do tipo de janela para classes de erro
  • [SPARK-40874] [SC-113756][python] Corrija transmissões em UDFs Python quando a criptografia está ativada
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrar falhas de verificação de tipos em expressões CSV/JSON para classes de erro
  • [SPARK-40880] [SC-113764][sql] Reimplementar summary com operações de dataframe
  • [SPARK-40877] [SC-113763][sql] Reimplementar crosstab com operações de dataframe
  • [SPARK-40382] [SC-113098][sql] Agrupe expressões agregadas distintas por filhos semanticamente equivalentes em RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Adicionar verificação adicional de renomeação de ficheiro no ponto de verificação
  • [SPARK-40829] [SC-113426][sql] ARMAZENADO COMO serde na CREATE TABLE LIKE vista não funciona
  • [SPARK-40844] [SC-113542][ss] Inverta o valor padrão de Kafka offset fetching config
  • [SPARK-40488] [SC-113568][sc-111160] Não encapsular exceções lançadas quando a gravação da fonte de dados falhar
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Renomeie messagemessageTemplate para STANDARD no formato de erros
  • [SPARK-40618] [SC-113096][sql] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando rastreamento de referência
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
  • [SPARK-40806] [SC-113250][sql] Correção de erro de digitação: CREATE TABLE -> SUBSTITUIR TABLE
  • [SPARK-40646] [SC-113379][sql] Correção que retorna resultados parciais na fonte de dados JSON e funções JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Suporte Protobuf para Spark - a partir de…
  • [SPARK-40753] [SC-113539][sql] Corrigir bug no caso de teste para operação de diretório de catálogo
  • [SPARK-40765] [SC-113056][sql] Otimizar a operação fs redundante no método CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Suporte para Arrow 9.0.0 com SparkR
  • [SPARK-40479] [SC-110935][sql] Migrar erro de tipo de entrada inesperado para uma classe de erro
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrar erros de análise para classes de erro
  • [SPARK-39853] [SC-111867][core] Suporta perfil de recursos de tarefas ao nível do estágio para cluster autónomo quando a alocação dinâmica estiver desabilitada (retrocompatibilidade do PR-47157)
  • [SPARK-40407] [SC-111161][sql] Corrija a possível distorção de dados causada por df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE não precisa fazer pesquisa de tabela
  • [SPARK-40703] [SC-113242][sql] Introduza o shuffle em SinglePartition para melhorar o paralelismo
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil para definir a origem das opções de configuração do hadoop/hive
  • [SPARK-39062] [11.x][core] Adicionar suporte de agendamento de recursos em nível de estágio para cluster autônomo
  • [FAÍSCA-33861] [SC-109877]Reverter "[SQL] Simplificar condicional no predicado"
  • [SPARK-40667] [SC-113136][sql] Refatorar Opções de Fonte de Dados de Arquivo
  • [SPARK-40370] [SC-110677][sql] A verificação de tipo de migração falha para classes de erro no CAST
  • [SPARK-40611] [SC-113105][sql] Melhorar o desempenho de setInterval e getInterval para UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Faça com que o conteúdo de SERDEPROPERTIES no resultado de ShowCreateTableAsSerdeCommand tenha uma ordem fixa
  • [SPARK-40585] [SC-112180][sql] Suporta identificadores de aspas duplas
  • [SPARK-40772] [SC-112992][sql] Melhorar spark.sql.adaptive.skewJoin.skewedPartitionFactor para suportar Double valores
  • [SPARK-40565] [SC-112417][sql] Não envie filtros não determinísticos para fontes de arquivo V2
  • [SPARK-8731] [SC-112784] Beeline não funciona com a opção -e quando iniciado em segundo plano
  • [SPARK-35242] [SC-111398][sql] Suporte à alteração do banco de dados padrão do catálogo de sessões
  • [SPARK-40426] [SC-110672][sql] Retornar um mapa a partir de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Otimize o desempenho do padrão de keys.zipWithIndex.toMap código
  • [SPARK-40521] [SC-112430][sql] Retornar apenas as partições existentes do comando de criação de partições do Hive
  • [SPARK-40705] [SC-112567][sql] Lidar com o caso de usar matriz mutável ao converter Row para JSON para Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Suportar a remoção de várias colunas
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Remover operações redundantes de interpolador de cadeia
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Ordenar parâmetros de mensagem de erro por nomes nos formatos JSON
  • [SPARK-40403] [SC-110564][sql] Calcular o tamanho da matriz não segura usando longs para evitar o tamanho negativo na mensagem de erro
  • [SPARK-40482] [SC-110831][sql] Reverter SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Passar parâmetros de mensagem de erro para exceções como mapas
  • [SPARK-40628] [SC-112414][sql] Não empurre a condição complexa de semijunção/antijunção esquerda na projeção
  • [SPARK-40562] [SC-111455][sql] Adicionar spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Adicionar PushProjectionThroughLimit para Optimizer
  • [SPARK-39200] [SC-111244][core] Fazer com que o armazenamento de fallback leia totalmente o conteúdo
  • [SPARK-38717] [SC-111241][sql] Manipular o comportamento de preservação de caso de especificação de bucket do Hive
  • [SPARK-40385] [SC-111123][sql] Corrigir caminho interpretado para construtor de objeto complementar
  • [SPARK-40216] [SC-112413][sql] Extraia o método comum ParquetUtils.prepareWrite para desduplicar o código em ParquetFileFormat e ParquetWrite
  • [SPARK-40636] [SC-112160][core] Corrigir registos incorretos de embaralhamentos restantes em BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corrigir a condição de corrida no processamento das entradas stageTCMP do ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][sql] Corrigir erro na regra de MergeScalarSubqueries com subconsultas aninhadas
  • [SPARK-40612] [SC-111933][core] Corrigindo o principal usado para renovação de token de delegação em gerenciadores de recursos não-YARN
  • [SPARK-40595] [SC-111662][sql] Melhorar a mensagem de erro para relações CTE não utilizadas
  • [SPARK-40314] [SC-111879][sql][PYTHON] Adicione ligações scala e python para inline e inline_outer
  • [SPARK-40416] [SC-110945][sql] Mover as mensagens de erro da expressão subquery do CheckAnalysis para usar a nova estrutura de erro
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() deve lançar as exceções de seu filho
  • [SPARK-40509] [SC-111644][ss][PYTHON] Adicionar exemplo para applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() deve lançar as exceções de seu filho
  • [SPARK-40016] [SQL] Remover o TryEval desnecessário na implementação do try_sum()
  • [SPARK-40527] [SC-111224][sql] Mantenha os nomes de campos da estrutura ou chaves de mapa no CreateStruct
  • [SPARK-38098] [SC-111178][python] Adicionar suporte para ArrayType de StructType aninhado para conversão baseada em seta
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Fornecer contexto de consulta em AnalysisException
  • [SPARK-40492] [SC-111324][ss] Faça manutenção antes de descarregar o StateStore do streaming
  • [SPARK-40487] [SC-111124][sql] Tornar defaultJoin em BroadcastNestedLoopJoinExec em execução em simultâneo
  • [SPARK-40474] [SC-111273][sql] Inferência de esquema CSV correta e comportamento de análise de dados em colunas com datas e carimbos de data/hora mistos
  • [SPARK-40508] [SC-111066][sql] Tratar particionamento desconhecido como UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Corrija as configurações para controlar "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Adicionar suítes de teste para applyInPandasWithState no PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementar applyInPandasWithState no PySpark

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Escala: 2.12.14
  • Píton: 3.9.5
  • R: 4.2.2
  • Lago Delta: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0 AstTokens 2.0.5
ATRs 21.4.0 Backcall 0.2.0 backports.pontos de entrada-selecionáveis 1.2.0
sopa bonita4 4.11.1 preto 22.3.0 lixívia 4.1.0
Boto3 1.21.32 Botocore 1.24.32 certifi 2021.10.8
CFFI 1.15.0 Chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 criptografia 3.4.8 ciclista 0.11.0
Quisto 0.29.28 dbus-python 1.2.16 depuração 1.5.1
decorador 5.1.1 DeUsedXML 0.7.1 Distlib 0.3.6
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.0.0
fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.16.2 bloqueio de arquivo 3.8.0 Fonttools 4.25.0
IDNA 3.3 Ipykernel 6.15.3 IPython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 JmesPath 0.10.0 Joblib 1.1.0
jsonschema 4.4.0 jupyter-cliente 6.1.12 jupyter_core 4.11.2
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 Kiwisolver 1.3.2
Marcação Segura 2.0.1 Matplotlib 3.5.1 matplotlib-em linha 0.1.2
Mistune 0.8.4 mypy-extensões 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 Ninho-Asyncio 1.5.5
bloco de notas 6.4.8 dormência 1.21.5 embalagem 21,3
pandas 1.4.2 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.9.0 vítima 0.5.2 Espere 4.8.0
pickleshare 0.7.5 Travesseiro 9.0.1 pip (o gestor de pacotes do Python) 21.2.4
plataformadirs 2.5.4 enredo 5.6.0 Prometheus-cliente 0.13.1
kit de ferramentas de prompt 3.0.20 Protobuf 3.19.4 PSUTIL 5.8.0
PSYCOPG2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
Pyarrow 7.0.0 Pycparser 2.21 Pigmentos 2.11.2
PyGObject 3.36.0 Pyodbc 4.0.32 Pyparsing 3.0.4
pirsistent 0.18.0 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 Pytz 2021.3
Pyzmq 22.3.0 pedidos 2.27.1 pedidos-unixsocket 0.2.0
s3transferir 0.5.0 scikit-learn (biblioteca de aprendizado de máquina em Python) 1.0.2 SciPy 1.7.3
nascido no mar 0.11.2 Enviar2Lixo 1.8.0 Ferramentas de configuração 58.0.4
seis 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.10
dados de pilha 0.2.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.13.2 tenacidade 8.0.1
terminado 0.13.1 caminho de teste 0.5.0 ThreadPoolCtl 2.2.0
tokenize-rt 4.2.1 Tomli 1.2.2 tornado 6.1
traços 5.1.1 typing_extensions (extensões de digitação) 4.1.1 Upgrades autônomos 0.1
urllib3 1.26.9 virtualenv 20.8.0 largura de wc 0.2.5
WebEncodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-11-11.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 AskPass 1.1 asserçãoat 0.2.1
Retroportagens 1.4.1 base 4.2.2 base64enc 0.1-3
pouco 4.0.4 bit64 4.0.5 blob 1.2.3
arranque 1.3-28 fabricação de cerveja 1.0-8 Brio 1.1.3
vassoura 1.0.1 BSLIB 0.4.1 cachemira 1.0.6
Chamador 3.7.3 acento circunflexo 6.0-93 Cellranger 1.1.0
crono 2.3-58 classe 7.3-20 CLI 3.4.1
Clipr 0.8.0 relógio 0.6.1 cluster 2.1.4
CodeTools 0.2-18 espaço em cores 2.0-3 marca comum 1.8.1
compilador 4.2.2 configuração 0.3.1 CPP11 0.4.3
lápis de cor 1.5.2 credenciais 1.3.2 encaracolar 4.3.3
tabela de dados 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
DBPlyr 2.2.1 descrição 1.4.2 DevTools 2.4.5
diffobj 0.3.5 resumo 0.6.30 Iluminação reduzida 0.4.2
DPLYR 1.0.10 DTPlyr 1.2.2 E1071 1.7-12
reticências 0.3.2 avaliar 0,18 Fãsi 1.0.3
Farver 2.1.1 mapa rápido 1.1.0 fontawesome 0.4.0
FORCATS 0.5.2 para cada 1.5.2 externa 0.8-82
forjar 0.2.0 FS 1.5.2 Futuro 1.29.0
futuro.apply 1.10.0 gargarejo 1.2.1 genérico 0.1.3
Gert 1.9.1 GGPLOT2 3.4.0 GH 1.3.1
gitcreds 0.1.2 GLMNET 4.1-4 Globais 0.16.1
colar 1.6.2 GoogleDrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 gráficos 4.2.2 grDispositivos 4.2.2
grelha 4.2.2 gridExtra 2.3 GSUBFN 0,7
tabela g 0.3.1 capacete 1.2.0 Refúgio 2.5.1
mais alto 0,9 HMS 1.1.2 htmltools 0.5.3
htmlwidgets (componentes HTML interativos) 1.5.4 httpuv 1.6.6 HTTR 1.4.4
IDs 1.0.1 ini 0.3.1 ipred 0.9-13
Isoband 0.2.6 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 Knitr 1.40
etiquetagem 0.4.2 mais tarde 1.3.0 treliça 0.20-45
lave 1.7.0 ciclo de vida 1.0.3 ouvirv 0.8.0
lubridato 1.9.0 Magrittr 2.0.3 Marcação 1.3
MASSA 7.3-58 Matriz 1.5-1 memorização 2.0.1
métodos 4.2.2 MGCV 1.8-41 mímica 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.9
Munsell 0.5.0 NLME 3.1-160 NNET 7.3-18
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 2.0.4 paralelo 4.2.2
Paralelamente 1.32.1 pilar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 Plyr 1.8.7 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.8.0
Prodlim 2019.11.13 Profvis 0.3.7 Progresso 1.2.2
progressor 0.11.0 promessas 1.2.0.1 prototipo 1.0.0
proxy 0.4-27 PS 1.7.2 ronronar 0.3.5
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.4
Floresta Aleatória 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
Leitor 2.1.3 ReadXL 1.4.1 receitas 1.0.3
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 Rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 oxigénio2 7.2.1
rpart (função de partição recursiva em R) 4.1.19 rprojroot 2.0.3 Reserva 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.2 escalas 1.2.1
seletor 0.4-2 Informação da sessão 1.2.2 forma 1.4.6
brilhante 1.7.3 ferramentas de origem 0.1.7 Brilho 1.7.8
Faísca 3.3.1 espacial 7.3-11 estrias 4.2.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.2.2
estatísticas4 4.2.2 string 1.7.8 stringr 1.4.1
sobrevivência 3.4-0 Sistema 3.4.1 fontes do sistema 1.0.4
tcltk (uma linguagem de programação) 4.2.2 testeatat 3.1.5 formatação de texto 0.3.6
Tibble 3.1.8 Tidyr 1.2.1 arrumadoselecionar 1.2.0
Tidyverse 1.3.2 mudança de hora 0.1.1 data e hora 4021.106
Tinytex 0.42 ferramentas 4.2.2 TZDB 0.3.0
verificador de URL 1.0.1 usethis 2.1.6 UTF8 1.2.2
utilitários 4.2.2 Identificador Único Universal (UUID) 1.1-0 VCTRS 0.5.0
viridisLite 0.4.1 vruum 1.6.0 Waldo 0.4.0
vibrissas 0.4 murchar 2.5.0 xfun 0.34
XML2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 ZIP 2.2.2

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
Antlr Antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.189
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws AWS Java SDK para CloudSearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-diretório 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-rota53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws AWS Java SDK para SES 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.189
com.amazonaws AWS-Java-SDK-STS 1.12.189
com.amazonaws aws-java-sdk-suporte 1.12.189
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Reserva 1.8-3
com.databricks Jatos 3T 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.13.4
com.fasterxml.jackson.core Jackson-Core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-módulo-paranamer 2.13.4
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.13.4
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-Java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-nativos 1.1
com.github.luben ZSTD-JNI 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs JSR305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.goiaba Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2banco de dados h2 2.0.204
com.helger gerador de perfis 1.1.1
com.jcraft JSCH 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.ning compressa-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter Chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocidade analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
codec commons codec commons 1,15
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib Lapack | 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.21
IO.Delta delta-compartilhamento-spark_2.12 0.5.2
io.dropwizard.metrics métricas-base 4.1.1
io.dropwizard.metrics métricas-grafite 4.1.1
io.dropwizard.metrics métricas e verificações de saúde 4.1.1
io.dropwizard.metrics métricas-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics métricas-json 4.1.1
io.dropwizard.metrics métricas do JVM 4.1.1
io.dropwizard.metrics Métricas-Servlets 4.1.1
io.netty netty-tudo 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-comum 4.1.74.Final
io.netty netty-manipulador 4.1.74.Final
io.netty netty-resolver (resolução do Netty) 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty transporte de rede 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-nativo-unix-comum 4.1.74.Final
io.prometeu cliente simples 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo JDO-API 3.0.1
javax.transaction JTA 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
Joda-Time Joda-Time 2.10.13
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.2
net.sf.jpam JPAM 1.1
net.sf.opencsv OpenCSV 2.3
net.sf.supercsv Super-CSV 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.22
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de seta 7.0.0
org.apache.arrow seta-memória-núcleo 7.0.0
org.apache.arrow seta-memória-netty 7.0.0
org.apache.arrow vetor de seta 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro AVRO-IPC 1.11.0
org.apache.avro avro-mapeado 1.11.0
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-comprimir 1.21
org.apache.commons commons-cripto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-matemática3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curador curador-cliente 2.13.0
org.apache.curador curador-framework 2.13.0
org.apache.curador curador-receitas 2.13.0
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop hadoop-client-api (API do cliente Hadoop) 3.3.4-DATABRICKS
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.4
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Hive-CLI 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive API de armazenamento Hive 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents Núcleo Http 4.4.14
org.apache.ivy hera 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc Orc-calços 1.7.6
org.apache.parquet parquet-coluna 1.12.3-databricks-0001
org.apache.parquet parquet-comum 1.12.3-databricks-0001
org.apache.parquet codificação-parquet 1.12.3-databricks-0001
org.apache.parquet parquet-formato-estruturas 1.12.3-databricks-0001
org.apache.parquet Parquet-Hadoop 1.12.3-databricks-0001
org.apache.parquet Parquet-Jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper cuidador de zoológico 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.píer Jetty-Cliente 9.4.46.v20220331
org.eclipse.píer jetty-continuation (componente de software do Jetty) 9.4.46.v20220331
org.eclipse.píer Jetty-HTTP 9.4.46.v20220331
org.eclipse.píer Molhe IO 9.4.46.v20220331
org.eclipse.píer Cais-JNDI 9.4.46.v20220331
org.eclipse.píer Cais-Plus 9.4.46.v20220331
org.eclipse.píer Jetty-Proxy 9.4.46.v20220331
org.eclipse.píer Segurança do Jetty 9.4.46.v20220331
org.eclipse.píer servidor jetty 9.4.46.v20220331
org.eclipse.píer Jetty-servlet 9.4.46.v20220331
org.eclipse.píer Jetty-servlets 9.4.46.v20220331
org.eclipse.píer Jetty-util 9.4.46.v20220331
org.eclipse.píer cais-util-ajax 9.4.46.v20220331
org.eclipse.píer Aplicação web Jetty 9.4.46.v20220331
org.eclipse.píer Jetty-XML 9.4.46.v20220331
org.eclipse.jetty.websocket API WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-cliente 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-Comum 9.4.46.v20220331
org.eclipse.jetty.websocket servidor websocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 HK2-API 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 HK2-Utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.externo aopalliance-reembalado 2.6.1
org.glassfish.hk2.externo jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-cliente 2,36
org.glassfish.jersey.core Jersey comum 2,36
org.glassfish.jersey.core servidor de jersey 2,36
org.glassfish.jersey.inject Jersey-HK2 2,36
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-registro em log 3.3.2.Final
org.jdbi JDBI 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-cliente 2.7.4
org.mlflow MLFLOW-Faísca 1.27.0
org.objenesis objenese 2.5.1
org.postgresql PostgreSQL 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap calços 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang Escala-library_2.12 2.12.14
org.scala-lang Escala-reflect_2,12 2.12.14
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-compatível-com-slf4j 1.7.36
org.slf4j jul-para-slf4j 1.7.36
org.slf4j SLF4J-API 1.7.36
org.spark-project.spark não utilizado 1.0.0
org.threeten trêsdez-extra 1.5.0
org.tukaani XZ 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy Snappy-java 1.1.8.4
org.yaml Snakeyaml 1,24
ouro ouro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion íon-java 1.0.2
Stax Stax-API 1.0.1
  • Last updated on