Tempo de execução do Databricks 12.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.1, alimentado pelo Apache Spark 3.3.1.

A Databricks lançou esta versão em janeiro de 2023.

Novos recursos e melhorias

• Funcionalidades de tabela Delta Lake suportadas para gestão de protocolo
• A E/S preditiva para atualizações está em versão pública de pré-visualização
• O Catalog Explorer já está disponível para todas as personas
• Suporte para vários operadores com estado em uma única consulta de fluxo
• O suporte para buffers de protocolo está em Visualização Pública
• Suporte para autenticação do Confluent Schema Registry
• Suporte para partilhar o histórico da tabela com partilhas do Delta Sharing
• Suporte para streaming com compartilhamentos Delta Sharing
• Versão de tabela com carimbo de data/hora agora é suportada para tabelas Delta Sharing em catálogos
• Suporte para QUANDO NÃO HOUVER CORRESPONDÊNCIA COM A FONTE para MERGE INTO
• Recolha de estatísticas otimizada para CONVERT TO DELTA
• Suporte do Unity Catalog para undrop tables

Recursos de tabela Delta Lake suportados para gerenciamento de protocolo

O Azure Databricks introduziu suporte para recursos de tabela Delta Lake, que introduzem sinalizadores granulares especificando quais recursos são suportados por uma determinada tabela. Consulte Compatibilidade de recursos e protocolos do Delta Lake.

A Entrada/Saída preditiva para atualizações está em fase de pré-visualização pública

A E/S preditiva agora acelera DELETE, MERGE, e UPDATE as operações para tabelas Delta com vetores de exclusão habilitados na computação habilitada para Photon. Consulte O que é E/S preditiva?.

O Catalog Explorer já está disponível para todas as personas

O Catalog Explorer agora está disponível para todas as personas do Azure Databricks ao usar o Databricks Runtime 7.3 LTS e superior.

Suporte para múltiplos operadores com estado numa única consulta de streaming

Os utilizadores agora podem encadear operadores de estado com o modo de adição na consulta em fluxo. Nem todos os operadores são totalmente suportados. A junção de intervalos de tempo entre fluxos e flatMapGroupsWithState não permite que outros operadores com estado sejam encadeados.

O suporte para buffers de protocolo está em Visualização Pública

Você pode usar as from_protobuf funções e to_protobuf para trocar dados entre os tipos binário e struct. Consulte buffers de protocolo de leitura e escrita.

Suporte para a autenticação do Registo de Esquema "Confluent"

A integração do Azure Databricks com o Confluent Schema Registry agora oferece suporte a endereços de registro de esquema externos com autenticação. Este recurso está disponível para from_avro, to_avro, from_protobufe to_protobuf funções. Veja Protobuf ou Avro.

Suporte para partilhar o histórico da tabela com shares do Delta Sharing.

Agora você pode compartilhar uma tabela com histórico completo usando o Compartilhamento Delta, permitindo que os destinatários realizem consultas de viagem no tempo e consultem a tabela usando o Spark Structured Streaming. WITH HISTORY é recomendado em vez de CHANGE DATA FEED, embora o último continue a ser suportado. Consulte ALTER SHARE e Adicionar tabelas a um compartilhamento.

Suporte para streaming com compartilhamentos Delta Sharing

O Spark Structured Streaming agora funciona com o formato deltasharing numa tabela de Delta Sharing que foi partilhada usando WITH HISTORY.

Agora suportada a versão da tabela utilizando carimbo de data/hora para tabelas Delta Sharing em catálogos.

Agora pode usar a sintaxe SQL TIMESTAMP AS OF em instruções SELECT para especificar a versão de uma tabela de Delta Sharing que está montada num catálogo. As tabelas devem ser compartilhadas usando WITH HISTORY.

Suporte para QUANDO NÃO HÁ CORRESPONDÊNCIA NA FONTE para MERGE INTO

Agora você pode adicionar WHEN NOT MATCHED BY SOURCE cláusulas a MERGE INTO para atualizar ou excluir linhas na tabela escolhida que não tenham combinação na tabela de origem com base na condição de combinação. A nova cláusula está disponível em SQL, Python, Scala e Java. Consulte MERGE INTO.

Recolha de estatísticas otimizada para CONVERT TO DELTA

A recolha de estatísticas para a CONVERT TO DELTA operação é agora muito mais rápida. Isso reduz o número de cargas de trabalho que possam usar NO STATISTICS para maior eficiência.

Suporte do "Unity Catalog" para restaurar as tabelas

Este recurso foi inicialmente lançado no Public Preview. É GA a partir de 25 de outubro de 2023.

Agora pode recuperar uma tabela gerida ou externa eliminada em um esquema existente, dentro de sete dias após a sua eliminação. Consulte UNDROP e SHOW TABLES DROPPED.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.8.0 para 3.8.2
  • platformdirs de 2.5.4 a 2.6.0
  • setuptools da versão 58.0.4 para a 61.2.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.5.2 a 0.6.2
  • org.apache.hive.hive-storage-api de 2.7.2 a 2.8.1
  • org.apache.parquet.parquet-column de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.tukaani.xz de 1.8 a 1.9

Faísca Apache

O Databricks Runtime 12.1 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-41405] [SC-119769][12.1.0] Reverter "[SC-119411][sql] Centralizar a lógica de resolução de colunas" e "[SC-117170][spark-41338][SQL] Resolver referências externas e colunas normais no mesmo lote do analisador"
• [SPARK-41405] [SC-119411][sql] Centralizar a lógica de resolução de colunas
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand deve definir o indicador de substituição corretamente
• [SPARK-41659] [SC-119526][connect][12.X] Ativar doctests em pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Corrigir regressão de desempenho do leitor ORC causada pelo recurso de valor DEFAULT
• [SPARK-41807] [SC-119399][core] Remover classe de erro inexistente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Inferir nomes de uma lista de dicionários em SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Mova a documentação e o script do Spark Connect para a documentação dev/ e Python
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Configurar o módulo de cliente inicial para o Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] A página da interface do usuário de estágios não é carregada para proxy em ambiente específico do YARN
• [SPARK-41481] [SC-118150][core][SQL] Reutilize INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Revisite a manipulação de expressões com retenção de estado
• [SPARK-41726] [SC-119248][sql] Remover OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Suporte a consultas SQL parametrizadas por sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementar DataFrame.sampleBy e DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][todos os testes] Extrair gravação v1 para WriteFiles
• [SPARK-41565] [SC-118868][sql] Adicione a classe de erro UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] A função DECODE retorna resultados errados quando passado NULL
• [SPARK-41554] [SC-119274] corrigir a alteração da escala decimal quando a escala é reduzida por m…
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementar DataFrame.freqItems e DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Reative os testes de documentos e adicione o alias de coluna ausente à count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementar DataFrame.approxQuantile e DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Fazer com que a função from_json suporte o esquema de Tipo de Dados
• [SPARK-41804] [SC-119382][sql] Escolha o tamanho correto do elemento em InterpretedUnsafeProjection para matriz de UDTs
• [SPARK-41786] [SC-119308][connect][PYTHON] Eliminar duplicados de funções auxiliares
• [SPARK-41745] [SC-119378][spark-41789][12.X] Permitir que createDataFrame suporte uma lista de Linhas
• [SPARK-41344] [SC-119217][sql] Tornar o erro mais claro quando a tabela não for encontrada no catálogo SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Adicionar função ausente log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Fazer com que as funções JSON suportem opções
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Permitir que __getitem__ suporte filtrar e selecionar
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Fazer com que operações de coluna suportem None
• [SPARK-41440] [SC-119279][connect][PYTHON] Evite o operador de cache para amostra geral.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implementar GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Suporte para extensões de protocolo no contexto de relação e expressão
• [SPARK-41417] [SC-118000][core][SQL] Renomear _LEGACY_ERROR_TEMP_0019 para INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Tratamento adequado de erros para o servidor / cliente Spark Connect
• [SPARK-41292] [SC-119357][connect][12.X] Suporte para janela no namespace pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Fazer com que as funções csv suportem opções
• [SPARK-39591] [SC-118675][ss] Acompanhamento de progresso assíncrono
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implementar Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementar DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Ativar doctests em pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Misturar o ClientId no cache do SparkSession
• [SPARK-41354] [SC-119194][connect] Adicionar RepartitionByExpression ao proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Adicionar __rmod__ ausente na coluna
• [SPARK-41778] [SC-119262][sql] Adicionar um alias "reduce" a ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementar DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Tornar o nome da operação de string interna consistente com o FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Adicionar uma mensagem principal para o catálogo
• [SPARK-41742] [SC-119263] Suporte df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Corrigir operações aritméticas: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Renomear UNSUPPORTED_CORRELATED_REFERENCE para CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Corrigir Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implementar função unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Implementar GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Corrigir Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Suporta resolução implícita de alias de coluna lateral no Aggregate
• [SPARK-41529] [SC-119207][connect][12.X] Implementar SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Renomear _LEGACY_ERROR_TEMP_0011 para UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Desduplicar impressão e repr_html no LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementar Column.name
• [SPARK-41733] [SC-119163][sql][SS] Aplicar poda baseada em padrão de árvore para a regra ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
• [SPARK-41498] [SC-119018] Propagar metadados através da união
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementar o acessador de coluna
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types deve suportar ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementar função format_number
• [SPARK-41707] [SC-119141][connect][12.X] Implementar API de catálogo no Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementar Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]Função de alta ordem: implementação array_compact
• [SPARK-41518] [SC-118453][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implementar função sequence
• [SPARK-41703] [SC-119060][connect][PYTHON] Combine NullType e typed_null em Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Implementar 3 funções de janela de tempo ausentes
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementar Funções de Transformação de Partições
• [SPARK-41413] [SC-118968][sql] Evite embaralhar num Storage-Partitioned Join quando as chaves de partição não correspondem e as expressões de junção são compatíveis
• [SPARK-41700] [SC-119046][connect][PYTHON] Remover FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types deve suportar MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Adicionar operações de coluna inválidas
• [SPARK-41660] [SC-118866][sql] Propagar colunas de metadados somente se elas forem usadas
• [SPARK-41637] [SC-119003][sql] ORDER BY TODOS
• [SPARK-41513] [SC-118945][sql] Implementar um acumulador para coletar métricas de contagem de linhas por mapeador
• [SPARK-41647] [SC-119064][connect][12.X] Deduplicar docstrings em pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Adicionar suporte a operações de coluna decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementar rollup, cube e pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY TODOS
• [SPARK-41645] [SC-119057][connect][12.X] Deduplicar os docstrings em pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Mover expressões para expressions.py
• [SPARK-41687] [SC-118949][connect] Deduplicar docstrings em pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Deduplicar docstrings em pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Refatorar GroupedData para group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementar funções Window
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Fazer suporte a operações de colunas datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Ativar as funções preteridas
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementar Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementar função broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Deduplicar os docstrings em pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Deduplicar docstrings em pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Deduplicar docstrings em pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implementar o restante das funções do Lambda
• [SPARK-41441] [SC-118557][sql] Suporte para Gerar sem saída de filho necessária para acomodar referências externas
• [SPARK-41669] [SC-118923][sql] Poda antecipada em canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Remover ScalaReflectionLock de SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementar DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Implementação LambdaFunction inicial
• [SPARK-41539] [SC-118802][sql] Reatribuir estatísticas e restrições de acordo com a saída no plano lógico para LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Suporte de campo OneOf e verificações de recursão
• [SPARK-41528] [SC-118769][connect][12.X] Unificar o namespace das APIs Spark Connect e PySpark
• [SPARK-41568] [SC-118715][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementar DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Adicione o Spark Connect e o protobuf ao setup.py com a especificação de dependências
• [SPARK-27561] [SC-101081][12.x][SQL] Suporte para a resolução implícita de alias de coluna lateral no Project
• [SPARK-41535] [SC-118645][sql] Definir null corretamente para campos de intervalo de calendário no InterpretedUnsafeProjection e InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Suportar a função incorporada de mascaramento de dados 'máscara'
• [SPARK-41520] [SC-118440][sql] Dividir o TreePattern E_OU para separar os TreePatterns E e OU.
• [SPARK-41349] [SC-118668][connect][PYTHON] Implementar DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types deve suportar StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Mover SortOrder proto de relações para expressões
• [SPARK-41387] [SC-118450][ss] Afirmar o deslocamento final atual da fonte de dados Kafka para Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Renomeie _LEGACY_ERROR_TEMP_1180 para UNEXPECTED_INPUT_TYPE e remova _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Coluna de implementação. {quando, caso contrário} e Função when com UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Corrigir a chamada para o método filho incorreto em SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementar DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Adicionar "spark.sql.json.enablePartialResults" para ativar/desativar resultados parciais JSON
• [SPARK-41437] Reverter “[SC-117601][sql] Não otimizar o inputquery duas vezes para fallback de escrita v1”
• [SPARK-41472] [SC-118352][connect][PYTHON] Implementar o resto das funções string/binárias
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementar Column.isin
• [SPARK-32170] [SC-118384] [CORE] Melhore a previsão através das métricas de tarefas da etapa.
• [SPARK-41524] [SC-118399][ss] Diferenciar SQLConf e extraOptions em StateStoreConf para seu uso em RocksDBConf
• [SPARK-41465] [SC-118381][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] Suporte LongToUnsafeRowMap ignora chave duplicada
• [SPARK-41409] [SC-118302][core][SQL] Renomear _LEGACY_ERROR_TEMP_1043 para WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementar DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Não otimize a consulta de entrada duas vezes para fallback de gravação v1
• [SPARK-41314] [SC-117172][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refatore LiteralExpression para suportar DataType
• [SPARK-41448] [SC-118046] Tornar consistentes os IDs dos trabalhos MR em FileBatchWriter e FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Melhorar o desempenho do try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementar funções collection: P~Z
• [SPARK-41478] [SC-118167][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Refatorar a mensagem de erro para NUM_COLUMNS_MISMATCH para a tornar mais genérica
• [SPARK-41404] [SC-118016][sql] Refatorar ColumnVectorUtils#toBatch para tornar o teste de ColumnarBatchSuite#testRandomRows mais primitivo no tipo de dados
• [SPARK-41468] [SC-118044][sql] Corrigir o tratamento de PlanExpression em EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Corrigir entradas duplicadas na descrição para análises de ficheiros V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementar funções MISC
• [SPARK-41459] [SC-118005][sql] corrigir situação em que a saída do log de operações do servidor Thrift está vazia
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection deve usar setDecimal para definir valores nulos para decimais em uma linha não segura
• [SPARK-41376] [SC-117840][core][3.3] Corrigir a lógica de verificação do preferDirectBufs do Netty no início da execução
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementar funções collection: E~M
• [SPARK-41389] [SC-117426][core][SQL] Reutilizar WRONG_NUM_ARGS em vez de _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] O tipo de carimbo de data e hora pode ser convertido para TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Alterar para chamar invalidFunctionArgumentsError para curdate() quando expressions não estiver vazio
• pt-PT: [SPARK-41187] [SC-118030][core] LiveExecutor fuga de memória no AppStatusListener quando o ExecutorLost ocorre
• [SPARK-41360] [SC-118083][core] Evite o novo registro do BlockManager se o executor tiver sido perdido
• [SPARK-41378] [SC-117686][sql] Suporte a estatísticas de coluna no DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Substituir prettyName de StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementar funções de carimbo de data/hora
• [SPARK-41329] [SC-117975][connect] Resolver importações circulares no Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Inferir corretamente o tipo de dados de inteiros literais
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Implementar suporte para esquemas e mais tipos de conjuntos de dados de entrada em createDataFrame
• [SPARK-41475] [SC-117997][connect] Corrigir erro no comando lint-scala e erro ortográfico
• [SPARK-38277] [SC-117799][ss] Limpar lote de gravação após confirmação do armazenamento de estado RocksDB
• [SPARK-41375] [SC-117801][ss] Evite esvaziar o KafkaSourceOffset mais recente
• [SPARK-41412] [SC-118015][connect] Implementar Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementar DataFrame.melt e DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Refatorar testes relacionados à coluna para test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] A coluna deve suportar != operador
• [SPARK-40697] [SC-117806][sc-112787][SQL] Adicionar preenchimento de caracteres do lado da leitura para cobrir arquivos de dados externos
• [SPARK-41349] [SC-117594][connect][12.X] Implementar DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Resolver referências externas e colunas normais no mesmo lote do analisador
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementar funções collection: A~C
• [SPARK-41445] [SC-117802][connect] Implementar DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char deve retornar null quando format for null
• [SPARK-41444] [SC-117796][connect] Suporte read.json()
• [SPARK-41398] [SC-117508][sql] Relaxar as restrições na Junção com Particionamento de Armazenamento quando as chaves da partição depois de filtragem de tempo de execução não corresponderem
• [SPARK-41228] [SC-117169][sql] Renomear & Melhorar a mensagem de erro para .
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementar funções de count_distinct e sum_distinct
• [SPARK-41433] [SC-117596][connect] Torne o Max Arrow BatchSize configurável
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementar parte de funções string/binárias
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementar função product
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementar DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() deve ser compatível
• [SPARK-41369] [SC-117584][conectar] Adicionar conexão comum ao jar sombreado dos servidores
• [SPARK-41411] [SC-117562][ss] Correção de erro no suporte a watermark do operador multiestados
• [SPARK-41176] [SC-116630][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementar funções de agregação
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementar funções normais
• [SPARK-41305] [SC-117411][connect] Melhorar a documentação do comando proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Implementar DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Fornecer sessão de Spark clonada no DataFrame na função do utilizador para o destino foreachBatch no PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Renomear CAST_WITH_FUN_SUGGESTION para CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refatorar o ColumnVectorUtils#populate método para usar PhysicalDataType em vez de DataType
• [SPARK-41355] [SC-117423][sql] Solução alternativa para o problema de validação no nome da tabela de hive
• [SPARK-41390] [SC-117429][sql] Atualize o script usado para gerar register função no UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1233 para COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementar funções matemáticas
• [SPARK-40970] [SC-117308][connect][PYTHON] Lista de suporte[Coluna] para Junções no argumento
• [SPARK-41345] [SC-117178][connect] Adicionar dica ao Connect Proto
• [SPARK-41226] [SC-117194][sql][12.x] Refatorar tipos de faísca introduzindo tipos físicos
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Adicionar suporte básico para DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Adicionar Cast ao protocolo de expressão
• [SPARK-41323] [SC-117128][sql] Suporte *current_schema*
• [SPARK-41339] [SC-117171][sql] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementar junção cruzada de DataFrame
• [SPARK-41346] [SC-117176][connect][PYTHON] Implementar funções asc e desc
• [SPARK-41343] [SC-117166][connect] Mover a análise de FunctionName para o lado do servidor
• [SPARK-41321] [SC-117163][connect] Campo de destino de suporte para UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Reutilize a classe de erro UNSUPPORTED_DATATYPE para _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Reutilizar INVALID_SCHEMA.NON_STRING_LITERAL em vez de _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Otimizar o uso do construtor de StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Suporte para IsNull e IsNotNull na Coluna
• [SPARK-41332] [SC-117131][connect][PYTHON] Corrigir nullOrdering no SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Corrigir a ausência de avg() para GroupBy no DF
• [SPARK-41327] [SC-117137][core] Corrigir SparkStatusTracker.getExecutorInfos ajustando a informação de memória On/OffHeapStorage.
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementar DataFrame.replace e DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Adicionar API lógica e de cadeia de texto à Coluna
• [SPARK-41331] [SC-117127][connect][PYTHON] Adicionar orderBy e drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal deve garantir que o bloqueio seja desbloqueado graciosamente
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Refatore "Coluna" para compatibilidade com API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implementar DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Adicione a classe de erro INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Reutilizar INVALID_SCHEMA em vez de _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Converta instâncias NumPy para tipos primitivos Python na atualização GroupState
• [SPARK-41174] [SC-116609][core][SQL] Propagar uma classe de erro aos utilizadores para format inválido de to_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Fazer com que o Literal suporte mais tipos de dados
• [FAÍSCA-41326] [SC-116972] [CONECTAR] Corrigir desduplicação está faltando entrada
• [SPARK-41316] [SC-116900][sql] Habilitar a recursão de cauda sempre que possível
• [FAÍSCA-41297] [SC-116931] [CONECTAR] [PYTHON] Suporte a expressões de strings no Filtro.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implementar DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrar os erros de opções de mapa para classes de erro
• [SPARK-40940] [SC-115993][12.x] Remova os verificadores de operadores multiestados para consultas de streaming.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implementar DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti não atualiza numOutputRows quando o codegen está desativado
• [SPARK-41148] [SC-116878][connect][PYTHON] Implementar DataFrame.dropna e DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Adicione a classe de erro FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Melhorar DataFrame.count()
• [SPARK-41301] [SC-116786] [CONECTAR] Homogeneizar o comportamento para SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Melhorar a documentação do Connect Expression proto
• [SPARK-41280] [SC-116733][connect] Implementar a função tail do DataFrame
• [FAÍSCA-41300] [SC-116751] [CONECTAR] Esquema não definido é interpretado como Esquema
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Renomear RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas não deve retornar um dataframe opcional do pandas
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain deve imprimir e devolver None
• [SPARK-41278] [SC-116732][connect] Limpar o QualifiedAttribute não utilizado em Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Remover base de conversão de coleção redundante no código Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Corrigir problema para applyInPandasWithState quando as colunas de chaves de agrupamento não são colocadas em ordem desde o início
• [SPARK-40872] [SC-116717][3.3] Recurso para o bloco de shuffle original quando um bloco de shuffle push-merged é de tamanho zero
• [SPARK-41114] [SC-116628][connect] Suporte de dados locais para LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Suporta mais tipos de dados incorporados
• [SPARK-41230] [SC-116674][connect][PYTHON] Remover str do tipo de expressão de agregação
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Implementação otimizada de coleta baseada em Arrow para transmitir do servidor para o cliente
• [SPARK-41222] [SC-116625][connect][PYTHON] Unificar as definições de digitação
• [SPARK-41225] [SC-116623] [CONECTAR] [PYTHON] Desative funções não suportadas.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementar DataFrame.SelectExpr no cliente Python
• [SPARK-41203] [SC-116258] [CONECTAR] Suporte a Dataframe.transform no cliente Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementar DataFrame.__repr__ e DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementar DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migrar o erro ref ambíguo para uma classe de erro
• [SPARK-41122] [SC-116141][connect] Explicar que a API pode suportar diferentes modos
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Melhorar a inferência de tipo PySpark no método _merge_type
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogeneize a versão protobuf no servidor Spark connect para usar a mesma versão principal.
• [SPARK-35531] [SC-116409][sql] Atualize as estatísticas da tabela do hive sem conversão desnecessária
• [SPARK-41154] [SC-116289][sql] Cache de relação incorreta para consultas com especificações de viagem no tempo
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementar DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Renomear UNSUPPORTED_EMPTY_LOCATION para INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Adicionar uma API de extensão para fazer a normalização do plano para cache
• [SPARK-41054] [SC-116447][ui][CORE] Suporte RocksDB como KVStore na interface do usuário em tempo real
• [SPARK-38550] [SC-115223]Reverter "[SQL][core] Use um armazenamento baseado em disco para salvar mais informações de depuração para a interface ativa"
• [SPARK-41173] [SC-116185][sql] Mover require() para fora dos construtores de expressões de cadeia de caracteres
• [SPARK-41188] [SC-116242][core][ML] Definir executorEnv OMP_NUM_THREADS como spark.task.cpus por padrão para processos JVM do executor spark
• [SPARK-41130] [SC-116155][sql] Renomear OUT_OF_DECIMAL_TYPE_RANGE para NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Reduzir a conversão de coleção ao criar AttributeMap
• [SPARK-41139] [SC-115983][sql] Melhorar a classe de erro: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Exigir sombreamento para jar de classe Java, melhorar o tratamento de erros
• [SPARK-40999] [SC-116168] Propagação de indicações para subconsultas
• [SPARK-41017] [SC-116054][sql] Suporte à remoção de coluna com vários filtros não determinísticos
• [SPARK-40834] [SC-114773][sql] Use SparkListenerSQLExecutionEnd para controlar o status final do SQL na interface do usuário
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number deve retornar null quando o formato for null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Ver interface do catálogo
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Evite incorporar o Spark Connect na versão binária do Apache Spark
• [SPARK-41048] [SC-116043][sql] Melhore o particionamento e a ordenação de saída com o cache AQE
• [SPARK-41198] [SC-116256][ss] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
• [SPARK-41199] [SC-116244][ss] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são co-usadas
• [SPARK-40957] [SC-116261][sc-114706] Adicionar cache de memória no HDFSMetadataLog
• [SPARK-40940] Reverter "[SC-115993] Remover verificadores de operadores com vários estados para consultas de streaming."
• [SPARK-41090] [SC-116040][sql] Lançar exceção para db_name.view_name ao criar a exibição temporária pela API de Dataset
• [SPARK-41133] [SC-116085][sql] Integre UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION no NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] 9 Lançamentos de Código
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect construída como plug-in de condutor com dependências sombreadas
• [SPARK-41096] [SC-115812][sql] Suporte para leitura do tipo FIXED_LEN_BYTE_ARRAY em parquet
• [SPARK-41140] [SC-115879][sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_2440 para INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Incompatibilidade entre FileSourceScanExec e Orc e ParquetFileFormat na produção de saída colunar
• [SPARK-41155] [SC-115991][sql] Adicionar mensagem de erro a SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Remova os verificadores de operadores multi-estaduais para consultas em fluxo contínuo.
• [SPARK-41098] [SC-115790][sql] Renomear GROUP_BY_POS_REFERS_AGG_EXPR para GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Migrar as falhas na verificação de tipo na formatação de números para classes de erro
• [SPARK-41059] [SC-115658][sql] Renomear _LEGACY_ERROR_TEMP_2420 para NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Converter DATATYPE_MISMATCH.UNSPECIFIED_FRAME para INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Renomear _LEGACY_ERROR_TEMP_0055 para UNCLOSED_BRACKETED_COMMENT

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.2.2
• Lago Delta: 2.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do CRAN da Microsoft em 2022-11-11.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)