Databricks Runtime 12.1 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 12.1 da plataforma Apache Spark 3.3.1.

O Databricks lançou essa versão em janeiro de 2023.

Novos recursos e aprimoramentos

• Recursos de tabela do Delta Lake com suporte para gerenciamento de protocolo
• A E/S preditiva para atualizações está em visualização pública
• O Explorador de Catalogo agora está disponível para todas as personas
• Suporte para vários operadores com estado em uma única consulta de streaming
• O suporte para buffers de protocolo está em Visualização Pública
• Suporte para autenticação do Registro de Esquema Confluent
• Suporte para compartilhar o histórico de tabelas com compartilhamentos Delta Sharing
• Suporte para streaming com compartilhamentos Delta Sharing
• Agora há suporte para a versão de tabela que usa carimbo de data/hora do Delta Sharing em catálogos
• Suporte para WHEN NOT MATCHED BY SOURCE para MERGE INTO
• Coleção de estatísticas otimizadas para CONVERT TO DELTA
• Suporte do Catálogo do Unity para desfazer a exclusão de tabelas

Recursos de tabela do Delta Lake com suporte para gerenciamento de protocolo

O Azure Databricks introduziu suporte para recursos de tabela do Delta Lake, que introduzem sinalizadores granulares especificando quais recursos têm suporte em determinada tabela. Consulte a compatibilidade de recursos e protocolos do Delta Lake.

A E/S preditiva para atualizações está em visualização pública

A E/S preditiva agora acelera as operações DELETE, MERGE e UPDATE para tabelas Delta com vetores de exclusão habilitados na computação habilitada para Photon. Confira O que é E/S preditiva?.

O Explorador de Catalogo agora está disponível para todas as personas

O Gerenciador de Catálogos agora está disponível para todas as personas do Azure Databricks ao usar o Databricks Runtime 7.3 LTS e superior.

Suporte para vários operadores com estado em uma única consulta de streaming

Os usuários agora podem encadear operadores com estado com o modo de acréscimo na consulta de streaming. Nem todos os operadores têm suporte total. A junção de intervalo de tempo no fluxo para fluxo e flatMapGroupsWithState não permite que outros operadores com estado sejam encadeados.

O suporte para buffers de protocolo está em Visualização Pública

Você pode usar as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e struct. Confira Ler e gravar buffers de protocolo.

Suporte para autenticação do Registro de Esquema Confluent

A integração do Azure Databricks com o Registro de Esquema do Confluent agora dá suporte a endereços externos de registro de esquema com autenticação. Esse recurso está disponível para as funções from_avro, to_avro, from_protobuf e to_protobuf. Consulte Protobuf ou Avro.

Suporte para compartilhar o histórico de tabelas com compartilhamentos Delta Sharing

Agora você pode compartilhar uma tabela com histórico completo usando o Delta Sharing, permitindo que os destinatários executem consultas de viagem no tempo e consultem a tabela usando o Streaming Estruturado do Spark. WITH HISTORY é recomendado em vez de CHANGE DATA FEED, embora o último continue com suporte. Confira ALTER SHARE e Adicionar tabelas a um compartilhamento.

Suporte para streaming com compartilhamentos Delta Sharing

O Fluxo Estruturado do Spark agora funciona com o formato deltasharing em uma tabela do Delta Sharing de origem que foi compartilhada usando WITH HISTORY.

Agora há suporte para a versão de tabela que usa carimbo de data/hora do Delta Sharing em catálogos

Agora você pode usar a sintaxe SQL TIMESTAMP AS OF nas instruções SELECT para especificar a versão de uma tabela Delta Sharing montada em um catálogo. As tabelas devem ser compartilhadas usando WITH HISTORY.

Suporte para WHEN NOT MATCHED BY SOURCE para MERGE INTO

Agora você pode adicionar WHEN NOT MATCHED BY SOURCE cláusulas a MERGE INTO a fim de atualizar ou excluir linhas na tabela escolhida que não têm correspondências na tabela de origem segundo a condição de mesclagem. A nova cláusula está disponível em SQL, Python, Scala e Java. Consulte MERGE INTO.

Coleção de estatísticas otimizadas para CONVERT TO DELTA

A coleta de estatísticas para a operação CONVERT TO DELTA agora está muito mais rápida. Isso reduz o número de cargas de trabalho que podem usar NO STATISTICS para aumentar a eficiência.

Suporte do Catálogo do Unity para desfazer a exclusão de tabelas

Esse recurso foi inicialmente lançado na Versão Prévia Pública. Ele está em disponibilidade geral a partir de 25 de outubro de 2023.

Agora você pode soltar uma tabela gerenciada ou externa removida em um esquema existente dentro de sete dias após a remoção. Consulte UNDROP e SHOW TABLES DROPPED.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • filelock de 3.8.0 para 3.8.2
  • platformdirs de 2.5.4 para 2.6.0
  • setuptools de 58.0.4 para 61.2.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.5.2 para 0.6.2
  • org.apache.hive.hive-storage-api de 2.7.2 para 2.8.1
  • org.apache.parquet.parquet-column de 1.12.3-databricks-0001 para 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common de 1.12.3-databricks-0001 para 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding de 1.12.3-databricks-0001 para 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures de 1.12.3-databricks-0001 para 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop de 1.12.3-databricks-0001 para 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson de 1.12.3-databricks-0001 para 1.12.3-databricks-0002
  • org.tukaani.xz de 1.8 para 1.9

Apache Spark

O Databricks Runtime 12.1 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 12.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-41405] [SC-119769][12.1.0] Revert “[SC-119411][sql] Centralizar a lógica de resolução de colunas” e “[SC-117170][spark-41338][SQL] Resolver referências externas e colunas normais no mesmo lote do analisador”
• [SPARK-41405] [SC-119411][sql] Centralizar a lógica de resolução de coluna
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand deve definir o sinalizador de substituição corretamente
• [SPARK-41659] [SC-119526][connect][12.X] Habilitar doctests em pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Corrigir regressão de desempenho do leitor ORC devido ao recurso de valor padrão
• [SPARK-41807] [SC-119399][core] Remover classe de erro inexistente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Extrair nomes de uma lista de dicionários em SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Mover a documentação do Spark Connect e o script para dev/ e para a documentação do Python
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Configurar módulo de cliente inicial para o Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] A página de estágios da interface do usuário falha ao carregar para o proxy em um ambiente específico do Yarn
• [SPARK-41481] [SC-118150][core][SQL] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Revisitar o tratamento de expressões com estado
• [SPARK-41726] [SC-119248][sql] Remove OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Suporte a consultas SQL parametrizadas por sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Implementar DataFrame.sampleBy e DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][todos os testes] Efetuar pull da gravação v1 para WriteFiles
• [SPARK-41565] [SC-118868][sql] Adicionar a classe de erro UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] A função DECODE retorna resultados incorretos quando passado NULL
• [SPARK-41554] [SC-119274] correção da alteração da escala decimal quando a escala diminuiu em m…
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementação de DataFrame.freqItems e DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Reativar testes de documentação e adicionar alias de coluna ausente para count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Implementar DataFrame.approxQuantile e DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Fazer a função from_json dar suporte ao esquema DataType
• [SPARK-41804] [SC-119382][sql] Escolha o tamanho do elemento correto para InterpretedUnsafeProjection matriz de UDTs
• [SPARK-41786] [SC-119308][connect][PYTHON] Desduplicar funções auxiliares
• [SPARK-41745] [SC-119378][spark-41789][12.X] Fazer com que createDataFrame suporte uma lista de linhas
• [SPARK-41344] [SC-119217][sql] Tornar o erro mais claro quando a tabela não encontrada no catálogo SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Adicionar função ausente log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Tornar funções JSON compatíveis com opções
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Faça __getitem__ o filtro de suporte e selecione
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Fazer suporte de operação de coluna Nenhum
• [SPARK-41440] [SC-119279][connect][PYTHON] Evite o operador de cache para exemplo geral.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implementar GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Suporte para extensões de protocolo em relação e expressão
• [SPARK-41417] [SC-118000][core][SQL] Renomear _LEGACY_ERROR_TEMP_0019 para INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Tratamento de Erros Adequado para Cliente/Servidor do Spark Connect
• [SPARK-41292] [SC-119357][connect][12.X] Janela de suporte no namespace pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Fazer opções de suporte a funções csv
• [SPARK-39591] [SC-118675][ss] Acompanhamento de progresso assíncrono
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implementar Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implementar DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Habilitar doctests em pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Misturar ClientId no cache de SparkSession
• [SPARK-41354] [SC-119194][connect] Adicionar RepartitionByExpression ao proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Adicionar elemento ausente __rmod__ em Coluna
• [SPARK-41778] [SC-119262][sql] Adicionar um alias "reduce" a ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementar DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Tornar o nome da operação de string interna consistente com FunctionRegistry
• [SPARK-41734] [SC-119160][conectar] Adicionar uma mensagem principal para Catálogo
• [SPARK-41742] [SC-119263] Suporte a df.groupBy().agg({“*”:”count”})
• [SPARK-41761] [SC-119213][connect][PYTHON] Corrigir operações aritméticas: __neg__, , __pow____rpow__
• [SPARK-41062] [SC-118182][sql] Renomear UNSUPPORTED_CORRELATED_REFERENCE para CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Correção Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Implementar unwrap_udt função
• [SPARK-41333] [SC-119195][spark-41737] Implementar GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Correção Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Suporte à resolução implícita de alias de coluna lateral em agregações
• [SPARK-41529] [SC-119207][connect][12.X] Implementar SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Renomear _LEGACY_ERROR_TEMP_0011 para UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Deduplicar impressão e repr_html no LogicalPlan
• [SPARK-41740] [SC-119169][connect][Python] Implementar Column.name
• [SPARK-41733] [SC-119163][sql][SS] Aplicar poda baseada em padrão de árvore para a regra ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
• [SPARK-41498] [SC-119018] Propagar metadados por meio de União
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementar o acessador de coluna
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types deve dar suporte ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementar format_number função
• [SPARK-41707] [SC-119141][connect][12.X] Implementar a API de Catálogo no Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementar Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]Função de alta ordem: implementação de array_compact
• [SPARK-41518] [SC-118453][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implementar sequence função
• [SPARK-41703] [SC-119060][connect][PYTHON] Combine NullType e typed_null em Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Implementar 3 funções de janela de tempo ausentes
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementar funções de transformação de partição
• [SPARK-41413] [SC-118968][sql] Evite redistribuir dados na Junção Storage-Partitioned quando as chaves de partição não corresponderem, mas as expressões de junção são compatíveis.
• [SPARK-41700] [SC-119046][connect][PYTHON] Remove FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types deve dar suporte MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Adicionar operações inválidas de coluna
• [SPARK-41660] [SC-118866][sql] Somente propagar colunas de metadados se forem usadas
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Implementar um acumulador para coletar métricas de contagem de linhas por mapeador
• [SPARK-41647] [SC-119064][connect][12.X] Desduplicar docstrings em pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Implementar suporte à operação de coluna
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementar rollup, cube e pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Remover duplicatas nas docstrings em pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Mover expressões para expressions.py
• [SPARK-41687] [SC-118949][connect] Remover duplicatas de docstrings em pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Desduplicar docstrings em pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Extrair GroupedData para group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementar Window funções
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Suporte à operação Make Column datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Habilitar as funções preteridas
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementar Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementar função broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Eliminação de duplicação de docstrings em pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Remover duplicação de docstrings em pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Deduplicar docstrings em pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implementar o restante das funções lambda
• [SPARK-41441] [SC-118557][sql] Suportar geração sem saída obrigatória de filho para incorporar referências externas
• [SPARK-41669] [SC-118923][sql] Poda antecipada na função canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Remover ScalaReflectionLock de SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementar DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Implementação inicial LambdaFunction
• [SPARK-41539] [SC-118802][sql] Remapear estatísticas e restrições contra a saída no plano lógico para LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Verificações de suporte e recursão do campo OneOf
• [SPARK-41528] [SC-118769][connect][12.X] Mesclar namespace do Spark Connect e da API do PySpark
• [SPARK-41568] [SC-118715][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementar DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Adicionar Spark Connect e protobuf em setup.py com a especificação de dependências
• [SPARK-27561] [SC-101081][12.x][SQL] Suporte à resolução implícita de alias de coluna lateral no Projeto
• [SPARK-41535] [SC-118645][sql] Definir nulo corretamente para campos de intervalo de calendário em InterpretedUnsafeProjection e InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Suporte à função interna de mascaramento de dados 'mask'
• [SPARK-41520] [SC-118440][sql] Dividir AND_OR TreePattern para separar AND e OR TreePatterns
• [SPARK-41349] [SC-118668][connect][PYTHON] Implementar DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types deve dar suporte a StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Mover SortOrder proto de relações para expressões
• [SPARK-41387] [SC-118450][ss] Declarar deslocamento final atual da fonte de dados kafka para Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Renomear _LEGACY_ERROR_TEMP_1180 para UNEXPECTED_INPUT_TYPE e remover _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implementar Coluna. {quando, caso contrário} e Função when com UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Corrigir chamada ao método filho errado em SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementar DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Adicionar "spark.sql.json.enablePartialResults" para habilitar/desabilitar resultados parciais JSON
• [SPARK-41437] Reverter "[SC-117601][sql] Não otimize o inputquery duas vezes para fallback de gravação v1"
• [SPARK-41472] [SC-118352][connect][PYTHON] Implementar o restante das funções de cadeia de caracteres/binárias
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementar Column.isin
• [SPARK-32170] [SC-118384] [CORE] Melhorar a especulação por meio das métricas da tarefa de preparo.
• [SPARK-41524] [SC-118399][ss] Diferenciar SQLConf e extraOptions em StateStoreConf para seu uso no RocksDBConf
• [SPARK-41465] [SC-118381][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap com suporte a ignorarChaveDuplicada
• [SPARK-41409] [SC-118302][core][SQL] Renomear _LEGACY_ERROR_TEMP_1043 para WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementar DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Não otimize a consulta de entrada duas vezes para fallback de gravação v1
• [SPARK-41314] [SC-117172][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refatorar LiteralExpression para dar suporte a DataType
• [SPARK-41448] [SC-118046] Tornar IDs de trabalho de MR consistentes em FileBatchWriter e FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Melhorar o desempenho de try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementar collection funções: P~Z
• [SPARK-41478] [SC-118167][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Refatorar a mensagem de erro de NUM_COLUMNS_MISMATCH de modo a torná-la mais genérica
• [SPARK-41404] [SC-118016][sql] Refatorar ColumnVectorUtils#toBatch para tornar o teste de ColumnarBatchSuite#testRandomRows mais primitivo quanto ao tipo de dado
• [SPARK-41468] [SC-118044][sql] Corrigir manipulação de PlanExpression em EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Corrigir entradas de descrição duplicadas para varreduras de arquivo V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementar funções MISC
• [SPARK-41459] [SC-118005][sql] corrigir a saída do log de operação do servidor Thrift que está vazia
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection deve usar setDecimal para definir valores nulos para decimais em uma linha não segura
• [SPARK-41376] [SC-117840][core][3.3] Corrigir a lógica de verificação Netty preferDirectBufs no início do executor
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementar collection funções: E~M
• [SPARK-41389] [SC-117426][core][SQL] Reutilizar WRONG_NUM_ARGS em vez de _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Tipo de data e carimbo de data/hora pode ser convertido em TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Mudar para chamar invalidFunctionArgumentsError para curdate() quando expressions não estiver vazio
• [SPARK-41187] [SC-118030][core] Vazamento de Memória no LiveExecutor em AppStatusListener quando ExecutorLost ocorre
• [SPARK-41360] [SC-118083][core] Evite o re-registro do BlockManager se o executor tiver sido perdido
• [SPARK-41378] [SC-117686][sql] Suporte para estatísticas de coluna no DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Sobrescrever prettyName de StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementar funções de data/timestamp
• [SPARK-41329] [SC-117975][conectar] Resolver importações circulares no Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Inferir corretamente o tipo de dados de inteiros literais
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Criar createDataFrame esquema de suporte e mais tipos de conjunto de dados de entrada
• [SPARK-41475] [SC-117997][connect] Corrigir erro no comando lint-scala e erro de digitação
• [SPARK-38277] [SC-117799][ss] Limpar o lote de gravação após a confirmação do repositório de estado RocksDB
• [SPARK-41375] [SC-117801][ss] Evitar o KafkaSourceOffset mais recente que esteja vazio
• [SPARK-41412] [SC-118015][conectar] Implementar Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementar DataFrame.melt e DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Refatorar testes relacionados à coluna para "test_connect_column"
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] A coluna deve dar suporte ao operador !=
• [SPARK-40697] [SC-117806][sc-112787][SQL] Adicionar preenchimento de caracteres na leitura para cobrir arquivos de dados externos
• [SPARK-41349] [SC-117594][connect][12.X] Implementar DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Resolver referências externas e colunas normais no mesmo batch do analisador
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementar collection funções: A~C
• [SPARK-41445] [SC-117802][connect] Implementar DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char deve retornar nulo quando o formato for nulo
• [SPARK-41444] [SC-117796][connect] Suporte read.json()
• [SPARK-41398] [SC-117508][sql] Relaxe as restrições em Storage-Partitioned Ingressar quando as chaves de partição após a filtragem de runtime não corresponderem
• [SPARK-41228] [SC-117169][sql] Renomear e melhorar a mensagem de erro para COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementar count_distinct e sum_distinct funções
• [SPARK-41433] [SC-117596][connect] Tornar configurável o tamanho de lote máximo do Arrow
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementar parte das funções de strings e binários
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementar função product
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementar DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() deve ser compatível
• [SPARK-41369] [SC-117584][connect] Adicionar conexão comum ao jar sombreado dos servidores
• [SPARK-41411] [SC-117562][ss] Correção de bug no suporte de marca d'água para operadores com vários estados
• [SPARK-41176] [SC-116630][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementar funções de agregação
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementar funções normais
• [SPARK-41305] [SC-117411][connect] Aprimorar a documentação do comando proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Implementar "TempView" do DataFrame
• [SPARK-41379] [SC-117420][ss][PYTHON] Forneça uma sessão Spark clonada no DataFrame na função do usuário para o sink foreachBatch no PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Renomear CAST_WITH_FUN_SUGGESTION para CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refatorar o método ColumnVectorUtils#populate para usar PhysicalDataType em vez de DataType
• [SPARK-41355] [SC-117423][sql] Solução alternativa para problema de validação do nome da tabela hive
• [SPARK-41390] [SC-117429][sql] Atualizar o script usado para gerar register função em UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_1233 de erro para COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementar funções matemáticas
• [SPARK-40970] [SC-117308][connect][PYTHON] Suporte a Lista[Coluna] para o argumento on do Join
• [SPARK-41345] [SC-117178][connect] Adicionar Dica para Conectar Proto
• [SPARK-41226] [SC-117194][sql][12.x] Refatorar tipos spark introduzindo tipos físicos
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Adicionar suporte básico para DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Adicionar conversão ao protocolo de expressão
• [SPARK-41323] [SC-117128][sql] Suporte para current_schema
• [SPARK-41339] [SC-117171][sql] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementar união cruzada de DataFrame
• [SPARK-41346] [SC-117176][connect][PYTHON] Implementar asc e desc funções
• [SPARK-41343] [SC-117166][connect] Mover análise do FunctionName para o lado do servidor
• [SPARK-41321] [SC-117163][connect] Campo de destino de suporte para o UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Reutilizar a classe UNSUPPORTED_DATATYPE de erro para _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Reutilizar INVALID_SCHEMA.NON_STRING_LITERAL em vez de _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Otimizar o uso do construtor de StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Dar suporte a IsNull e IsNotNull em Coluna
• [SPARK-41332] [SC-117131][connect][PYTHON] Correção nullOrdering em SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Correção da ausência de avg() para GroupBy no DF
• [SPARK-41327] [SC-117137][core] Correção de SparkStatusTracker.getExecutorInfos por alternância de informações de memória de armazenamento fora do heap.
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementar DataFrame.replace e DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Adicionar API lógica e de cadeia de caracteres à Coluna
• [SPARK-41331] [SC-117127][connect][PYTHON] Adicionar orderBy e drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal deve garantir que o bloqueio seja desbloqueado normalmente
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Refatorar "Column" para compatibilidade com API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Implementar DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Adicionar a classe de erro INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Reutilizar INVALID_SCHEMA em vez de _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Converter instâncias NumPy em tipos primitivos Python durante a atualização do GroupState
• [SPARK-41174] [SC-116609][core][SQL] Transmitir uma classe de erro aos usuários para format inválido de to_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Ampliar suporte literal para mais tipos de dados
• [SPARK-41326] [SC-116972] [CONNECT] A correção da eliminação de duplicação não tem entrada
• [SPARK-41316] [SC-116900][sql] Habilitar a recursão final sempre que possível
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Suporte a expressões de cadeia de caracteres no filtro.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implementar DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrar os erros de opções de mapa para classes de erro
• [SPARK-40940] [SC-115993][12.x] Remover verificadores de operador com vários estados para fluxos de consultas.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implementar DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti não atualiza numOutputRows quando o codegen está desabilitado
• [SPARK-41148] [SC-116878][connect][PYTHON] Implementar DataFrame.dropna e DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Adicionar a classe de erro FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Aprimorar DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Homogeneizar o comportamento para SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Aprimorar a documentação do Protocolo de Expressão do Connect
• [SPARK-41280] [SC-116733][connect] Implementar DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] O esquema não definido é interpretado como Esquema
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Renomear RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas não deve retornar dataframe do Pandas opcional
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain deve imprimir e retornar None
• [SPARK-41278] [SC-116732][connect] Remover QualifiedAttribute não utilizado em Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Remover base de conversão de coleção redundante no código Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Corrigir problema para applyInPandasWithState quando as colunas de chaves de agrupamento não são colocadas em ordem desde o início
• [SPARK-40872] [SC-116717][3.3] Fallback no bloco de ordem aleatória original quando uma parte da ordem aleatória mesclada por push tem tamanho zero
• [SPARK-41114] [SC-116628][connect] Suporte a dados locais para LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Suporte a mais tipos de dados embutidos
• [SPARK-41230] [SC-116674][connect][PYTHON] Remover str do tipo de expressão Agregada
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Implementação otimizada de coleta baseada em Arrow para fazer streaming do servidor para o cliente
• [SPARK-41222] [SC-116625][connect][PYTHON] Unificar as definições de digitação
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Desabilitar funções sem suporte.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementar no cliente de Python
• [SPARK-41203] [SC-116258] [CONNECT] Suporte a Dataframe.tansform no cliente Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementar DataFrame.__repr__ e DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementar DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Migrar o erro ref ambíguo para uma classe de erro
• [SPARK-41122] [SC-116141][connect] A API de explicação pode oferecer suporte a diferentes modos
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Melhorar a inferência de tipo do PySpark no método _merge_type
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogênee a versão do protobuf no servidor de conexão spark para usar a mesma versão principal.
• [SPARK-35531] [SC-116409][sql] Atualizar estatísticas da tabela hive sem conversão desnecessária
• [SPARK-41154] [SC-116289][sql] Cache de relação incorreto para consultas com especificação de viagem no tempo
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementar DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Renomear UNSUPPORTED_EMPTY_LOCATION para INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Adicionar uma API de extensão para fazer a normalização do plano para cache
• [SPARK-41054] [SC-116447][ui][CORE] Suporte a RocksDB como KVStore na interface do usuário dinâmica
• [SPARK-38550] [SC-115223]Reverter "[SQL][core] Usar um repositório baseado em disco para salvar mais informações de depuração para interface do usuário dinâmica"
• [SPARK-41173] [SC-116185][sql] Mova require() para fora dos construtores de expressões de cadeia de caracteres
• [SPARK-41188] [SC-116242][core][ML] Definir executorEnv OMP_NUM_THREADS como spark.task.cpus por padrão para processos JVM do executor do Spark
• [SPARK-41130] [SC-116155][sql] Renomear OUT_OF_DECIMAL_TYPE_RANGE para NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Reduzir a conversão de coleção ao criar AttributeMap
• [SPARK-41139] [SC-115983][sql] Melhorar a classe de erro: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Exigir sombreamento para jar de classe Java, melhorar o tratamento de erros
• [SPARK-40999] [SC-116168] Propagação de dica para subconsultas
• [SPARK-41017] [SC-116054][sql] Suporte à poda de coluna com vários filtros não determinísticos
• [SPARK-40834] [SC-114773][sql] Use SparkListenerSQLExecutionEnd para acompanhar o status final do SQL na interface do usuário
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number deve retornar null quando o formato for null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Exibir interface do catálogo
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Evite inserir o Spark Connect na versão binária do Apache Spark
• [SPARK-41048] [SC-116043][sql] Melhorar o particionamento de saída e a ordenação com o cache do AQE
• [SPARK-41198] [SC-116256][ss] Corrigir métricas na consulta de streaming com fonte de streaming CTE e DSv1
• [SPARK-41199] [SC-116244][ss] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são coutilizados
• [SPARK-40957] [SC-116261][sc-114706] Adicionar cache de memória no HDFSMetadataLog
• [SPARK-40940] Reverter "[SC-115993] Remover verificadores de operador com vários estados para fluxos de consultas".
• [SPARK-41090] [SC-116040][sql] Gerar exceção para db_name.view_name ao criar exibição temporária pela API do conjunto de dados
• [SPARK-41133] [SC-116085][sql] Integrar em UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONNUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Descarte de código 9 commits
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Compilação do Spark Connect como plug-in de driver com dependências sombreadas
• [SPARK-41096] [SC-115812][sql] Suporte para leitura de tipos parquet FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Renomear a classe _LEGACY_ERROR_TEMP_2440 de erro para INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Incompatibilidade entre FileSourceScanExec e Orc e ParquetFileFormat na produção de saída columnar
• [SPARK-41155] [SC-115991][sql] Adicionar mensagem de erro a SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Remover verificadores de operador com vários estados para fluxos de consultas.
• [SPARK-41098] [SC-115790][sql] Renomear GROUP_BY_POS_REFERS_AGG_EXPR para GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Migrar falhas de formatação de número causadas por verificação de tipo para classes de erro
• [SPARK-41059] [SC-115658][sql] Renomear _LEGACY_ERROR_TEMP_2420 para NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Converter DATATYPE_MISMATCH.UNSPECIFIED_FRAME para INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Renomear _LEGACY_ERROR_TEMP_0055 para UNCLOSED_BRACKETED_COMMENT

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 12.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 11/11/2022.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)