Azure Databricks Runtime 13.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.2, desenvolvido pelo Apache Spark 3.4.0.

O Databricks lançou essa versão em julho de 2023.

Novos recursos e aprimoramentos

• Ponto de verificação do log de alterações para o repositório de estado rocksDB
• Confiabilidade aprimorada para VACUUM com clone superficial no Catálogo do Unity.
• Suporte para UDFs do Python no SQL
• Delta Lake UniForm para Apache Iceberg está em versão prévia pública
• O clustering líquido do Delta Lake está em visualização pública
• Suporte a arquivamento no Azure Databricks
• IDENTIFIER suporte de cláusulas
• Suporte ao Catálogo do Unity para Funções Definidas pelo Usuário (UDFs) Python e Pandas
• Compartilhar esquemas usando o Compartilhamento Delta
• Correções de bug

Ponto de verificação do log de alterações para o repositório de estado RocksDB

Você pode habilitar o ponto de verificação do registro de alterações para reduzir a duração do ponto de verificação e a latência de ponta a ponta para cargas de trabalho de fluxo estruturado com estado. O Databricks recomenda habilitar o ponto de verificação do changelog para todas as consultas com estado de Streaming Estruturado. Confira Habilitar o ponto de verificação do log de alterações.

Confiabilidade aprimorada para VACUUM com o uso de clone raso no Unity Catalog.

Quando você usa tabelas gerenciadas do Catálogo do Unity para a origem e o destino de uma operação de clone superficial, o Catálogo do Unity gerencia os arquivos de dados subjacentes para melhorar a confiabilidade para a origem e o destino da operação de clone. A execução VACUUM na origem de um clone superficial não interrompe a tabela clonada. Consulte Clones superficiais do Vacuum e do Catálogo do Unity.

Suporte para UDFs do Python no SQL

Agora você pode declarar funções definidas pelo usuário usando o Python em instruções SQL CREATE FUNCTION no Catálogo do Unity. Consulte UDFs (funções definidas pelo usuário) no Catálogo do Unity.

Delta Lake UniForm para Apache Iceberg está em versão prévia pública

O Formato Universal do Delta Lake (UniForm) permite ler tabelas Delta com clientes Apache Iceberg. Confira Ler tabelas Delta com clientes do Iceberg.

O clustering líquido do Delta Lake está em pré-visualização pública

O clustering líquido Delta Lake substitui o particionamento de tabelas e ZORDER para simplificar as decisões de layout de dados e otimizar o desempenho da consulta. Consulte Usar clustering líquido para tabelas.

Suporte a arquivamento no Azure Databricks

O suporte a arquivamento no Azure Databricks apresenta uma coleção de recursos que permitem usar políticas de ciclo de vida baseadas em nuvem no armazenamento de objetos de nuvem que contêm tabelas Delta para mover arquivos para camadas de armazenamento de arquivamento. Confira Suporte a arquivamento no Azure Databricks.

IDENTIFIER suporte de cláusula

Use IDENTIFIER(:mytable) para parametrizar com segurança nomes de tabela, coluna, função e esquema em muitas instruções SQL.

Suporte ao Catálogo do Unity para Funções Definidas pelo Usuário (UDFs) Python e Pandas

Na Databricks Runtime 13.2 e posteriores, UDFs (funções definidas pelo usuário) escritas em Python têm suporte em clusters que usam o modo de acesso padrão (antigo modo de acesso compartilhado) em um workspace habilitado para Unity Catalog. Isso inclui UDFs do Python e do Pandas. Para obter detalhes sobre UDFs do Python, consulte Funções escalares definidas pelo usuário – Python.

Compartilhar esquemas usando o Compartilhamento Delta

O Databricks Runtime 13.2 adiciona a capacidade de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name> para compartilhar um esquema inteiro usando o Compartilhamento Delta, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você o compartilha, juntamente com todas as tabelas e exibições adicionadas ao esquema no futuro. Consulte Adicionar esquemas a um compartilhamento e ALTER SHARE.

Correções de bug

• Corrigido um bug com o leitor JSON, em que os registros eram analisados no modo PERMISSIVE se failOnUnknownFieldsmode estava habilitado. Os registros agora são descartados no modo DROPMALFORMEDparser ou são gravados no badRecordsPath, se qualquer uma dessas opções estiver definida. FAILFAST lança um erro se um tipo de coluna não corresponder.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • nodeenv de 1.7.0 a 1.8.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.6.7 a 0.7.0

Apache Spark

O Databricks Runtime 13.2 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-42750] [SC-133452][dbrrm-273] Suporte à instrução Insert By Name
• [SPARK-43133] [SC-133728] Suporte ao Cliente Scala DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][connect][PS] Habilitar SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correção (NullOps|NumOps).(eq|ne) para Spark Connect.
• [SPARK-44021] [SC-134109][sql] Adicionar spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][sql] Remover __auto_generated_subquery_name de IDs em erros
• [SPARK-43976] [SC-133375][core] Manipular o caso em que modifiedConfigs não existe nos logs de eventos
• [SPARK-32559] [SC-133992][sql] Corrigir a lógica de remoção que não lidou com caracteres de controle ASCII corretamente
• [SPARK-43421] [SC-132930][ss] Implementar o ponto de verificação baseado em changelog para o provedor de repositório de estado do RocksDB
• [SPARK-43594] [SC-133851][sql] Adicionar LocalDateTime a anyToMicros
• [SPARK-43884] [SC-133867] Marcadores de parâmetro em DDL
• [SPARK-43398] [SC-133894][core] O tempo limite do Executor deve ser o máximo entre o tempo limite de embaralhamento ocioso e o tempo limite de rdd
• [SPARK-43610] [SC-133892][connect][PS] Habilitar InternalFrame.attach_distributed_column no Spark Connect.
• [SPARK-43971] [SC-133826][connect][PYTHON] Suporte ao createDataFrame do Python em modo de streaming
• [SPARK-44006] [SC-133652][connect][PYTHON] Suporte a artefatos de cache
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Adicionar copyFromLocalToFs API
• [SPARK-43921] [SC-133461][protobuf] Gerar arquivos de descritor protobuf durante a construção
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementar o suporte ao arquivo no SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][python][SS][menor] Correção do tipo Python StreamingQueryProgress rowsPerSecond
• [SPARK-43768] [SC-132398][python][CONNECT] Suporte ao gerenciamento de dependência do Python no Python Spark Connect
• [SPARK-43979] [13.X] Reverter "[SC-133456][sql] CollectedMetrics deve ser tratado como o mesmo para autojunção"
• [SPARK-42290] [SC-133696][sql] Correção do problema de erro OOM que não pode ser relatado quando o AQE está ativado
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Adicionar funções matemáticas sql ao Scala e Python
• [SPARK-43747] [SC-132047][python][CONNECT] Implemente o suporte a pyfile em SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Habilitar TimedeltaOps.(sub|rsub) com o Spark Connect
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Habilitar teste de paridade: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Melhorar os candidatos sugeridos para atributo não resolvido
• [SPARK-43901] [SC-133454][sql] Avro para suportar tipo decimal personalizado suportado por Long
• [SPARK-43267] [SC-133024][jdbc] Tratar uma coluna desconhecida definida pelo usuário em PostgreSQL como uma string em um vetor
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Adicionar funções xpath_* ao Scala e Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Adicionar percentil à API Scala e Python
• [SPARK-43717] [SC-133455][connect] O cliente Scala com redução em agregações não pode lidar com partições nulas para entradas primitivas de Scala
• [SPARK-43984] [SC-133469][sql][PROTOBUF] Alteração para usar foreach quando map não produz resultados
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementar SparkSession.addArtifact(s) no cliente Python
• [SPARK-44002] [SC-133606][conectar] Corrigir o manipulador de status do artefato
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Adicionar funções de agregação de regressão linear a Scala e Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Criar módulo sql/api
• [SPARK-43979] [SC-133456][sql] CollectedMetrics deve ser tratado como o mesmo para auto-junção
• [SPARK-43977] [SC-133373][connect] Corrigir o resultado inesperado da verificação de dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: corrigir bug de enums representados como inteiros
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Adicionar funções unix_* ao Scala e Python
• [SPARK-43807] [SC-132545][sql] Migrar _LEGACY_ERROR_TEMP_1269 para PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][sql] Corrigir o bug que não está exibindo o SQL da coluna para Percentile[Cont|Disc]
• [SPARK-42626] [SC-133248][connect] Adicionar Iterador Destrutivo para SparkResult
• [SPARK-43333] [SC-132898][sql] Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo
• [SPARK-43953] [SC-133134][conectar] Remover pass
• [SPARK-43970] [SC-133403][python][CONNECT] Ocultar métodos de dataframe sem suporte da conclusão automática
• [SPARK-43973] [SC-133272][ss][interface do usuário] A interface do usuário de streaming estruturada deve exibir consultas com falha corretamente
• [SPARK-42577] [SC-125445][core] Adicionar limitação de tentativas máximas para estágios para evitar uma possível repetição infinita
• [SPARK-43841] [SC-132699][sql] Manipular atributos candidatos sem prefixo em StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Acompanhamento] Modificar a versão da configuração de suporte spark.rdd.cache.visibilityTracking.enabled para 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] Migrar classes de erro
• [SPARK-43898] [SC-132926][core] Registrar immutable.ArraySeq$ofRef automaticamente para KryoSerializer no Scala 2.13
• [SPARK-43775] [SC-132891][sql] DataSource V2: Permitir que represente atualizações como exclusões e inserções
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] Suporte userDefinedType em createDataFrame do pandas DataFrame e toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] Adicionar SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][sql] Converter _LEGACY_ERROR_TEMP_0036 para INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][core] Corrigindo a subcontagem do acumulador no caso da tarefa de repetição com cache rdd
• [SPARK-43892] [SC-133006][python] Adicionar suporte de preenchimento automático para df[|] in pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listDatabases
• [SPARK-43205] [CLÁUSULA SC-132623] IDENTIFIER
• [SPARK-43545] [SC-132378][sql][PYTHON] Suporte para tipo de carimbo de data/hora aninhado
• [SPARK-43949] [SC-133048][python] Atualizar cloudpickle para 2.2.1
• [SPARK-43760] [SC-132809][sql] Nullability dos resultados de subconsulta escalar
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Correção TimedeltaOps para Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Preparar o caminho do pacote Go
• [SPARK-43894] [SC-132892][python] Corrigir bug no df.cache()
• [SPARK-43509] [SC-131625][connect] Suporte à criação de várias sessões do Spark Connect
• [SPARK-43882] [SC-132888][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Correção NumOps para Spark Connect
• [SPARK-43604] [SC-132165][sql] Refatorar INVALID_SQL_SYNTAX para evitar incorporar texto de erros no código-fonte
• [SPARK-43859] [SC-132883][sql] Sobrescrever toString em LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listCatalogs
• [SPARK-43353] Reverter "[SC-132734][python] Migrar erros de sessão restantes para a classe de erro"
• [SPARK-43375] [SC-130309][conectar] Melhore as mensagens de erro para INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Remover redundante toSeq de SparkConnectPlanner para Scala 2.13
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Correção DatetimeOps para Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Correção BinaryOps para Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Correção NullOps para Spark Connect
• [SPARK-43782] [SC-132885][core] Suporte para a configuração de nível de registro com configuração estática do Spark
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Cliente Python DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][sql] Adiciona suporte a AES IV e AAD ao ExpressionImplUtils
• [SPARK-43795] [SC-132532][connect] Remover parâmetros não usados para SparkConnectPlanner
• [SPARK-42317] [SC-129194][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] Usar classes de erro nos erros de compilação de ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][core] Remover declarações não utilizados do módulo Core
• [SPARK-43314] [SC-129970][connect][PYTHON] Migrar erros de cliente do Spark Connect para a classe de erro
• [SPARK-43799] [SC-132715][python] Adicionar opção binária de descritor à API do Pyspark Protobuf
• [SPARK-43837] [SC-132678][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP(1254 & 1315)
• [SPARK-43886] [SC-132808][python] Aceitar tuplas genéricas como sugestões de tipagem do Pandas UDF
• [SPARK-43530] [SC-132653][protobuf] Ler arquivo descritor apenas uma vez
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Correção CategoricalOps para Spark Connect
• [SPARK-39979] [SC-132685][sql] Adicionar opção para usar vetores de largura variável grandes para operações UDF de seta
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Correção StringOps para Spark Connect
• [SPARK-43353] [SC-132734][python] Migrar erros de sessão restantes para a classe de erro
• [SPARK-43815] [SC-132781][sql] Adicionar to_varchar alias para to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Corrige o comportamento do MapType aninhado no Pandas UDF
• [SPARK-43361] [SC-131789][protobuf] atualizar a documentação para erros relacionados à serialização de enum
• [SPARK-43740] [SC-132035][python][CONNECT] Remover métodos não suportados session da conclusão automática
• [SPARK-43022] [SC-131681][connect] Suporte a funções protobuf para o cliente Scala
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrar NotImplementedError para PySparkNotImplementedError
• [SPARK-43860] [SC-132713][sql] Habilitar a recursão final sempre que possível
• [SPARK-42421] [SC-132695][core] Use os utils para obter a opção de alocação dinâmica usada no ponto de verificação local
• [SPARK-43590] [SC-132012][conectar] Faça connect-jvm-client-mima-check para dar suporte à verificação mima com protobuf o módulo
• [SPARK-43315] [13.x][connect][PYTHON][ss] Migrar erros restantes do DataFrame(Reader|Writer) em classe de erro
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: permitir serde com enumeração como ints
• [SPARK-43789] [SC-132397][r] Usa 'spark.sql.execution.arrow.maxRecordsPerBatch' em R createDataFrame com Seta por padrão
• [SPARK-43596] [SC-126994][sql] Manipular predicado IsNull em rewriteDomainJoins
• [SPARK-42249] [SC-122565][sql] Aprimoramento do link html para documentação em mensagens de erro.
• [SPARK-43128] [SC-131628][connect][SS] Garantir que recentProgress e lastProgress retornem StreamingQueryProgress de forma consistente com a API Scala nativa.
• [SPARK-43387] [SC-130448][sql] Forneça um código de erro legível humano para _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [interface do usuário] Corrigir erro ao serializar ExecutorPeakMetricsDistributions na resposta à API
• [SPARK-42958] [SC-131475][connect] Refatorar connect-jvm-client-mima-check para dar suporte à verificação mima com módulo avro
• [SPARK-43591] [SC-131977][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][core] Use classes de erro no org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Expor TimestampNTZType em pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] Gerenciar campo missing row.excludedInStages
• [SPARK-42956] [SC-127257][connect] Suporte para funções Avro no cliente Scala
• [SPARK-43487] [SC-131975][sql] Corrigir mensagem de erro de CTE aninhada
• [SPARK-43265] [SC-129653] Mover estrutura de erro para um módulo utils comum
• [SPARK-40912] [SC-131547][núcleo]Sobrecarga de exceções em KryoDeserializationStream
• [SPARK-43583] [SC-131976][core] obter MergedBlockedMetaReqHandler do delegate em vez da instância de SaslRpcHandler
• [SPARK-42996] [SC-131997][connect][PS][ml] Criar e atribuir tíquetes JIRA adequados para todos os testes com falha.
• [SPARK-38469] [SC-131425][core] Use a classe de erro em org.apache.spark.network
• [SPARK-43718] [SC-132014][sql] Definir corretamente a nulabilidade para chaves em junções USING
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop deve aceitar coluna vazia
• [SPARK-43743] [SC-132038][sql] Portar HIVE-12188(DoAs não funciona corretamente em HS2 sem proteção Kerberos)
• [SPARK-43598] [SC-131929][sql] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Corrigir ClassNotFoundException durante a migração
• [SPARK-43360] [SC-131526][ss][CONNECT] Cliente Scala StreamingQueryManager
• [SPARK-38467] [SC-131025][core] Use classes de erro em org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Renomear as classes de erro LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] A eliminação de subexpressão dá suporte à expressão de atalho
• [SPARK-38462] [SC-130449][core] Adicionar classe de erro INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] Correção cannotBroadcastTableOverMaxTableBytesError para usar bytesToString
• [SPARK-43539] [SC-131830][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] Clonar plano armazenado em cache inMemoryRelation para impedir que o plano clonado faça referência aos mesmos objetos
• [SPARK-43309] [SC-129746][spark-38461][CORE] Estender INTERNAL_ERROR com categorias e adicionar classe de erro INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Corrigir que o gravador simultâneo não atualiza as métricas do arquivo
• [SPARK-43383] [SC-130660][sql] Adicionar rowCount estatísticas ao LocalRelation
• [SPARK-43574] [SC-131739][python][SQL] Suporte para definir executável python para APIs de função UDF e pandas em trabalhos durante o runtime
• [SPARK-43569] [SC-131694][sql] Remover solução alternativa para HADOOP-14067
• [SPARK-43183] [SC-128938][ss][13.x] Introduza um novo callback "onQueryIdle" para StreamingQueryListener
• [SPARK-43528] [SC-131531][sql][PYTHON] Suportar nomes de campo duplicados em createDataFrame com pandas DataFrame
• [SPARK-43548] [SC-131686][ss] Remover solução alternativa para HADOOP-16255
• [SPARK-43494] [SC-131272][core] Chamar replicate() para HdfsDataOutputStreamBuilder diretamente em vez de usar reflexão em SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][core] Lidar com propriedades ausentes do Hadoop e métricas.
• [SPARK-42899] [SC-126456][sql] Corrigir DataFrame.to(esquema) para tratar o caso em que há um campo aninhado não anulável dentro de um campo anulável
• [SPARK-43302] [SC-129747][sql] Tornar Python UDAF uma AggregateFunction
• [SPARK-43223] [SC-131270][connect] agregação tipada, funções de redução, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] Expandir QueryTerminatedEvent para conter a classe de erro se ela existir em exceção
• [SPARK-43359] [SC-131463][sql] A exclusão da tabela Hive deve gerar "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Voltar para cadeias de caracteres codificadas em URL
• [SPARK-43492] [SC-131227][sql] Adicionar apelidos para funções de 3 argumentos DATE_ADD e DATE_DIFF
• [SPARK-43473] [SC-131372][python] Suporte ao tipo de struct em createDataFrame do Pandas DataFrame
• [SPARK-43386] [SC-131110][sql] Melhorar a lista de colunas/atributos sugeridos na UNRESOLVED_COLUMN.WITH_SUGGESTION classe de erro
• [SPARK-43443] [SC-131332][sql] Adicionar benchmark para inferência de tipo de Timestamp ao utilizar um valor inválido
• [SPARK-43518] [SC-131420][sql] Converter _LEGACY_ERROR_TEMP_2029 em INTERNAL_ERROR
• [SPARK-42604] [SC-130648][connect] Implementar functions.typedlit
• [SPARK-42323] [ES-669513] Reverter “[SC-123479][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2332”
• [SPARK-43357] [SC-130649][sql] Data de cotação do tipo de data do filtro
• [SPARK-43410] [SC-130526][sql] Aperfeiçoar o loop vetorizado para valores de skip empacotados
• [SPARK-43441] [SC-130995][core] makeDotNode não deve falhar quando DeterministicLevel está ausente
• [SPARK-43324] [SC-130455][sql] Manipular UPDATE comandos para fontes baseadas em delta
• [SPARK-43272] [SC-131168][núcleo] Chamar createFile diretamente em vez de reflexão
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migrar erros de sessão do Spark Connect para a classe de erro
• [SPARK-43405] [SC-130987][sql] Remover método inútil getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL
• [SPARK-43447] [SC-131017][r] Suporte R 4.3.0
• [SPARK-43425] [SC-130981][sql] Adicionar TimestampNTZType a ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação de operações que envolvem vários quadros de dados
• [SPARK-43262] [SC-129270][connect][SS][python] Migrar erros de streaming estruturado do Spark Connect para a classe de erro
• [SPARK-42992] [13.x][sc-129465][PYTHON] Introdução PySparkRuntimeError
• [SPARK-43422] [SC-130982][sql] Manter tags em LogicalRelation com saída de metadados
• [SPARK-43390] [SC-130646][sql] DSv2 permite que CTAS/RTAS reservem nulidade de esquema
• [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest dá suporte a opções arbitrárias de solicitação.
• [SPARK-43313] [SC-130254][sql] Adicionando valores padrão ausentes de coluna para ações MERGE INSERT
• [SPARK-42842] [SC-130438][sql] Mesclar a classe de erro _LEGACY_ERROR_TEMP_2006 em REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Habilitar spark.sql.thriftServer.interruptOnCancel por padrão
• [SPARK-43292] [SC-130525][core][CONNECT] Mover ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Melhorar o suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-43343] [SC-130629][ss] FileStreamSource deve desabilitar uma verificação adicional de padrões de arquivo ao criar o DataSource.
• [SPARK-43312] [SC-130294][protobuf] Opção para converter todos os campos em JSON
• [SPARK-43404] [SC-130586][ss] Ignorar a reutilização do arquivo sst para a mesma versão do repositório de estado do RocksDB para evitar erro de incompatibilidade de ID
• [SPARK-43397] [SC-130614][core] Logar a duração da desativação do executor no método executorLost
• [SPARK-42388] [SC-128568][sql] Evite ler o rodapé de arquivo parquet duas vezes no leitor de formato vetorizado
• [SPARK-43306] [13.x][sc-130320][PYTHON] Migrar ValueError de tipos SQL do Spark para classe de erro.
• [SPARK-43337] [SC-130353][ui][3.4] Ícones de setas de ordem crescente/decrescente para a ordenação da coluna não são exibidos na coluna da tabela.
• [SPARK-43279] [SC-130351][core] Limpeza de membros não utilizados SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Substitua a classe _LEGACY_ERROR_TEMP_2014 de erro por um erro interno
• [SPARK-43363] [SC-130299][sql][PYTHON] Faça para chamar astype o tipo de categoria somente quando o tipo de seta não for fornecido
• [SPARK-43261] [SC-130154][python] Migrar TypeError de tipos SQL do Spark para a classe de erro
• [SPARK-41971] [SC-130230][sql][PYTHON] Adicionar uma configuração para lidar com tipos de struct na conversão do pandas
• [SPARK-43381] [SC-130464][connect] Tornar 'transformStatCov' preguiçoso
• [SPARK-43362] [SC-130481][sql] Tratamento especial do tipo JSON para o conector MySQL
• [SPARK-42843] [SC-130196][sql] Atualize a classe de erro _LEGACY_ERROR_TEMP_2007 para REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] Streaming de relações locais
• [SPARK-43181] [SC-130476][sql] Mostrar WebURL da interface do usuário no terminalspark-sql
• [SPARK-43051] [SC-130194][connect] Adicionar opção para emitir valores padrão
• [SPARK-43204] [SC-129296][sql] Alinhar atribuições MERGE com atributos de tabela
• [SPARK-43348] [SC-130082][python] Suporte Python 3.8 no PyPy3
• [SPARK-42845] [SC-130078][sql] Atualizar a classe de erro _LEGACY_ERROR_TEMP_2010 para InternalError
• [SPARK-43211] [SC-128978][hive] Remover suporte do Hadoop2 no IsolatedClientLoader

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)