Tempo de execução do Databricks 13.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.1, alimentado pelo Apache Spark 3.4.0.

A Databricks lançou esta versão em maio de 2023.

Novos recursos e melhorias

• Suporte de cluster para JDK 17 (visualização pública)
• Adicionar, alterar ou excluir dados em tabelas de streaming
• Leia Kafka com SQL
• Novas funções internas do SQL
• Suporte do Unity Catalog para bibliotecas Python com escopo de cluster
• Ativação padrão expandida para gravações otimizadas no Unity Catalog
• Suporte avançado para operadores com monitoração de estado em cargas de trabalho de Streaming estruturado
• O clone Delta para o Unity Catalog está em visualização pública
• Suporte Pub/Sub para Streaming Estruturado
• Soltar duplicatas dentro de marcas d'água no Streaming estruturado
• Expansão do suporte para conversões Delta de tabelas Apache Iceberg com colunas de partição truncadas
• Alterações de esquema de fluxo com mapeamento de coluna no Delta Lake
• Remover START VERSION
• Novas expressões H3 disponíveis com Python

Suporte de cluster para JDK 17 (visualização pública)

O Databricks agora fornece suporte a cluster para Java Development Kit (JDK) 17. Consulte Databricks SDK para Java.

Adicionar, alterar ou excluir dados em tabelas de streaming

Agora você pode usar instruções DML para modificar tabelas de streaming publicadas no Unity Catalog pelo Lakeflow Spark Declarative Pipelines. Consulte Adicionar, alterar ou excluir dados em uma tabela de streaming e Adicionar, alterar ou excluir dados em uma tabela de streaming de destino. Você também pode usar instruções DML para modificar tabelas de streaming criadas no Databricks SQL.

Leia Kafka com SQL

Agora você pode usar a read_kafka função SQL para ler dados Kafka. O streaming com SQL é suportado apenas em DLT ou com tabelas de streaming em Databricks SQL. Consulte read_kafka função de valor de tabela.

Novas funções internas do SQL

Foram adicionadas as seguintes funções:

• array_prepend(array, elem) Devoluções array precedidas por elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Descriptografa um binário produzido usando criptografia AES e retorna NULL se houver um erro.
• sql_keywords() Retorna uma tabela de palavras-chave SQL do Azure Databricks.

Suporte do Unity Catalog para bibliotecas Python com escopo de cluster

O Unity Catalog tem algumas limitações no uso da biblioteca. No Databricks Runtime 13.1 e superior, há suporte para bibliotecas Python com escopo de cluster, incluindo arquivos de roda Python que são carregados como arquivos de espaço de trabalho. Não há suporte para bibliotecas referenciadas usando caminhos de arquivo DBFS, seja na raiz DBFS ou em um local externo montado no DBFS. As bibliotecas não Python não são suportadas. Consulte Bibliotecas abrangidas por computação.

No Databricks Runtime 13.0 e anteriores, as bibliotecas com escopo de cluster não são suportadas em clusters que utilizam o modo de acesso standard (anteriormente conhecido como modo de acesso partilhado) num espaço de trabalho com Catálogo Unity ativado.

Ativação padrão expandida para gravações otimizadas no Unity Catalog

O suporte de escrita otimizada padrão para tabelas Delta registadas no Unity Catalog foi alargado para abranger CTAS instruções e INSERT operações para tabelas particionadas. Esse comportamento se alinha aos padrões em armazéns SQL. Consulte Gravações otimizadas para Delta Lake no Azure Databricks.

Suporte avançado para operadores com monitoração de estado em cargas de trabalho de Streaming estruturado

Agora você pode encadear vários operadores com monitoração de estado, o que significa que você pode alimentar a saída de uma operação, como uma agregação em janela, para outra operação com monitoração de estado, como uma junção. Consulte O que é streaming stateful?.

O clone Delta para o Unity Catalog está em visualização pública

Agora pode utilizar o clone superficial para criar novas tabelas geridas pelo Unity Catalog a partir de tabelas existentes geridas pelo Unity Catalog. Consulte Clone raso para tabelas do Catálogo Unity.

Suporte Pub/Sub para Streaming Estruturado

Agora você pode usar um conector integrado para assinar o Google Pub/Sub com o Structured Streaming. Consulte Subscrever o Google Pub/Sub.

Soltar duplicatas dentro de marcas d'água no Streaming estruturado

Agora você pode usar dropDuplicatesWithinWatermark em combinação com um limite de marca d'água especificado para desduplicar registros no Structured Streaming. Consulte Soltar duplicatas na marca d'água.

Suporte expandido para conversões Delta de tabelas Apache Iceberg com colunas de partição truncadas

Agora você pode usar CLONE e CONVERT TO DELTA com tabelas Apache Iceberg que têm partições definidas em colunas truncadas dos tipos int, longe string. Não há suporte para colunas truncadas do tipo decimal.

Alterações de esquema de fluxo com mapeamento de coluna no Delta Lake

Agora você pode fornecer um local de rastreamento de esquema para habilitar o streaming de tabelas Delta com o mapeamento de colunas habilitado. Consulte Streaming com mapeamento de colunas e alterações de esquema.

Remover START VERSION

START VERSION agora foi preterido para ALTER SHARE.

Novas expressões H3 disponíveis com Python

As h3_coverash3 expressões e h3_coverash3string estão disponíveis com Python.

Correções de erros

Parquet failOnUnknownFields não solta mais dados silenciosamente em incompatibilidade de tipo

Se um arquivo Parquet foi lido apenas com a opção ou com o failOnUnknownFields Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm diferentes tipos de dados agora falham e recomendam o uso do rescuedDataColumn. O Auto Loader agora lê corretamente e não resgata mais os tipos Integer, Short ou Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos.

Alterações interruptivas

Atualize a versão sqlite-jdbc para 3.42.0.0 para abordar CVE-2023-32697

Atualize a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Se estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc para obter detalhes. Se você migrar para 13.1 e usar sqlite, confirme seus métodos e digite de retorno na versão 3.42.0.0.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • facetas-visão geral de 1.0.2 a 1.0.3
  • filelock de 3.10.7 a 3.12.0
  • Pyarrow de 7.0.0 a 8.0.0
  • tenacidade de 8.0.1 a 8.1.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • com.github.ben-manes.caffeine.caffeine de 2.3.4 a 2.9.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.8 a 0.6.4
  • net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.22
  • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
  • org.scalactic.scalactic_2.12 de 3.0.8 a 3.2.15
  • org.scalatest.scalatest_2.12 de 3.0.8 a 3.2.15
  • org.xerial.sqlite-jdbc de 3.8.11.2 a 3.42.0.0

Faísca Apache

O Databricks Runtime 13.1 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Reverter “[SC-125225] `MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Reverter [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Adicionar Spark Connect, SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Torne possível estender o ChannelBuilder para SparkConnectClient
• [SPARK-43323] [SC-129966][sql][PYTHON] Corrigir DataFrame.toPandas com Arrow habilitado para tratar exceções corretamente
• [SPARK-42940] [SC-129896][ss][CONNECT] Melhorar a gestão de sessões para consultas de streaming
• [SPARK-43032] [SC-125756] [CONNECT][ss] Adicionar gerenciador de consultas de streaming
• [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Migrar os erros de tipo Arrow do Spark SQL Pandas para a classe de erros.
• [SPARK-41766] [SC-129964][core] Lidar com a solicitação de descomissionamento enviada antes do registro do executor
• [SPARK-43307] [SC-129971][python] Migrar erros de valor do PandasUDF para a classe de erro
• [FAÍSCA-43206] [SC-129903] [SS] [CONECTAR] StreamingQuery exception() incluem rastreamento de pilha
• [SPARK-43311] [SC-129905][ss] Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado RocksDB
• [SPARK-43237] [SC-129898][core] Manipular mensagem de exceção nula no log de eventos
• [SPARK-43320] [SC-129899][sql][HIVE] Ligue diretamente para a API do Hive 2.3.9
• [SPARK-43270] [SC-129897][python] Implementar __dir__() para pyspark.sql.dataframe.DataFrame incluir colunas
• [SPARK-43183] Reverter "[SC-128938][ss] Introduzir um novo retorno de chamada "...
• [FAÍSCA-43143] [SC-129902] [SS] [CONECTAR] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2022 por um erro interno
• [SPARK-43198] [SC-129470][connect] Correção "Não foi possível inicializar a classe amonite..." erro ao usar o filtro
• [SPARK-43165] [SC-129777][sql] Mover canWrite para DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf com entrada escalar falha com o tamanho de lote de um
• [SPARK-43298] [SC-129700]Reverter “[PYTHON][ml] predict_batch_udf com entrada escalar falha quando o tamanho do lote é um”
• [SPARK-43052] [SC-129663][core] Manipular stacktrace com nome de arquivo nulo no log de eventos
• [SPARK-43183] [SC-128938][ss] Introduzir um novo callback "onQueryIdle" para StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Migrar erros de expressão para a classe de erro
• [SPARK-42151] [SC-128754][sql] Alinhar UPDATE atribuições com atributos de tabela
• [FAÍSCA-43134] [SC-129468] [CONECTAR] [SS] API StreamingQuery exception() do cliente JVM
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf com entrada escalar falha com tamanho de lote igual a um
• [SPARK-43248] [SC-129660][sql] Serialização/desserialização desnecessária de Path em estatísticas de partição reunidas paralelamente
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Introduzir PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Implemente uma avaliação ansiosa para repr e repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Corrigir compilação de teste maven para testes UDF do cliente Scala
• [FAÍSCA-43144] [SC-129280] API da tabela() DataStreamReader do Cliente Scala
• [SPARK-43136] [SC-129358][connect] Adicionando funções groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][sc-128532][SQL] Corrigir um bug numa subconsulta escalar correlacionada
• [FAÍSCA-43046] [SC-129110] [SS] [Conectar] API Python dropDuplicatesWithinWatermark implementada para Spark Connect
• [SPARK-43199] [SC-129467][sql] Tornar InlineCTE idempotente
• [SPARK-43293] [SC-129657][sql] __qualified_access_only deve ser ignorado em colunas normais
• [SPARK-43276] [SC-129461][connect][PYTHON] Migrar erros da janela do Spark Connect para a classe de erro
• [SPARK-43174] [SC-129109][sql] Corrigir o completer do SparkSQLCLIDriver
• [FAÍSCA-43084] [SC-128654] [SS] Adicionar suporte applyInPandasWithState para conexão de faísca
• [SPARK-43119] [SC-129040][sql] Suporte Obter palavras-chave SQL dinamicamente através da API JDBC e TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] UDFs Python otimizadas com Arrow no Spark Connect
• [SPARK-43085] [SC-128432][sql] Suporte à atribuição de valores DEFAULT para colunas em nomes de tabelas compostos.
• [FAÍSCA-43226] [LC-671] Definir extratores para metadados constantes de arquivo
• [SPARK-43210] [SC-129189][connect][PYTHON] Introduzir PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Publicar métricas do lado do driver para LocalTableScanExec/CommandResultExec
• [FAÍSCA-43285] [SC-129347] Corrigir ReplE2ESuite consistentemente falhando com JDK 17
• [SPARK-43268] [SC-129249][sql] Use classes de erro adequadas quando exceções são construídas com uma mensagem
• [FAÍSCA-43142] [SC-129299] Corrigir expressões DSL em atributos com caracteres especiais
• [FAÍSCA-43129] [SC-128896] API principal do Scala para streaming do Spark Connect
• [FAÍSCA-43233] [SC-129250] [SS] Adicionar log para Kafka Batch Reading para partição de tópico, intervalo de deslocamento e ID de tarefa
• [SPARK-43249] [SC-129195][connect] Corrigir estatísticas ausentes para o comando SQL
• [SPARK-42945] [SC-129188][connect] Suporte PYSPARK_JVM_STACKTRACE_ENABLED no Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Migrar erros UDF para a estrutura de erro do PySpark
• [SPARK-43123] [SC-128494][sql] Os metadados de campo interno não devem ser vazados para catálogos
• [FAÍSCA-43217] [SC-129205] Recursar corretamente em mapas/matrizes aninhados em findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Adicionar parâmetro de nível ao printSchema para Python
• [SPARK-43230] [SC-129191][connect] Simplifique DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Respeitar RequiresDistributionAndOrdering em CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Migrar ValueError do Conect DataFrame para a classe de erro
• [SPARK-43212] [SC-129187][ss][PYTHON] Migrar erros de streaming estruturado para a classe de erro
• [SPARK-43239] [SC-129186][ps] Remover null_counts de info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput deve ser consistente com output do filho
• [SPARK-43191] [SC-128924][core] Substitua a reflexão por chamada direta para o Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Remover solução alternativa para HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [SPARK-43098] [SC-77059][sql] Corrija o bug de correção de contagem quando a subconsulta escalar tiver uma cláusula GROUP BY
• [SPARK-43213] [SC-129062][python] Adicionar DataFrame.offset ao PySpark padrão
• [SPARK-42982] [SC-128400][connect][PYTHON] Corrija createDataFrame para respeitar o esquema dado ddl
• [SPARK-43124] [SC-129011][sql] Dataset.show apresenta CommandResults de forma local
• [SPARK-42998] [SC-127422][connect][PYTHON] Corrigido o DataFrame.collect com estrutura nula
• [FAÍSCA-41498] [SC-125343]Reverter "Propagar metadados através da União"
• [FAÍSCA-42960] [SC-129010] [CONECTAR] [SS] Adicionar API await_termination() e exception() para Streaming Query em Python
• [SPARK-42552] [SC-128824][sql] Corrija a estratégia de análise de dois estágios do analisador antlr
• [SPARK-43207] [SC-128937][connect] Adicionar funções auxiliares para extrair valor da expressão literal
• [SPARK-43186] [SC-128841][sql][HIVE] Remover solução alternativa para FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Unir baldes num conjunto aplicado no lado da transmissão da junção de difusão
• [SPARK-43195] [SC-128922][core] Remover wrapper serializável desnecessário no HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Melhore o ArrayInsert se a posição for dobrável e positiva.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join deve retornar um valor nulo para linha incomparável
• [FAÍSCA-43042] [SC-128602] [SS] [Conectar] Adicionar suporte à API table() para DataStreamReader
• [SPARK-43153] [SC-128753][connect] Ignorar a execução do Spark quando o dataframe é local
• [SPARK-43064] [SC-128496][sql] A guia Spark SQL CLI SQL deve mostrar apenas uma instrução uma vez
• [SPARK-43126] [SC-128447][sql] Marque duas expressões UDF do Hive como stateful
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Mesclar instruções aninhadas if em instruções únicas if
• [SPARK-43113] [SC-128749][sql] Avalie variáveis do lado do fluxo de dados ao gerar código para uma condição vinculada
• [SPARK-42895] [SC-127258][connect] Melhorar as mensagens de erro para sessões interrompidas do Spark
• [SPARK-42884] [SC-126662][connect] Adicionar integração do Ammonite REPL
• [SPARK-43168] [SC-128674][sql] Remova o método get PhysicalDataType da classe Datatype
• [SPARK-43121] [SC-128455][sql] Usar BytesWritable.copyBytes em vez de cópia manual em `HiveInspectors`
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog mantém a meta Char/Varchar no lado da leitura
• [SPARK-43050] [SC-128550][sql] Corrigir a construção de expressões agregadas pela substituição de funções de agrupamento
• [SPARK-43095] [SC-128549][sql] Evitar que a idempotência da estratégia Once seja quebrada em processamento em lote: Infer Filters
• [SPARK-43130] [SC-128597][sql] Mover InternalType para PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Abreviar bytes e cadeias de caracteres na mensagem proto
• [SPARK-43099] [SC-128596][sql] Utilize getName em vez de getCanonicalName para obter o nome da classe do construtor ao registrar a udf no FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] Suporte do distribuidor do PyTorch no Modo Local
• [SPARK-42859] Anular “[SC-127935][connect][PS] Suporte básico para pandas API no Spark Connect”
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin não funciona ao usar AQE
• [SPARK-43125] [SC-128477][connect] Fix Connect Server não pode manipular exceção com mensagem nula
• [FAÍSCA-43147] [SC-128594] fixar fiapos flake8 para verificação local
• [FAÍSCA-43031] [SC-128360] [SS] [Conectar] Habilite o teste de unidade e o doctest para streaming
• [FAÍSCA-43039] [LC-67] Suporte a campos personalizados na coluna _metadata de origem do arquivo.
• [SPARK-43120] [SC-128407][ss] Adicionar suporte para rastrear o uso de memória de blocos fixos para armazenamento de estado RocksDB
• [SPARK-43110] [SC-128381][sql] Mover comoIntegral para PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Remover asserção desnecessária para UninterruptibleThread no KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Suporta nomes de campos aninhados duplicados
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable permitirá especificar o nível de armazenamento
• [SPARK-42985] [SC-128332][connect][PYTHON] Corrija createDataFrame para respeitar as configurações SQL
• [SPARK-39696] [SC-127830][core] Corrija a corrida de dados no acesso a TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Movendo integral para PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Não desembrulhe moldes em comparação binária quando literal é nulo
• [SPARK-43057] [SC-127948][connect][PYTHON] Migrar erros de coluna do Spark Connect para a classe de erro
• [SPARK-42859] [SC-127935][connect][PS] Suporte básico para pandas API no Spark Connect
• [SPARK-43013] [SC-127773][python] Migrar ValueError do DataFrame para o PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Redigir a string de depuração na interface do utilizador
• [SPARK-43028] [SC-128070][sql] Adicionar classe de erro SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Conjunto de dados#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Adicionar teste para dropDuplicates em JavaDatasetSuite
• [SPARK-43075] [SC-127939][connect] Mude gRPC para grpcio quando não estiver instalado.
• [SPARK-42953] [SC-127809][connect] Filtro digitado, mapa, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Suporte para converter tipo de data para tipo de timestamp
• [SPARK-42931] [SC-127933][ss] Introduzir o dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Adicionar constantes de tipos de dados proto
• [SPARK-43077] [SC-128050][sql] Melhorar a mensagem de erro de UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] APIs de DataStreamReader
• [SPARK-43049] [SC-127846][sql] Use CLOB em vez de VARCHAR(255) para StringType para Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Corrigir bug em comandos com literais de data e hora
• [SPARK-42855] [SC-127722][sql] Usar verificações nulas de tempo de execução em TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Desduplicar relações com colunas de metadados
• [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o PyTorch Distribuidor compatível com o Spark Connect
• [SPARK-43058] [SC-128072][sql] Mover Numérico e Fracionário para PhysicalDataType
• [SPARK-43056] [SC-127946][ss] A confirmação do armazenamento de estado RocksDB deve continuar o trabalho em segundo plano somente se estiver pausada
• [SPARK-43059] [SC-127947][connect][PYTHON] Migrar o TypeError do DataFrame (Leitor|Escritor) para uma classe de erro
• [SPARK-43071] [SC-128018][sql] Suporte SELECT DEFAULT com ORDER BY, LIMIT, OFFSET para INSERT relação de origem
• [SPARK-43061] [SC-127956][core][SQL] Introduza o PartitionEvaluator para execução do operador SQL
• [SPARK-43067] [SC-127938][ss] Corrigir a localização do ficheiro de recursos da classe de erro no conector Kafka
• [SPARK-43019] [SC-127844][sql] Mover a Ordenação para o PhysicalDataType
• [SPARK-43010] [SC-127759][python] Migrar erros de coluna para a classe de erro
• [SPARK-42840] [SC-127782][sql] Mudar o tipo de _LEGACY_ERROR_TEMP_2004 erro para "erro interno"
• [SPARK-43041] [SC-127765][sql] Restaurar construtores de exceções para compatibilidade na API do conector
• [SPARK-42939] [SC-127761][ss][CONNECT] Core streaming Python API para Spark Connect
• [SPARK-42844] [SC-127766][sql] Atualize a classe _LEGACY_ERROR_TEMP_2008 de erro para INVALID_URL
• [SPARK-42316] [SC-127720][sql] Atribua nome a _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Migrar erros do Spark Connect DataFrame para a classe de erro
• [SPARK-42983] [SC-127717][connect][PYTHON] Corrija createDataFrame para manipular a matriz numpy 0-dim corretamente
• [SPARK-42955] [SC-127476][sql] Ignorar classifyException e encapsular AnalysisException para SparkThrowable
• [SPARK-42949] [SC-127255][sql] Simplifique o código para NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert deve falhar com o índice 0
• [SPARK-42974] [SC-127487][core] Restaure Utils.createTempDir para usar o método ShutdownHookManager e limpar o método JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' também significa que a tabela já existe
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME não pode qualificar um "new-table-Name" com um "schema-Name"
• [SPARK-37980] [SC-127668][sql] Acesso row_index via _metadata se possível em testes
• [SPARK-42655] [SC-127591][sql] Erro de referência de coluna ambígua incorreta
• [SPARK-43009] [SC-127596][sql] Parametrização sql() com Any constantes
• [SPARK-43026] [SC-127590][sql] Aplicar AQE com cache de tabela que não seja do Exchange
• [SPARK-42963] [SC-127576][sql] Estenda SparkSessionExtensions para injetar regras no otimizador de estágio de consulta AQE
• [FAÍSCA-42918] [SC-127357] Generalizar a manipulação de atributos de metadados no FileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Adicionar Catalog suporte
• [SPARK-42997] [SC-127535][sql] TableOutputResolver deve usar caminhos de coluna corretos em mensagens de erro para matrizes e mapas
• [SPARK-43006] [SC-127486][pyspark] Corrigir erro de digitação no StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Corrigir erro de digitação em pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Corrigir erro de digitação em ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Implementar funções Avro
• [SPARK-42979] [SC-127272][sql] Definir construtores literais como palavras-chave
• [SPARK-42946] [SC-127252][sql] Redigir dados confidenciais aninhados por substituição de variáveis
• [SPARK-42952] [SC-127260][sql] Simplifique o parâmetro da regra do analisador PreprocessTableCreation e DataSourceAnalysis
• [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [SPARK-42853] [SC-126101][followup] Corrigir conflitos
• [SPARK-42929] [SC-126748][connect] fazer com que mapInPandas / mapInArrow suportem "is_barrier"
• [SPARK-42968] [SC-127271][ss] Adicionar opção para ignorar o coordenador de confirmação como parte da API StreamingWrite para fontes/destinos DSv2
• [SPARK-42954] [SC-127261][python][CONNECT] Adicionar YearMonthIntervalType ao cliente Python PySpark e Spark Connect
• [SPARK-41359] [SC-127256][sql] Use PhysicalDataType em vez de DataType em UnsafeRow
• [SPARK-42873] [SC-127262][sql] Definir tipos Spark SQL como palavras-chave
• [SPARK-42808] [SC-126302][core] Evite consultar os processadores disponíveis repetidamente em MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries deve ser definido InSubqueryExec#shouldBroadcast como true
• [SPARK-42896] [SC-126729][sql][PYTHON] Fazer com que mapInPandas / mapInArrow suporte a execução em modo de barreira
• [SPARK-42874] [SC-126442][sql] Habilite a nova estrutura de teste de arquivo dourado para análise de todos os arquivos de entrada
• [SPARK-42922] [SC-126850][sql] Mover de Random para SecureRandom
• [FAÍSCA-42753] [SC-126369] ReusedExchange refere-se a nós inexistentes
• [SPARK-40822] [SC-126274][sql] Aliases de coluna derivados estáveis
• [SPARK-42908] [SC-126856][python] Lançar RuntimeError quando SparkContext é necessário, mas não está inicializado
• [SPARK-42779] [SC-126042][sql] Permitir gravações V2 para indicar o tamanho da partição aleatória consultiva
• [SPARK-42914] [SC-126727][python] Reutilização transformUnregisteredFunction para DistributedSequenceID.
• [SPARK-42878] [SC-126882][connect] A API de tabela em DataFrameReader também pode aceitar opções
• [SPARK-42927] [SC-126883][core] Altere o escopo de acesso de o.a.spark.util.Iterators#size para private[util]
• [SPARK-42943] [SC-126879][sql] Use LONGTEXT em vez de TEXT para StringType para um comprimento mais eficaz
• [SPARK-37677] [SC-126855][core] Descompactar pode manter permissões de arquivo
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] Implementar API de Mapa Coagrupado
• [SPARK-41876] [SC-126849][connect][PYTHON] Implementar DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] Altere o escopo de acesso de ProtobufSerDe implementações relacionadas para private[protobuf]
• [SPARK-42819] [SC-125879][ss] Adicione suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados em streaming
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Esclarecer o comentário de argumentos SQL parametrizados
• [SPARK-42748] [SC-126455][connect] Gerenciamento de artefatos do lado do servidor
• [SPARK-42816] [SC-126365][connect] Suporte Tamanho máximo da mensagem até 128MB
• [SPARK-42850] [SC-126109][sql] Remover regra duplicada CombineFilters no Optimizer
• [SPARK-42662] [SC-126355][connect][PS] Adicionar mensagem proto para a API pandas no índice padrão do Spark
• [SPARK-42720] [SC-126136][ps][SQL] Usa expressão para índice padrão de sequência distribuída em vez de plano
• [SPARK-42790] [SC-126174][sql] Abstraia o método excluído para um melhor teste para testes de docker JDBC.
• [SPARK-42900] [SC-126473][connect][PYTHON] Corrija createDataFrame para respeitar a inferência e os nomes das colunas
• [SPARK-42917] [SC-126657][sql] Corrigir getUpdateColumnNullabilityQuery para DerbyDialect
• [SPARK-42684] [SC-125157][sql] O catálogo v2 não deve permitir o valor padrão da coluna por padrão
• [SPARK-42861] [SC-126635][sql] Use private[sql] em vez de protected[sql] para evitar a geração de documentos de API
• [SPARK-42920] [SC-126728][connect][PYTHON] Habilitar testes para UDF com UDT
• [SPARK-42791] [SC-126617][sql] Crie uma nova estrutura de teste de arquivo dourado para análise
• [SPARK-42911] [SC-126652][python] Introduza exceções mais básicas
• [SPARK-42904] [SC-126634][sql] Suporte de Char/Varchar para o catálogo JDBC
• [SPARK-42901] [SC-126459][connect][PYTHON] Mover StorageLevel para um ficheiro separado para evitar possíveis file recursively imports
• [SPARK-42894] [SC-126451][connect] Suporte cache/persist/unpersist/storageLevel para o cliente jvm Spark connect
• [SPARK-42792] [SC-125852][ss] Adicionar o suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores de streaming com estado
• [SPARK-41233] [SC-126441][connect][PYTHON] Adicionar array_prepend ao cliente Python do Spark Connect
• [SPARK-42681] [SC-125149][sql] Relaxe a restrição de pedidos para ALTER TABLE ADD|SUBSTITUIR descritor de coluna
• [SPARK-42889] [SC-126367][connect][PYTHON] Implemente cache, persista, despersista e nível de armazenamento
• [SPARK-42824] [SC-125985][connect][PYTHON] Forneça uma mensagem de erro clara para atributos JVM não suportados
• [SPARK-42340] [SC-126131][connect][PYTHON] Implementar API de Mapa Agrupado
• [SPARK-42892] [SC-126454][sql] Transferir o método sameType e métodos relevantes de DataType para outras classes.
• [SPARK-42827] [SC-126126][connect] Suporte functions#array_prepend para o cliente Scala connect
• [SPARK-42823] [SC-125987][sql] spark-sql shell suporta namespaces de várias partes para inicialização
• [SPARK-42817] [SC-125960][core] Registrando o nome do serviço aleatório uma vez no ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Seleção digitada
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Implementar a função ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Suporte Codegen para HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Adicionar array_prepend função
• [SPARK-42864] [SC-126268][ml][3.4] Tornar IsotonicRegression.PointsAccumulator privado
• [SPARK-42876] [SC-126281][sql] O tipo de dados físico do DataType deve ser privado[sql]
• [SPARK-42101] [SC-125437][sql] Fazer com que o AQE suporte InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Suporte GERADO SEMPRE COMO expressões para colunas em instruções de tabela de criação/substituição
• [SPARK-42870] [SC-126220][connect] Mover toCatalystValue para connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Corrigir FunçãoDefinidaPeloUtilizador para ter tipoDeRetorno
• [SPARK-42875] [SC-126258][connect][PYTHON] Corrija toPandas para lidar com tipos de fuso horário e mapa corretamente
• [SPARK-42757] [SC-125626][connect] Implementar textFile para DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Use a função getParameterCount em vez de getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] Refatorar applyExtensions em SparkSession
• [SPARK-41765] Reverter "[SC-123550][sql] Retirar métricas de gravação v1...
• [SPARK-42848] [SC-126105][connect][PYTHON] Implementar DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] Suporta UserDefinedType no Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] Implementar DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Adicionar client_type à mensagem protobuf AddArtifactsRequest
• [SPARK-42772] [SC-125860][sql] Altere o valor padrão das opções JDBC sobre push down para true
• [SPARK-42771] [SC-125855][sql] Refatorar HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: escrevendo uniões complexas
• [SPARK-42765] [SC-125850][connect][PYTHON] Ativar importação pandas_udf de pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation deve respeitar spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] Melhorar o desempenho da eliminação de partições
• [SPARK-42689] [SC-125195][core][SHUFFLE] Permitir que ShuffleDriverComponent declare se os dados de shuffle são armazenados de forma confiável
• [SPARK-42726] [SC-125279][connect][PYTHON] Implementar DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Extraia métricas de gravação v1 para WriteFiles
• [SPARK-41171] [SC-124191][sql] Inferir e empurrar para baixo o limite da janela através da janela se partitionSpec estiver vazio
• [SPARK-42686] [SC-125292][core] Adiar formatação para mensagens de depuração no TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Função auxiliar para converter proto literal em valor no cliente Python
• [SPARK-42793] [SC-125627][connect] connect módulo requer build_profile_flags
• [SPARK-42701] [SC-125192][sql] Adicionar a try_aes_decrypt() função
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame não funciona com esquema não anulável
• [SPARK-42733] [SC-125542][connect][Followup] Escrever sem caminho ou tabela
• [SPARK-42777] [SC-125525][sql] Suporte a conversão de estatísticas de catálogo TimestampNTZ para estatísticas de planejamento
• [SPARK-42770] [SC-125558][connect] Adicionar truncatedTo(ChronoUnit.MICROS) para que a tarefa diária GA de teste em Java 17 passe
• [SPARK-42752] [SC-125550][pyspark][SQL] Torne as exceções do PySpark imprimíveis durante a inicialização
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Suporta o método getActiveSession da sessão spark connect
• [SPARK-42755] [SC-125442][connect] Extrair a conversão de valores literais para connect-common
• [SPARK-42747] [SC-125399][ml] Corrigir status interno incorreto de LoR e AFT
• [SPARK-42740] [SC-125439][sql] Corrija o bug de que o deslocamento pushdown ou a paginação são inválidos para algum dialeto interno
• [SPARK-42745] [SC-125332][sql] Expressão AliasAwareOutput melhorada funciona com DSv2
• [SPARK-42743] [SC-125330][sql] Suportar a análise das colunas TimestampNTZ
• [SPARK-42721] [SC-125371][connect] Intercetador de registro RPC
• [SPARK-42691] [SC-125397][connect][PYTHON] Implementar Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] Renomear Connect proto Solicitar client_id para session_id
• [SPARK-42310] [SC-122792][sql] Atribua nome a _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Otimizar rotinas Utils.bytesToString
• [SPARK-42725] [SC-125296][connect][PYTHON] Adicionar suporte para parâmetros de matriz no LiteralExpression
• [SPARK-42702] [SC-125293][spark-42623][SQL] Suporte a consulta parametrizada em subconsulta e CTE
• [SPARK-42697] [SC-125189][webui] Corrija /api/v1/applications para retornar o tempo de atividade total em vez de 0 para o campo de duração
• [SPARK-42733] [SC-125278][connect][PYTHON] Corrigir o DataFrameWriter.save para funcionar sem o parâmetro 'caminho'
• [SPARK-42376] [SC-124928][ss] Introduzir a propagação da marca d'água entre os operadores
• [SPARK-42710] [SC-125205][connect][PYTHON] Renomeie FrameMap proto para MapPartitions
• [SPARK-37099] [SC-123542][sql] Introduza o limite de grupo da Janela para filtro baseado em classificação para otimizar a computação top-k
• [SPARK-42630] [SC-125207][connect][PYTHON] Introduza UnparsedDataType e atrase a análise da cadeia de caracteres DDL até que o SparkConnectClient esteja disponível
• [SPARK-42690] [SC-125193][connect] Implementar funções de análise CSV/JSON para o cliente Scala
• [SPARK-42709] [SC-125172][python] Remova a suposição de __file__ estar disponível
• [SPARK-42318] [SC-122648][spark-42319][SQL] Atribuir nome a LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Suporte ao tipo de dados do analisador json "timestamp_ltz" como TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() não deve armazenar o esquema em cache
• [SPARK-42643] [SC-125152][connect][PYTHON] Registrar funções Java (agregadas) definidas pelo usuário
• [SPARK-42656] [SC-125177][connect][Acompanhamento] Corrigir o script spark-connect
• [FAÍSCA-41516] [SC-123899] [SQL] Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela
• [SPARK-41725] [SC-124396][connect] Execução ansiosa de DF.sql()
• [SPARK-42687] [SC-124896][ss] Melhor mensagem de erro para a operação sem suporte pivot no Streaming
• [SPARK-42676] [SC-124809][ss] Gravar pontos de verificação temporários para transmitir consultas para o sistema de arquivos local, mesmo que o FS padrão seja definido de forma diferente
• [SPARK-42303] [SC-122644][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Assegure pelo menos uma unidade de tempo após o "intervalo"
• [SPARK-42649] [SC-124576][core] Remova o cabeçalho da Licença Apache padrão da parte superior dos arquivos de origem de terceiros
• [SPARK-42611] [SC-124395][sql] Inserir verificações de comprimento char/varchar para campos internos durante a resolução
• [SPARK-42419] [SC-124019][connect][PYTHON] Migrar para o framework de erro da API de coluna do Spark Connect.
• [SPARK-42637] [SC-124522][connect] Adicionar SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Alterar alias para tipos numpy preteridos e removidos
• [SPARK-42616] [SC-124389][sql] O SparkSQLCLIDriver só deve fechar o hive sessionState iniciado
• [SPARK-42593] [SC-124405][ps] Depreciar ou remover as APIs que serão removidas no pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] Corrija createDataFrame para manipular nomes de colunas duplicados
• [SPARK-42569] [SC-124379][connect] Lançar exceções para API de sessão não suportada
• [SPARK-42631] [SC-124526][connect] Suporta extensões personalizadas no cliente Scala
• [SPARK-41868] [SC-124387][connect][PYTHON] Corrija createDataFrame para suportar durações
• [SPARK-42572] [SC-124171][sql][SS] Corrigir comportamento para StateStoreProvider.validateStateRowFormat

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.2.2
• Lago Delta: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)