Databricks Runtime 13.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.1, da plataforma Apache Spark 3.4.0.

O Databricks lançou essa versão em maio de 2023.

Novos recursos e aprimoramentos

• Suporte ao cluster para o JDK 17 (Visualização Pública)
• Adicionar, alterar ou excluir dados em tabelas de streaming
• Ler Kafka com SQL
• Novas funções internas do SQL
• Suporte do Catálogo do Unity para bibliotecas do Python no escopo do cluster
• Habilitação padrão expandida para gravações otimizadas no Catálogo do Unity
• Suporte avançado para operadores com estado em cargas de trabalho de Streaming Estruturado
• O clone delta do Catálogo do Unity está em versão prévia pública
• Suporte de Pub/Sub para Streaming Estruturado
• Remover duplicatas dentro de marcas d'água no Streaming Estruturado
• Suporte expandido para conversões Delta de tabelas do Apache Iceberg com colunas de partição truncadas
• Alterações de esquema de streaming com mapeamento de coluna no Delta Lake
• Remover VERSÃO INICIAL
• Novas expressões H3 disponíveis com Python

Suporte ao cluster para JDK 17 (Visualização Pública)

O Databricks agora fornece suporte de cluster para o Kit de Desenvolvimento do Java (JDK) 17. Consulte o SDK do Databricks para Java.

Adicionar, alterar ou excluir dados em tabelas de streaming

Agora você pode usar instruções DML para modificar tabelas de streaming publicadas no Catálogo do Unity pelo Lakeflow Spark Declarative Pipelines. Confira Adicionar, alterar ou excluir dados em uma tabela de streaming e Adicionar, alterar ou excluir dados em uma tabela de streaming de destino. Você também pode usar instruções DML para modificar tabelas de streaming criadas no Databricks SQL.

Ler Kafka com SQL

Agora você pode usar a função SQL read_kafka para ler dados Kafka. O streaming com SQL tem suporte apenas em DLT ou com tabelas de streaming no Databricks SQL. Consulte TVF read_kafka.

Novas funções internas do SQL

As seguintes funções foram adicionadas:

• array_prepend(array, elem) Retorna array precedido por elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Descriptografa um binário produzido usando a criptografia AES e retorna NULL se houver um erro.
• sql_keywords() Retorna uma tabela de palavras-chave do SQL do Azure Databricks.

Suporte do Catálogo do Unity para bibliotecas do Python no escopo do cluster

O Catálogo do Unity tem algumas limitações no uso da biblioteca. No Databricks Runtime 13.1 e superior, há suporte para bibliotecas Python com escopo de cluster, incluindo arquivos de roda Python que são carregados como arquivos de espaço de trabalho. Não há suporte para bibliotecas referenciadas usando caminhos de arquivo DBFS, seja na raiz do DBFS ou em um local externo montado no DBFS. Não há suporte para bibliotecas não Python. Consulte bibliotecas com escopo de computação.

No Databricks Runtime 13.0 e abaixo, bibliotecas com escopo de cluster não são suportadas em clusters que usam o modo de acesso padrão (antigo modo de acesso compartilhado) em um workspace habilitado para o Unity Catalog.

Habilitação padrão expandida para gravações otimizadas no Catálogo do Unity

O suporte de gravação otimizado padrão para tabelas Delta registradas no Catálogo do Unity foi expandido para incluir instruções CTAS e operações INSERT para tabelas particionadas. Esse comportamento se alinha aos padrões em SQL warehouses. Consulte Gravações otimizadas para o Delta Lake no Azure Databricks.

Suporte avançado para operadores com estado em cargas de trabalho de Streaming Estruturado

Agora você pode encadear vários operadores com estado, o que significa que você pode alimentar a saída de uma operação, como uma agregação em janelas para outra operação com estado, como uma junção. Confira O que é streaming com estado?.

O clone delta do Catálogo do Unity está em versão prévia pública

Agora você pode usar o clone superficial para criar novas tabelas gerenciadas do Catálogo do Unity a partir de tabelas gerenciadas existentes do Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.

Suporte de Pub/Sub para Streaming Estruturado

Agora você pode usar um conector interno para assinar o Google Pub/Sub com Streaming Estruturado. Confira Assinar o Google Pub/Sub.

Remover duplicatas dentro de marcas d'água no Streaming Estruturado

Agora você pode usar dropDuplicatesWithinWatermark em combinação com um limite de marca d'água especificado para eliminação de duplicação de registros no Streaming Estruturado. Confira Descartar duplicatas dentro da marca d'água.

Suporte expandido para conversões Delta de tabelas do Apache Iceberg com colunas de partição truncadas

Agora você pode usar CLONE e CONVERT TO DELTA com tabelas do Apache Iceberg que têm partições definidas em colunas truncadas de tipos inte longstring. Não há suporte para as colunas truncadas do tipo decimal.

Alterações de esquema de streaming com mapeamento de coluna no Delta Lake

Agora você pode fornecer um local de acompanhamento de esquema para habilitar o streaming de tabelas Delta com o mapeamento de coluna habilitado. Confira Streaming com mapeamento de coluna e alterações de esquema.

Remover VERSÃO INICIAL

START VERSION está preterido para ALTER SHARE.

Novas expressões H3 disponíveis com Python

As expressões h3_coverash3 e h3_coverash3string estão disponíveis com Python.

Correções de bug

Parquet failOnUnknownFields não remove mais dados silenciosamente na incompatibilidade de tipo

Se um arquivo Parquet foi lido apenas com a opção failOnUnknownFields ou com o Carregador Automático no modo de evolução do esquema failOnNewColumns, as colunas que têm tipos de dados diferentes agora falham e recomendam o uso de rescuedDataColumn. O Carregador Automático agora lê corretamente e não resgata mais os tipos Inteiro, Curto ou Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos.

Alterações de quebra

Atualizar a versão do sqlite-jdbc para 3.42.0.0 para tratar do CVE-2023-32697

Atualize a versão do sqlite-jdbc de 3.8.11.2 para 3.42.0.0. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Se estiver usando sqlite-jdbc em seu código, marcar o relatório de compatibilidade sqlite-jdbc para obter detalhes. Se você migrar para a versão 13.1 e usar o sqlite, confirme seus métodos e retorne o tipo na versão 3.42.0.0.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • facets-overview de 1.0.2 para 1.0.3
  • filelock de 3.10.7 para 3.12.0
  • pyarrow de 7.0.0 para 8.0.0
  • tenacidade de 8.0.1 a 8.1.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:
  • com.github.ben-manes.cafeína.cafeína de 2.3.4 para 2.9.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.8 para 0.6.4
  • net.snowflake.snowflake-jdbc de 3.13.29 para 3.13.22
  • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
  • org.scalactic.scalactic_2.12 de 3.0.8 para 3.2.15
  • org.scalatest.scalatest_2.12 de 3.0.8 para 3.2.15
  • org.xerial.sqlite-jdbc de 3.8.11.2 a 3.42.0.0

Apache Spark

O Databricks Runtime 13.1 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Reverter “[SC-125225] `MapOutputTracker#getMap…
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Reverter [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Adicionar Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Torne possível estender o ChannelBuilder para SparkConnectClient
• [SPARK-43323] [SC-129966][sql][PYTHON] Corrige erro no DataFrame.toPandas com Arrow habilitado para lidar com exceções corretamente
• [SPARK-42940] [SC-129896][ss][CONNECT] Melhorar o gerenciamento de sessão para consultas de streaming
• [SPARK-43032] [SC-125756] [CONNECT][ss] Adicionar gerenciador de consultas de streaming
• [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Migre os erros de tipo de seta pandas do Spark SQL para a classe de erro.
• [SPARK-41766] [SC-129964][core] Tratar solicitação de descomissionamento enviada antes do registro do executor
• [SPARK-43307] [SC-129971][python] Migrar erros de valor PandasUDF para a classe de erro
• [SPARK-43206] [SC-129903] [SS] [CONNECT] exception() StreamingQuery inclui rastreamento de pilha
• [SPARK-43311] [SC-129905][ss] Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado RocksDB
• [SPARK-43237] [SC-129898][core] Manipular mensagem de exceção nula no log de eventos
• [SPARK-43320] [SC-129899][sql][HIVE] Chame diretamente a API do Hive 2.3.9
• [SPARK-43270] [SC-129897][python] Implementar __dir__()pyspark.sql.dataframe.DataFrame para incluir colunas
• [SPARK-43183] Reverter o "[SC-128938][ss] Introduzir um novo retorno de chamada "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] awaitTermination() StreamingQuery de Scala
• [SPARK-43257] [SC-129675][sql] Substitua a classe de erro _LEGACY_ERROR_TEMP_2022 por um erro interno
• [SPARK-43198] [SC-129470][connect] Correção "Não foi possível inicializar a classe amônio..." erro ao usar filtro
• [SPARK-43165] [SC-129777][sql] Mover o canWrite para o DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf com entrada escalar falha com um tamanho de lote de um
• [SPARK-43298] [SC-129700]Reverter "[PYTHON][ml] predict_batch_udf com entrada escalar falha com tamanho de lote único"
• [SPARK-43052] [SC-129663][core] Manipular o stacktrace com o nome do arquivo nulo no log de eventos
• [SPARK-43183] [SC-128938][ss] Introduzir um novo callback "onQueryIdle" para StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Migrar os erros de expressão para a classe de erros
• [SPARK-42151] [SC-128754][sql] Alinhar UPDATE atribuições com atributos de tabela
• [SPARK-43134] [SC-129468] [CONNECT] [SS] API exception() StreamingQuery do cliente JVM
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf com entrada escalar falha quando o tamanho do lote é um
• [SPARK-43248] [SC-129660][sql] Serialização/desserialização desnecessária do caminho em estatísticas de partição reunidas paralelamente
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Introduzido PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Implementar avaliação imediata para repr e repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Corrigir o build de teste do maven para testes de UDF do cliente Scala
• [SPARK-43144] [SC-129280] API table() DataStreamReader do Cliente Scala
• [SPARK-43136] [SC-129358][connect] Adicionando groupByKey + mapGroup + funções de coGroup
• [SPARK-43156] [SC-129672][sc-128532][SQL] Corrigir COUNT(*) is null bug na subconsulta escalar correlacionada
• [SPARK-43046] [SC-129110] [SS] [Connect] Implementação da API do Python dropDuplicatesWithinWatermark para Spark Connect
• [SPARK-43199] [SC-129467][sql] Make InlineCTE idempotent
• [SPARK-43293] [SC-129657][sql] __qualified_access_only deve ser ignorado em colunas normais
• [SPARK-43276] [SC-129461][connect][PYTHON] Migrar erros da Janela do Spark Connect para a classe de erro
• [SPARK-43174] [SC-129109][sql] Corrigir o completer do SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] Adicionar suporte a applyInPandasWithState para o Spark Connect
• [SPARK-43119] [SC-129040][sql] Suporte obter palavras-chave SQL dinamicamente por meio da API JDBC e TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] UDFs de Python otimizados com Apache Arrow no Spark Connect
• [SPARK-43085] [SC-128432][sql] Suporte para atribuição de valor padrão em colunas de nomes de tabelas com várias partes
• [SPARK-43226] [LC-671] Definir extratores para metadados de constante de arquivo
• [SPARK-43210] [SC-129189][connect][PYTHON] Introdução PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Publicar métricas do lado do driver para LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Correção de ReplE2ESuite falhando consistentemente com o JDK 17
• [SPARK-43268] [SC-129249][sql] Use classes de erro adequadas quando as exceções forem construídas com uma mensagem
• [SPARK-43142] [SC-129299] Corrigir expressões DSL em atributos com caracteres especiais
• [SPARK-43129] [SC-128896] API do Scala Core para streaming do Spark Connect
• [SPARK-43233] [SC-129250] [SS] Adicionar registro em log para Leitura em Lote do Kafka para partição de tópicos, intervalo de deslocamento e ID da tarefa
• [SPARK-43249] [SC-129195][conectar] Corrigir estatísticas ausentes para o Comando SQL
• [SPARK-42945] [SC-129188][connect] Suporte para PYSPARK_JVM_STACKTRACE_ENABLED no Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Migrar erros de UDF para a estrutura de erros do PySpark
• [SPARK-43123] [SC-128494][sql] Metadados de campo internos não devem ser vazados para catálogos
• [SPARK-43217] [SC-129205] Recursar corretamente em mapas/matrizes aninhados em findNestedField
• [SPARK-43243] [SC-129294][python][CONNECT] Adicionar parâmetro de nível ao printSchema para Python
• [SPARK-43230] [SC-129191][conectar] Simplificar DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Respeitar RequiresDistributionAndOrdering no CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Migrar ValueError do Conect DataFrame para a classe de erro
• [SPARK-43212] [SC-129187][ss][PYTHON] Migrar erros de streaming estruturado para a classe de erro
• [SPARK-43239] [SC-129186][ps] Remover null_counts de info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput deve ser consistente com a saída do filho
• [SPARK-43191] [SC-128924][core] Substituir a reflexão por chamada direta para Hadoop CallerContext
• [SPARK-43193] [SC-129042][ss] Remover solução alternativa para HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [SPARK-43098] [SC-77059][sql] Corrigir bug de contagem de correção quando a subconsulta escalar tem cláusula GROUP BY
• [SPARK-43213] [SC-129062][python] Adicionar DataFrame.offset ao vanilla PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] Corrigir createDataFrame para respeitar a definição de esquema fornecida (DDL)
• [SPARK-43124] [SC-129011][sql] Dataset.show projects CommandResults localmente
• [SPARK-42998] [SC-127422][connect][PYTHON] Corrigir DataFrame.collect com struct nulo
• [SPARK-41498] [SC-125343]Reverter "Propagar metadados por meio da União"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Adicionar API await_termination() e exception() para Consulta de Streaming no Python
• [SPARK-42552] [SC-128824][sql] Corrigir a estratégia de dois estágios de análise do parser ANTLR
• [SPARK-43207] [SC-128937][connect] Adicionar funções auxiliares para extrair valor da expressão literal
• [SPARK-43186] [SC-128841][sql][HIVE] Remover solução alternativa para FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Coalesce buckets in join aplicados no lado do fluxo de junção de transmissão
• [SPARK-43195] [SC-128922][core] Remover wrapper serializável desnecessário no HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Aprimore ArrayInsert se a posição for dobrável e positiva.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join deve retornar um valor nulo para linha sem correspondência
• [SPARK-43042] [SC-128602] [SS] [Connect] Adicionar suporte à API table() para DataStreamReader
• [SPARK-43153] [SC-128753][connect] Ignorar a execução do Spark quando o dataframe estiver local
• [SPARK-43064] [SC-128496][sql] A guia SQL da CLI sql do Spark só deve mostrar uma instrução uma vez
• [SPARK-43126] [SC-128447][sql] Marcar duas expressões UDF do Hive como com estado
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Mesclar instruções aninhadas if em instruções simples if
• [SPARK-43113] [SC-128749][sql] Avaliar variáveis do lado da transmissão ao gerar código para uma condição vinculada
• [SPARK-42895] [SC-127258][connect] Aprimorar mensagens de erro para sessões do Spark interrompidas
• [SPARK-42884] [SC-126662][connect] Adicionar integração com o Ammonite REPL
• [SPARK-43168] [SC-128674][sql] Remover o método Get PhysicalDataType da classe Datatype
• [SPARK-43121] [SC-128455][sql] Use BytesWritable.copyBytes em vez de cópia manual em `HiveInspectors`
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog mantém metadados de CHAR/VARCHAR no lado de leitura
• [SPARK-43050] [SC-128550][sql] Corrigir expressões de agregação de construção substituindo funções de agrupamento
• [SPARK-43095] [SC-128549][sql] Evite uma vez que a idempotência da estratégia seja interrompida para o lote: Infer Filters
• [SPARK-43130] [SC-128597][sql] Mover InternalType para PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Abreviar bytes e cadeias de caracteres na mensagem proto
• [SPARK-43099] [SC-128596][sql] Utilize getName em vez de getCanonicalName para obter o nome da classe do construtor ao registrar a udf no FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] O Distribuidor PyTorch dá suporte ao Modo Local
• [SPARK-42859] Reverter “[SC-127935][connect][PS] Suporte básico para a API do Pandas no Spark Connect”
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin não funciona ao usar o AQE
• [SPARK-43125] [SC-128477][connect] Corrigir o problema do servidor Connect que não consegue lidar com exceções com mensagens nulas.
• [SPARK-43147] [SC-128594] Corrigir o lint flake8 para verificação local
• [SPARK-43031] [SC-128360] [SS] [Connect] Habilitar teste de unidade e doctest para streaming
• [SPARK-43039] [LC-67] Suporte a campos personalizados na coluna _metadata da origem do arquivo.
• [SPARK-43120] [SC-128407][ss] Adicionar suporte para monitoramento do uso de memória dos blocos fixados para o repositório de estado RocksDB
• [SPARK-43110] [SC-128381][sql] Transferir asIntegral para PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Remover declaração desnecessária para UninterruptibleThread em KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Dá suporte a nomes de campos aninhados duplicados
• [SPARK-42437] [SC-128339][python][CONNECT] Catálogo do PySpark.cacheTable permitirá especificar o nível de armazenamento
• [SPARK-42985] [SC-128332][connect][PYTHON] Correção createDataFrame para respeitar as configurações do SQL
• [SPARK-39696] [SC-127830][core] Correção da corrida de dados no acesso a TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Movendo Integral para PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Não desfazer conversões em comparações binárias quando literal for nulo
• [SPARK-43057] [SC-127948][connect][PYTHON] Migrar os erros da coluna do Spark Connect para a classe de erros
• [SPARK-42859] [SC-127935][connect][PS] Suporte básico para a API pandas no Spark Connect
• [SPARK-43013] [SC-127773][python] Migrar ValueError do DataFrame para PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Redigir cadeia de caracteres de depuração na interface do usuário
• [SPARK-43028] [SC-128070][sql] Adicionar classe de erro SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Adicionar teste para dropDuplicates em JavaDatasetSuite
• [SPARK-43075] [SC-127939][conectar] Altere gRPC para grpcio quando não estiver instalado.
• [SPARK-42953] [SC-127809][connect] Filtro tipado, mapa, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Suporte para desembrulhar tipo data para tipo de timestamp
• [SPARK-42931] [SC-127933][ss] Implementar dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Adicionar constantes de tipos de dados proto
• [SPARK-43077] [SC-128050][sql] Melhorar a mensagem de erro de UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] APIs de DataStreamReader
• [SPARK-43049] [SC-127846][sql] Use CLOB em vez de VARCHAR(255) para StringType para Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Corrigir bug para INSERT comandos com literais de marca temporal
• [SPARK-42855] [SC-127722][sql] Usar verificações nulas de runtime em TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Deduplicar relações com colunas de metadados
• [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o Distribuidor PyTorch compatível com o Spark Connect
• [SPARK-43058] [SC-128072][sql] Transferir os tipos Numérico e Fracionário para PhysicalDataType
• [SPARK-43056] [SC-127946][ss] A confirmação do repositório de estado RocksDB deve continuar o trabalho em segundo plano somente se estiver pausado
• [SPARK-43059] [SC-127947][connect][PYTHON] Migrar TypeError de DataFrame(Leitor|Gravador) para a classe de erro
• [SPARK-43071] [SC-128018][sql] Suporte ao PADRÃO com SELECT, ORDER BY, LIMIT para relação de fonte
• [SPARK-43061] [SC-127956][core][SQL] Introduzir PartitionEvaluator para execução do operador SQL
• [SPARK-43067] [SC-127938][ss] Corrigir o local do arquivo de recursos da classe de erro no conector Kafka
• [SPARK-43019] [SC-127844][sql] Mover a ordenação para PhysicalDataType
• [SPARK-43010] [SC-127759][python] Migrar erros de coluna para a classe de erro
• [SPARK-42840] [SC-127782][sql] Alterar _LEGACY_ERROR_TEMP_2004 erro para erro interno
• [SPARK-43041] [SC-127765][sql] Restaurar construtores de exceções para compatibilidade na API do conector
• [SPARK-42939] [SC-127761][ss][CONNECT] API python de streaming principal para Spark Connect
• [SPARK-42844] [SC-127766][sql] Atualizar a classe _LEGACY_ERROR_TEMP_2008 de erro para INVALID_URL
• [SPARK-42316] [SC-127720][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Migrar erros do DataFrame do Spark Connect para a classe de erro
• [SPARK-42983] [SC-127717][connect][PYTHON] Corrigir createDataFrame para manipular corretamente a matriz numpy de 0 dimensões
• [SPARK-42955] [SC-127476][sql] Ignorar classifyException e encapsular AnalysisException para SparkThrowable
• [SPARK-42949] [SC-127255][sql] Simplificar o código para NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert deve falhar com o índice 0
• [SPARK-42974] [SC-127487][core] Restaurar Utils.createTempDir para usar o método ShutdownHookManager e limpar o método JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' também significa que a tabela já existe
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME não pode qualificar um new-table-Name com um nome de esquema
• [SPARK-37980] [SC-127668][sql] Acesse row_index via _metadata em testes, se possível
• [SPARK-42655] [SC-127591][sql] Erro de referência de coluna ambígua incorreto
• [SPARK-43009] [SC-127596][sql] Parametrizado sql() com Any constantes
• [SPARK-43026] [SC-127590][sql] Aplicar AQE com cache de tabela não trocável
• [SPARK-42963] [SC-127576][sql] Estender SparkSessionExtensions para injetar regras no otimizador de estágio de consulta do AQE
• [SPARK-42918] [SC-127357] Generalizar o tratamento de atributos de metadados no FileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Adicionar Catalog suporte
• [SPARK-42997] [SC-127535][sql] TableOutputResolver deve usar caminhos de coluna corretos em mensagens de erro para matrizes e mapas
• [SPARK-43006] [SC-127486][pyspark] Corrigir erro de digitação em StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Corrigir erro de digitação no pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Corrigir erro de digitação em ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Implementar funções do Avro
• [SPARK-42979] [SC-127272][sql] Definir construtores literais como palavras-chave
• [SPARK-42946] [SC-127252][sql] Redact dados confidenciais que são aninhados por substituição variável
• [SPARK-42952] [SC-127260][sql] Simplificar o parâmetro da regra do analisador PreprocessTableCreation e DataSourceAnalysis
• [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [SPARK-42853] [SC-126101][acompanhamento] Correção de conflitos
• [SPARK-42929] [SC-126748][connect] make mapInPandas / mapInArrow support "is_barrier"
• [SPARK-42968] [SC-127271][ss] Adicionar opção para ignorar o coordenador de confirmação como parte da API StreamingWrite para fontes/destinos DSv2
• [SPARK-42954] [SC-127261][python][CONNECT] Adicionar YearMonthIntervalType ao PySpark e ao cliente Python do Spark Connect
• [SPARK-41359] [SC-127256][sql] Use PhysicalDataType em vez de DataType em UnsafeRow
• [SPARK-42873] [SC-127262][sql] Definir tipos sql do Spark como palavras-chave
• [SPARK-42808] [SC-126302][core] Evite obter processadores disponíveis todas as vezes em MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries deve ser definido InSubqueryExec#shouldBroadcast como true
• [SPARK-42896] [SC-126729][sql][PYTHON] Tornar mapInPandas / mapInArrow compatível com a execução em modo de barreira
• [SPARK-42874] [SC-126442][sql] Habilitar nova estrutura de teste de arquivo padrão para análise de todos os arquivos de entrada
• [SPARK-42922] [SC-126850][sql] Mover de Aleatório para SecureRandom
• [SPARK-42753] [SC-126369] ReusedExchange refere-se a nós inexistentes
• [SPARK-40822] [SC-126274][sql] Aliases de colunas derivadas estáveis
• [SPARK-42908] [SC-126856][python] Lançar RuntimeError quando SparkContext é necessário mas não inicializado
• [SPARK-42779] [SC-126042][sql] Permitir escritas V2 indicar o tamanho da partição de shuffle sugerida
• [SPARK-42914] [SC-126727][python] Reutilizar transformUnregisteredFunction para DistributedSequenceID.
• [SPARK-42878] [SC-126882][conectar] A API de tabela no DataFrameReader também pode aceitar opções
• [SPARK-42927] [SC-126883][core] Alterar o escopo de acesso para o.a.spark.util.Iterators#sizeprivate[util]
• [SPARK-42943] [SC-126879][sql] Use LONGTEXT em vez de TEXT para StringType para um comprimento efetivo
• [SPARK-37677] [SC-126855][core] Descompactar pode manter permissões de arquivo
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] Implementar API de Mapa CoAgrupado
• [SPARK-41876] [SC-126849][connect][PYTHON] Implementar DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] Altere o escopo de acesso de ProtobufSerDe implementações relacionadas para private[protobuf]
• [SPARK-42819] [SC-125879][ss] Adicionar suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados no streaming
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Esclarecer o comentário dos argumentos SQL parametrizados
• [SPARK-42748] [SC-126455][connect] Gerenciamento de artefatos do lado do servidor
• [SPARK-42816] [SC-126365][connect] Suporte para tamanho máximo de mensagem de até 128 MB
• [SPARK-42850] [SC-126109][sql] Remover regra duplicada CombineFilters no Otimizador
• [SPARK-42662] [SC-126355][connect][PS] Adicionar mensagem proto para a API pandas no índice padrão spark
• [SPARK-42720] [SC-126136][ps][SQL] Usa expressão para índice padrão de sequência distribuída em vez de plano
• [SPARK-42790] [SC-126174][sql] Abstrair o método excluído para melhor teste para testes do docker JDBC.
• [SPARK-42900] [SC-126473][connect][PYTHON] Corrigir createDataFrame para respeitar a inferência e os nomes das colunas
• [SPARK-42917] [SC-126657][sql] Corrigir getUpdateColumnNullabilityQuery para DerbyDialect
• [SPARK-42684] [SC-125157][sql] v2 catalog não deve permitir o valor padrão da coluna por padrão
• [SPARK-42861] [SC-126635][sql] Use private[sql] em vez de protected[sql] para evitar gerar documento de API
• [SPARK-42920] [SC-126728][connect][PYTHON] Habilitar testes para UDF com UDT
• [SPARK-42791] [SC-126617][sql] Criar uma nova estrutura de teste de arquivo ouro para análise
• [SPARK-42911] [SC-126652][python] Introduza exceções mais básicas
• [SPARK-42904] [SC-126634][sql] Suporte a Char/Varchar para Catálogo JDBC
• [SPARK-42901] [SC-126459][connect][PYTHON] Mover StorageLevel para um arquivo separado para evitar um potencial file recursively imports
• [SPARK-42894] [SC-126451][connect] Suporte cache/persist/unpersist/storageLevel para o cliente JVM do Spark Connect
• [SPARK-42792] [SC-125852][ss] Adicionar suporte para WRITE_FLUSH_BYTES para RocksDB usado em operadores com estado de streaming
• [SPARK-41233] [SC-126441][connect][PYTHON] Adicionar array_prepend ao cliente Python do Spark Connect
• [SPARK-42681] [SC-125149][sql] Relaxar a restrição de ordenação para descritores de coluna ADD|REPLACE
• [SPARK-42889] [SC-126367][connect][PYTHON] Implementar cache, persistir, não persista e storageLevel
• [SPARK-42824] [SC-125985][connect][PYTHON] Forneça uma mensagem de erro clara para atributos JVM sem suporte
• [SPARK-42340] [SC-126131][connect][PYTHON] Implementar API de Mapa Agrupado
• [SPARK-42892] [SC-126454][sql] Mover sameType e métodos relevantes para fora do DataType
• [SPARK-42827] [SC-126126][connect] Suporte functions#array_prepend para o cliente do Scala Connect
• [SPARK-42823] [SC-125987][sql] spark-sql Shell dá suporte a namespaces de várias partes para inicialização
• [SPARK-42817] [SC-125960][core] Registrando o nome do serviço embaralhado uma vez no ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Seleção digitada
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Implementar função ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Codegen Support for HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Adicionar array_prepend função
• [SPARK-42864] [SC-126268][ml][3.4] Tornar IsotonicRegression.PointsAccumulator privado
• [SPARK-42876] [SC-126281][sql] O tipo de dados físico de DataType deve ser privado[sql]
• [SPARK-42101] [SC-125437][sql] Ajustar o AQE para suportar InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Suporte a expressões ALWAYS AS geradas para colunas em instruções create/replace table
• [SPARK-42870] [SC-126220][conectar] Mover toCatalystValue para connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Corrigir FunçãoDefinidaPeloUsuário para incluir tipoDeRetorno
• [SPARK-42875] [SC-126258][connect][PYTHON] Correção de toPandas para lidar com os tipos de fuso horário e mapa corretamente
• [SPARK-42757] [SC-125626][connect] Implementar textFile para DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Use a função getParameterCount em vez de getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] Refatoração applyExtensions em SparkSession
• [SPARK-41765] Reverter "[SC-123550][sql] Extrair métricas de gravação v1...
• [SPARK-42848] [SC-126105][connect][PYTHON] Implementar DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] suporte a UserDefinedType no Spark Connect
• [SPARK-42818] [SC-125861][connect][PYTHON] Implementar DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Incluir client_type na mensagem protobuf AddArtifactsRequest
• [SPARK-42772] [SC-125860][sql] Altere o valor padrão das opções JDBC sobre push para baixo para true
• [SPARK-42771] [SC-125855][sql] Refatorar HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: escrevendo uniões complexas
• [SPARK-42765] [SC-125850][connect][PYTHON] Habilitar importação pandas_udf de pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation deve respeitar spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] Melhorar o desempenho da exclusão de partições
• [SPARK-42689] [SC-125195][core][SHUFFLE] Permitir que ShuffleDriverComponent declare se os dados de shuffle são armazenados de forma confiável
• [SPARK-42726] [SC-125279][connect][PYTHON] Implementar DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Puxar as métricas de gravação v1 para o WriteFiles
• [SPARK-41171] [SC-124191][sql] Inferir e reduzir o limite da janela pela janela se partitionSpec estiver vazio
• [SPARK-42686] [SC-125292][core] Adiar a formatação para mensagens de depuração no TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Função auxiliar para converter proto literal em valor no Cliente Python
• [SPARK-42793] [SC-125627][conectar] connect módulo requer build_profile_flags
• [SPARK-42701] [SC-125192][sql] Adicionar a try_aes_decrypt() função
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame não funciona com esquema não anulável
• [SPARK-42733] [SC-125542][connect][Followup] Executar gravação sem especificar caminho ou tabela
• [SPARK-42777] [SC-125525][sql] Suporte à conversão de estatísticas do catálogo TimestampNTZ em estatísticas de plano
• [SPARK-42770] [SC-125558][connect] Adicionar truncatedTo(ChronoUnit.MICROS) para que a tarefa GA do teste diário em Java 17 passe
• [SPARK-42752] [SC-125550][pyspark][SQL] Tornar as exceções do PySpark imprimíveis durante a inicialização
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Suporte ao método getActiveSession da sessão do Spark Connect
• [SPARK-42755] [SC-125442][connect] Conversão de valor literal do fator para connect-common
• [SPARK-42747] [SC-125399][ml] Corrigir o status interno incorreto de LoR e AFT
• [SPARK-42740] [SC-125439][sql] Corrigir o bug onde o deslocamento ou paginação de pushdown é inválido para alguns dialetos internos
• [SPARK-42745] [SC-125332][sql] Expressão AliasAwareOutput melhorada funciona com DSv2
• [SPARK-42743] [SC-125330][sql] Suporte para analisar colunas TimestampNTZ
• [SPARK-42721] [SC-125371][conectar] Interceptador de log RPC
• [SPARK-42691] [SC-125397][connect][PYTHON] Implementar Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] Renomear client_id de solicitação do proto Connect para session_id
• [SPARK-42310] [SC-122792][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Otimizar rotinas Utils.bytesToString
• [SPARK-42725] [SC-125296][connect][PYTHON] Fazer com que LiteralExpression suporte parâmetros de array
• [SPARK-42702] [SC-125293][spark-42623][SQL] Suporte à consulta parametrizada em subconsulta e CTE
• [SPARK-42697] [SC-125189][webui] Corrigir /api/v1/applications para retornar o tempo de atividade total em vez de 0 para o campo de duração
• [SPARK-42733] [SC-125278][connect][PYTHON] Corrigir DataFrameWriter.save para funcionar sem parâmetro de caminho
• [SPARK-42376] [SC-124928][ss] Introduzir propagação de marca d'água entre operadores
• [SPARK-42710] [SC-125205][connect][PYTHON] Renomear proto FrameMap para MapPartitions
• [SPARK-37099] [SC-123542][sql] Introduza o limite de grupo da janela de classificação para filtro por classificação, a fim de otimizar a computação de top-k.
• [SPARK-42630] [SC-125207][connect][PYTHON] Introduza UnparsedDataType e adie a análise da string DDL até que SparkConnectClient esteja disponível
• [SPARK-42690] [SC-125193][connect] Implementar funções de análise CSV/JSON para o cliente Scala
• [SPARK-42709] [SC-125172][python] Remova a suposição de __file__ estar disponível
• [SPARK-42318] [SC-122648][spark-42319][SQL] Atribuir nome a LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Suporte ao tipo de dados do analisador json "timestamp_ltz" como TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Esquema def do Python Connect() não deve armazenar em cache o esquema
• [SPARK-42643] [SC-125152][connect][PYTHON] Registrar funções Java (agregadas) definidas pelo utilizador
• [SPARK-42656] [SC-125177][conectar][Acompanhamento] Corrigir o script spark-connect
• [SPARK-41516] [SC-123899] [SQL] Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela
• [SPARK-41725] [SC-124396][connect] Execução imediata de DF.sql()
• [SPARK-42687] [SC-124896][ss] Mensagem de erro melhor para a operação não suportada pivot no Streaming
• [SPARK-42676] [SC-124809][ss] Gravar pontos de verificação temporários para consultas de streaming no sistema de arquivos local, mesmo que o FS padrão seja definido de forma diferente
• [SPARK-42303] [SC-122644][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Verifique pelo menos uma unidade de tempo após "intervalo"
• [SPARK-42649] [SC-124576][core] Remova o cabeçalho padrão do Apache License da parte superior dos arquivos de origem de terceiros
• [SPARK-42611] [SC-124395][sql] Inserir verificações de comprimento char/varchar para campos internos durante a resolução
• [SPARK-42419] [SC-124019][connect][PYTHON] Migrar para o framework de erros da API de Coluna do Spark Connect.
• [SPARK-42637] [SC-124522][connect] Adicionar SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Alterar alias para tipos numpy preteridos e removidos
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver só deve fechar o hive sessionState iniciado
• [SPARK-42593] [SC-124405][ps] Descontinuar e remover as APIs que serão removidas no pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] Correção de createDataFrame para lidar com nomes de coluna duplicados
• [SPARK-42569] [SC-124379][connect] Lançar exceções para a API de sessão não suportada
• [SPARK-42631] [SC-124526][conectar] Suporte para extensões personalizadas no cliente Scala
• [SPARK-41868] [SC-124387][connect][PYTHON] Corrigir createDataFrame para dar suporte a durações
• [SPARK-42572] [SC-124171][sql][SS] Corrigir comportamento para StateStoreProvider.validateStateRowFormat

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)