Tempo de execução do Databricks 12.2 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.2 LTS, alimentado pelo Apache Spark 3.3.2.

A Databricks lançou esta versão em março de 2023.

Mudanças comportamentais

[Mudança de rutura] Nova versão do Python requer atualização de clientes Python Databricks Connect V1

Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 12.2 LTS é atualizada de 3.9.5 para 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 for Python com Databricks Runtime 12.2 LTS devem ser atualizados para Python 3.9.7 ou posterior.

Novos recursos e melhorias

• Python atualizado de 3.9.19 para 3.9.21
• A evolução do esquema Delta Lake suporta a especificação de colunas de origem em instruções de mesclagem
• As cargas de trabalho de Streaming estruturado são suportadas em clusters com modo de acesso compartilhado
• Novos recursos para E/S preditiva
• Suporte implícito de aliasing de coluna lateral
• Novo recurso forEachBatch
• Opções de conexão padronizadas para federação de consultas
• Biblioteca de funções SQL estendida para gerenciamento de matrizes
• Nova função de máscara para anonimizar cadeias de caracteres
• Condições de erro comuns agora retornam SQLSTATEs
• Invoque funções geradoras na cláusula FROM
• O suporte para buffers de protocolo está geralmente disponível
• Ir para a definição de variáveis e funções do bloco de notas
• Correção rápida do bloco de anotações para bibliotecas de importação automática
• Correções de erros

Python atualizado de 3.9.19 para 3.9.21

A versão Python no Databricks Runtime 12.2 LTS é atualizada de 3.9.19 para 3.9.21.

A evolução do esquema Delta Lake suporta a especificação de colunas de origem em instruções de mesclagem

Agora você pode especificar colunas presentes somente na tabela de origem em ações de inserção ou atualização para instruções de mesclagem quando a evolução do esquema estiver habilitada. No Databricks Runtime 12.1 e inferior, apenas INSERT * ações ou UPDATE SET * podem ser usadas para evolução do esquema com mesclagem. Consulte Evolução automática do esquema para mesclagem Delta Lake.

As cargas de trabalho de Streaming estruturado são suportadas em clusters com modo de acesso compartilhado

Agora pode usar o Streaming Estruturado para interagir com o Unity Catalog em ambientes de computação com modo de acesso padrão. Aplicam-se algumas limitações. Consulte Qual funcionalidade de streaming estruturado é compatível com o Unity Catalog?.

Novos recursos para E/S preditiva

O suporte de fótons para a pia Foreachbatch já está disponível. Cargas de trabalho que fluem de uma origem e se fundem em tabelas delta ou gravam em vários coletores agora podem se beneficiar do coletor fotonizado Foreachbatch .

Suporte implícito de aliasing de coluna lateral

O Azure Databricks agora dá suporte ao aliasing de coluna lateral implícito por padrão. Agora você pode reutilizar uma expressão especificada anteriormente na mesma SELECT lista. Por exemplo, dado SELECT 1 AS a, a + 1 AS b, o a in a + 1 pode ser resolvido como o definido anteriormente 1 AS a. Verifique Resolução de nomes para obter mais detalhes na ordem de resolução. Para desativar esse recurso, você pode definir spark.sql.lateralColumnAlias.enableImplicitResolution como false.

Novo recurso forEachBatch

O Photon agora é suportado ao usar foreachBatch para gravar em um coletor de dados.

Opções de conexão padronizadas para federação de consultas

Agora você pode usar um conjunto unificado de opções (host, porta, banco de dados, usuário, senha) para se conectar a fontes de dados suportadas na Federação de Consultas. Port é opcional e usa o número de porta padrão para cada fonte de dados, a menos que especificado.

Biblioteca de funções SQL estendida para gerenciamento de matrizes

Agora você pode remover todos os elementos NULL de uma matriz usando array_compact. Para acrescentar elementos a uma matriz, use array_append.

Nova função de máscara para anonimizar cadeias de caracteres

Invoque a função mask para anonimizar valores de cadeia de caracteres confidenciais.

Condições de erro comuns agora retornam SQLSTATEs

A maioria das condições de erro que o Databricks Runtime agora inclui valores SQLSTATE documentados que podem ser usados para testar erros de forma compatível com o padrão SQL.

Invoque funções geradoras na cláusula FROM

Agora você pode invocar funções de gerador com valor de tabela, como explodir na cláusula regular FROM de uma consulta. Isso alinha a invocação da função geradora com outras funções de tabela internas e definidas pelo usuário.

O suporte para buffers de protocolo está geralmente disponível

Você pode usar as from_protobuf funções e to_protobuf para trocar dados entre os tipos binário e struct. Consulte Buffers de protocolo de leitura e gravação.

Ir para a definição de variáveis e funções do bloco de notas

Nos blocos de anotações, você pode ir rapidamente para a definição de uma variável, função ou o código por trás de uma %run instrução clicando com o botão direito do mouse no nome da variável ou função.

Correção rápida do bloco de anotações para bibliotecas de importação automática

Os Notebooks Databricks agora oferecem um recurso de correção rápida para bibliotecas de importação automática. Se você esquecer de importar uma biblioteca como pandas, passe o mouse sobre o aviso de sintaxe sublinhado e clique em Correção Rápida, esse recurso requer que o Assistente Databricks esteja habilitado em seu espaço de trabalho.

Correções de erros

• Consistência aprimorada para o comportamento de confirmação Delta para transações vazias relacionadas a update, deletee merge comandos. No WriteSerializable nível de isolamento, os comandos que não resultam em alterações agora criam uma confirmação vazia. Em um Serializable nível de isolamento, essas transações vazias agora não criam uma confirmação.

Alterações de comportamento

Alterações de comportamento com o novo recurso de alias de coluna lateral

O novo recurso de alias de coluna lateral introduz alterações de comportamento para os seguintes casos durante a resolução de nomes:

• O alias de coluna lateral agora tem precedência sobre referências correlacionadas com o mesmo nome. Por exemplo, para esta consulta SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), o c1 in the inner c1 AS c2 foi resolvido para a referência t.c1correlacionada, mas agora muda para o alias 1 AS c1da coluna lateral. A consulta agora retorna NULL.
• O alias da coluna lateral agora tem precedência sobre os parâmetros de função com o mesmo nome. Por exemplo, para a função, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, o x no corpo da função foi resolvido para o parâmetro de função x, mas muda para o alias x + 1 da coluna lateral no corpo da função. A consulta, SELECT * FROM func(1) agora retorna 2, 2.
• Para desativar o recurso de alias de coluna lateral, defina spark.sql.lateralColumnAlias.enableImplicitResolution como false. Para obter mais informações, consulte Resolução de nomes.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.8.2 a 3.9.0
  • joblib de 1.1.0 a 1.1.1
  • platformdirs de 2.6.0 a 2.6.2
  • whatthepatch de 1.0.3 a 1.0.4
• Bibliotecas R atualizadas:
  • classe de 7.3-20 a 7.3-21
  • CodeTools de 0.2-18 a 0.2-19
  • MASSA de 7,3-58 a 7,3-58,2
  • NLME de 3.1-160 a 3.1-162
  • Reserve de 1.8-11 a 1.8-12
  • SparkR de 3.3.1 a 3.3.2

Mudanças de comportamento

• Os usuários agora precisam ter SELECT privilégios em MODIFY qualquer arquivo ao criar um esquema com um local definido.

Faísca Apache

O Databricks Runtime 12.2 inclui o Apache Spark 3.3.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-42416] [SC-123205][sc-122851][SQL] As operações de conjunto de datas não devem resolver o plano lógico analisado novamente
• [SPARK-41848] Reverter "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Corrigir tarefa agendada em demasia com TaskResourceProfile"
• [SPARK-42162] [SC-122711][es-556261] Introduza a expressão MultiCommutativeOp como uma otimização de memória para canonicalizar grandes árvores de expressões comutativas
• [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Corrigir a configuração de profundidade recursiva para funções Protobuf
• [SPARK-42002] [SC-122476][connect][PYTHON] Implementar DataFrameWriterV2
• [SPARK-41716] [SC-122545][connect] Renomear _catalog_to_pandas para _execute_and_fetch no catálogo
• [SPARK-41490] [SC-121774][sql] Atribua nome a _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implemente Catalog.cacheTable, isCached e uncache
• [SPARK-42191] [SC-121990][sql] Suporte udf 'luhn_check'
• [SPARK-42253] [SC-121976][python] Adicionar teste para detetar classe de erro duplicada
• [SPARK-42268] [SC-122251][connect][PYTHON] Adicionar UserDefinedType em protos
• [SPARK-42231] [SC-121841][sql] Transforme-se MISSING_STATIC_PARTITION_COLUMN em internalError
• [FAÍSCA-42136] [SC-122554] Cálculo de particionamento de saída Refactor BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][sql] Integrar _LEGACY_ERROR_TEMP_1003 em FIELD_NOT_FOUND
• [SPARK-42192] [12.x][sc-121820][PYTHON] Migrar o TypeError de pyspark/sql/dataframe.py para PySparkTypeError
• [SPARK-35240] Reverter "[SC-118242][ss] Use CheckpointFileManager ...
• [SPARK-41488] [SC-121858][sql] Atribua nome a _LEGACY_ERROR_TEMP_1176 (e 1177)
• [SPARK-42232] [SC-122267][sql] Renomear classe de erro: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][sql] Reescrever agregações distintas após a mesclagem de subconsulta
• [SPARK-42306] [SC-122539][sql] Integrar _LEGACY_ERROR_TEMP_1317 em UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][sql] Renomear classe de erro: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][core] Ignorar IOException em handleBlockRemovalFailure se o SparkContext estiver parado
• [SPARK-41295] [SC-122442][spark-41296][SQL] Renomeie as classes de erro
• [SPARK-42320] [SC-122478][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][sql] Atribua nome a _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][connect] SparkConnectClient suporta RetryPolicies agora
• [SPARK-38728] [SC-116723][sql] Teste a classe de erro: FAILED_RENAME_PATH
• [FAÍSCA-40005] [12.X] Exemplos independentes no PySpark
• [SPARK-39347] [SC-122457][ss] Correção de bug para cálculo de janela de tempo quando a hora do evento é 0
• [SPARK-42336] [SC-122458][core] Use getOrElse() em vez de contains() no ResourceAllocator
• [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF no Spark Connect
• [SPARK-42217] [SC-122263][sql] Suporta alias de coluna lateral implícito em consultas com o Window
• [SPARK-35240] [SC-118242][ss] Use o CheckpointFileManager para manipulação de arquivos de ponto de verificação
• [SPARK-42294] [SC-122337][sql] Incluir valores padrão de coluna na saída DESCRIBE para tabelas V2
• [SPARK-41979] Reverter "Reverter "[12.x][sc-121190][SQL] Adicionar pontos ausentes para mensagens de erro em classes de erro.""
• [SPARK-42286] [SC-122336][sql] Regressão para o caminho de geração de código anterior para expressões complexas com CAST
• [SPARK-42275] [SC-122249][connect][PYTHON] Evite usar lista incorporada, dicionário na tipagem estática
• [SPARK-41985] [SC-122172][sql] Centralize mais regras de resolução de coluna
• [SPARK-42126] [SC-122330][python][CONNECT] Aceitar tipo de retorno em strings DDL para Python Scalar UDFs no Spark Connect
• [SPARK-42197] [SC-122328][sc-121514][CONNECT] Reutiliza a inicialização da JVM e grupos de configuração separados para definir no modo local remoto
• [SPARK-41575] [SC-120118][sql] Atribua nome a _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Reverter “[SC-122172][sql] Centralizar mais regras de resolução de coluna”
• [SPARK-42123] [SC-122234][sc-121453][SQL] Incluir valores padrão das colunas em DESCRIBE e na saída SHOW CREATE TABLE
• [SPARK-41985] [SC-122172][sql] Centralize mais regras de resolução de coluna
• [SPARK-42284] [SC-122233][connect] Certifique-se de que a montagem do servidor 'connect' é concluída antes de executar os testes do cliente - SBT
• [SPARK-42239] [SC-121790][sql] Integrar MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][sql] O suporte de pushdown DS V2 se aplica a dialetos JDBC que se compilam sozinhos SortOrder
• [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics deve lidar com o UDAF em Python
• [FAÍSCA-41979] Reverter "[12.x][sc-121190][SQL] Adicionar pontos ausentes para mensagens de erro em classes de erro."
• [SPARK-42224] [12.x][sc-121708][CONNECT] Migrar TypeError para a estrutura de erro para funções do Spark Connect
• [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migre os erros do Spark Connect para a estrutura de erros do PySpark.
• [SPARK-42119] [SC-121913][sc-121342][SQL] Adicione funções incorporadas com valores de tabela inline e inline_outer
• [SPARK-41489] [SC-121713][sql] Atribua nome a _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Introduza PySparkValueError e PySparkTypeError
• [SPARK-42081] [SC-121723][sql] Melhorar a validação da alteração do plano
• [SPARK-42225] [12.x][sc-121714][CONNECT] Adicione SparkConnectIllegalArgumentException para lidar com o erro Spark Connect com precisão.
• [SPARK-42044] [12.x][sc-121280][SQL] Corrigir mensagem de erro incorreta para MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][sc-121712][PS] Permitir parâmetro de colunas ao criar DataFrame com Series.
• [SPARK-42078] [12.x][sc-120761][PYTHON] Migrar erros lançados pela JVM para PySparkException.
• [SPARK-42133] [12.x][sc-121250] Adicionar métodos básicos de API de conjunto de dados ao SparkConnect Scala Client
• [SPARK-41979] [12.x][sc-121190][SQL] Adicione pontos ausentes para mensagens de erro em classes de erro.
• [SPARK-42124] [12.x][sc-121420][PYTHON][connect] UDF Python em linha escalar no Spark Connect
• [SPARK-42051] [SC-121994][sql] Suporte de Codegen para HiveGenericUDF
• [SPARK-42257] [SC-121948][core] Remover classificador externo variável não utilizado
• [SPARK-41735] [SC-121771][sql] Use MINIMAL em vez de STANDARD para SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][sql] Refinar NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][sql] Melhorar mensagem de erro para PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][core] Migrar SparkCoreErrors para classes de erro
• [SPARK-42163] [SC-121839][sql] Corrigir remoção de esquema para índice de matriz não dobrável ou chave de mapa
• [SPARK-40711] [SC-119990][sql] Adicionar métricas de tamanho de derramamento para janela
• [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Tornar o createDataFrame capaz de suportar coerção AtomicType -> StringType
• [SPARK-42202] [SC-121837][connect][Test] Melhorar a lógica de parada do servidor de teste E2E
• [SPARK-41167] [SC-117425][sql] Melhorar o desempenho do multi-like criando um predicado de árvore de expressão equilibrada
• [SPARK-41931] [SC-121618][sql] Melhor mensagem de erro para definição de tipo complexo incompleto
• [SPARK-36124] [SC-121339][sc-110446][SQL] Suporte a subconsultas com correlação através de UNION
• [FAÍSCA-42090] [SC-121290][3.3] Introduza a contagem de tentativas sasl em RetryingBlockTransferor
• [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR deve fornecer agendador do tipo FAIR
• [SPARK-41572] [SC-120772][sql] Atribua nome a _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][sql] Renomear e melhorar a mensagem de erro para NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][sql] Melhorar mensagem de erro para INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][sc-120573] Atribuir SQLSTATE (1/2)
• [FAÍSCA-41415] [SC-121117][3.3] Tentativas de solicitação SASL
• [SPARK-38591] [SC-121018][sql] Adicionar flatMapSortedGroups e cogroupSorted
• [SPARK-41975] [SC-120767][sql] Melhorar mensagem de erro para INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][sql][PROTOBUF] Adicionar opções ausentes para funções Protobuf
• [SPARK-41984] [SC-120769][sql] Renomear e melhorar a mensagem de erro de RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][sql] Corrige NPE para classes de erro: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][connect][PYTHON] Corrigir nome de coluna incorreto no doctest do withField
• [SPARK-41283] [SC-121175][connect][PYTHON] Adicionar array_append ao Connect
• [SPARK-41960] [SC-120773][sql] Atribuir nome a _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][sql] Corrija getPartitionFiltersAndDataFilters() para manipular filtros sem atributos referenciados
• [SPARK-42096] [SC-121012][connect] Alguma limpeza de código para connect o módulo
• [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Correção count(*) e count(col(*))
• [SPARK-42045] [SC-120958][sc-120450][SQL] Modo ANSI SQL: Round/Bround devem retornar um erro em caso de overflow de número inteiro
• [SPARK-42043] [SC-120968][connect] Resultado do cliente Scala com testes E2E
• [SPARK-41884] [SC-121022][connect] Suporta tupla ingênua como uma linha aninhada
• [SPARK-42112] [SC-121011][sql][SS] Adicionar verificação nula antes ContinuousWriteRDD#compute do fechamento da função dataWriter
• [SPARK-42077] [SC-120553][connect][PYTHON] Literal deve lançar TypeError para DataType não suportado
• [SPARK-42108] [SC-120898][sql] Faça o Analyzer se transformar Count(*) em Count(1)
• [SPARK-41666] [SC-120928][sc-119009][PYTHON] Suporte para SQL parametrizado por sql()
• [SPARK-40599] [SC-120930][sql] Relaxe o tipo de regra multiTransform para permitir que as alternativas sejam qualquer tipo de Seq
• [SPARK-41574] [SC-120771][sql] Atualizar _LEGACY_ERROR_TEMP_2009 para INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][sql] Atribua nome a _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][sql] Transforme-se INCORRECT_END_OFFSET em INTERNAL_ERROR
• [SPARK-41530] [SC-120916][sc-118513][CORE] Renomear MedianHeap para PercentileMap e suporte a percentis
• [SPARK-41757] [SC-120608][spark-41901][CONNECT] Corrigir representação de cadeia de caracteres para a classe Column
• [SPARK-42084] [SC-120775][sql] Evite vazar a restrição de acesso qualificado
• [SPARK-41973] [SC-120765][sql] Atribua nome a _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][sql] SPJ: Remover opção em KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][connect][PYTHON] Renomeie mensagens proto para toDF e withColumnsRenamed
• [SPARK-42089] [SC-120605][connect][PYTHON] Corrigir problemas de nome de variável em funções lambda aninhadas
• [SPARK-41982] [SC-120604][sql] As partições do tipo string não devem ser tratadas como tipos numéricos
• [SPARK-40599] [SC-120620][sql] Adicionar métodos multiTransform ao TreeNode para gerar alternativas
• [SPARK-42085] [SC-120556][connect][PYTHON] Fazer com que from_arrow_schema suporte tipos aninhados
• [SPARK-42057] [SC-120507][sql][PROTOBUF] Corrija como a exceção é tratada no relatório de erros.
• [SPARK-41586] [12.x][todos os testes][SC-120544][python] Introdução pyspark.errors e classes de erro para o PySpark.
• [SPARK-41903] [SC-120543][connect][PYTHON] Literal deve suportar ndarray de 1 dimensão
• [SPARK-42021] [SC-120584][connect][PYTHON] Permitir createDataFrame suporte array.array
• [SPARK-41896] [SC-120506][sql] A filtragem por índice de linha devolve resultados vazios
• [SPARK-41162] [SC-119742][sql] Corrigir anti e semi-join para auto-junção com agregações
• [SPARK-41961] [SC-120501][sql] Suporta funções com valor de tabela com LATERAL
• [SPARK-41752] [SC-120550][sql][UI] Agrupar execuções aninhadas sob a execução raiz
• [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literal deve suportar tipos de dados Numpy
• [SPARK-42028] [SC-120344][connect][PYTHON] Truncar timestamps de nanossegundos
• [SPARK-42011] [SC-120534][connect][PYTHON] Implementar DataFrameReader.csv
• [SPARK-41990] [SC-120532][sql] Use FieldReference.column em vez de apply na conversão de filtro de V1 para V2
• [SPARK-39217] [SC-120446][sql] Implementa suporte para o lado da poda em DPP com União
• [SPARK-42076] [SC-120551][connect][PYTHON] Externalizar a conversão de dados arrow -> rows para conversion.py
• [SPARK-42074] [SC-120540][sql] Habilitar KryoSerializer em TPCDSQueryBenchmark para impor o registo de classe SQL
• [SPARK-42012] [SC-120517][connect][PYTHON] Implementar DataFrameReader.orc
• [SPARK-41832] [SC-120513][connect][PYTHON] Corrigir DataFrame.unionByName, adicionar allow_missing_columns
• [FAÍSCA-38651] [SC-120514] [SQL] Adicionar spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert deve aceitar ExpressionProxy como filho
• [SPARK-41232] [SC-120073][sql][PYTHON] Adicionando array_append função
• [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader deve suportar lista de caminhos
• [SPARK-42071] [SC-120533][core] Registre-se scala.math.Ordering$Reverse no KyroSerializer
• [SPARK-41986] [SC-120429][sql] Introdução do shuffle no SinglePartition
• [SPARK-42016] [SC-120428][connect][PYTHON] Habilitar testes relacionados à coluna aninhada
• [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader deve suportar o esquema StructType
• [SPARK-42031] [SC-120389][core][SQL] Métodos de remove limpeza que não precisam de substituição
• [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Fazer com que createDataFrame(rows/lists/tuples/dicts) suporte tipos aninhados
• [SPARK-41437] [SC-117601][sql][TODOS OS TESTES] Não otimize a consulta de entrada duas vezes para fallback de gravação v1
• [SPARK-41840] [SC-119719][connect][PYTHON] Adicione o alias ausente groupby
• [SPARK-41846] [SC-119717][connect][PYTHON] Ativar doctests para funções de janela
• [SPARK-41914] [SC-120094][sql] FileFormatWriter materializa o plano AQE antes de acessar outputOrdering
• [SPARK-41805] [SC-119992][sql] Reutilizar expressões em WindowSpecDefinition
• [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range para tomar float como argumentos
• [SPARK-42029] [SC-120336][connect] Adicionar regras de sombras do Guava para connect-common evitar falha de inicialização
• [SPARK-41989] [SC-120334][python] Evite quebrar a configuração de registro de pyspark.pandas
• [SPARK-42003] [SC-120331][sql] Reduzir código duplicado em ResolveGroupByAll
• [SPARK-41635] [SC-120313][sql] Corrigir grupo por todos os relatórios de erros
• [SPARK-41047] [SC-120291][sql] Melhorar documentos para rodada
• [SPARK-41822] [SC-120122][connect] Configurar conexão gRPC para cliente Scala/JVM
• [SPARK-41879] [SC-120264][connect][PYTHON] Implementar suporte a tipos aninhados
• [SPARK-41887] [SC-120268][connect][PYTHON] Permitir que DataFrame.hint aceite parâmetro do tipo lista
• [SPARK-41964] [SC-120210][connect][PYTHON] Adicione a lista de funções de E/S não suportadas
• [SPARK-41595] [SC-120097][sql] Função geradora de suporte explode/explode_outer na cláusula FROM
• [SPARK-41957] [SC-120121][connect][PYTHON] Habilitar o doctest para DataFrame.hint
• [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect A saída doctest tem ordem diferente
• [SPARK-41442] [SC-117795][sql][TODOS OS TESTES] Atualize o valor SQLMetric somente se estiver mesclando com uma métrica válida
• [SPARK-41944] [SC-120046][connect] Passar configurações quando o modo remoto local está ativado
• [SPARK-41708] [SC-119838][sql] Extraia informações v1write para WriteFiles
• [SPARK-41780] [SC-120000][sql] Deve lançar INVALID_PARAMETER_VALUE. PATTERN quando os parâmetros regexp são inválidos
• [SPARK-41889] [SC-119975][sql] Anexar a causa raiz ao invalidPatternError e reformular as classes de erro INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][sql] Crie classes de caso do AvroScanBuilder e do JsonScanBuilder
• [SPARK-41945] [SC-120010][connect][PYTHON] Python: cliente de conexão perdeu dados de coluna com pyarrow.Table.to_pylist
• [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Codificadores agnósticos
• [SPARK-41354] [SC-119995][connect][PYTHON] Implementar RepartitionByExpression
• [SPARK-41581] [SC-119997][sql] Atualizar _LEGACY_ERROR_TEMP_1230 como INTERNAL_ERROR
• [SPARK-41928] [SC-119972][connect][PYTHON] Adicione a lista não suportada para functions
• [SPARK-41933] [SC-119980][connect] Fornece o modo local que inicia automaticamente o servidor
• [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' deve respeitar o esquema DDL fornecido pelo usuário
• [SPARK-41936] [SC-119978][connect][PYTHON] Permitir que withMetadata reutilize o withColumns proto
• [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween, Window.rangeBetween parâmetros paridade de verificação de tipos com pyspark
• [SPARK-41939] [SC-119977][connect][PYTHON] Adicionar a lista de funções não suportadas para catalog
• [SPARK-41924] [SC-119946][connect][PYTHON] Faça com que o StructType suporte metadados e implemente DataFrame.withMetadata
• [SPARK-41934] [SC-119967][connect][PYTHON] Adicione a lista de funções não suportadas para session
• [SPARK-41875] [SC-119969][connect][PYTHON] Adicionar casos de teste para Dataset.to()
• [SPARK-41824] [SC-119970][connect][PYTHON] Ingore o doctest para explicar a conexão
• [SPARK-41880] [SC-119959][connect][PYTHON] Fazer com que a função from_json aceite esquema não literal
• [SPARK-41927] [SC-119952][connect][PYTHON] Adicione a lista não suportada para GroupedData
• [SPARK-41929] [SC-119949][connect][PYTHON] Adicionar função array_compact
• [SPARK-41827] [SC-119841][connect][PYTHON] Permitir que GroupBy aceite uma lista de colunas
• [SPARK-41925] [SC-119905][sql] Ativar spark.sql.orc.enableNestedColumnVectorizedReader por padrão
• [SPARK-41831] [SC-119853][connect][PYTHON] Fazer DataFrame.select aceitar lista de colunas
• [SPARK-41455] [SC-119858][connect][PYTHON] Faça DataFrame.collect descartar as informações de fuso horário
• [SPARK-41923] [SC-119861][connect][PYTHON] Adicionar DataFrame.writeTo à lista não suportada
• [SPARK-41912] [SC-119837][sql] Subconsulta não deve validar CTE
• [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Tornar createDataFrame compatível com dataframes vazios
• [SPARK-41905] [SC-119848][connect] Suportar nomes como strings em coleções
• [SPARK-41869] [SC-119845][connect] Rejeitar uma cadeia de caracteres única em dropDuplicates
• [SPARK-41830] [SC-119840][connect][PYTHON] Faça DataFrame.sample aceitar os mesmos parâmetros que o PySpark
• [SPARK-41849] [SC-119835][connect] Implementar DataFrameReader.text
• [SPARK-41861] [SC-119834][sql] Fazer com que o método build() dos ScanBuilders v2 retorne uma varredura tipada
• [SPARK-41825] [SC-119710][connect][PYTHON] Ativar doctests relacionados com DataFrame.show
• [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Faça createDataFrame lidar corretamente com None/NaN
• [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] Fazer com que DataFrame.collect trate None/NaN/Array/Binary corretamente
• [SPARK-39318] [SC-119713][sql] Remover arquivos dourados tpch-plan-stability WithStats
• [FAÍSCA-41791] [SC-119745] Adicionar novos tipos de coluna de metadados de origem de arquivo
• [SPARK-41790] [SC-119729][sql] Definir o formato do leitor e do gravador TRANSFORM corretamente
• [SPARK-41829] [SC-119725][connect][PYTHON] Adicione o parâmetro de ordenação ausente em Sort e sortWithinPartitions
• [SPARK-41576] [SC-119718][sql] Atribua nome a _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][connect][PYTHON] Corrigir teste de doc para DataFrame.describe
• [SPARK-41871] [SC-119714][connect] O parâmetro de dica DataFrame pode ser str, float ou int
• [SPARK-41720] [SC-119076][sql] Renomeie UnresolvedFunc para UnresolvedFunctionName
• [SPARK-41573] [SC-119567][sql] Atribua nome a _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][sql] Corrigir bug de correção relacionado aos valores DEFAULT no leitor Orc
• [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0022

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.5 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java: Zulu 8.68.0.21-CA-linux64
• Escala: 2.12.15
• Píton: 3.9.21
• R: 4.2.2
• Lago Delta: 2.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-11-11. O snapshot não está mais disponível.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)