Databricks Runtime 11.1 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 11.1 da plataforma Apache Spark 3.3.0. O Databricks lançou essa versão em julho de 2022.

Novos recursos e aprimoramentos

• Photon é GA
• Photon: Tipos de instância com suporte
• Alterar o feed de dados agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
• Descrever e mostrar funções SQL agora mostram nomes do Catálogo do Unity em sua saída (Visualização Pública)
• Inferência e evolução de esquema para arquivos Parquet no Carregador Automático (versão prévia pública)
• O Carregador Automático já dá suporte à evolução de esquema para o Avro (GA)
• Suporte do Delta Lake para substituições de partição dinâmica
• Suporte ao esquema de informações para objetos criados no catálogo do Unity
• Restrições informativas em tabelas do Delta Lake com o catálogo do Unity (visualização pública)
• O Catálogo do Unity é GA
• O Compartilhamento Delta é GA

Photon em GA

O Photon agora está disponível em geral, começando com o Databricks Runtime 11.1. O Photon é o mecanismo de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com APIs do Apache Spark, de modo que funcione com o seu código já existente. Ele foi desenvolvido em C++, para aproveitar componentes de hardware modernos, e usa as técnicas mais recentes no processamento de consultas vetorizadas para aproveitar o paralelismo de dados e de nível de instrução em CPUs, aprimorando o desempenho em dados e aplicativos do mundo real, tudo de forma nativa no seu data lake.

O Photon integra um runtime de alto desempenho que executa suas atuais chamadas de SQL e de DataFrame API mais rapidamente e reduz o custo total por carga de trabalho. O Photon é usado por padrão em SQL warehouses do Databricks.

Novos recursos e aprimoramentos:

• Novo operador de classificação vetorizada
• Novas funções de janela vetorizadas
• Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

• Não há suporte para UDFs do Scala/Python pelo Photon
• O RDD não tem suporte do Photon
• O Streaming Estruturado não tem suporte do Photon

Para obter mais informações, consulte os seguintes comunicados do Photon.

Novo operador de classificação vetorizada

O photon agora dá suporte a uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função de janela com um ORDER BY.

Limitações: o Photon não dá suporte a uma cláusula global ORDER BY. Classificações para avaliação de janela serão fotonizados, mas a classificação global continuará sendo executada no Spark.

Photon: novas funções de janela vetorizadas

O Photon agora dá suporte à avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções de janela incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntile e nth_value. Tipos de quadro de janela com suporte: execução (UNBOUNDED PRECEDING AND CURRENT ROW), não associado (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescimento (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e redução (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

• O Photon dá suporte apenas ROWS a versões de todos os tipos de quadro.
• O photon ainda não dá suporte ao tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância com suporte

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Alterar o feed de dados agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O CDF (feed de dados de alteração) agora tem um novo modo para você fornecer carimbos de data/hora ou versões após a versão de uma confirmação mais recente sem gerar erros. Esse modo está desabilitado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

Descrever e mostrar funções SQL agora mostram nomes do Catálogo do Unity em sua saída (Visualização Pública)

Os comandos DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN e SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência e evolução de esquema para arquivos Parquet no Carregador Automático (versão prévia pública)

Agora, o Carregador Automático dá suporte à inferência de esquemas e à evolução em arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora você pode usar a coluna de dados resgatada para resgatar dados inesperados que podem aparecer em seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm uma caixa diferente ou colunas adicionais que não fazem parte do esquema esperado. Você pode configurar o Carregador Automático para evoluir o esquema automaticamente ao encontrar a adição de novas colunas nos dados de entrada. Confira Configurar a inferência e a evolução de esquema no Carregador Automático.

O Carregador Automático já dá suporte à evolução de esquema para o Avro (GA)

Confira Configurar a inferência e a evolução de esquema no Carregador Automático.

Suporte do Delta Lake para substituições de partição dinâmica

O Delta Lake agora permite que o modo de substituição de partição dinâmica substitua todos os dados existentes em cada partição lógica para a qual a gravação confirmará novos dados. Confira Substituir dados seletivamente com o Delta Lake.

Suporte ao esquema de informações para objetos criados no catálogo do Unity

O esquema de informações fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tabelas e exibições, restrições e rotinas. Dentro do esquema de informações, você encontra um conjunto de visões que descrevem os objetos conhecidos pelo catálogo do esquema que você tem o privilégio de ver. O esquema de informações do catálogo SYSTEM retorna informações sobre objetos em todos os catálogos no metastore. Consulte Esquema de informações.

Restrições informativas em tabelas do Delta Lake com o catálogo do Unity (visualização pública)

Agora, você pode definir restrições de chave primária e chave estrangeira informativas nas tabelas do Delta Lake com o catálogo do Unity. Restrições informativas não são aplicadas. Consulte a cláusula CONSTRAINT.

O Catálogo do Unity é GA

O Catálogo do Unity agora está em disponibilidade geral, começando com o Databricks Runtime 11.1. Veja O que é o Catálogo do Unity?.

O Compartilhamento Delta é GA

O Compartilhamento Delta agora está em disponibilidade geral, começando com o Databricks Runtime 11.1.

O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de trocar tokens. Você pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs REST e SQL.

Alguns recursos incluem restringir o acesso do destinatário, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento de compartilhamento Delta a não administradores. Você também pode consultar alterações nos dados ou compartilhar versões incrementais com os Feeds de dados de alterações. Confira O que é o Compartilhamento Delta?.

Alterações de comportamento

Rasura de propriedades confidenciais para DESCRIBE TABLE e SHOW TABLE PROPERTIES

As propriedades confidenciais são editadas em DataFrames e na saída dos DESCRIBE TABLE comandos e SHOW TABLE PROPERTIES .

Os clusters de trabalho assumem como padrão o modo de acesso de usuário único com o Databricks Runtime 11.1 e superior

Para poderem ser usados com o Catálogo do Unity, os clusters de trabalho usando o Databricks Runtime 11.1 e superior criados por meio da interface do usuário de trabalhos ou da API de trabalhos usarão como padrão o modo de acesso de usuário único. O modo de acesso de usuário único é compatível com a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você ainda pode configurar o modo de acesso padrão (antigo modo de acesso compartilhado) por meio da interface do usuário ou da API, mas os idiomas ou recursos podem ser limitados.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • filelock de 3.6.0 a 3.7.1
  • plotly de 5.6.0 a 5.8.2
  • protobuf de 3.20.1 a 4.21.2
• Bibliotecas do R atualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • dbplyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • future de 1.25.0 a 1.26.1
  • globals de 0.14.0 a 0.15.1
  • hardhat de 0.2.0 a 1.1.0
  • ipred de 0.9-12 a 0.9-13
  • openssl de 2.0.0 a 2.0.2
  • parallelly de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressr de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 a 1.7.1
  • randomForest de 4.7-1 a 4.7-1.1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0.38 a 0.40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas do Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Apache Spark

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-40054] [SQL] Restaure a sintaxe de tratamento de erro de try_cast()
• [SPARK-39489] [CORE] Melhore o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s
• [SPARK-39319] [CORE][sql] Fazer contextos de consulta como parte de SparkThrowable
• [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar bugs
• [SPARK-40001] [SQL] Fazer com que gravações NULL em colunas DEFAULT JSON gravem 'null' no armazenamento
• [SPARK-39635] [SQL] Suporte métricas de driver na API de métrica personalizada DS v2
• [SPARK-39184] [SQL] Manipule a matriz de resultados subdimensionada em sequências de data e com carimbo de data/hora
• [SPARK-40019] [SQL] Refatorar o comentário do containsNull do ArrayType e refatorar as lógicas equivocadas na expressão do collectionOperator sobre containsNull.
• [SPARK-39989] [SQL] Suporte estatísticas de coluna de estimativa se elas forem expressões dobráveis
• [SPARK-39926] [SQL] Corrija bugs na coluna de suporte PADRÃO para verificações Parquet não vetoriais
• [SPARK-40052] [SQL] Manipule buffers de bytes diretos em VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Corrija o tipo de intervalo de destino em erros de estouro de conversão
• [SPARK-39835] [SQL] Corrija a classificação global de remoção EliminateSorts abaixo da classificação local
• [SPARK-40002] [SQL] Não efetue push do limite pela janela usando o ntile
• [SPARK-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [SPARK-39985] [SQL] Habilite valores de coluna PADRÃO implícitos em inserções de DataFrames
• [SPARK-39776] [SQL] A cadeia de caracteres detalhada JOIN deve adicionar o tipo de junção
• [SPARK-38901] [SQL] O DS V2 dá suporte à propagação de funções diversas
• [SPARK-40028] [SQL][acompanhamento] Melhorar exemplos de funções de cadeia de caracteres
• [SPARK-39983] [CORE][sql] Não armazenar em cache relações de transmissão não credenciadas no driver
• [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [SPARK-40028] [SQL] Adicione exemplos binários para expressões de cadeia de caracteres
• [SPARK-39981] [SQL] Acione a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert na conversão
• [SPARK-40007] [PYTHON][sql] Adicionar 'modo' às funções
• [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
• [SPARK-40003] [PYTHON][sql] Adicionar 'mediana' às funções
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente em cache a relação de resultado
• [SPARK-39951] [SQL] Atualize a verificação de coluna do Parquet V2 para campos aninhados
• [SPARK-39775] [CORE][avro] Desabilitar valores padrão de validação ao analisar esquemas do Avro
• [SPARK-33236] [shuffle] Retrofiting para Databricks Runtime 11.x: Habilitar o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para reinício com preservação de trabalho
• [SPARK-39836] [SQL] Simplifique V2ExpressionBuilder extraindo o método comum.
• [SPARK-39867] [SQL] O limite global não deve herdar OrderPreservingUnaryNode
• [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle em EliminateLimits
• [SPARK-39961] [SQL] Traduza a propagação de DS V2 Converter se a conversão for segura
• [SPARK-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a API de entrada da matriz em VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remova AliasHelper ou PredicateHelper desnecessários para algumas regras
• [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Aplicar projeção quando os atributos de grupo estiverem vazios
• [SPARK-39900] [SQL] Abordar condições parciais ou negadas no pushdown de predicado do formato binário
• [SPARK-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [SPARK-39958] [SQL] Adicione log de aviso quando não for possível carregar o objeto de métrica personalizado
• [SPARK-39936] [SQL] Armazene esquema em propriedades para exibições do Spark
• [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [SPARK-37194] [SQL] Evite classificação desnecessária na gravação v1 se não for partição dinâmica
• [SPARK-39902] [SQL] Adicione detalhes de verificação ao nó de verificação do plano Spark no SparkUI
• [SPARK-39865] [SQL] Mostre mensagens de erro adequadas nos erros de estouro da inserção de tabela
• [SPARK-39940] [SS] Atualize tabela de catálogo na consulta de streaming com o coletor DSv1
• [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro int em add_months()
• [SPARK-39914] [SQL] Adicione filtro DS V2 à conversão de filtro V1
• [SPARK-39857] [SQL] Backport manual do Databricks Runtime 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In #43454
• [SPARK-39840] [SQL][python] Refatorar PythonArrowInput em relação a PythonArrowOutput para simetria
• [SPARK-39651] [SQL] Remova a condição de filtro se a comparação com rand for determinística
• [SPARK-39877] [PYTHON] Adicione a opção transformar colunas em linhas à API de DataFrame do PySpark
• [SPARK-39847] [WARMFIX][ss] Corrigir condição de disputa em RocksDBLoader.loadLibrary() caso o thread que fez a chamada seja interrompido
• [SPARK-39909] [SQL] Organize a verificação de informações de pushdown para JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier do DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [SPARK-39860] [SQL] Mais expressões devem estender o Predicado
• [SPARK-39823] [SQL][python] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [SPARK-39918] [SQL][minor] Substitua a redação "não comparável" por "incomparável" na mensagem de erro
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In
• [SPARK-39862] [SQL] Backport manual para PR 43654 visando o Databricks Runtime 11.x: Atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para autorização/negação ALTER TABLE ... Adicione comandos COLUMN separadamente.
• [SPARK-39844] [SQL] Backport manual para PR 43652 visando o Databricks Runtime 11.x
• [SPARK-39899] [SQL] Corrija passagem de parâmetros de mensagem para InvalidUDFClassException
• [SPARK-39890] [SQL] Faça TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Suporte CharType no PySpark
• [SPARK-38864] [SQL] Adicione unpivot/melt ao Conjunto de dados
• [SPARK-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [SPARK-39808] [SQL] Suporte o MODO de função de agregação
• [SPARK-39839] [SQL] Tratar o caso especial de decimal de comprimento variável nulo com offsetAndSize diferente de zero na verificação de integridade estrutural de UnsafeRow
• [SPARK-39875] [SQL] Altere método protected na classe final para private ou package-visible
• [SPARK-39731][SQL] Corrija problemas em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com política de analisador de tempo CORRIGIDA
• [SPARK-39805] [SS] Pretere Trigger.Once e promova Trigger.AvailableNow
• [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir a Expressão Catalyst para o filtro da fonte de dados
• [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
• [SPARK-39552] [SQL] Unifique v1 e v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] O acesso _metadata na tabela particionada pode travar uma consulta
• [SPARK-39810] [SQL] Catalog.tableExists deve lidar com namespace aninhado
• [SPARK-37287] [SQL] Retire partição dinâmica e classificação de bucket do FileFormatWriter
• [SPARK-39469] [SQL] Infira o tipo de data para inferência de esquema CSV
• [SPARK-39148] [SQL] O push down de agregação do DS V2 pode funcionar com o OFFSET ou o LIMIT
• [SPARK-39818] [SQL] Corrigir o bug em tipos ARRAY, STRUCT e MAP com valores DEFAULT com campos NULL
• [SPARK-39792] [SQL] Adicione DecimalDivideWithOverflowCheck para a média decimal
• [SPARK-39798] [SQL] Substitua toSeq.toArray por .toArray[Any] no construtor de GenericArrayData
• [SPARK-39759] [SQL] Implemente listIndexes no JDBC (dialeto H2)
• [SPARK-39385] [SQL] Dá suporte a pushdown REGR_AVGX e REGR_AVGY
• [SPARK-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [SPARK-39760] [PYTHON] Suporte Varchar no PySpark
• [SPARK-39557] [SQL] Backport manual para Databricks Runtime 11.x: Suporte a ARRAY, STRUCT, tipos MAP como valores PADRÃO
• [SPARK-39758] [SQL][3.3] Corrija NPE das funções regexp em padrões inválidos
• [SPARK-39749] [SQL] Modo ANSI SQL: use representação de cadeia de caracteres simples na conversão de Decimal para Cadeia de caracteres
• [SPARK-39704] [SQL] Implementar createIndex e dropIndex e indexExists no JDBC (dialeto H2)
• [SPARK-39803][SQL] Usar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Dar suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de repositório de estado rocksdb
• [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
• [SPARK-39751] [SQL] Renomeie a métrica de investigação de chave de agregação de hash
• [SPARK-39772] [SQL] O namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
• [SPARK-39625] [SPARK-38904][sql] Adicionar Dataset.as(StructType)
• [SPARK-39384] [SQL] Compile funções internas de agregação de regressão linear para dialeto JDBC
• [SPARK-39720] [R] Implemente tableExists/getTable no SparkR para namespace 3L
• [SPARK-39744] [SQL] Adicione a função REGEXP_INSTR
• [SPARK-39716] [R] Faça currentDatabase/setCurrentDatabase/listCatalogs no namespace 3L de suporte do SparkR
• [SPARK-39788] [SQL] Renomeie catalogName como dialectName para JdbcUtils
• [SPARK-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [SPARK-39754] [CORE][sql] Remover não utilizado import ou desnecessário {}
• [SPARK-39706] [SQL] Defina coluna ausente com defaultValue como constante em ParquetColumnVector
• [SPARK-39699] [SQL] Torne CollapseProject mais inteligente sobre expressões de criação de coleção
• [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem dar suporte ao filtro de agregação
• [SPARK-39579] [SQL][python][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
• [SPARK-39748] [SQL][ss] Inclua o plano lógico de origem para LogicalRDD se ele vier do DataFrame
• [SPARK-39385] [SQL] Traduza funções de agregação de regressão linear para pushdown
• [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
• [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para compilar e transmitir a tabela
• [SPARK-39666] [ES-337834][sql] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode no ExpressionEncoder
• [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
• [SPARK-38647] [SQL] Adicione combinação de SupportsReportOrdering na interface para Verificação (DataSourceV2)
• [SPARK-39497][SQL] Aprimore a exceção de análise da coluna de chave de mapa ausente
• [SPARK-39661] [SQL] Evite criar um agente SLF4J desnecessário
• [SPARK-39713][SQL] Modo ANSI: adicione sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] O DS V2 dá suporte a pushdown de funções datetime
• [SPARK-39638] [SQL] Altere para usar ConstantColumnVector e armazenar colunas de partição em OrcColumnarBatchReader
• [SPARK-39653] [SQL] Limpe ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
• [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordenação de saída filho
• [SPARK-39606] [SQL] Use estatísticas filho para estimar o operador de pedido
• [SPARK-39611] [PYTHON][ps] Corrigir aliases errados em array_ufunc
• [SPARK-39656] [SQL][3.3] Corrija namespace errado em DescribeNamespaceExec
• [SPARK-39675] [SQL] Alterne a configuração 'spark.sql.codegen.factoryMode' da finalidade do teste para a finalidade interna
• [SPARK-39139] [SQL] O DS V2 dá suporte ao envio de DS V2 UDF
• [SPARK-39434][SQL] Forneça o contexto da consulta de erro de runtime quando o índice de matriz estiver fora do limite
• [SPARK-39479] [SQL] DS V2 dá suporte a pushdown de funções matemáticas (não ANSI)
• [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
• [SPARK-39553] [CORE] O cancelamento do registro de vários threads não deve gerar NPE ao usar o Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Adicione arquivo para cuidar das funções gerais do pandas ausentes
• [SPARK-39444] [SQL] Adicione OptimizeSubqueries à lista nonExcludableRules
• [SPARK-39316] [SQL] Mescle PromotePrecision e CheckOverflow em aritmética binária decimal
• [SPARK-39505] [UI] Escape conteúdo do log renderizado na interface do usuário
• [SPARK-39448] [SQL] Adicione ReplaceCTERefWithRepartition à lista nonExcludableRules
• [SPARK-37961] [SQL] Substitua maxRows/maxRowsPerPartition para alguns operadores lógicos
• [SPARK-35223] Reverta Adicionar IssueNavigationLink
• [SPARK-39633] [SQL] Dê suporte ao carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [SPARK-38796] [SQL] Atualize a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
• [SPARK-39650] [SS] Corrija esquema de valor incorreto na eliminação de duplicação de streaming com a compatibilidade com versões anteriores
• [SPARK-39636] [CORE][ui] Corrigir vários bugs no JsonProtocol, afetando o Heap StorageLevels e Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Retorne ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [SPARK-39349] Adicione um método CheckError centralizado para a garantia de qualidade do caminho do erro
• [SPARK-39453] [SQL] O DS V2 dá suporte a funções não agregadas em diversos envios (não ANSI)
• [SPARK-38978] [SQL] O DS V2 dá suporte ao operador OFFSET de push down
• [SPARK-39567] [SQL] Dê suporte a intervalos ANSI nas funções percentil
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ALTER COLUMNS para fontes de dados da V2
• [SPARK-39396] [SQL] Corrigir exceção de logon LDAP 'código de erro 49 - credenciais inválidas'
• [SPARK-39548][SQL] O comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada. Problema não encontrado
• [SPARK-39575][AVRO] AdicionearByteBuffer#rewind após ByteBuffer#get no Avr…
• [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se for feito o fallback para v1
• [SPARK-39564] [SS] Exponha as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [SPARK-39582] [SQL] Corrija o marcador "Since" para array_agg
• [SPARK-39388] [SQL] Reutilize orcSchema ao reduzir predicados Orc
• [SPARK-39511] [SQL] Melhore o limite local de pushdown 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
• [SPARK-38614] [SQL] Não empurre o limite para baixo pela janela que está usando percent_rank
• [SPARK-39551] [SQL] Adicione verificação de plano inválido AQE
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ADD COLUMNS para fontes de dados da V2
• [SPARK-39538] [SQL] Evitar a criação de um agente SLF4J desnecessário
• [SPARK-39383] [SQL] Backport manual para o Databricks Runtime 11.x: refatorar o suporte à coluna DEFAULT para ignorar a passagem do Analisador primário ao redor
• [SPARK-39397] [SQL] Libere o AliasAwareOutputExpression para dar suporte a alias com expressão
• [SPARK-39496] [SQL] Manipule struct nulo em Inline.eval
• [SPARK-39545] [SQL] Substitua o método concat pelo ExpressionSet no Scala 2.13 para melhorar o desempenho
• [SPARK-39340] [SQL] A propagação de agregação do DS v2 deve permitir pontos no nome das colunas de nível superior
• [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [SPARK-38846] [SQL] Adicione mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [SPARK-39520] [SQL] Substitua o método -- pelo ExpressionSet no Scala 2.13
• [SPARK-39470] [SQL] Dê suporte à conversão de intervalos ANSI para decimais
• [SPARK-39477] [SQL] Remova informações de "Número de consultas" dos arquivos finais do SQLQueryTestSuite
• [SPARK-39419][SQL] Corrija um erro em que ArraySort lança uma exceção quando o comparador retorna nulo
• [SPARK-39061] [SQL] Definir um anulável corretamente para atributos de saída Inline
• [SPARK-39320] [SQL] Dar suporte à função de agregação MEDIAN
• [SPARK-39261] [CORE] Aprimorar a formatação de nova linha para mensagens de erro
• [SPARK-39355][SQL] A coluna única usa aspas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE deve rasurar propriedades
• [SPARK-37623] [SQL] Dar suporte à função de agregação ANSI: regr_intercept
• [SPARK-39374] [SQL] Aprimorar a mensagem de erro da lista de colunas especificada pelo usuário
• [SPARK-39255] [SQL][3.3] Aprimorar as mensagens de erro
• [SPARK-39321] [SQL] Refatorar TryCast para usar RuntimeReplaceable
• [SPARK-39406] [PYTHON] Aceitar a matriz NumPy em createDataFrame
• [SPARK-39267] [SQL] Limpe o símbolo desnecessário de DSL
• [SPARK-39171] [SQL] Unifique a expressão de Conversão
• [SPARK-28330] [SQL] Dê suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [SPARK-39203] [SQL] Regenere o local da tabela para URI absoluto com base no URI do banco de dados
• [SPARK-39313] [SQL] toCatalystOrdering deverá falhar se V2Expression não puder ser traduzido
• [SPARK-39301] [SQL][python] Utilizar LocalRelation e respeitar o tamanho do lote do Arrow em createDataFrame com otimização do Arrow
• [SPARK-39400] [SQL] spark-sql deve remover o diretório de recurso hive em todos os casos

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo CRAN da Microsoft em 15/08/2022.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)