Tempo de execução do Databricks 11.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.1, desenvolvido pelo Apache Spark 3.3.0. A Databricks lançou esta versão em julho de 2022.

Novos recursos e melhorias

• Fóton é GA
• Photon: Tipos de instância suportados
• O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
• Descrever e mostrar funções SQL agora mostram nomes do Catálogo Unity em sua saída (Visualização pública)
• Inferência de esquema e evolução para arquivos Parquet no Auto Loader (Visualização pública)
• Auto Loader agora suporta evolução de esquema para Avro (GA)
• Suporte Delta Lake para substituições de partição dinâmica
• Suporte de esquema de informações para objetos criados no Unity Catalog
• Restrições informativas em tabelas Delta Lake com Unity Catalog (Visualização pública)
• Unity Catalog está em Disponibilidade Geral
• Delta Sharing é GA

Fóton é GA

O Photon agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. O Photon é o motor de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com as APIs do Apache Spark para que funcione com o código existente. O Photon é desenvolvido em C++ para tirar proveito do hardware moderno e usa as técnicas mais recentes em processamento vetorizado de consultas para capitalizar o paralelismo de dados e instruções em CPUs, melhorando o desempenho em dados e aplicativos do mundo real — tudo nativamente em seu data lake.

O Photon faz parte de um runtime de alto desempenho que executa as chamadas à API do SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho. O Photon é utilizado por predefinição nos armazéns SQL do Databricks.

Os novos recursos e melhorias incluem:

• Novo operador de classificação vetorizado
• Novas funções vetorizadas de janela
• Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

• UDFs Scala/Python não são suportados pelo Photon
• RDD não é suportado pelo Photon
• O Streaming estruturado não é suportado pelo Photon

Para obter mais informações, consulte os seguintes anúncios do Photon.

Photon: Novo operador de classificação vetorizado

O Photon agora suporta uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função de janela com um ORDER BYarquivo .

Limitações: Photon não suporta uma cláusula global ORDER BY . As classificações para avaliação de janela serão fotonizadas, mas a classificação global continuará a ser executada no Spark.

Photon: Novas funções vetorizadas da janela

Photon agora suporta avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções da janela incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntilee nth_value. Tipos de moldura de janela suportados: executando (UNBOUNDED PRECEDING AND CURRENT ROW), sem limites (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescendo (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e encolhendo (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

• Photon suporta apenas ROWS versões de todos os tipos de quadros.
• O fóton ainda não suporta o tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância suportados

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O feed de dados de alteração (CDF) agora tem um novo modo que permite fornecer carimbos de data/hora ou versões além da versão da última confirmação sem gerar erros. Este modo está desativado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

Descrever e mostrar funções SQL agora mostram nomes do Catálogo Unity em sua saída (Visualização pública)

Os comandos DESC TABLE, DESC DATABASE, , DESC SCHEMA, DESC NAMESPACEDESC FUNCTION, , EXPLAINe SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência de esquema e evolução para arquivos Parquet no Auto Loader (Visualização pública)

O Auto Loader agora suporta inferência de esquema e evolução para arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora você pode usar a coluna de dados resgatados para resgatar dados inesperados que podem aparecer em seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm um invólucro diferente ou colunas adicionais que não fazem parte do esquema esperado. Você pode configurar o Auto Loader para evoluir o esquema automaticamente ao encontrar a adição de novas colunas nos dados recebidos. Consulte Configurar inferência e evolução de esquema no Auto Loader.

Auto Loader agora suporta evolução de esquema para Avro (GA)

Consulte Configurar inferência e evolução de esquema no Auto Loader.

Suporte Delta Lake para substituições de partição dinâmica

O Delta Lake agora permite que o modo de substituição de partição dinâmica substitua todos os dados existentes em cada partição lógica para a qual a gravação confirmará novos dados. Consulte Substituir dados seletivamente com o Delta Lake.

Suporte de esquema de informações para objetos criados no Unity Catalog

O esquema de informações fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tabelas e exibições, restrições e rotinas. Dentro do esquema de informações, encontra um conjunto de visões que descrevem os objetos conhecidos no catálogo do esquema aos quais tem o privilégio de ter acesso. O esquema de informações do catálogo SYSTEM retorna informações sobre objetos em todos os catálogos dentro do metastore. Consulte Esquema de informações.

Restrições informativas em tabelas Delta Lake com Unity Catalog (Visualização pública)

Agora você pode definir restrições de chave primária informacional e chave estrangeira em tabelas Delta Lake com o Unity Catalog. As restrições informacionais não são impostas. Consulte a cláusulaem .

O Unity Catalog está em Disponibilidade Geral

O Unity Catalog agora está disponível para o público em geral a partir do Databricks Runtime 11.1. Veja O que é o Unity Catalog?.

Delta Sharing é GA

O Delta Sharing agora está disponível para o público em geral a partir do Databricks Runtime 11.1.

O Databricks to Databricks Delta Sharing é totalmente gerenciado sem a necessidade de troca de tokens. Você pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs SQL e REST.

Alguns recursos incluem restringir o acesso de destinatários, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento do Delta Sharing a não-administradores. Você também pode consultar alterações em dados ou compartilhar versões incrementais com o Change Data Feeds. Consulte O que é Delta Sharing?.

Alterações de comportamento

Remoção de propriedades sensíveis para DESCRIBE TABLE e SHOW TABLE PROPERTIES

As propriedades confidenciais são editadas em DataFrames e na saída dos DESCRIBE TABLE comandos and SHOW TABLE PROPERTIES .

Clusters de tarefas padrão para o modo de acesso de usuário único com Databricks Runtime 11.1 e superior

Para serem capazes do Unity Catalog, os clusters de tarefas que usam o Databricks Runtime 11.1 e superior criados por meio da interface do usuário de trabalhos ou da API de trabalhos usarão como padrão o modo de acesso de usuário único. O modo de acesso de usuário único suporta a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você ainda pode configurar o modo de acesso padrão (anteriormente modo de acesso compartilhado) por meio da interface do usuário ou da API, mas os idiomas ou recursos podem ser limitados.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.6.0 a 3.7.1
  • plotly de 5.6.0 a 5.8.2
  • Protobuf de 3.20.1 a 4.21.2
• Bibliotecas R atualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • DBPlyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • futuro de 1.25.0 a 1.26.1
  • globais de 0.14.0 a 0.15.1
  • Hardhat de 0.2.0 a 1.1.0
  • ipred de 0,9-12 a 0,9-13
  • openssl de 2.0.0 a 2.0.2
  • paralelamente de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressor de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 a 1.7.1
  • randomFloresta de 4,7-1 a 4,7-1,1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • Sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0,38 a 0,40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Faísca Apache

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
• [FAÍSCA-39489] [CORE] Melhore o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s
• [SPARK-39319] [CORE][sql] Crie contextos de consulta como parte do SparkThrowable
• [FAÍSCA-40085] [SQL] Use INTERNAL_ERROR classe de erro em vez de IllegalStateException para indicar bugs
• [SPARK-40001] [SQL] Fazer com que gravações de NULL em colunas DEFAULT de JSON gravem 'null' no armazenamento
• [FAÍSCA-39635] [SQL] Suporta métricas de driver na API de métrica personalizada do DS v2
• [FAÍSCA-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de carimbo de data e hora
• [SPARK-40019] [SQL] Refatore o comentário do containsNull do ArrayType e refatore as lógicas equivocadas na expressão do collectionOperator sobre containsNull
• [SPARK-39989] [SQL] Suporta estatísticas de coluna de estimativa se for expressão dobrável
• [SPARK-39926] [SQL] Corrigir bug no suporte para DEFAULT em colunas para varreduras Parquet não vetorizadas
• [FAÍSCA-40052] [SQL] Manipular buffers diretos de bytes em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
• [SPARK-39835] [SQL] Corrigir erro onde EliminateSorts remove a classificação global abaixo da classificação local
• [SPARK-40002] [SQL] Não empurre o limite para baixo através da janela usando ntile
• [FAÍSCA-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [SPARK-39985] [SQL] Habilitar valores de coluna DEFAULT implícitos em inserções de DataFrames
• [SPARK-39776] [SQL] JOIN cadeia de caracteres detalhada deve adicionar o tipo Join
• [FAÍSCA-38901] [SQL] DS V2 suporta funções push down misc
• [SPARK-40028] [SQL][followup] Melhorar exemplos de funções de cadeia de caracteres
• [SPARK-39983] [CORE][sql] Não armazenar em cache relações de difusão não serializadas no driver
• [FAÍSCA-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [FAÍSCA-40028] [SQL] Adicionar exemplos binários para expressões de cadeia de caracteres
• [FAÍSCA-39981] [SQL] Lance a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert no Cast
• [SPARK-40007] [PYTHON][sql] Adicionar 'modo' às funções
• [FAÍSCA-40008] [SQL] Suporte de fundição de integrais para intervalos ANSI
• [SPARK-40003] [PYTHON][sql] Adicionar 'mediana' às funções
• [FAÍSCA-39952] [SQL] SaveIntoDataSourceCommand deve rearmazenar em cache a relação de resultados
• [SPARK-39951] [SQL] Atualizar verificação colunar do Parquet V2 para campos aninhados
• [SPARK-39775] [CORE][avro] Desative a validação de valores padrão ao analisar esquemas Avro
• [SPARK-33236] [shuffle] Backport para Databricks Runtime 11.x: Ativar o serviço de shuffle baseado em Push para armazenar o estado na base de dados ao nível do Gestor de Nós para preservação do estado de trabalho durante o reinício
• [FAÍSCA-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo o método comum.
• [FAÍSCA-39867] [SQL] O limite global não deve herdar OrderPreservingUnaryNode
• [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle-o em EliminateLimits
• [FAÍSCA-39961] [SQL] DS V2 push-down traduzir Cast se o elenco é seguro
• [FAÍSCA-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a api de entrada de matriz em VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remover AliasHelper ou PredicateHelper desnecessários para algumas regras
• [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Aplicar projeção quando os atributos do grupo estiverem vazios
• [SPARK-39900] [SQL] Resolver condição parcial ou negada no pushdown de predicado do formato binário
• [FAÍSCA-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [FAÍSCA-39958] [SQL] Adicionar log de aviso quando não for possível carregar o objeto de métrica personalizado
• [FAÍSCA-39936] [SQL] Armazenar esquema em propriedades para Spark Views
• [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [SPARK-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
• [FAÍSCA-39902] [SQL] Adicionar detalhes do Scan ao nó de verificação do plano de faísca no SparkUI
• [SPARK-39865] [SQL] Mostrar mensagens de erro apropriadas sobre os erros de transbordamento ao inserir na tabela
• [SPARK-39940] [SS] Atualizar tabela de catálogo na consulta de streaming com coletor DSv1
• [FAÍSCA-39827] [SQL] Use a classe ARITHMETIC_OVERFLOW de erro no estouro int em add_months()
• [FAÍSCA-39914] [SQL] Adicionar Filtro DS V2 à conversão de Filtro V1
• [SPARK-39857] [SQL] Retrocesso manual do Databricks Runtime 11.x; O V2ExpressionBuilder utiliza um tipo de dados LiteralValue incorreto para o predicado 'In' #43454
• [SPARK-39840] [SQL][python] Extrair PythonArrowInput como um contraponto a PythonArrowOutput
• [FAÍSCA-39651] [SQL] A condição do filtro Prune se comparada com rand é determinística
• [SPARK-39877] [PYTHON] Adicionar função de unpivot à API DataFrame do PySpark
• [SPARK-39847] [WARMFIX][ss] Corrigir condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
• [FAÍSCA-39909] [SQL] Organizar a verificação de informações de push down para JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier de DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [FAÍSCA-39860] [SQL] Mais expressões devem estender Predicado
• [SPARK-39823] [SQL][python] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [SPARK-39918] [SQL][minor] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
• [FAÍSCA-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
• [SPARK-39862] [SQL] Backport manual para o PR 43654 para direcionar Databricks Runtime 11.x: Atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir ou negar ALTER TABLE ... Adicione comandos COLUMN separadamente.
• [SPARK-39844] [SQL] Backport manual para PR 43652 direcionado para o Databricks Runtime 11.x
• [SPARK-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
• [FAÍSCA-39890] [SQL] Fazer TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [FAÍSCA-39809] [PYTHON] Suporte CharType no PySpark
• [SPARK-38864] [SQL] Adicionar unpivot / melt ao Dataset
• [FAÍSCA-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [FAÍSCA-39808] [SQL] Suporta o modo de função agregada
• [FAÍSCA-39839] [SQL] Lidar com maiúsculas e minúsculas de comprimento variável nulo Decimal com deslocamento diferente de zeroAndSize na verificação de integridade estrutural UnsafeRow
• [FAÍSCA-39875] [SQL] Alterar protected o método na classe final para private ou package-visible
• [FAÍSCA-39731] [SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
• [FAÍSCA-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir o Catalyst Expression para o filtro da fonte de dados
• [FAÍSCA-39672] [SQL][3.1] Corrigir a remoção do projeto antes do filtro com a subconsulta correlacionada
• [FAÍSCA-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [FAÍSCA-39806] [SQL] O acesso _metadata em uma tabela particionada pode travar uma consulta
• [SPARK-39810] [SQL] Catalog.tableExists deverá lidar com namespace aninhado
• [SPARK-37287] [SQL] Retire a partição dinâmica e a classificação de bucket de FileFormatWriter
• [SPARK-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
• [SPARK-39148] [SQL] DS V2 aggregate push down pode funcionar com OFFSET ou LIMIT
• [SPARK-39818] [SQL] Corrigir bug em tipos ARRAY, STRUCT e MAP com valores DEFAULT e campo(s) NULL
• [FAÍSCA-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
• [FAÍSCA-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor de GenericArrayData
• [FAÍSCA-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
• [FAÍSCA-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
• [FAÍSCA-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [FAÍSCA-39760] [PYTHON] Suporte Varchar no PySpark
• [SPARK-39557] [SQL] Portabilidade manual para Databricks Runtime 11.x: Suporte para tipos ARRAY, STRUCT, MAP como PADRÃO para valores
• [FAÍSCA-39758] [SQL][3.3] Corrigir NPE das funções regexp em padrões inválidos
• [FAÍSCA-39749] [SQL] Modo ANSI SQL: Use a representação de cadeia de caracteres simples na conversão de decimal para string
• [FAÍSCA-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
• [FAÍSCA-39803] [SQL] Utilizar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [FAÍSCA-39339] [SQL] Suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [FAÍSCA-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de armazenamento de estado rocksdb
• [FAÍSCA-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte ao SparkR
• [FAÍSCA-39751] [SQL] Renomear métrica de testes de chave de agregação de hash
• [FAÍSCA-39772] [SQL] namespace deve ser null quando o banco de dados é nulo nos construtores antigos
• [SPARK-39625] [SPARK-38904][sql] Adicionar Dataset.as(StructType)
• [FAÍSCA-39384] [SQL] Compilar funções de agregação de regressão linear integradas para o dialeto JDBC
• [FAÍSCA-39720] [R] Implementar tableExists/getTable no namespace SparkR for 3L
• [FAÍSCA-39744] [SQL] Adicionar a REGEXP_INSTR função
• [FAÍSCA-39716] [R] Faça com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suporte 3L namespace
• [FAÍSCA-39788] [SQL] Renomear catalogName para dialectName for JdbcUtils
• [FAÍSCA-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [SPARK-39754] [CORE][sql] Remover import ou {} não utilizados ou desnecessários
• [SPARK-39706] [SQL] Definir coluna ausente com defaultValue como constante no ParquetColumnVector
• [FAÍSCA-39699] [SQL] Tornar o CollapseProject mais inteligente sobre expressões de criação de coleção
• [FAÍSCA-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC deve suportar filtro agregado
• [SPARK-39579] [SQL][python][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [FAÍSCA-39627] [SQL] O pushdown JDBC V2 deve unificar a API de compilação
• [SPARK-39748] [SQL][ss] Inclua o plano lógico de origem para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39385] [SQL] Definição da palavra linear regression aggregate functions for pushdown
• [FAÍSCA-39695] [SQL] Adicionar a REGEXP_SUBSTR função
• [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
• [SPARK-39666] [ES-337834][sql] Utilize UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode no ExpressionEncoder
• [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores predefinidos (DEFAULT)
• [FAÍSCA-38647] [SQL] Adicionar SupportsReportOrdering mix na interface para Scan (DataSourceV2)
• [SPARK-39497] [SQL] Melhorar a exceção de análise referente à ausência da coluna chave do mapa
• [FAÍSCA-39661] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
• [FAÍSCA-38899] [SQL]O DS V2 suporta funções push down datetime
• [SPARK-39638] [SQL] Alterar para usar ConstantColumnVector para armazenar colunas de partição no OrcColumnarBatchReader
• [FAÍSCA-39653] [SQL] Limpar de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição no VectorizedParquetRecordReader
• [FAÍSCA-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [FAÍSCA-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [FAÍSCA-39492] [SQL] Retrabalho MISSING_COLUMN
• [FAÍSCA-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordem de saída filho
• [FAÍSCA-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
• [SPARK-39611] [PYTHON][ps] Corrigir aliases errados no array_ufunc
• [FAÍSCA-39656] [SQL][3.3] Corrigir namespace errado em DescribeNamespaceExec
• [SPARK-39675] [SQL] Alternar a configuração 'spark.sql.codegen.factoryMode' da finalidade de teste para a finalidade interna
• [FAÍSCA-39139] [SQL] DS V2 suporta push down DS V2 UDF
• [FAÍSCA-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites
• [FAÍSCA-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
• [FAÍSCA-39618] [SQL] Adicionar a REGEXP_COUNT função
• [SPARK-39553] [CORE] Ao usar o Scala 2.13, o multi-thread unregister shuffle não deve lançar NPE
• [FAÍSCA-38755] [PYTHON][3.3] Adicionar ficheiro para resolver funções gerais de pandas em falta
• [SPARK-39444] [SQL] Adicionar OptimizeSubqueries na lista nonExcludableRules
• [FAÍSCA-39316] [SQL] Mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
• [FAÍSCA-39505] [UI] Conteúdo do log de escape renderizado na interface do usuário
• [SPARK-39448] [SQL] Adicionar ReplaceCTERefWithRepartition a nonExcludableRules lista
• [FAÍSCA-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
• [FAÍSCA-35223] Reverter Adicionar ProblemaNavegaçãoLink
• [FAÍSCA-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [SPARK-38796] [SQL] Atualizar a documentação para cadeias de formato numérico com as funções {try_}to_number
• [SPARK-39650] [SS] Corrigir esquema de valores incorretos na desduplicação de streaming com compatibilidade retroativa
• [SPARK-39636] [CORE][ui] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e o Task/Executor ResourceRequests
• [FAÍSCA-39432] [SQL] Retorno ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [FAÍSCA-39349] Adicionar um método CheckError centralizado para QA do caminho de erro
• [FAÍSCA-39453] [SQL] DS V2 suporta push down misc funções não-agregadas (não ANSI)
• [SPARK-38978] [SQL] DS V2 suporta a otimização do operador OFFSET
• [FAÍSCA-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
• [SPARK-39383] [SQL] suporte colunas DEFAULT em ALTER TABLE ALTER para fontes de dados V2
• [SPARK-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
• [SPARK-39548] [SQL] O comando CreateView com uma consulta que contém uma cláusula de janela encontrou um problema de definição de janela incorreta não encontrada.
• [SPARK-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get no Avro...
• [FAÍSCA-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se fallback para v1
• [SPARK-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [FAÍSCA-39582] [SQL] Corrigir marcador "Desde" para array_agg
• [FAÍSCA-39388] [SQL] Reutilizar orcSchema quando empurrar predicados Orc para baixo
• [SPARK-39511] [SQL] Aprimorar a aplicação descendente do limite local de 1 para o lado direito de uma junção semi-esquerda/anti-esquerda se a condição de junção estiver vazia
• [SPARK-38614] [SQL] Não empurre o limite para baixo através da janela que está usando percent_rank
• [FAÍSCA-39551] [SQL] Adicionar verificação de plano inválido do AQE
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ADICIONAR COLUMNS a fontes de dados V2
• [FAÍSCA-39538] [SQL] Evite criar SLF4J Logger desnecessário
• [SPARK-39383] [SQL] Backport manual para o Databricks Runtime 11.x: Refatorar o suporte para colunas DEFAULT para evitar passar o Analisador primário por aí.
• [FAÍSCA-39397] [SQL] Relaxe AliasAwareOutputExpression para suportar alias com expressão
• [FAÍSCA-39496] [SQL] Manipular struct null em Inline.eval
• [FAÍSCA-39545] [SQL] Método de substituição concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
• [SPARK-39340] [SQL] O agg pushdown do DS v2 deveria permitir pontos no nome das colunas de nível superior
• [FAÍSCA-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [FAÍSCA-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [FAÍSCA-39520] [SQL] Método de substituição -- para ExpressionSet no Scala 2.13
• [FAÍSCA-39470] [SQL] Suporte a conversão de intervalos ANSI para decimais
• [SPARK-39477] [SQL] Remova as informações de "Número de consultas" dos arquivos dourados do SQLQueryTestSuite
• [FAÍSCA-39419] [SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
• [SPARK-39061] [SQL] Definir corretamente como anuláveis os Inline atributos de saída
• [FAÍSCA-39320] [SQL] Função de agregação de suporte MEDIAN
• [FAÍSCA-39261] [CORE] Melhorar a formatação de novas linhas para mensagens de erro
• [SPARK-39355] [SQL] Coluna única usa aspas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
• [FAÍSCA-37623] [SQL] Suporte ANSI Aggregate Função: regr_intercept
• [SPARK-39374] [SQL] Melhorar mensagem de erro para lista de colunas especificada pelo usuário
• [FAÍSCA-39255] [SQL][3.3] Melhorar as mensagens de erro
• [FAÍSCA-39321] [SQL] Refatore TryCast para usar RuntimeReplaceable
• [FAÍSCA-39406] [PYTHON] Aceitar matriz NumPy em createDataFrame
• [FAÍSCA-39267] [SQL] Limpar símbolo dsl desnecessário
• [FAÍSCA-39171] [SQL] Unificar a expressão Cast
• [SPARK-28330] [SQL] Suporte ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [SPARK-39203] [SQL] Reescreva o local da tabela em um URI absoluto com base no URI do banco de dados
• [FAÍSCA-39313] [SQL] toCatalystOrdering deve falhar se V2Expression não puder ser traduzido
• [SPARK-39301] [SQL][python] Aproveite o LocalRelation e respeite o tamanho do lote de Arrow em createDataFrame com otimização de Arrow
• [SPARK-39400] [SQL] spark-sql deve, em todos os casos, remover o diretório de recursos do hive

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-08-15.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)