Tempo de execução do Databricks 9.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 9.0 e o Databricks Runtime 9.0 Photon, com tecnologia Apache Spark 3.1.2. A Databricks lançou esta versão em agosto de 2021. Photon está em Pré-visualização Pública.

Correção

Uma versão anterior destas notas de lançamento indicava incorretamente que as dependências do Apache Parquet foram atualizadas de 1.10 para 1.12. De facto, as dependências do Parquet permanecem na versão 1.10. A nota de lançamento incorreta foi removida.

Novos recursos e melhorias

• Nova API para estatísticas resumidas de conjuntos de dados (Visualização pública)
• Configuração de fonte de dados externa mais fácil para o conector Synapse do Azure
• Opcionalmente, limite a sessão a uma duração especificada para o conector do Amazon Redshift
• Carregador Automático
• SQL
• Suporte R
• Evite refazer, especificando o estado inicial para o processamento de streaming estruturado com estado
• Uma implementação de embaralhamento reduzido do comando Delta MERGE INTO já está disponível (Pré-visualização pública)

Nova API para estatísticas resumidas de conjuntos de dados (Visualização pública)

O novo dbutils.data.summarize comando no Databricks Utilities permite iniciar um trabalho do Spark que calcula automaticamente estatísticas resumidas nas colunas de um DataFrame do Spark e, em seguida, exibe os resultados interativamente. Esta função está disponível em Scala e Python. Consulte Utilitário de dados (dbutils.data).

Configuração de fonte de dados externa mais fácil para o conector Synapse do Azure

A nova opção externalDataSource do conector Consultar dados no Azure Synapse Analytics permite que possa utilizar uma fonte de dados externa pré-configurada para aceder a um banco de dados do Azure Synapse. A externalDataSource opção elimina a necessidade da CONTROL permissão anteriormente necessária.

Ao definir externalDataSource, a fonte de dados externa e a opção tempDir usada para configurar o armazenamento temporário devem referenciar o mesmo container na conta de armazenamento.

Opcionalmente, limite a sessão a uma duração especificada para o conector do Amazon Redshift

A nova fs.s3a.assumed.role.session.duration opção no conector Query Amazon Redshift usando Azure Databricks permite definir opcionalmente uma duração para a sessão quando o Redshift estiver a aceder ao bucket temporário S3 com uma função assumida.

Carregador Automático

• Listagem de arquivos otimizada
• Armazenamento otimizado de dados de imagem
• Miniaturas de imagens para arquivos binários (Visualização pública)
• DirectoryRename eventos permitem o processamento atômico de vários arquivos

Listagem de arquivos otimizada

As otimizações do Auto Loader oferecem melhorias de desempenho e economia de custos ao listar diretórios aninhados no armazenamento em nuvem, incluindo AWS S3, Azure Data Lake Storage (ADLS) e Google Cloud Storage (GCS).

Por exemplo, se você tinha arquivos sendo carregados como /some/path/YYYY/MM/DD/HH/fileName, para encontrar todos os arquivos nesses diretórios, o Auto Loader costumava fazer uma listagem paralela de todos os subdiretórios, causando 365 (por dia) * 24 (por hora) = 8760 LIST chamadas de diretório de API para o armazenamento subjacente para cada diretório anual. Ao receber uma resposta nivelada desses sistemas de armazenamento, o Auto Loader reduz o número de chamadas de API para o número de arquivos no sistema de armazenamento dividido pelo número de resultados retornados por cada chamada de API (1000 para S3, 5000 para ADLS e 1024 para GCS), reduzindo consideravelmente seus custos de nuvem.

Armazenamento otimizado de dados de imagem

O Auto Loader agora pode detetar automaticamente os dados de imagem que estão sendo ingeridos e otimizar seu armazenamento em tabelas Delta para melhorar o desempenho de leitura e gravação. Consulte Importar imagem ou dados binários para o Delta Lake no contexto de ML.

Miniaturas de imagens para arquivos binários (Pré-visualização Pública)

As imagens em binaryFile formato carregado ou salvo como tabelas Delta usando o Carregador Automático possuem anotações associadas para que as miniaturas de imagem apareçam quando se exibe a tabela em um notebook do Azure Databricks. Para obter mais informações, consulte Imagens.

DirectoryRename eventos permitem o processamento atômico de vários arquivos

Os fluxos do Auto Loader criados no Databricks Runtime 9.0 e versões superiores no Azure Data Lake Storage configuram notificações de eventos de ficheiro para incluir renomeações de diretório e monitorizar eventos RenameDirectory. Você pode usar renomeações de diretório para fazer com que vários arquivos apareçam atomicamente no Auto Loader.

SQL

• Excluir colunas em SELECT * (Pré-visualização pública)
• Funções escalares SQL (Visualização pública)
• Referenciar aliases e colunas anteriores em FROM subconsultas (Visualização pública)

Excluir colunas em SELECT * (Versão de Pré-visualização Pública)

SELECT * agora suporta uma EXCEPT palavra-chave, que permite excluir colunas de nível superior especificadas da expansão. Por exemplo, SELECT * EXCEPT (b) FROM tbl de uma tabela com esquema (a, b, c) se expande para (a, c).

Funções escalares SQL (Visualização pública)

CREATE FUNCTION agora suporta funções escalares SQL. Você pode criar funções escalares que usam um conjunto de argumentos e retornam um único valor de tipo escalar. O corpo da função SQL pode ser qualquer expressão. Por exemplo:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Para obter detalhes, consulte CREATE FUNCTION (SQL e Python).

Referenciar aliases e colunas anteriores em FROM subconsultas (Visualização pública)

As subconsultas na cláusula FROM de uma consulta agora podem ser precedidas pela palavra-chave LATERAL, permitindo-lhes referenciar aliases e colunas em itens FROM anteriores. Por exemplo:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A LATERAL palavra-chave suporta INNER, CROSSe LEFT (OUTER) JOIN.

Consulte Parâmetros e parâmetros.

Suporte R

Bibliotecas R com escopo de notebook (Visualização pública)

Bibliotecas com escopo de notebook permitem instalar bibliotecas e criar um ambiente específico para uma sessão de notebook. Essas bibliotecas não afetam outros notebooks a correr no mesmo cluster. As bibliotecas estão disponíveis nos nós de driver e de trabalho, para que você possa consultá-las em funções definidas pelo usuário. Consulte Bibliotecas R com escopo de notebook.

Mensagens de aviso em blocos de notas R

O valor padrão da opção warn agora está definido como 1 dentro de notebooks R. Como resultado, todos os avisos agora são expostos como parte do resultado do comando. Para saber mais sobre a warn opção, consulte Configurações de Opções.

Evite refazer ao especificar o estado inicial para o processamento com estado do Structured Streaming.

Agora poderá especificar um estado inicial definido pelo usuário para processamento de streaming estruturado com estado usando o operador [flat]MapGroupsWithState.

Consulte Especificar estado inicial para mapGroupsWithState.

Uma implementação com baixo nível de mistura do comando Delta MERGE INTO já está disponível (Pré-visualização pública)

O comando Delta MERGE INTO tem uma nova implementação disponível que reduz a movimentação de linhas não modificadas. Isto melhora o desempenho do comando e ajuda a preservar a clusterização existente na tabela, como a Z-ordering. Para habilitar a mesclagem com pouco shuffle, defina spark.databricks.delta.merge.enableLowShuffle como true. Consulte Mesclagem de baixa shuffle no Azure Databricks.

Correções de erros

• Já não é possível substituir uma vista criando uma vista com o mesmo nome.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • certifi de 2021.5.30 a 2020.12.5
  • chardet de 3.0.4 para 4.0.0
  • Cython de 0.29.21 a 0.29.23
  • decorador de 4.4.2 a 5.0.6
  • ipython de 7.19.0 a 7.22.0
  • joblib de 0.17.0 a 1.0.1
  • jupyter-client de 6.1.7 a 6.1.12
  • jupyter-core de 4.6.3 a 4.7.1
  • kiwisolver de 1.3.0 a 1.3.1
  • matplotlib de 3.2.2 a 3.4.2
  • pandas de 1.1.5 a 1.2.4
  • pip de 20.2.4 a 21.0.1
  • prompt-toolkit de 3.0.8 a 3.0.17
  • Protobuf de 3.17.3 a 3.17.2
  • ptyprocess de 0.6.0 a 0.7.0
  • Pyarrow de 1.0.1 para 4.0.0
  • Pygments de 2.7.2 a 2.8.1
  • pyzmq de 19.0.2 a 20.0.0
  • Pedidos de 2.24.0 a 2.25.1
  • s3transfer de 0.3.6 para 0.3.7
  • scikit-learn de 0.23.2 a 0.24.1
  • scipy de 1.5.2 a 1.6.2
  • Seaborn de 0.10.0 a 0.11.1
  • setuptools de 50.3.1 a 52.0.0
  • statsmodels de 0.12.0 a 0.12.2
  • Tornado de 6.0.4 a 6.1
  • virtualenv de 20.2.1 a 20.4.1
  • roda de 0.35.1 a 0.36.2
• Bibliotecas R atualizadas:
  • Matriz de 1.3-3 para 1.3-4

Faísca Apache

O Databricks Runtime 9.0 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.4 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-35886] [SQL][3.1] PromotePrecision não deve substituir genCodePromotePrecision não deve substituir genCode
• [SPARK-35879] [CORE][shuffle] Corrigir regressão de desempenho causada por collectFetchRequests
• [SPARK-35817] [SQL][3.1] Restaurar o desempenho de consultas em tabelas Avro amplas
• [SPARK-35841] [SQL] A conversão de cadeia de caracteres para o tipo decimal não funciona se...
• [SPARK-35783] [SQL] Definir a lista de colunas a serem lidas na configuração da tarefa para reduzir a leitura de dados ORC
• [SPARK-35576] [SQL][3.1] Redigir as informações confidenciais do resultado do comando Set
• [SPARK-35449] [SQL][3.1] Extrair apenas expressões comuns dos valores de CaseWhen se elseValue estiver definido
• [SPARK-35288] [SQL] StaticInvoke deve encontrar o método sem uma correspondência exata das classes dos argumentos.
• [SPARK-34794] [SQL] Corrigir problemas de nome de variável lambda em funções aninhadas de DataFrame
• [SPARK-35278] [SQL] Invoke deve encontrar o método do número correto de parâmetros
• [SPARK-35226] [SQL] Suportar a opção refreshKrb5Config nas fontes de dados JDBC
• [SPARK-35244] [SQL] Invoke deve lançar a exceção original
• [SPARK-35213] [SQL] Manter a ordem correta das estruturas aninhadas em as operações encadeadas comField
• [SPARK-35087] [UI] Algumas colunas na tabela Métricas agregadas por executor da página de detalhes do estágio são exibidas incorretamente.
• [SPARK-35168] [SQL] mapred.reduce.tasks deve ser shuffle.partitions e não adaptive.coalescePartitions.initialPartitionNum
• [SPARK-35127] [UI] Quando alternamos entre diferentes páginas de detalhes das fases, o item de entrada na página recém-aberta pode estar em branco
• [SPARK-35142] [PYTHON][ml] Corrigir o tipo de retorno incorreto para rawPredictionUDF no OneVsRestModel
• [SPARK-35096] [SQL] SchemaPruning deve aderir à configuração spark.sql.caseSensitive
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias não deve criar UnresolvedAlias
• [SPARK-35080] [SQL] Permitir apenas um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada
• [SPARK-35117] [UI] Alterar a barra de progresso para voltar a destacar a proporção de tarefas em progresso
• [SPARK-35136] Remova o valor nulo inicial de LiveStage.info
• [SPARK-34834] [REDES] Corrigir uma possível fuga de memória Netty no TransportResponseHandler
• [SPARK-35045] [SQL] Adicionar uma opção interna para controlar o buffer de entrada na Univocity
• [SPARK-35014] Corrigir o padrão PhysicalAggregation para não reescrever expressões computáveis
• [SPARK-35019] [PYTHON][sql] Corrigir incompatibilidades de anotações de tipo no pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() deve respeitar quando o valor da partição é nulo
• [FAÍSCA-34630] [PYTHON] Adicionar sugestão de tipo para pyspark.version
• [SPARK-34963] [SQL] Corrigir a poda de coluna aninhada para extrair o campo struct insensível a maiúsculas e minúsculas do array de struct
• [SPARK-34988] [CORE][3.1] Atualizar Jetty para CVE-2021-28165
• [SPARK-34922] [SQL][3.1] Utilizar uma função de comparação de custos relativos no CBO
• [SPARK-34970] [SQL][security][3.1] Opções de tipo de mapa Redact na saída de explain()
• [SPARK-34923] [SQL] A saída de metadados deve estar vazia para mais planos
• [SPARK-34949] [CORE] Impedir que o BlockManager se registe novamente quando o Executor estiver a ser desligado
• [SPARK-34939] [CORE] Lançar exceção de falha de obtenção quando não for possível desserializar os estados do mapa difundido
• [SPARK-34909] [SQL] Corrigir a conversão de negativo para não assinado em conv()
• [SPARK-34845] [CORE] ProcfsMetricsGetter não deve retornar métricas procfs parciais
• [SPARK-34814] [SQL] LikeSimplification deveria manipular NULL
• [SPARK-34876] [SQL] Preencher defaultResultado de agregações não anuláveis
• [SPARK-34829] [SQL] Corrigir resultados da função de ordem superior
• [SPARK-34840] [SHUFFLE] Corrige casos de corrupção em mistura combinada ...
• [SPARK-34833] [SQL] Aplicar preenchimento à direita corretamente para subconsultas correlacionadas
• [SPARK-34630] [PYTHON][sql] Anotação de tipo adicionada para pyspark.sql.Column.contains
• [FAÍSCA-34763] [SQL] col(), $"name" e df("name") devem lidar com nomes de colunas entre aspas de forma adequada
• [SPARK-33482][SPARK-34756] [SQL] Corrigir verificação de igualdade do FileScan
• [SPARK-34790] [CORE] Desativar a busca de blocos de shuffle em lote quando a criptografia de IO estiver ativada
• [SPARK-34803] [PYSPARK] Transmita o ImportError levantado se pandas ou pyarrow falharem ao importar
• [SPARK-34225] [CORE] Não codifice mais quando uma cadeia de caracteres de formulário URI é passada para addFile ou addJar
• [SPARK-34811] [CORE] Redact fs.s3a.access.key como segredo e token
• [SPARK-34796] [SQL][3.1] Inicializar variável de contador para LIMIT geração de código em doProduce()
• [SPARK-34128] [SQL] Suprimir avisos indesejáveis de TTransportException envolvidos em THRIFT-4805
• [SPARK-34776] [SQL] A poda de coluna aninhada não deve podar atributos gerados por funções de janela
• [SPARK-34087] [3.1][sql] Corrigir vazamento de memória do ExecutionListenerBus
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords deve usar o carregador de classes Spark em vez do contexto
• [SPARK-34719] [SQL][3.1] Resolver corretamente a consulta da vista com nomes de colunas duplicados
• [SPARK-34766] [SQL][3.1] Não capture a configuração do Maven para visualizações
• [SPARK-34731] [CORE] Evitar ConcurrentModificationException quando ocultar propriedades em EventLoggingListener
• [SPARK-34737] [SQL][3.1] Converter o tipo float de entrada para double TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] Simplificar ResolveCreateNamedStruct
• [SPARK-34768] [SQL] Respeitar o tamanho do buffer de entrada padrão no Univocity
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
• [SPARK-34504] [SQL] Evitar a resolução desnecessária de vistas temporárias do SQL para comandos DDL
• [SPARK-34727] [SQL] Corrigir discrepância na conversão de ponto flutuante para timestamp
• [SPARK-34723] [SQL] Corrigir o tipo de parâmetro para a eliminação de subexpressão durante o processo completo
• [SPARK-34724] [SQL] Corrigir avaliação interpretada usando getMethod em vez de getDeclaredMethod
• [FAÍSCA-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
• [SPARK-34697] [SQL] Permitir que DESCRIBE FUNCTION e SHOW FUNCTIONS expliquem sobre || (operador de concatenação de string)
• [SPARK-34682] [SQL] Use PrivateMethodTester em vez de reflection
• [SPARK-34682] [SQL] Corrigir regressão na verificação de erros de canonicalização em CustomShuffleReaderExec
• [SPARK-34681] [SQL] Corrigir o erro da associação externa completa de hash aleatório ao compilar o lado esquerdo com condição não igual
• [SPARK-34545] [SQL] Corrigir problemas com o recurso valueCompare da pyrolite
• [SPARK-34607] [SQL][3.1] Adicionar Utils.isMemberClass para corrigir um erro de nome de classe malformado no jdk8u
• [SPARK-34596] [SQL] Use Utils.getSimpleName para evitar encontrar um nome de classe malformado em NewInstance.doGenCode
• [SPARK-34613] [SQL] Corrigir que a vista não captura a configuração de desativação de dicas
• [SPARK-32924] [WEBUI] Ordenar corretamente a coluna de duração na interface de utilizador mestre.
• [SPARK-34482] [SS] Corrija o SparkSession ativo para StreamExecution.logicalPlan
• [SPARK-34567] [SQL] CreateTableAsSelect também deve atualizar as métricas
• [SPARK-34599] [SQL] Corrigir o problema em que INSERT INTO OVERWRITE não suporta colunas de partição que contêm um ponto no DSv2
• [FAÍSCA-34577] [SQL] Corrigir remoção/acrescentar colunas num conjunto de dados de DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] A partição estática também deve seguir a StoreAssignmentPolicy ao inserir nas tabelas v2
• [SPARK-34555] [SQL] Resolver a saída dos metadados do DataFrame
• [SPARK-34534] Corrigir a ordem dos IDs de blocos ao usar FetchShuffleBlocks para buscar blocos
• [SPARK-34547] [SQL] Usar colunas de metadados para resolução de conflitos apenas como último recurso
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap falha para nomes de coluna que contêm um ponto.
• [SPARK-34561] [SQL] Corrigir remover/adicionar colunas de/em um conjunto de dados da v2 DESCRIBE TABLE
• [SPARK-34556] [SQL] A verificação de colunas de partição estática duplicadas deve respeitar a configuração diferenciadora de maiúsculas e minúsculas
• [SPARK-34392] [SQL] Suportar ZoneOffset +h:mm em DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] Ignorar o valor nulo em InSet durante a aplicação do filtro para o metastore do Hive
• [FAÍSCA-34543] [SQL] Respeitar as configurações ao resolver a especificação de partição na v1 spark.sql.caseSensitive
• [SPARK-34436] [SQL] Suporte DPP para a expressão LIKE ANY/ALL
• [SPARK-34531] [CORE] Remover etiqueta de API experimental no PrometheusServlet
• [FAÍSCA-34497] [SQL] Corrigir fornecedores integrados de conexão JDBC para restaurar alterações no contexto de segurança da JVM
• [SPARK-34515] [SQL] Corrigir NPE se InSet contiver um valor nulo durante getPartitionsByFilter
• [SPARK-34490] [SQL] A análise deve falhar se a vista se referir a uma tabela eliminada
• [SPARK-34473] [SQL] Prevenir NPE em DataFrameReader.schema(StructType)
• [SPARK-34384] [CORE] Adicionar documentação em falta para APIs de ResourceProfile
• [FAÍSCA-34373] [SQL] HiveThriftServer2 startWithContext pode travar com um problema de corrida
• [SPARK-20977] [CORE] Usar um campo não final para o estado de CollectionAccumulator
• [SPARK-34421] [SQL] Resolver funções e views temporárias em views com CTEs
• [SPARK-34431] [CORE] Carregar hive-site.xml apenas uma vez
• [SPARK-34405] [CORE] Corrigir o valor médio das etiquetas de temporizadores na classe PrometheusServlet
• [SPARK-33438] [SQL] Inicializar proativamente objetos com Configurações SQL definidas para o comando set -v
• [SPARK-34158] URL incorreta do único desenvolvedor Matei no pom.xml
• [SPARK-34346] [CORE][sql][3.1] io.file.buffer.size definido por spark.buffer.size será substituído ao carregar hive-site.xml, o que acidentalmente pode causar regressão de performance
• [SPARK-34359] [SQL][3.1] Adicione uma configuração herdada para restaurar o esquema de saída do SHOW DATABASES
• [SPARK-34331] [SQL] Aumentar a velocidade da resolução de metadados da col DS v2
• [FAÍSCA-34318] [SQL][3.1] Dataset.colRegex deve funcionar com nomes de colunas e qualificadores que contenham linhas novas
• [SPARK-34326] [CORE][sql] Corrija UTs adicionados no SPARK-31793 dependendo do comprimento do caminho temporário
• [SPARK-34319] [SQL] Resolver atributos duplicados para FlatMapCoGroupsInPandas/MapInPandas
• [SPARK-34310] [CORE][sql] Substitui mapa e nivelamento por flatMap
• [SPARK-34083] [SQL][3.1] Utilizando definições originais de TPCDS para colunas char/varchar
• [SPARK-34233] [SQL][3.1] FIX NPE para preenchimento de char em comparação binária
• [SPARK-34270] [SS] StateStoreMetrics combinado não deve sobrescrever StateStoreCustomMetric
• [SPARK-34144] [SQL] Exceção lançada ao tentar escrever valores LocalDate e Instant numa relação JDBC
• [SPARK-34273] [CORE] Não reinscreva o BlockManager quando o SparkContext for parado
• [SPARK-34262] [SQL][3.1] Atualizar dados armazenados em cache da tabela v1 em ALTER TABLE .. SET LOCATION
• [SPARK-34275] [CORE][sql][MLLIB] Substitui o filtro e o tamanho pela contagem
• [FAÍSCA-34260] [SQL] Corrige UnresolvedException ao criar a vista temporária duas vezes
• [SPARK-33867] [SQL] Os valores Instant e LocalDate não são manipulados ao gerar consultas SQL
• [SPARK-34193] [CORE] TorrentBroadcast correção de condição de corrida no descomissionamento do gestor de blocos.
• [SPARK-34221] [WEBUI] Assegure que, se um estágio falhar na página da interface, a mensagem de erro correspondente possa ser exibida corretamente
• [SPARK-34236] [SQL] Corrigir v2 Overwrite com partição estática nula levantando erro: Não é possível traduzir expressão para filtro de origem: null
• [SPARK-34212] [SQL] Corrigir leitura decimal incorreta de ficheiros Parquet
• [SPARK-34244] [SQL] Remover a versão da função Scala de regexp_extract_all
• [SPARK-34235] [SS] Tornar spark.sql.hive um pacote privado
• [SPARK-34232] [CORE] Editar o evento SparkListenerEnvironmentUpdate no log
• [SPARK-34229] [SQL] Avro deve ler valores decimais com o esquema do ficheiro
• [SPARK-34223] [SQL] Corrigir NPE numa partição estática com null em InsertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] Mova o preenchimento de caracteres para a escrita e remova a verificação de comprimento na leitura também
• [FAÍSCA-34203] [SQL] Converter null valores de partição para __HIVE_DEFAULT_PARTITION__ no catálogo v1 In-Memory
• [SPARK-33726] [SQL] Correção para nomes de campo duplicados durante a agregação
• [SPARK-34133] [AVRO] Respeitar a sensibilidade a maiúsculas e minúsculas ao realizar a correspondência de campo Catalyst-to-Avro
• [SPARK-34187] [SS] Use a faixa de deslocamento disponível obtida durante a sondagem ao confirmar a validação de deslocamento
• [SPARK-34052] [SQL][3.1] armazenar texto SQL para uma exibição temporária criada usando "CACHE TABLE .. COMO SELECT..."
• [SPARK-34213] [SQL] Atualizar dados armazenados em cache da tabela v1 em LOAD DATA
• [SPARK-34191] [PYTHON][sql] Adicionar tipagem para sobrecarga de udf
• [SPARK-34200] [SQL] A referência ambígua da coluna deve ter em conta a disponibilidade dos atributos.
• [SPARK-33813] [SQL][3.1] Corrija o problema de que a origem JDBC não pode tratar os tipos espaciais do MS SQL Server
• [SPARK-34178] [SQL] Copiar tags para o novo nó criado por MultiInstanceRelation.newInstance
• [SPARK-34005] [CORE][3.1] Atualizar métricas de memória de pico para cada Executor no final da tarefa
• [SPARK-34115] [CORE] Verifique SPARK_TESTING como lazy val para evitar lentidão
• [SPARK-34153] [SQL][3.1][3.0] Remover o não utilizado getRawTable() de HiveExternalCatalog.alterPartitions()
• [FAÍSCA-34130] [SQL] Melhorar o desempenho para preenchimento de char varchar e verificação de comprimento com StaticInvoke
• [SPARK-34027] [SQL][3.1] Atualizar cache em ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] Substitui java.io.File.toURL por java.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] Mover QueryCompilationErrors.scala para org/apache/spark/sql/errors
• [SPARK-34080] [ML][python] Adicionar UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] Reduzir a chamada RPC de getFileStatus em SingleFileEventLogFileReader
• [SPARK-34118] [CORE][sql][3.1] Substitui o filtro e a verificação de vazio por exists ou forall
• [SPARK-34114] [SQL] não deve cortar à direita para a verificação e preenchimento do comprimento dos caracteres do lado da leitura
• [SPARK-34086] [SQL][3.1] RaiseError gera demasiado código e pode falhar na verificação de comprimento para char varchar no codegen.
• [SPARK-34075] [SQL][core] Diretórios ocultos estão sendo listados para inferência de partição
• [SPARK-34076] [SQL] SQLContext.dropTempTable não funcionará se o cache não estiver vazio
• [SPARK-34084] [SQL][3.1] Corrigir a atualização automática das estatísticas da tabela em ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] Cache do resultado de HadoopDelegationTokenManager.isServiceEnabled usado em KafkaTokenUtil.needTokenUpdate
• [SPARK-34069] [CORE] As tarefas de cancelamento de barreira devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] Shuffle batch fetch deve ser capaz de desativar depois de ter sido ativado
• [SPARK-34059] [SQL][core][3.1] Use for/foreach em vez de map para garantir que seja executado ansiosamente
• [SPARK-34002] [SQL] Corrigir a utilização do codificador no ScalaUDF
• [SPARK-34060] [SQL][3.1] Correção do cache de tabelas do Hive ao atualizar estatísticas por ALTER TABLE .. DROP PARTITION
• [FAÍSCA-31952] [SQL] Corrigir métrica de derramamento de memória incorreta ao realizar a agregação
• [SPARK-33591] [SQL][3.1] Reconhecer null nos valores de especificação de partição
• [SPARK-34055] [SQL][3.1] Atualizar cache em ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] ReplaceTable deve invalidar a memória cache
• [SPARK-34003] [SQL] Corrigir conflitos de regras entre PaddingAndLengthCheckForCharVarchar e ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] Otimização de Like Any/All por LikeSimplification
• [SPARK-34021] [R] Corrigir hiperlinks na documentação do SparkR para submissão ao CRAN
• [SPARK-34011] [SQL][3.1][3.0] Atualizar cache em ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] Corrigir erro CodeGen do método MapObjects.doGenCode no Scala 2.13
• [SPARK-33635] [SS] Ajuste a ordem de verificação em KafkaTokenUtil.needTokenUpdate para corrigir a regressão de desempenho
• [SPARK-33029] [CORE][webui] Corrigir a página do executor da interface do usuário marcando incorretamente o driver como excluído
• [SPARK-34015] [R] Correção do tempo de entrada no gapply
• [SPARK-34012] [SQL] Manter o comportamento consistente quando conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere for verdadeiro, conforme indicado no guia de migração.
• [SPARK-33844] [SQL][3.1] O comando InsertIntoHiveDir também deve verificar o nome da coluna
• [SPARK-33935] [SQL] Corrigir função de custo do CBO
• [SPARK-33100] [SQL] Ignorar um ponto-e-vírgula dentro de um comentário com chavetas no spark-sql
• [SPARK-34000] [CORE] Corrigir stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [SPARK-33992] [SQL] sobrescrever transformUpWithNewOutput para adicionar allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] Altere a visibilidade de classes case privadas no mllib para evitar erros de compilação de execução com o Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] Recarregar cache na v1 ALTER TABLE .. DROP PARTITION
• [FAÍSCA-33980] [SS] Invalidar char/varchar em spark.readStream.schema
• [SPARK-33945] [SQL][3.1] Lida com uma semente aleatória que consiste numa árvore de expressões
• [SPARK-33398] Corrigir o carregamento de modelos de árvore anteriores ao Spark 3.0
• [SPARK-33963] [SQL] Canonicalize HiveTableRelation sem estatísticas da tabela
• [FAÍSCA-33906] [WEBUI] Corrigir o bug da página do Executor da IU que fica bloqueada devido a peakMemoryMetrics indefinido
• [SPARK-33944] [SQL] Registo incorreto para chaves de armazém nas opções SharedState
• [SPARK-33936] [SQL][3.1] Adicione a versão quando as interfaces do conector foram adicionadas
• [SPARK-33916] [CORE] Corrigir o deslocamento do armazenamento de fallback e melhorar a cobertura dos testes de codec de compressão
• [SPARK-33899] [SQL][3.1] Corrigir a falha de asserção no SHOW TABLESv1 /VIEWS no spark_catalog
• [SPARK-33901] [SQL] Corrigir erro de apresentação de Char e Varchar após DDLs
• [SPARK-33897] [SQL] Não é possível definir a opção 'cross' no método join
• [FAÍSCA-33907] [SQL][3.1] Apenas podar colunas de JsonToStructs se as opções de parsing estiverem vazias
• [SPARK-33621][SPARK-33784] [SQL][3.1] Adicionar uma forma de injetar regras de reescrita da fonte de dados
• [FAÍSCA-33900] [WEBUI] Mostrar tamanho de leitura aleatório / registros corretamente quando apenas remotebytesread está disponível
• [SPARK-33892] [SQL] Exibir char/varchar em DESC e SHOW CREATE TABLE
• [SPARK-33895] [SQL] Char e Varchar falham na MetaOperation do ThriftServer
• [SPARK-33659] [SS] Documentar o comportamento atual da API DataStreamWriter.toTable
• [FAÍSCA-33893] [CORE] Excluir o gestor de blocos de fallback da lista de executores
• [SPARK-33277] [PYSPARK][sql] Use ContextAwareIterator para parar o consumo após o término da tarefa
• [SPARK-33889] [SQL][3.1] Corrigir NPE causado por SHOW PARTITIONS em tabelas V2
• [SPARK-33879] [SQL] Valores de Char e Varchar geram erro de correspondência ao serem usados como colunas de partição
• [SPARK-33877] [SQL] documentos de referência SQL para INSERT com uma lista de colunas
• [SPARK-33876] [SQL] Adicionar verificação de comprimento ao ler char/varchar de tabelas com uma localização externa
• [SPARK-33846] [SQL] Incluir comentários para um esquema aninhado em StructType.toDDL
• [SPARK-33860] [SQL] Ajustar CatalystTypeConverters.convertToCatalyst para corresponder ao valor especial de Array
• [SPARK-33834] [SQL] Verificar ALTER TABLE MUDANÇA COLUMN com Char e Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN e BenchmarkQueryTest não mostram código de subconsulta
• [SPARK-33836] [SS][python] Tornar acessível DataStreamReader.table e DataStreamWriter.toTable
• [FAÍSCA-33829] [SQL][3.1] Renomear tabelas V2 deve recriar o cache
• [SPARK-33756] [SQL] Tornar o MapIterator do BytesToBytesMap idempotente
• [SPARK-33850] [SQL] EXPLAIN FORMATTED não mostra o plano para subconsultas se o AQE estiver ativado
• [SPARK-33841] [CORE][3.1] Corrigir o problema com trabalhos que desaparecem intermitentemente do SHS sob carga elevada
• [SPARK-33593] [SQL] Leitor de vetores tem dados incorretos com valor de partição binária
• [SPARK-26341] [WEBUI] Apresentar as métricas de memória do executor ao nível do estágio, na guia Estágios
• [SPARK-33831] [UI] Atualizar para Jetty 9.4.34
• [SPARK-33822] [SQL] Use o CastSupport.cast método em HashJoin
• [SPARK-33774] [UI][core] "Back to Master" retorna erro 500 no cluster autónomo
• [SPARK-26199][SPARK-31517] [R] Corrigir estratégia para manipulação ... nomes em transformação
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader deve ser atualizado/corrigido package private
• [SPARK-33697] [SQL] RemoveRedundantProjects deve exigir o ordenamento das colunas por padrão
• [SPARK-33752] [SQL][3.1] Evitar que o getSimpleMessage de AnalysisException adicione ponto-e-vírgula repetidamente
• [SPARK-33788] [SQL][3.1][3.0][2.4] Lançar NoSuchPartitionsException de HiveExternalCatalog.dropPartitions()
• [SPARK-33803] [SQL] Ordenar propriedades da tabela por chave no comando DESCRIBE TABLE
• [SPARK-33786] [SQL] O nível de armazenamento de um cache deve ser respeitado quando um nome de tabela é alterado
• [SPARK-33273] [SQL] Corrigir uma condição de concorrência na execução de subconsultas
• [SPARK-33653] [SQL][3.1] DSv2: REFRESHREFRESH TABLE deve voltar a armazenar em cache a própria tabela
• [SPARK-33777] [SQL] Ordenar a saída da V2 SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic deve verificar e coletar campos determinísticos
• [FAÍSCA-33764] [SS] Definir o intervalo de manutenção do armazenamento de estado como configuração SQL
• [SPARK-33729] [SQL] Ao atualizar o cache, o Spark não deve usar o plano armazenado em cache ao recachear dados
• [FAÍSCA-33742] [SQL][3.1] Levantar a excepção PartitionsAlreadyExistException de HiveExternalCatalog.createPartitions()
• [SPARK-33706] [SQL] Exigir identificador de partição totalmente especificado em partitionExists()
• [SPARK-33740] [SQL] As configurações do hadoop no hive-site.xml podem substituir as configurações do hadoop pré-existentes
• [SPARK-33692] [SQL] A exibição deve usar o catálogo capturado e o namespace para procurar a função
• [FAÍSCA-33669] Mensagem de erro incorreta do monitor de estado da aplicação YARN quando "sc.stop" no modo cliente yarn
• [SPARK-32110] [SQL] normalizar números flutuantes especiais no HyperLogLog++
• [SPARK-33677] [SQL] Ignorar a regra LikeSimplification se o padrão contiver qualquer caractere de escape.
• [SPARK-33693] [SQL] descontinuar spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] Invalidar novos tipos char/varchar em APIs públicas que produzem resultados incorretos
• [SPARK-32680] [SQL] Não pré-processe CTAS V2 com consulta não resolvida
• [SPARK-33676] [SQL] Exigir correspondência exata da especificação de partição com o esquema na V2 ALTER TABLE .. ADD/DROP PARTITION
• [SPARK-33670] [SQL] Verifique se o provedor de partição é Hive na v1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] Desativar o cache não deve ser invocado em visualizações temporárias inexistentes
• [FAÍSCA-33667] [SQL] Respeitar a configuração ao resolver a especificação de spark.sql.caseSensitive partição na v1SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2: DeleteFrom deve atualizar o cache

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 9.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Escala: 2.12.10
• Píton: 3.8.10
• R: 4.1.0 (18/05/2021)
• Lago Delta 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do repositório CRAN da Microsoft em 28 de julho de 2021.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)