Partilhar via

Relatório de amostra de testes Flaky

Serviços de DevOps do Azure | Azure DevOps Server | Azure DevOps Server 2022

Você pode criar um relatório, conforme mostrado na imagem a seguir, que lista os testes instáveis que ocorrem nas execuções de pipelines que incluem tarefas de teste. Um teste instável é um teste que fornece resultados diferentes, como sucesso ou falha, mesmo quando não há alterações no código-fonte ou no ambiente de execução. Para obter mais informações sobre como habilitar testes escamosos, consulte Gerenciar testes escamosos. Para obter informações sobre como adicionar testes a um pipeline, consulte a seção Recursos da tarefa de teste mais adiante neste artigo.

Captura de tela do relatório Flaky Tests Table.

Use as consultas fornecidas neste artigo para gerar os seguintes relatórios:

  • Testes instáveis para fluxo de trabalho de construção
  • Testes instáveis para fluxo de trabalho de lançamento
  • Testes escamosos para um ramo específico
  • Testes irregulares para um arquivo de teste específico
  • Testes instáveis para um proprietário de teste específico.

Importante

A integração do Power BI e o acesso ao feed OData do Serviço de Análise estão geralmente disponíveis para os Serviços de DevOps do Azure e o Azure DevOps Server 2020 e versões posteriores. As consultas de exemplo fornecidas neste artigo são válidas apenas no Azure DevOps Server 2020 e versões posteriores e dependem da versão v3.0-preview ou posterior. Nós encorajamos você a usar essas consultas e nos fornecer feedback.

Categoria Requerimentos
Níveis de acesso - Membro do projeto.
- Pelo menos acesso básico .
Permissões Por padrão, os membros do projeto têm permissão para consultar o Google Analytics e criar modos de exibição. Para obter mais informações sobre outros pré-requisitos relacionados com a ativação de serviços e funcionalidades e atividades gerais de monitorização de dados, consulte Permissões e pré-requisitos para aceder ao Analytics.

Nota

Este artigo assume que você leu Visão geral de relatórios de exemplo usando consultas OData e tem uma compreensão básica do Power BI.

Exemplos de consultas

Você pode usar as seguintes consultas do conjunto de entidades TestResultsDaily para criar relatórios de testes instáveis de pipeline, que são diferentes, mas semelhantes. O TestResultsDaily conjunto de entidades fornece um instantâneo diário agregado de TestResult execuções, agrupadas por teste.

Nota

Para determinar as propriedades disponíveis para fins de filtro ou relatório, consulte Referência de metadados para Análise de Planos de Teste e Referência de metadados para Pipelines do Azure. Você pode filtrar suas consultas ou retornar propriedades usando qualquer um dos Property valores em um EntityType ou NavigationPropertyBinding Path valores disponíveis com um EntitySet. Cada EntitySet corresponde a um EntityType. Para obter mais informações sobre o tipo de dados de cada valor, reveja os metadados fornecidos para o correspondente EntityType.

Testes instáveis para um processo de construção

Utilize as seguintes consultas para exibir os testes intermitentes num pipeline de compilação.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes Flaky para fluxo de trabalho Release

Use as consultas a seguir para exibir os testes instáveis para um pipeline de lançamento.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes Inconstantes filtrados por Ramo

Para exibir os testes com falha de um pipeline para uma ramificação específica, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras juntamente com o que é especificado posteriormente neste artigo.

  • Expanda Branch para Branch.BranchName
  • Selecione o filtro de visualização do Power BI e adicione o campo Branch.BranchName ao campo do filtro dados
  • Selecione o nome da filial no segmento para o qual pretende ver o resumo do resultado.

Para obter mais informações sobre como usar segmentações de dados, consulte Segmentações de dados no Power BI.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes irregulares filtrados por ficheiro de teste

Para exibir os testes instáveis para um pipeline e um arquivo de teste específico, use as seguintes consultas. Para criar o relatório, execute as seguintes etapas extras juntamente com o que é definido posteriormente neste artigo.

  • Expanda Test para Test.ContainerName
  • Selecione o filtro de visualização do Power BI e adicione o campo Test.ContainerName ao campo do filtro dados
  • Selecione o nome do contêiner no filtro para o qual você precisa ver o resumo do resultado.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Testes Flaky filtrados pelo proprietário do teste

Para visualizar os testes Flaky de um pipeline e os testes atribuídos a um responsável específico, utilize as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras juntamente com o que é definido posteriormente neste artigo.

  • Expanda Test para Test.TestOwner
  • Selecione o filtro de visualização do Power BI e adicione o campo Test.TestOwner ao campo do filtro dados
  • Selecione o proprietário do teste no filtro para o qual você precisa ver o resumo do resultado.

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Dados>Consulta em Branco. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Cadeias de caracteres de substituição e detalhamento de consulta

Substitua as seguintes cadeias de caracteres por seus valores. Não inclua parênteses com a {} sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua {organization} por Fabrikam, não {Fabrikam}.

 

  • {organization} - Nome da sua organização
  • {project} - O nome do seu projeto de equipa
  • {pipelinename} - O nome do seu pipeline. Exemplo: Fabrikam hourly build pipeline
  • {startdate} - A data para iniciar o seu relatório. Formato: AAAA-MM-DDZ. Exemplo: 2021-09-01Z representa 1º de setembro de 2021. Não coloque entre aspas ou parênteses e use dois dígitos para ambos, mês e data.

Detalhamento da consulta

A tabela a seguir descreve cada parte da consulta.

Parte da consulta

Descrição

$apply=filter(

Iniciar cláusula filter().

Pipeline/PipelineName eq '{pipelineName}'

O teste de retorno é executado para o pipeline especificado.

and CompletedOn/Date ge {startdate}

O teste de retorno é executado na data especificada ou após ela.

and Workflow eq 'Build'

O teste de retorno é executado para um Build fluxo de trabalho.

)

Fechar cláusula filter().

/groupby(

Iniciar cláusula groupby().

(TestSK, Test/TestName),

Agrupe pelo nome do teste.

aggregate(

Cláusula Start aggregate para calcular as execuções de teste correspondentes aos critérios de filtro.

ResultCount with sum as TotalCount,

Conte o número total de execuções de teste como TotalCount.

ResultPassCount with sum as PassedCount,

Conte o número total de execuções de teste aprovadas como PassedCount.

ResultFailCount with sum as FailedCount,

Conte o número total de execuções de teste com falha como FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Conte o número total de execuções de teste não executadas como NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Conte o número total de execuções de teste não afetadas como NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Conte o número total de execuções de teste instáveis como FlakyCount.

))

Fechar cláusulas aggregate() e groupby().

/filter(FlakyCount gt 0)

Filtre apenas os testes que foram instáveis pelo menos uma vez.

/compute(

Iniciar cláusula compute().

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Para todos os testes inconsistentes, calcule o FlakyRate.

)

Fechar cláusula compute().

(Opcional) Renomear consulta

Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Basta inserir um novo nome no painel Configurações de consulta.

Captura de ecrã das opções do menu de consulta do Power BI, consulta de mudança de nome.

Expandir a coluna Teste no Power BI

Expanda a Test coluna para mostrar a entidade Test.TestNameexpandida. A expansão da coluna nivela o registro em campos específicos. Para saber como, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Expandir colunas.

Alterar o tipo de dados da coluna

  1. No Editor do Power Query, selecione as colunas TotalCount, PassedCount, FailedCount, NotExecutedCount, NotImpactedCount e FlakyCount; selecione Tipo de Dados no menu Transformar; e, em seguida, escolha Número Inteiro.

  2. Selecione a FlakyRate coluna, selecione Tipo de Dados no menu Transformar e escolha Número decimal.

Para obter mais informações sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Transformar um tipo de dados de coluna.

Feche a consulta e aplique as alterações

Depois de concluir todas as suas transformações de dados, escolha Fechar & Aplicar no menu Início para salvar a consulta e retornar à guia Relatório no Power BI.

Captura de ecrã da opção Fechar e Aplicar do Power Query Editor.

Criar o relatório de tabela

  1. No Power BI, em Visualizações, escolha Tabela e arraste e solte os campos na área Colunas.

    Captura de tela das seleções de campos de visualização para o relatório da tabela de testes Flaky.

  2. Adicione os seguintes campos à seção Colunas na ordem listada.

    • Test.TestName
    • TotalCount
    • PassedCount
    • FailedCount
    • FlakyCount
    • FlakyRate

Seu relatório deve ser semelhante à imagem a seguir.

Captura de ecrã do relatório da Tabela de Amostra de Testes Flaky.

Recursos da tarefa de teste

  • Last updated on