Administración de pruebas no confiables

Azure DevOps Services

La productividad de los desarrolladores depende de la capacidad de las pruebas para detectar problemas reales con el código en desarrollo o actualizarlo de forma oportuna y confiable. Las pruebas no confiables suponen un obstáculo para detectar problemas reales, ya que los errores no suelen estar relacionados con los cambios que se están probando. Una prueba no confiable es aquella que proporciona resultados diferentes, como correcta o incorrecta, incluso cuando no hay cambios en el código fuente o el entorno de ejecución. Las pruebas no confiables también afectan a la calidad del código enviado.

El objetivo de integrar la administración de pruebas no confiables en el producto es reducir las molestias que causan a los desarrolladores y tener en cuenta todo el flujo de trabajo. La administración de pruebas no confiables proporciona las siguientes ventajas.

• Detección: detección automática de pruebas no confiables con repetición o extensibilidad para conectar su propio método de detección personalizado.

• Administración de la falta de confiabilidad: una vez que una prueba está marcada como no confiable, los datos están disponibles para todas las canalizaciones de esa rama.

• Informe sobre pruebas no confiables: posibilidad de elegir si quiere evitar errores de compilación causados por pruebas no confiables o usar la etiqueta "no confiable" solo para solucionar problemas.

• Resolución: creación manual de errores o marcación y desmarcación manual de pruebas como no confiables en función del análisis

• Cierre del bucle: restablecimiento de la prueba no confiable como resultado de la resolución de errores o la entrada manual.

Habilitar la administración de pruebas no confiables

Para configurar la administración de pruebas no confiables, elija Configuración del proyecto y seleccione Administración de pruebas en la sección Canalizaciones.

Deslice el botón Activar/Desactivar a Activar.

La configuración predeterminada para todos los proyectos es usar pruebas no confiables para solucionar problemas.

Detección de pruebas no confiables

La administración de pruebas no confiables admite la detección personalizada y del sistema.

• Detección del sistema: Azure DevOps tiene un mecanismo integrado para detectar pruebas inestables. Esto implica volver a ejecutar las pruebas fallidas dentro de la misma ejecución de la canalización. Si un caso de prueba falla inicialmente pero pasa en una nueva ejecución, se marca como inestable. Esta detección está estrechamente acoplada con la tarea VSTest , que vuelve a ejecutar pruebas con errores dentro de la misma ejecución de la tarea. Otro método implica volver a ejecutar trabajos con errores en la canalización (haciendo clic manualmente en "Volver a ejecutar trabajos con errores" en cualquier ejecución de canalización). Si se supera una prueba en la repetición, se marca como inestable.

  Nota:

  Una vez que una prueba se marca como no confiable, los datos están disponibles para todas las canalizaciones de esa rama para ayudar a solucionar problemas en cada canalización.

• Detección personalizada: este enfoque permite que los sistemas externos integren su propia lógica para detectar pruebas poco confiables y confiar en Azure DevOps para un seguimiento y administración coherentes. La comunicación con Azure DevOps está habilitada mediante la API Result Meta Data - Update . La API requiere un ID de referencia del caso de prueba, una marca que indica si la prueba se considera inestable y la rama del repositorio donde se observó la inestabilidad. El usuario debe poder obtener el identificador de referencia del caso de prueba de la API Obtener resultado de prueba por identificador . Una vez que esta información se envía a Azure DevOps, el sistema almacena y propaga el estado de flakiness para ese caso de prueba en ejecuciones de canalización posteriores. Después de que una prueba esté marcada como inestable, Azure DevOps seguirá tratándola como tal hasta que se desmarque manualmente.

Opciones de pruebas no confiables

Las opciones de pruebas no confiables especifican cómo están disponibles las pruebas no confiables en los informes de pruebas, así como las funcionalidades de resolución, como se describe en las secciones siguientes.

Administración e informes de pruebas no confiables

En la página "Administración de pruebas" en Opciones de pruebas no confiables, puede establecer opciones para el modo en que se incluyen las pruebas no confiables en el informe Resumen de pruebas. Los datos de pruebas no confiables para pruebas superadas y con errores están disponibles en Resultados de pruebas. La etiqueta No confiable le ayuda a identificar las pruebas no confiables. De forma predeterminada, las pruebas no se incluyen en el resumen de pruebas. Sin embargo, si quiere asegurarse de que los errores de las pruebas no confiables no se produzcan en la canalización, puede elegir no incluirlas en el resumen de pruebas y suprimir el error de prueba. Esta opción garantiza que las pruebas no confiables (superadas y erróneas) se quiten del porcentaje de aprobadas y se muestren en Pruebas no notificadas, como se muestra en la captura de pantalla siguiente.

Pruebas marcadas como no confiables

Puede marcar o desmarcar una prueba como no confiable en función del análisis o el contexto; para ello, elija No confiable (o Confiable, según si la prueba ya está marcada como no confiable).

Cuando una prueba se marca como no confiable o confiable en una canalización, no se realizan cambios en la canalización actual. Solo en las futuras ejecuciones de esa prueba se evalúa la configuración de la marca no confiable modificada. Las pruebas marcadas como no confiables tienen la etiqueta Marcada como no confiable en la interfaz de usuario.

Ayuda y soporte técnico

• Vea la guía de solución de problemas
• Obtenga consejos en Stack Overflow y reciba soporte técnico a través de Developer Community

Artículos relacionados

• Revisar los resultados de la prueba
• Tarea Prueba de Visual Studio
• Tarea Publicar resultados de pruebas
• Resultados de pruebas, metadatos de resultados: actualización de la API REST