Azure DevOps Services
Azure DevOps 테스트 계획은 테스트 실행을 관리하기 위한 새로운 테스트 실행 허브 환경을 제공합니다. 이 향상된 인터페이스는 팀이 테스트 진행 상황을 추적하고, 결과를 분석하고, 개발 주기 전반에 걸쳐 품질을 유지하는 데 도움이 됩니다.
Note
새로운 테스트 실행 허브 환경은 모든 조직에서 자동으로 사용하도록 설정되는 공개 미리 보기 기능 입니다. 이 기능은 미리 보기 기간 동안 언제든지 변경할 수 있습니다.
사용하지 않도록 설정하려면 미리 보기 기능 으로 이동하여 새 테스트 실행 허브 라는 기능 플래그를 찾아 토글을 해제로 설정합니다. 이 기능을 사용하지 않도록 설정하면 피드백을 공유하여 개선해 주세요.
조직에서 아직 새 환경이 표시되지 않는다면, 그것은 출시가 점진적으로 진행되고 있기 때문이며, 이것은 정상적인 현상입니다.
테스트 실행이란?
테스트 실행은 Azure DevOps에서 하나 이상의 테스트 사례 실행을 캡처하는 컨테이너입니다. 특정 테스트 세션에 대한 결과, 기간 및 실행 세부 정보를 추적합니다. 테스트 실행은 테스트 계획 또는 파이프라인에서 테스트 사례를 실행할 때 자동으로 만들어집니다.
테스트 실행은 팀에 도움이 됩니다.
- 품질 추세 모니터링: 테스트 진행률 추적 및 시간 경과에 따른 통과율
- 신속하게 문제 식별: 회귀, 실패 및 차단된 테스트 발견
- 테스트 기록 유지 관리: 인사이트를 위해 기록 실행 데이터 감사 및 분석
액세스 테스트 실행
테스트 실행을 보려면 다음을 수행합니다.
Azure DevOps 프로젝트에서 테스트 계획을 선택합니다.
실행을 선택합니다.
테스트 실행 페이지에는 필터링 및 검색 기능을 사용하여 수동 및 자동화된 모든 사용 가능한 테스트 실행이 표시됩니다.
테스트 실행 검색 및 필터링
테스트 실행 허브는 특정 테스트 실행을 찾는 여러 가지 방법을 제공합니다.
기본 필터
- 타임라인: 지난 7일(기본값)
- 실행 유형: 수동 실행(기본값)
검색 기능
- 테스트 실행 ID로 검색(정확히 일치만 해당) - 이 검색 기능은 다른 모든 필터를 덮어씁니다.
- 타임라인, 실행 유형 및 기타 특성별로 필터링
- 검색 창에서 드롭다운 필터 사용
Tip
- 필터 선택 영역 및 열 너비는 수동으로 지울 때까지 세션 간에 유지됩니다.
- 검색 필터는 추가적으로 작동합니다.
- 테스트 실행 허브 UI에는 최대 5,000개의 결과가 나타날 수 있습니다.
열 설정 변경
표시되는 열을 구성하려면 다음 단계를 수행합니다.
오른쪽 위에서 열 옵션을 선택합니다.
보려는 열을 선택합니다.
적용을 선택합니다.
Tip
파이프라인 실행 열은 자동화된 실행에만 적용되며 빌드 및 릴리스 파이프라인과 관련이 있습니다.
테스트 실행 상태
테스트 실행은 테스트 사례 결과에 따라 세 가지 상태 중 하나를 가질 수 있습니다.
| State | 테스트 사례 결과 | Description |
|---|---|---|
| Completed | 통과된 모든 테스트 사례 | 모든 테스트가 통과하면서 테스트 실행이 성공적으로 완료되었습니다. |
| Completed | 하나 이상의 제외된 경우, 나머지는 성공적으로 처리되었다 | 적용할 수 없는 것으로 표시된 일부 테스트로 실행이 완료되었습니다. |
| 조사 필요 | 하나 이상의 실패한 사례 | 주의가 필요한 테스트 실패로 테스트 실행이 완료되었습니다. |
| 조사 필요 | 하나 이상의 차단된 사례 | 테스트 실행이 차단된 테스트로 완료됨 |
| 진행 중 | 하나 이상의 일시 중지된 사례 | 실행이 일시 중지되고 나중에 다시 시작될 수 있습니다. |
테스트 실행 세부 정보 보기
테스트 실행을 선택하면 세부 정보 페이지에서 포괄적인 정보를 제공합니다.
요약 실행
기본 페이지에는 다음이 포함됩니다.
- 통과율: 통과된 실행된 사례의 백분율("해당 없음" 사례 제외)
-
설명: 실행 레벨 설명(Markdown 서식 지정,
@입력하여 사용자 태그 지정, 작업 항목#및 풀 요청!지원) - 테스트 사례 결과: 각 테스트 사례의 결과(통과됨, 실패, 실행되지 않음)
- 테스트 실행 메타데이터: 테스트를 실행한 사람, 시기 및 환경을 포함한 실행 세부 정보
- 첨부 파일 및 로그: 실행의 스크린샷, 로그 및 기타 아티팩트
분석 대시보드
각 테스트 실행에는 결과를 다음 기준으로 분석하는 미리 정의된 분석 대시보드가 포함되어 있습니다.
- Outcome
- Priority
- Configuration
- 오류 유형
- Resolution
특정 인사이트에 집중할 하위 범주 텍스트를 선택하여 대시보드 타일을 필터링할 수 있습니다.
첨부 파일 관리
실행 수준 첨부 파일
테스트 실행에 첨부 파일을 추가하려면 다음을 수행합니다.
- 테스트 실행 세부 정보에서 + 첨부 파일 추가를 선택합니다.
- 파일을 선택하고 업로드합니다.
첨부 파일이 있으면 필요에 따라 첨부 파일을 보거나 다운로드하거나 삭제할 수 있습니다.
Tip
- 파일 이름을 선택하여 이미지 및 PDF 파일을 미리 봅니다.
- 실행 수준 첨부 파일은 개별 테스트 결과 첨부 파일과는 별개입니다. 각 테스트 결과에는 고유한 첨부 파일이 있을 수 있으며, 테스트 결과 세부 정보의 첨부 파일 탭을 통해 액세스할 수 있습니다.
테스트 사례 결과 처리하기
결과 보기 및 구성
테스트 사례 결과 섹션에서는 다음을 수행할 수 있습니다.
- 개별 테스트 결과 검토
- 주요 실행 페이지와 유사하게 열 표시를 사용자 지정하십시오.
- Azure DevOps 작업 항목에 테스트 결과 연결
Tip
자동화된 테스트 실행에 대한 기본 결과 필터는 분석을 가속화하기 위해 실패 또는 중단으로 설정됩니다. 일반적으로 볼륨이 낮은 수동 테스트 실행의 경우 결과는 기본적으로 필터링되지 않은 상태로 유지됩니다.
작업 항목에 연결
테스트 결과를 버그 또는 기타 작업 항목과 연결하려면 다음을 수행합니다.
- 연결하려는 테스트 사례에 대한 확인란을 선택합니다.
- 새 버그를 만들거나 기존 작업 항목에 대한 링크를 선택합니다.
- 연결 프로세스를 완료합니다.
자세한 테스트 결과 분석
다음을 비롯한 자세한 결과를 보려면 테스트 사례를 선택합니다.
- 테스트 결과 요약: 테스트 실행 개요
- 연결된 작업 항목: 연결된 버그 및 기타 작업 항목; 섹션의 "+ 추가" 단추를 클릭하여 필요한 항목을 연결합니다.
- 테스트 단계: 결과 및 주석을 포함하여 자세한 단계별 결과를 제공합니다. "이미지 표시" 옵션을 사용하도록 설정하여 캡처된 스크린샷을 인라인으로 미리 봅니다.
- 분석 정보: 실행 후 분석 및 다음 작업
- 첨부 파일: 모든 테스트 결과별 첨부 파일
Tip
자동화된 실행의 경우 기본 테스트 사례 결과 필터는 분석을 가속화하기 위해 실패 또는 중단으로 설정됩니다.
분석 정보
분석 섹션은 실행 후 검토를 구성하는 데 도움이 됩니다.
- 실행 후 모든 테스트 결과에 사용할 수 있음
- 실패, 일시 중지 및 차단된 사례에 더 많은 심사 필드가 있습니다.
- 주석은 분석과 관련이 있습니다(실행 또는 결과 주석과는 별개).
Tip
드롭다운에 더 많은 옵션(예: 더 많은 오류 유형)을 추가하려면 Azure DevOps REST API를 사용합니다.
프로그래밍 방식 액세스
Azure DevOps REST API를 사용하여 프로그래밍 방식으로 테스트 실행을 관리할 수도 있습니다.