애플리케이션 테스트 관리

1. 애플리케이션 테스트 케이스 설계
 
 
(1) 애플리케이션 테스트 케이스 작성
- 소프트웨어 테스트: 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안전성 등을 만족하는지 확인하고, 결함을 찾아내는 활동
- 필요성: 오류 발견 관점, 오류 예방 관점, 품질 향상 관점
- 소프트웨어 테스트 원리: 결함 존재 증명, 완벽 테스팅 불가능, 초기 집중, 결함 집중, 살충제 패러독스, 정황 의존성, 오류-부재의 궤변 (결완초집 살정오)
- 초기 집중: SW 개발 초기 체계적인 분석 및 설계가 수행되지 못하면 프로젝트 후반에 영향을 미치게 되어 비용이 커진다는 요르돈의 법칙(눈덩이 법칙)
- 결함 집중: 소프트웨어 테스트에서 오류의 80%는 전체 모듈의 20% 내에서 발견된다는 파레토 법칙(80 대 20 법칙)
- 살충제 패러독스: 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못하여 테스트 케이스의 정기적 개선 및 다른 시각에서의 접근 필요
- 정황 의존성: 소포트웨어의 성격에 맞게 테스트 실시
- 오류-부재의 궤변: 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없다는 원리
- 소프트웨어 테스트 프로세스: 테스트 계획, 테스트 분석, 테스트 디자인, 테스트 케이스 및 시나리오 작성, 테스트 수행, 테스트 결과 평가 및 리포팅
- 소프트웨어 테스트 산출물: 테스트 계획서, 테스트 베이시스, 테스트 케이스, 테스트 슈트, 테스트 시나리오, 테스트 스크립트, 테스트 결과서
 
 

테스트 계획서	테스트 수행을 계획한 문서
테스트 베이시스	분석, 설계 단계의 논리적인 Case로 테스트 설계를 위한 기준이 되는 문서(요구사항 명세서, 관련 기준 또는 표준)
테스트 케이스	사용자의 요구사항을 준수하는지 확인하기 위해 입력값, 실행 조건, 기대 결과로 구성된 테스트를 위한 설계 산출물
테스트 슈트	테스트 케이스를 실행환경에 따라 구분해 놓은, 시나리오가 포함되지 않은 단순한 테스트 케이스의 집합
테스트 시나리오	사용자가 시스템을 사용하는 상황을 개략적으로 구성, 테스트 시나리오는 테스트 케이스와 일 대 다 관계
테스트 스크립트	테스트 케이스의 실행 순서(절차)를 작성한 문서로 테스트 스텝(Test  Step), 테스트 절차서(Test Procedure)
테스트 결과서	테스트 결과를 정리한 문서

 
 
(2) 소프트웨어 테스트 유형
- 프로그램 실행 여부, 테스트 기법, 테스트에 대한 시각, 테스트의 목적, 테스트의 종류에 따라 분류
- 프로그램 실행 여부에 따른 분류: 정적 테스트, 동적 테스트
 
 

정적 테스트	프로그램 실행하지 않고 구조를 분석하여 논리성 검증	리뷰, 정적 분석
동적 테스트	프로그램 실행하는 방식으로 테스트를 수행하여 결함 검출	화이트박스 테스트, 블랙박스 테스트, 경험기반 테스트

 
 
- 테스트 기법에 따른 분류: 화이트박스 테스트, 블랙박스 테스트
- 화이트박스 테스트: 코드 분석과 프로그램 구조에 대한 지식을 바탕으로 문제가 발생할 가능성이 있는 모듈 내부를 테스트하는 방법
- 유형: 구문(문장) 커버리지, 결정(선택/분기) 커버리지, 조건 커버리지, 조건/결정 커버리지, 변경 조건/결정 커버리지, 다중 조건 커버리지, 기본 경로 커버리지, 제어 흐름 테스트, 데이터 흐름 테스트, 루프 테스트 (구결조 조변다 기제데루)
 
 

구문 커버리지	프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지
결정 커버리지	각 분기의 결정 포인트 내의 전체 조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 커버리지
조건 커버리지	각 분기의 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 커버리지
조건/결정 커버리지	전체 조건식뿐만 아니라 개별 조건식도 한 번은 참과 거짓의 결과를 수행하는 커버리지
변경 조건/결정 커버리지	개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 개선
다중 조건 커버리지	결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
기본 경로 커버리지	수행 가능한 모든 경로를 테스트하는 기법으로 맥케이브의 순환복잡도를 기반으로 커버리지 계산
제어 흐름 테스트	프로그램 제어 구조를 그래프 형태로 나타내어 내부로직을 테스트하는 기법
데이터 흐름 테스트	제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법
루프 테스트	프로그램의 반복(Loop) 구조에 초점을 맞춰 실시하는 테스트 기법

 
 
- 맥케이브 순환복잡도: 제어 흐름의 복잡한 정보를 정량적으로 표시하는 기법
 
 

복잡도 계산	V=E-N+2		복잡도는 노드(N) 수와 간선(E) 수로 계산
	V=P+1		복잡도는 조건 분기문(P) 수로 계산
그래프 구성	O	Node	프로세싱 태스크
	→	Edge	태스크 간 제어 흐름

 
 
- 블랙박스 테스트: 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 기능 테스트
- 유형: 동등(동치/균등) 분할 테스트, 경곗값(한곗값) 분석 테스트, 결정 테이블 테스트, 상태 전이 테스트, 유스케이스 테스트, 분류 트리 테스트, 페어와이즈 테스트, 원인-결과 그래프 테스트, 비교 테스트, 오류 추정 테스트 (동경결상 유분페원비오)
 
 

동등 분할 테스트	입력 데이터의 영역을 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스 도출하여 테스트
경곗값 분석 테스트	등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스 설계
결정 테이블 테스트	요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트
상태 전이 테스트	이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트
유스케이스 테스트	시스템이 유스케이스로 모델링 되어 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행
분류 트리 테스트	SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트 수행
페어와이즈 테스트	테스트 데이터값 간 한 번씩 조합하는 방식, 모든 조합 비해 적은 양의 테스트 세트를 구성하기 위한 테스트 기법
원인-결과 그래프 테스트	입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트 수행
비교 테스트	여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
오류 추정 테스트	개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함을 노출하는 테스트로 다른 블랙박스 테스트 기법을 보완

 
 
- 테스트 시각에 따른 분류: 검증, 확인
 
 

검증 (Verification)	개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지 과정을 테스트
확인 (Validation)	사용자 시각으로 올바른 소프트웨어가 개발되었는지 결과를 테스트

 
 
- 테스트 목적에 따른 분류: 회복 테스트, 안전 테스트, 성능 테스트, 구조 테스트, 회귀 테스트, 병행 테스트 (회안성 구회병)
- 성능 테스트: 부하 테스트, 강도(스트레스) 테스트, 스파이크 테스트, 내구성 테스트
 
 

회복 테스트	시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트
안전 테스트	불법 소프트웨어가 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트
성능 테스트	사용자의 이벤트에 시스템 응답 시간, 반응 속도, 처리 업무량 등을 측정하는 테스트
	부하 테스트	시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트
	강도(스트레스) 테스트	임계점 이상의 부하를 가하여 비정상적인 상황에서 시스템의 동작 상태를 확인
	스파이크 테스트	짧은 시간에 사용자가 몰릴 때 시스템 반응 테스트
	내구성 테스트	오랜 시간 시스템에 높은 부하를 가하여 시스템 반응 테스트
구조 테스트	시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
회귀 테스트	오류를 제거하거나 수정한 시스템에서 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트
병행 테스트	변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트

 
 
- 테스트 종류에 따른 분류: 명세 기반 테스트, 구조 기반 테스트, 경험 기반 테스트 (명구경)
 
 

명세 기반 테스트 (블랙박스 테스트)	프로그램 요구사항 명세서 기반 테스트	동경결상 유분페원비
구조 기반 테스트 (화이트박스 테스트)	소프트웨어 내부 논리 흐름 기반 테스트	구결조 조변다 기제데루
경험 기반 테스트 (블랙박스 테스트)	테스터의 경험과 직관 기반 테스트	탐색적 테스트, 오류 추정 테스트

 
 
(3) 정적 테스트
- 리뷰(Review): 소프트웨어의 다양한 산출물에 존재하는 결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동으로, 전문가가 수행
- 유형: 동료 검토, 인스펙션, 워크 스루 (동워인)
- 동료 검토: 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행하는 검토 기법
- 워크 스루: 검토 자료를 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 문제 식별, 대안 조사, 학습 기회 제공하는 비형식적인 검토 기법
- 인스펙션: 소프트웨어 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 팀이 문제를 식별하고 문제에 대한 해결을 찾아내는 형식적인 검토 기법
- 정적 분석(Static Analysis): 자동화된 도구를 이용하여 산출물의 결함을 검출하거나 복잡도를 측정하는 테스트
 
 
(4) 동적 테스트
- 화이트박스 테스트(구조 기반 테스트): 응용 프로그램의 내부 구조와 동작 검사하는 소프트웨어 테스트
- 테스트 커버리지: 주어진 테스트 케이스에 의해 수행되는 소프트웨어의 테스트 범위를 측정하는 테스트 품질 측정 기준
- 유형: 기능 기반 커버리지, 라인 커버리지, 코드 커버리지 (기라코)
- 구성: 구문(문장), 결정, 조건, 참과 거짓에 대한 결정 포인트
 
 

구문(문장) 커버리지	구문 실행 개수로 계산	문장 커버리지(%)=실행된 문장의 수/전체 실행 가능한 문장의 수×100
결정 커버리지	전체 조건식이 한 번은 참/거짓 결과	결정 커버리지(%)=실행된 결정의 결과 수/전체 결정의 결과 수×100
조건 커버리지	개별 조건식이 한 번은 참/거짓 결과	조건 커버리지(%)=실행된 조건의 결과 수/전체 조건의 결과 수×100

 
 
- 블랙박스 테스트(명세 기반 테스트): 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 기능 테스트
- 전체 소프트웨어 테스트 레벨(단위, 통합, 시스템, 인수)에서 적용할 수 있는 기법
- 경험 기반 테스트: 유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로 한, 직관과 기술 능력을 기반으로 수행하는 테스트
- 탐색적 테스트: 테스터의 휴리스틱한 능력, 테스트 차터, 회고
 
 

탐색적 테스트	테스트 케이스를 문서로 작성하지 않고 테스터의 경험에 바탕을 두고 탐색적으로 기능을 수행해 보면서 테스트
오류 추정	개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스 설계하여 테스트

 
 
(5) 테스트 케이스(Test Case)
- 특정 요구사항에 준수하는 지 확인하기 위해 개발된 입력값, 실행 조건, 예상 결과의 집합
- 테스트 오라클: 테스트의 결과가 참인지 거짓인지 판단하기 위해서 사전에 정의된 참값을 입력하여 비교하는 기법 (참샘휴일)
- 참 오라클: 모든 입력값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
- 샘플링 오라클: 특정 입력값에 대해서만 기대하는 결과를 제공해 주는 오라클
- 휴리스틱 오라클: 샘플링 오라클을 개선하여, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱(추정)으로 처리하는 오라클
- 일관성 검사 오라클: 애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클
 
 
(6) 테스트 레벨(Test Level)
- 함께 편성되고 관리되는 테스트 활동의 그룹 (단통시인)
- 단위 테스트: 소프트웨어 설계의 최소 단위인 모듈이나 컴포넌트에 초점을 맞춘 테스트
- 통합 테스트: 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트
- 시스템 테스트: 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트
- 인수 테스트: 최종 사용자와 업무의 이해관계자 등이 테스트를 수행함으로써 개발된 제품에 대해 운영 여부를 결정하는 테스트
- 알파 테스트: 선택된 사용자가 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수 테스트
- 베타 테스트: 실제 환경에서 일정 수의 사용자에게 대상 소프트웨어를 사용하게 하고 피드백을 받는 인수 테스트
 
 

단위 테스트	명세 기반 테스트(블랙박스 테스트), 구조 기반 테스트(화이트박스 테스트)
통합 테스트	빅뱅 테스트, 샌드위치 테스트, 상향식 테스트, 하향식 테스트
시스템 테스트	기능 요구사항 테스트, 비기능 요구사항 테스트
인수 테스트	알파 테스트, 베타 테스트

 
 
2. 애플리케이션 통합 테스트