DOI QR코드

DOI QR Code

Comparative Analysis of Protocol Test Sequence Generation Methods for Conformance Testing

적합성시험을 위한 프로토콜 시험항목 생성방법의 비교분석

  • Kim, Chul (Department of Computer Science, Yongin University)
  • Received : 2017.07.24
  • Accepted : 2017.08.16
  • Published : 2017.08.30

Abstract

In this paper, a survey of test sequence generation methods for testing the conformance of a protocol implementation to its specification is presented. The best known methods proposed in the literature are called transition tour, distinguishing sequence, characterizing sequence, and unique input/output sequence. Also, several variants of the above methods are introduced. Applications of these methods to the finite state machine model are discussed. Then, comparative analysis of the methods is made in terms of test sequence length. Finally, conclusions are given as follows. The T-method produces the shortest test sequence, but it has the worst fault coverage. The W-method tends to produce excessively long test sequences even though its fault coverage is complete. The problem with the DS-method is that a distinguishing sequence may not exist. The UIO-method is more widely applicable, but it does not provide the same fault coverage as the DS-method.

본 논문은 프로토콜 구현물이 프로토콜의 사양에 대한 적합성을 시험하기 위한 시험항목 생성방법들에 대하여 비교분석 한다. 대표적인 방법들인 천이 순회, 구별 시퀀스, 특징화 시퀀스, 유일 입출력 시퀀스와 변형된 이들 방법들을 분석하고, 유한 상태 기계 모델에 적용한 위의 방법들의 시험항목 길이를 비교 및 분석 한다. 결론에서는 프로토콜 적합성시험을 위한 시험항목 생성방법들에 대한 핵심적이고 분석적인 이슈 사안들을 다음과 같이 제시한다. 천이 순회 방법은 최단의 시험 항목을 생성하지만 최악의 오류 검출 성능을 제공한다. 특징화 시퀀스 방법은 완벽한 오류 검출 성능을 제공하지만 상대적으로 최장의 시험 항목을 생성한다. 구별 시퀀스 방법의 문제점은 이 구별 시퀀스가 항상 존재하지는 않는다는 것이다. 유일 입출력 시퀀스 방법이 비교적 폭넓게 적용될 수 있지만 구별 시퀀스 방법과 동일한 오류 검출 성능을 제공하지 못한다는 문제점이 있다.

Keywords

References

  1. D. Rayner, "OSI Conformance Testing," in Computer Networks and ISDN Systems, vol. 14, no. 1, pp. 79-98, 1987. https://doi.org/10.1016/0169-7552(87)90087-0
  2. D. P. Sidhu and T. K. Leung, "Formal Methods for Protocol Testing: A Detailed Study," in IEEE Transactions on Software Engineering, vol. 15, no. 4, pp. 413-426, 1989. https://doi.org/10.1109/32.16602
  3. G. Gonenc, "A Method for the Design of Fault Detection Experiments," in IEEE Transactions on Computers, vol. C-19, pp. 551-558, 1970. https://doi.org/10.1109/T-C.1970.222975
  4. Z. Kohavi, Switching and Finite Automata Theory. New York: McGraw-Hill, 1978.
  5. T. S. Chow, "Testing Software Design Modeled by Finite-State Machines," in IEEE Transactions on Software Engineering, vol. 4, no. 3, pp. 178-187, 1978.
  6. K. K. Sabnani and A. T. Dahbura, "A Protocol Test Generation Procedure," in Computer Networks and ISDN Systems, vol. 15, no. 4, pp. 285-297, 1988. https://doi.org/10.1016/0169-7552(88)90064-5
  7. S. T. Chanson and J. Zhu, "A Unified Approach to Protocol Test Sequence Generation," in Proc. IEEE INFOCOM '93, 1993, pp. 106-114.
  8. S. Fujiwara, G. v. Bochmann, F. Khendek, M. Amalou, and A. Ghedamsi, "Test Selection Based on Finite State Models," in IEEE Transactions on Software Engineering, vol. 17, no. 6, pp. 591-603, 1991. https://doi.org/10.1109/32.87284
  9. S. T. Vuong and K. C. Ko, "A Novel Approach to Protocol Test Sequence Generation," in Proc. IEEE GLOBECOM '90, 1990, pp. 1880-1884.
  10. A. T. Dahbura, K. K. Sabnani, and M. U. Uyar, "Formal Methods for Generating Protocol Conformance Test Sequences," in Proceedings of the IEEE, vol. 78, no. 8, pp. 1317-1326, 1990. https://doi.org/10.1109/5.58319