Comparative Evaluation on the Cost Analysis of Software Development Model Based on Weibull Lifetime Distribution

와이블 수명분포에 근거한 소프트웨어 개발모형의 비용 분석에 관한 비교 평가

Abstract

In this study, the finite-failure NHPP software reliability model was applied to the software development model based on the Weibull lifetime distribution (Goel-Okumoto, Rayleigh, Type-2 Gumbe), which is widely used in the software reliability field, and then the cost attributes were compared and evaluated. For this study, failure time data detected during normal operation of the software system were collected and used, the most-likelihood estimation (MLE) method was applied to the parameter estimation of the proposed model, and the calculation of the nonlinear equation was solved using the binary method. As a result, first, in the software development model, when the cost of testing per unit time and the cost of removing a single defect increased, the cost increased but the release time did not change, and when the cost of repairing failures detected during normal system operation increased, the cost increased and the release time was also delayed. Second, as a result of comprehensive comparative analysis of the proposed models, it was found that the Type-2 Gumble model was the most efficient model because the development cost was lower and the release time point was relatively faster than the Rayleigh model and the Goel-Okumoto basic model. Third, through this study, the development cost properties of the Weibull distribution model were newly evaluated, and the analyzed data is expected to be utilized as design data that enables software developers to explore the attributes of development cost and release time.

본 연구에서는 소프트웨어 신뢰성 분야에서 많이 사용하는 Weibull 수명 분포((Goel-Okumoto, Rayleigh, Type-2 Gumbe)에 근거하여 유한 고장 NHPP 소프트웨어 신뢰성 모형을 소프트웨어 개발 모형에 적용한 후, 비용의 속성을 비교하여, 분석하였다. 본 연구를 위하여 소프트웨어 시스템의 정상 운용 중 검출된 고장시간 데이터를 수집하여 사용하였고, 제안된 모형의 모수 추정은 최우추정법을 적용하였으며, 비선형 방정식의 계산은 이분법을 사용하여 해결하였다. 그 결과, 첫째, 소프트웨어 개발 모형의 단위 시간당 테스팅 비용과 단일 고장을 제거하는 비용이 증가하면 비용은 증가하였지만 방출시간은 변하지 않았고, 정상적인 시스템 운용 중에 검출된 고장 수리 비용이 증가하면 비용 증가와 함께 방출 시간도 지연됨을 알 수 있었다. 둘째, 제안된 모형들을 종합적으로 비교 분석한 결과, Type-2 Gumble 모형이 Rayleigh 모형과 Goel-Okumoto 기본 모형 보다 개발비용이 적고, 방출 시간 포인트도 상대적으로 빨라서 가장 효율적인 모형임을 알 수 있었다. 셋째, 본 연구를 통하여 Weibull 분포 모형의 개발비용 속성을 새롭게 분석하였으며, 분석된 데이터는 소프트웨어 개발자들이 개발 비용과 방출 시간에 대한 속성을 탐색하는 데 필요한 설계 데이터로 활용할 수 있을 것으로 기대한다.

Ⅰ. 서론

최근 소프트웨어 응용 기술의 급속한 확산으로 소프트웨어 융복합 시스템의 규모는 끊임없이 확장하고 더욱 복잡해지고 있다. 이런 이유로, 대용량의 빅데이터를 고장 없이 정확히 처리할 수 있는 소프트웨어에 개발에 대한 필요성은 더욱 가중되고 있다. 따라서, 이러한 고품질의 신뢰성 있는 소프트웨어를 개발하는 데 있어서 가장 중요한 토픽은 비용에 관한 주제일 것이다 ^[1]. 지금까지, 소프트웨어 개발 모형의 비용 분석을 위하여 신뢰성 분야에 적합한 확률 분포 함수를 강도 함수와 평균값 함수에 적용한 비동질 푸아송 과정(Non-homogeneous Poisson process ; NHPP) 신뢰성 모형에 관한 연구가 많이 제안되여 왔다 ^[2]. 이 과정에서, Kim and Shin ^[3] 은 Weibull 분포를 적용한 학습 효과 기법을 이용하여 NHPP 소프트웨어 신뢰도 모형을 제안하였고, Pham and Zhang ^[4]은 NHPP 모형을 기반으로 테스트 범위를 포함하는 소프트웨어 비용 모형을 개발하고, 소프트웨어 제품의 신뢰성을 정량적으로 추정하고, 예측하는 데 사용할 수 있다고 제안하였다. 또한, Nam and Kim ^[5]는 NHPP를 기반으로 소프트웨어 수명 주기가 끝날 때까지 예상되는 총 소프트웨어 비용에 대한 방정식을 공식화하였고, Song and Chang ^[6]은 소프트웨어 테스팅 데이터를 기반으로 NHPP 모델의 적합도를 조사하여, 제안된 모형의 최적 방출 시간을 비교한 후, 비용을 효율적으로 분석할 수 있는 방법을 제안하기도 하였다. 더불어, Kim and Yang ^[7]은 로그 파우어 강도 함수를 가진 무한 고장 NHPP 신뢰성 모형에 기반하여 소프트웨어 제품 테스팅 과정에서 강도 함수를 고려한 소프트웨어 신뢰성 비용 모형을 제시하기도 하였다.

따라서, 본 연구에서는 신뢰도 테스트 분야에서 널리 사용되는 수명 분포인 Weibull 분포(Goel-Okumoto, Rayleigh, Type-2 Gumbe)에 근거하여 유한 고장을 기반으로 NHPP 소프트웨어 개발 모형의 비용 속성을 새롭게 분석하고, 평가하였다. 이와 함께, 소프트웨어개발자들이 개발 단계에서 최적의 개발비용 모형을 탐색하는데 필요한 새로운 설계 데이터를 제시하고자 한다.

Ⅱ. 관련 연구 및 기술

1. NHPP 소프트웨어 신뢰성 모형

NHPP 소프트웨어 신뢰성 모형은 단위 시간당 발생되는 소프트웨어의 고장 발생의 횟수를 가준으로 신뢰도를 예측하고, 분석하는 모형이다. 따라서, NHPP 모형에서 소프트웨어 고장의 누적수 N(t)는 모수 m(t)와 모수 λ(t)을 가진 푸아송 확률밀도함수(Probability density function)를 따른다.

\( P\{N(t)=n\}=\frac{[m(t)]^{n} \cdot e^{-m(t)}}{n !}\)       (1)

\(단, n=0,1,2 \ldots \infty\)

여기서, NHPP 모형의 고장발생 기댓값을 나태내는 평균값 함수(Mean Value Function) m(t)와 고장 발생률을 의미하는 강도 함수(Intensity Function)λ(t)는 다음과 같이 정의된다 ^[8].

\(m(t)=\int_{0}^{t} \lambda(s) d s\)       (2)

\(\frac{d m(t)}{d t}=\lambda(t)\)       (3)

일반적으로, NHPP 모형은 소프트웨어의 고장을 수리하는 동안에는 고장이 발생하지 않는다고 가정하는 유한고장과 고장을 수리하는 동안에도 고장이 발생한다고 가정하는 무한 고장으로 구분한다.

본 논문에서는 유한 고장을 기반으로 분석하고자 한다. 따라서, 유한 고장 NHPP 모형에서 임의 테스트 시간 t 까지 검출될 수 있는 잔존 고장률을 라고 하면, 식 (2)과 식(3)의 상관 관계식을 적용하여 정리하면, 다음과 같이 유도할 수 있다.

\(m(t)=\theta \cdot \quad F(t)\)       (4)

\(\lambda(t)=\theta \cdot \quad F(t)^{\prime}=\theta . \quad f(t)\)       (5)

단. f(t)는 확률밀도함수, F(t)는 누적분포함수이다.

식(4)와 식(5)을 적용하여 정리하면, NHPP 모형의 우도 함수(Likelyhood function)는 다음과 같다.

\(L_{\operatorname{NHPP}}(\Theta \mid \underline{x})=\left(\prod_{i=1}^{n} \lambda\left(x_{i}\right)\right) \exp \left[-m\left(x_{n}\right)\right]\)       (6)

\(\text { 단, } \underline{x}=\left(x_{1}, x_{2}, x_{3}, \cdots, x_{n}\right]\)

2. NHPP Goel-Okumoto 기본 모형

Goel-Okumoto 모형은 소프트웨어 신뢰도 테스트 분야에서 가장 잘 알려진 기본 모형이다. Goel-Okumoto 기본 모형에서 잔존 고장율인 고장 발생의 기댓값을 \(\theta\)라고 하면, 다음 식과 같이 유도된다고 하였다 ^[9][14].

\(m(t \mid \theta, b)=\theta\left(1-e^{-b t}\right)\)       (7)

\(\lambda(t \mid \theta, b)=\theta b e^{-b t}\)       (8)

식(7)과 식(8)를 식(6)에 대입하여 정리하면 NHPP Goel-Okumoto 기본 모형의 우도 함수는 다음과 같다.

\(L(\theta, b \mid \underline{x})=\left(\prod_{i=1}^{n} \theta b e^{-b x_{i}}\right) \exp \left[-\theta\left(1-e^{-b x_{n}}\right)\right]\)       (9)

단, \(\underline{x}=\left(0 \leq x_{1} \leq x_{2} \leq \ldots \leq x_{n}\right] .\)

식(9)에서, 양변에 로그를 취하여 정리하면, 로그 우도 함수는 다음과 같이 간략화된다.

\(\ln L_{N H P P}(\Theta \mid \underline{x})=n \ln \theta+n \ln b-b \sum_{k=1}^{n} x_{k}\)       

\(-\theta\left(1-e^{-b x_{n}}\right)\)       (10)

따라서, 식(10)을 각각 모수 \(\theta\)와 모수 b로 편 미분하여 정리하면, 식(11)과 식(12)과 같다. 여기서, 최우추정 량 \(\hat{\theta}_{M L E} \text { 와 } \hat{b}_{M L E}\) 는 이분법으로 계산할 수 있다. 

\(\frac{n}{\hat{\theta}}=1-\exp \left(-\hat{b} x_{n}\right)\)       (11)

\(\frac{n}{\hat{b}}=\sum_{I=1}^{n} x_{n}+\hat{\theta} x_{n} \exp \left(-\hat{b} x_{n}\right)\)       (12)

3. NHPP Rayleigh 모형

Rayleigh 분포는 잘 알려진 Weibull 분포로서, 신뢰도 테스트 분야에 적합한 모형으로서 잘 알려져 있다. 이 분포는 Weibull 분포에서 고장의 형태를 결정하는 형상모수(a)가 2일 때 Rayleigh 분포가 되는 특수한 형태이다. 형상모수를 고려한 확률밀도함수 f(t)와 누적분포함수 F(t)는 다음과 같다.

\(f(t)=\frac{t^{a-1}}{\beta^{2}} e^{-\frac{t^{a}}{2 \beta^{2}}}\)       (13)

\(F(t)=1-e^{-\frac{t^{4}}{2 \beta^{2}}}\)       (14)

단, \(\beta>0, t \in[0, \infty]\)

식(13)와 식(14)을 간략화된 수식으로, 표현하기 위해 \(\frac{1}{2 \beta^{2}}=b\)로 치환하면, 다음과 같이 정리된다.

\(f(t)=2 b t^{a-1} e^{-b t^{a}}\)       (15) 

\(F(t)=1-e^{-b t^{a}}\)       (16)

단, \(b>0, t \in[0, \infty]\)

식 (15)와 식(16)에서 형상모수(α)가 2인 경우에 Rayleigh 분포가 되므로, 테스트 시간 t까지 검출될 수 있는 잔존 고장율인 결함의 기댓값을 \(\theta\)라고 하면, 다음식과 같이 유도할 수 있다고 하였다 ^[10].

\(m(t \mid \theta, b)=\theta\left(1-e^{-b t^{2}}\right)\)       (17)

\(\lambda(t \mid \theta, b)=2 \theta b t e^{-b t^{2}}\)       (18)

단, \(\theta>0, b>0\)

NHPP 로그 우도 함수는 구하기 위해서 식(17)과 식 (18)식을 식(6)에 대입한 후, 양변에 로그를 취하면, 다음과 같이 간략화된다.

\(\ln L_{N H P P}(\Theta \mid \underline{x})=n \ln 2+n \ln \theta+n \ln b\)       (19)

\(+\sum_{i=1}^{n} \ln x_{i}-b \sum_{i=1}^{n} x_{i}^{2}-\theta\left(1-e^{-b x_{n}^{2}}\right)\)

따라서, 식(19)를 각각 모수 \(\theta\)와 모수 b로 편 미분하여 정리하면, 식(20)과 식(21)과 같다. 따라서, 최우추정 량 \(\hat{\theta}_{M L E} \text { 와 } \hat{b}_{M L E}\)는 이분법으로 계산할 수 있다.

\(\frac{\partial \ln L_{N H P P}(\Theta \mid \underline{x})}{\partial \theta}=\frac{n}{\hat{\theta}}-1+e^{-\hat{b} x_{n}^{2}}=0\)       (20)

\(\frac{\partial \ln L_{N H P P}(\Theta \mid \underline{x})}{\partial b}=\frac{n}{\hat{b}}-\sum_{i=1}^{n} x_{i}^{2}\)       (21)

\( -\hat{\theta} x_{n}^{2} e^{-b x_{n}^{2}}=0 \)

\(단, x=\left(x_{1}, x_{2}, x_{3}, \cdots, x_{n}\right)\)

4. NHPP Type-2 Gumbel 모형

Type-2 Gumbel 분포는 잘 알려진 Weibull 분포의 한 형태로서, 소프트웨어 신뢰도 테스트 및 평가 분야에 효율적인 모형으로 알려져 있다. 따라서, 형상 모수(a)를고려한 신뢰도 함수는 다음과 같이 정의된다 ^[11].

\(m(t \mid a, b)=\theta e^{-b t^{-a}}\)       (22)

\( \lambda(t \mid a, b)=\theta\left(a b t^{-a-1} e^{-b t^{-a}}\right) \)       (23)

\(단, a, b>0, t \in[0, \infty]\)

NHPP 로그 우도 함수는 구하기 위해서 식(22)과 식 (23)식을 식(6)에 대입한 후, 양변에 로그를 취하면, 다음과 같이 정리할 수 있다.

\(\ln L_{N H P P}(\Theta \mid \underline{x})=n \ln \theta+n \ln a+n \ln b\)       (24)

\(-(a+1) \sum_{i=1}^{n} \ln x_{i}-b \sum_{i=1}^{n} x_{i}^{-a}-\theta e^{-b x_{n}^{-a}}\)

본 연구에서는 Rayleigh 분포와 동일한 조건으로 비교 분석하기 위해서 형상모수가 a=2 인 경우를 고려한다. 식(24)를 각각 모수 \(\theta\)와 모수 b로 편 미분하여 정리하면, 식(25)과 식(26)과 같다. 여기서, 최우추정량 \(\hat{\theta}_{M L E} \text { 와 } \hat{b}_{M L E}\) 는 이분법으로 계산할 수 있다.

\(\frac{\partial \ln L_{N H P P}\left(\left.\Theta\right|_{\underline{x}}\right)}{\partial \theta}=\frac{n}{\theta}-e^{-b x_{n}^{-2}}=0\)       (25)

\(\begin{aligned} &\frac{\partial \ln L_{N H P P}(\Theta \mid \underline{x})}{\partial b}=\frac{n}{b}-\sum_{i=1}^{n} x_{i}^{-2} \\ &+\theta x_{n}^{-2} e^{-b x_{n}^{-2}}=0 \end{aligned}\)       (26)

5. 소프트웨어 개발 모형

소프트웨어 개발 모형은 다음과 같이 각 구성 요소별 단위 비용의 총합으로 구성되여 있다 ^[12].

\(E_{t}=E_{1}+E_{2}+E_{3}+E_{4}\)       (27)

\(=E_{1}+C_{2} \times t+C_{3} \times m(t)+C_{4} \times\left[m\left(t+t^{\prime}\right)-m(t)\right]\)

단, E_T : 소프트웨어 개발 총비용이다.

① E₁은 초기에 투입되는 개발비용이다.

② E₂는 단위 시간당 테스팅 비용으로, 적용되는 산업별 단위시간당 비용은 상이하다.

\(E_{2}=C_{2} \times t\)       (28)

단, C₂는 단위시간당 비용이고, t는 테스팅 시간이다.

③ E₃는 기본적인 고장을 검출하고, 고장 1개을 제거하는 비용이다.

\(E_{3}=C_{3} \times m(t)\)       (29)

단, C₃는 테스팅 과정에서 검출된 고장 1개을 제거하는 비용이며, 는 제안된 NHPP 모형의 시점에서검출할 수 있는 고장의 기댓값인 평균값 함수이다.

④ E₄는 시스템의 모든 잔존 고장들을 제거하는 비용이다.

\(E_{4}=C_{4} \times\left[m\left(t+t^{\prime}\right)-m(t)\right]\)       (30)

단, C₃는 소프트웨어 방출 이후에 사용자가 검출한 고장을 수리하는 비용, t′는 소프트웨어를 방출한 후, 시스템을 정상적으로 운용할 수 있는 시간이다.

본 연구에서는 C₄비용이 C₂ 비용과 C₃ 비용보다는 크다는 현실적인 판단을 적용하였다. 또한, 소프트웨어 방출 시간은 개발 총비용(E_t)이 최소가 될 때, 최적의 방출 시점이 된다. 따라서, 소프트웨어 개발비용과 방출 시간의 관계는 다음과 같다.

\(\frac{\partial E_{t}}{\partial t}=E^{\prime}=\left(E_{1}+E_{2}+E_{3+} E_{4}\right)^{\prime}=0\)       (31)

Ⅲ. 소프트웨어 고장시간 분석

본 연구에서는 표 1과 같은 소프트웨어 고장시간 자료 ^[13] (Failure time data)를 사용하여 제안된 모형의 비용 속성을 비교하여, 분석하였다. 이 고장시간 자료는 총 738.68 테스팅 시간 동안 30번의 고장이 발생하였음을 나타내고 있다.

표 1. 수집된 소프트웨어 고장시간

Table 1. Collected Software Failure Time

따라서, 본 논문에서는 표. 1과 같이 수집된 고장 시간자료가 신뢰도 분석에 적용할 수 있는지를 판별하기 위하여 라플라스 추세 테스트를 사용하였다.

그림 1과 같이 분석 결과, 라플라스 요인(Factor)의 시뮬레이션 결괏값이 -2와 2사이에 분포하였기 때문에, 극단값이 존재하지 않는다. 따라서, 이 고장시간 데이터는 신뢰할 수 있고, 본 연구에 적용할 수 있다.

그림 1. 라플라스 추세 테스트의 시뮬레이션 결과

Fig. 1. Simulation Result of Laplace Trend Test

본 연구에서 제안된 NHPP 모형의 모수추정은 최우추정법(Maximum Likelihood Estimation, MLE)을 사용하였고, 그 결과는 표 2와 같다 ^[14].

표 2. 제안된 모형의 모수 추정 값

Table 2. Parameter Estimation of the Proposed Model

또한, 제안된 모형들의 비용분석과 함께 신뢰도를 평가하기 위하여 먼저, 평균값 함수 에 대한 분석을 수행하였다. 그림 2는 평균값 함수에 대한 분석을 나타내고 있다. 그 결과, Rayleigh 모형은 제안 모형 중 참값에 대한 오차가 가장 작기 때문에, 신뢰도의 적합성 측면에서는 효율적임을 보여주고 있다.

그림 2. 평균값 함수의 예측능력 분석

Fig. 2. The Predictive Ability Analysis of the Mean Value Function

또한, 표 3은 관련 연구에서 분석한 NHPP 모형의 평균값 함수 를 가지고, 소프트웨어 개발 모형의 비용 분석에 적용되는 과정을 보여주고 있다 ^[15].

표 3. 평균값함수와 소프트웨어개발모형의 상관 관계

Table 3. Correlation between Mean Value Function and

본 연구에서는 실제와 동일한 개발 환경을 투입하기 위하여, [가정 1]∼[가정 3]과 같은 비용 조건을 적용한 후, 소프트웨어 개발 비용의 속성을 분석하였다.

[가정 1 : 기본 조건]

\(E_{1}=50 \$, c_{2}=5 \$, c_{3}=1.5 \$, c_{4}=10 \$, t^{\prime}=50\)       (32)

[가정 1]과 같은 비용 조건을 적용한 시뮬레이션 결과는 그림 2와 같다. 시뮬레이션 결과에서 비용곡선의 추이는 처음에는 크게 감소한 후, 일정한 형태을 유지하다가 방출 시간이 흐를수록 점진적으로 증가하는 형태을보이고 있다. 그 이유는 초기 단계에서 고장을 제거하는 과정 중에 남아있는 고장의 수는 감소하기 때문에 비용은 크게 감소하지만, 시간이 지날수록 남아있는 고장이 발견될 확률은 점진적으로 감소하기 때문이다. 결국, 방출 시간이 흐를수록 비용도 함께 증가하는 형태가 된다.

그림 3과 같이 시뮬레이션 결과를 보면, Type-2 Gumbel 모형의 개발 비용은 150$, 방출 시간은 3.15H 이며, Rayleigh 모형의 개발 비용은 170$, 방출 시간은 3.75H이다. 그러므로, Type-2 Gumbel 모형이 Rayleigh 모형보다 개발비용이 적고, 방출 시점도 빨라서 효율적임을 알 수 있다.

[가정2 : 가정1에서 c₃ 비용이 증가한 경우]

\(E_{1}=50 \$, c_{2}=5 \$, c_{3}=3 \$, c_{4}=10 \$, t^{\prime}=50\)       (33)

[가정 2]는 [가정 1]의 기본 조건에서 테스팅 과정 중에 발견된 1 개의 고장을 제거하는 비용(c₃₎을 2배 증가(1.5$→3$)시킨 상황으로서, 시뮬레이션 결과는 그림 4와 같다.

그림 4. [가정2]을 적용한 비용 분석

Fig. 4. The Cost Analysis Applied to the Condition of [Assumption 2]

그림 4와 같이 시뮬레이션 결과를 보면, Type-2 Gumbel 모형의 개발 비용은 190$, 방출 시간은 3.15H 이며, Rayleigh 모형의 개발 비용은 210$, 방출 시간은 3.75H이다. 그러므로, Type-2 Gumbel 모형이 Rayleigh 모형보다 개발비용이 적고, 방출 시점도 빨라서 효율적인 모형임을 알 수 있다.

이러한, 결과를 분석하면 개발비용은 증가하였지만, 방출 시간에는 변함이 없었다. 즉, 개발 비용이 증가하지 않도록 하기 위해서는 테스팅 단계에서부터 한 번에 가능한 많은 고장을 제거해야만 한다 ^[16].

[가정3 : 가정1에서 c₄ 비용이 증가한 경우]

\(E_{1}=50 \$, c_{2}=5 \$, c_{3}=1.5 \$, c_{4}=20 \$, t^{\prime}=50\)       (34) 

[가정 3]과 같은 비용 조건을 투입한 시뮬레이션 결과는 그림 4와 같다. [가정 3]은 [가정 1] 기본 조건에서 소프트웨어 방출 이후에, 운용 단계에서 사용자가 검출할 수 있는 고장을 수리하는 비용_을 2배 증가(10$→20$)시킨 상황이다.

그림 5의 분석 결과를 보면, 개발비용 증가와 함께 방출 시간도 지연된다. 따라서, 이러한 상황 조건에서는 소프트웨어 방출 이전에 고장을 감소시킬 수 있도록 테스팅 단계에서 가능한 모든 고장을 제거해야 한다.

그림 5. [가정3]을 적용한 비용 분석

Fig. 5. The Cost Analysis Applied to the Condition of [Assumption 3]

그러므로, 종합적으로 분석하면 Type-2 Gumbel 모형이 Rayleigh 모형과 Goel-Okumoto 모형 보다 개발비용이 적고, 소프트웨어 방출 시점도 빨라서 가장 우수한 모형임을 알 수 있다.

Ⅴ. 결론

사전에 수집된 고장시간에 대한 분석 자료를 소프트웨어 개발 과정이나 테스팅 작업시에 개발 모형에 적용하여 분석하면, 더욱 효율적으로 비용에 대한 속성을 탐색할 수 있다. 따라서, 본 연구에서는 유한 고장 NHPP 신뢰성 모형을 가지고 Weibull 분포에 적용한 후, 해당 분포의 개발비용 모형을 비교하여 분석하고, 평가하였다.

본 연구의 결과는 다음과 같다.

첫째, 개발 비용은 초기에는 크게 감소한 후, 일정한 패턴을 보이다가, 방출 시간이 흐른 후반 단계에는 점진적으로 증가하는 형태를 보였다. 그 이유는 초기고장을 제거하는 과정에서 잔존 고장의 수는 크게 감소하지만, 시간이 지날수록 잔존 고장이 발견될 확률이 점점 줄어들면서, 결국 비용이 증가하기 때문이다.

둘째, 소프트웨어 방출 이전에 발견된 1개의 고장을 제거하는 비용이 증가하면, 개발 비용은 증가하지만 방출 시간은 전혀 변하지 않았다. 하지만, 소프트웨어 방출 이후에 정상적인 운용 중에 사용자가 발견한 고장 수리 비용이 증가하면, 전체 시점에서 개발비용이 상승하고, 방출시간도 지연된다는 것을 알 수 있었다.

셋째, 본 연구에서 적용된 Weibull 분포의 모형들을 종합적으로 분석한 결과, Type-2 Gumble 모형이 Rayleigh 모형과 Goel-Okumoto 기본 모형 보다 개발비용이 적고, 방출 시점도 빨라서 상대적으로 가장 우수한 모형임을 알 수 있었다.

본 연구 결과를 이용하면 소프트웨어 개발 및 테스팅단계에서 개발자들에게 경제적인 개발 비용에 관한 분석과 함께 최적의 방출 시간을 예측할 수 있는 설계 데이터를 제시할 수 있다. 더불어 추후에 소프트웨어 산업별로 수집한 고장시간 데이터를 가지고, 다양한 신뢰성 분포모형에 적용한 후, 평가를 통해 최적의 개발 모형을 탐색하는 후속 연구가 필요하겠다.