DOI QR코드

DOI QR Code

Prioritization in the Policy of Integrated Medicine that Uses the Delphi Method and Analytic Hierarchy Process

델파이 기법과 AHP기법을 사용한 통합의료정책 우선순위 수립 연구

  • Park, Youn Ok (Department of Social Welfare, Sungkyunkwan University) ;
  • Son, Chi Hyoung (Department of Oriental Rehabilitation Medicine, Korea National Rehabilitation Center)
  • 박연옥 (성균관대학교 사회복지학과) ;
  • 손지형 (국립재활원 한방재활의학과)
  • Received : 2014.11.03
  • Accepted : 2014.12.09
  • Published : 2015.02.25

Abstract

The purpose of the study is to establish priorities in integrated medicine policy. Delphi method was used in conducting a survey on integrated medicine specialists regarding the policies of integrated medicine and actions. For specialists in integrated medicine, total 17 persons selected included scholars who performed minimum one study on integrated medicine, medical staff who performing integrated medical service at institutions that implemented integrated medical care or those who were involved in creating or implementing policies on integrated medicine. The first Delphi-method survey conducted from Apr. 14 through 18, while the second survey was carried out from Apr. 21 through 25. To prioritize the policies based on the results of the mini Delphi-method survey, Analytic Hierarchy Process(AHP) was performed for 15 persons answered to mini Delphi-method from May 2 through 16, 2014. From the Delphi-method survey, four policies and 16 actions were obtained. AHP showed the first priority placed on 'Building the Infrastructure of Industrialization in the Integrative medicine' of the 4 policies and 'Developing new diagnostic and treatment instruments' was given the highest priority of the 16 actions. For implementation of integrated medicine policy, the 4 policies and the 16 actions found in this research require government support and should be urgently implemented according to its priority.

Keywords

서 론

오늘날 전 세계적으로 고령화로 인한 만성 난치성 질환이 증가하면서 여러 가지 보건 의료 문제들이 제기 되고 있다. 특히 우리나라의 경우 고령화 속도가 다른 나라에 비해 많이 빠르기 때문에 앞으로 사회 경제적인 많은 어려움을 겪을 것으로 예상된다. 2014년통계청의 고령자 통계에 따르면 대한민국의 고령인구는 총인구의 12.7%로 매년 증가하는 추세로 5가구 중 1가구는 고령가구이며2 013년 고령자 진료비는 전체 진료비의 34.5%에 이르렀다1). 이와같이 인구의 고령화로 인해 만성질환이 늘어나고 이는 의료비용의 증가로 이어져 이에 따른 사회적비용이 증가하고 있는 실정이다2).

만성질환은 서양의학적 접근만으로 치료가 어렵기 때문에 세계적으로 만성질환의 치료와 관리에 대해 기존의 서양의학에 보완대체의학을 결합한 형태의 통합의료(Integrative Medicine)에 대한 수요가 증대해 왔다. 특히 영국, 네덜란드, 미국, 호주 등은 1차의료부문에서 보완대체의학의 역할에 대해 주목하고 있으며 이를 통합한 의료시스템 개발을 시도하고 있다3). 독일과 같은 경우는 2000년대에 들어 자연치유 통합의학(Naturheilkunde und Integrative Medizin)이라는 명칭으로 체계화되어 일반국민의 보완대체요법 이용률이 1970년대 52%였으나 2004년에 73%로 증가하였으며 미국국립보건원(NIH: National Institutes of Health) 보고에 의하면 미국에서는 보완대체의학의 이용비는 약 40조원이고 매년 성장률이 15-20% 정도라고 한다4).

서양에서의 통합의학은 서양의학을 기반으로 보완대체의학이 결합된 것으로 생각되어왔으나 최근 서양의학에 보완대체의학이 단순히 결합한 형태로만 보지 말고 건강과 치유를 강조하는 더 고차원적인 의료 체계로 구축해야 한다는 의견이 대두되고 있다5). 국내에서는 의료일원화와 혼용해서 통합의료라는 용어를 사용하는 경우부터 근거가 확보된 보완대체의학을 선택하여 현대의학과 병행, 통합치료 하는 학문이라는 의사중심의 용어정의까지 다양한 의미로 통합의학이라는 용어가 사용되어져 왔다6,7). 하지만 우리나라는 한의학이 체제의학에 포함되어 있는 시스템이기 때문에 단순히 서양의학에 보완대체의학을 결합하는 것을 통합의료라고 정의할 수 없으며 의학과 한의학의 통합을 주축으로 하여 보완대체요법을 결합하는 진료를 한번에 포괄적으로 지원하는 것을 통합의학으로 정의하는 것이 합리적이다8,9). 따라서 본 논문에서는 의학과 한의학의 통합을 주축으로 하여 보완대체요법을 결합한 의학을 통합의료라고 정의하고자 한다.

이러한 통합의료의 정의를 기준으로 살펴볼 때 현재 국내에서는 통합의료서비스에 대한 필요성이 증가함에도 불구하고 제도적 행정적 뒷받침이 이루어지지 않아 의학과 한의학, 보완대체요법의 통합모델을 구현하는 의료서비스의 제공은 힘든 상황이다10).

지금까지 국내의 통합의료에 대한 연구는 주로 통합의료서비스 이용에 대한 예측 혹은 영향요인, 통합의료서비스 이용현황 등에 대한 연구였다11-14). 그나마 보건복지부에서 전남 장흥군과 대구시에 지원을 하여 통합의료센터를 건립하기 위한 통합의료 제도화 관련기초 연구 및 사업 평가 등이 진행되어 왔다15). 특히 대구 통합의료센터를 중심으로 통합의료 임상프로토콜 및 제도와 행정적인 지원방법에 대한 연구가 시행되어져 왔으나 이러한 노력에도 국내의 통합의료에 대한 연구는 아직 걸음마 단계라고 할 수 있다.

따라서 본 논문에서는 전문가들의 의견을 수렴하는 방법 중 델파이와 AHP방법을 사용하여 통합의료정책의 우선순위를 수립하여 통합의료 제도화 실현에 조금이나마 보탬이 되고자 한다.

 

연구대상 및 방법

1. 1차 통합의료 정책 틀 및 세부정책 도출

2014년 3월 1일부터 5일까지 통합의료 관련 전문가 2인이 국회도서관, DBPIA 학술논문(누리미디어), KISS(한국학술정보학술지원문데이터베이스), 교보문고 스콜라 등의 검색엔진에서 ‘통합의료’, ‘통합의료정책’, ‘Integrative medicine’ 등의 검색어를 사용하여 통합의료와 관련된 정책 보고서 2편을 찾아 그 내용을 분석하였다.

한편 2012년 6월 보건복지부 보건산업정책과의 주최로 ‘통합의료 제도화 추진 간담회’가 개최되었는데 보건복지부 공무원, 통합의료 관련 외부전문가(한의학, 의학, 보완대체의학, 기초응용과학, 의료법학 등의 전문가) 및 통합의료 관련 단체장 등 총 22명이 참석하여 통합의료 제도화 추진 방안 마련 등에 대한 안건을 논의하였다. 이에 ‘통합의료 제도화 추진 간담회’의 회의결과를 토대로 1차통합의료정책의 틀 4개와 그에 따른 10개의 세부정책을 도출하였다 (Fig. 1).

Fig. 1The Induced Policies and Actions about Integrative Medicine by Delphi From the Delphi-method survey, four policies and 16 actions were obtained.

2. 전문가 그룹 선정

22명의 ‘통합의료 제도화 추진 간담회’ 참석자 중 통합의료에 대한 연구를 1회 이상 시행한 학자, 통합의료를 시행하는 기관에서 통합의료서비스를 시행하는 의료인, 통합의료에 대한 정책을 입안하거나 시행하는 자를 대상으로 통합의료 전문가를 선정하였으며 연구에 동의한 총 17명이 선정되었다.

AHP조사는 1,2차 델파이 조사에 모두 응해준 15명의 통합의료 전문가를 대상으로 시행하였다.

3. 델파이 조사

델파이 조사는 전문가들의 의견을 체계적으로 수집, 수렴하는 방법으로 익명성이 보장되어 자신의 의견을 자유롭게 교환할 수 있다16). 본 연구에서는 2-라운드 미니델파이 방법을 사용하였으며 문헌 고찰 및 자문을 통해 1차적으로 도출된 정책 틀 및 세부 정책을 토대로 설문지를 개발하여 통합의료 전문가를 대상으로 통합의료 제도화를 위한 정책의 틀과 세부정책에 대한 미니델파이 조사를 시행하였다. 1차 델파이 조사는 1차 통합의료 정책 틀 및 세부정책에 대해 비구조화 된 개방형질문을 사용하여 응답들을 범주화하여 분석하였다. 2차 델파이조사는 1차 조사를 통해 얻어진 범주화된 정책에 대한 동의정도를 5점 척도로 설문하였다. 1차 델파이 조사는 4월 14일부터 18일에 시행하였으며 2차 델파이 조사는 4월 21일부터 4월 25일까지 시행하였다. 신뢰도 검정을 위해 2차 델파이조사 결과에 대해 켄달(Kendall)의 W분석을 시행하였다.

4. AHP조사

계층적 분석과정(Analytic Hierarchy Process: AHP)은 계층적으로 의사결정을 표현하고 의사결정자의 쌍대비교에 대한 판단으로 대안들의 우선순위를 부여하는 다 기준 의사결정모델이다17). 이론의 단순성 및 명확성, 적용의 간편성 및 범용성의 특징으로 정치, 경제, 사회, 경영, 기술 등 다양한 분야에서 다양한 의사결정분야에 활용된다18). 본 연구에서는 미니 델파이 조사를 바탕으로 도출된 정책 틀과 세부정책에 대한 우선순위 조사를 2014년 5월 2일부터 5월 16일까지 시행하였다. 수집된 정책의 우선순위는 엑셀프로그램을 사용하여 코딩, 분석하였고 상대적 중요도와 일관성 비율(CR)을 계산하였다. 일관성 비율은 일관성지수(CI)/난수지수(RI)×100%로 0.1 이하인 경우 일관성이 있다고 판단한다19). 일관성 비율 값이 0.1이 하가 되지 않은 대상자는 재설문을 시행하였다.

 

결 과

1. 응답자 비율 및 조사 대상자의 일반적 특성

조사 대상자의 일반사항은 Table 1과 같다. 델파이조사에 응한 조사 대상자는 총 17명 중 15명으로 응답률이 88.2%였으며 여성 2명, 남성 13명, 평균연령은 52.3±10.0세였다. 조사대상자는 한의학, 통합의료, 보완대체의학 관련 기관 교수가 총 9명으로 가장 많았으며 통합의료센터근무 의사가 총 3명, 국립연구소 연구원이 총 3명이었다.

Table 1.Characteristics of Respondents

AHP조사는 델파이 조사에 2회 모두 응한 15명을 대상으로 시행하였으며 응답한 조사자는 총 10명으로 응답률이 66.7%, 평균연령은 55.3±3.1세, 여성 2명, 남성 8명이었다(Table 1).

2. 문헌 고찰 및 자문을 통한 통합의료 제도화 1차 정책 틀 및 세부 정책 도출

문헌 조사 및 자문 회의를 통해 통합의료 제도화 방안에 대한 1차 정책 틀 및 세부 정책을 다음과 같이 도출하였다. 첫째로 ‘통합의료 콘텐츠 개발’, ‘통합의료의 전문화’, ‘통합의료 관련 법, 제도정비’, ‘통합의료 국내외 산업화 기반 구축’ 등 크게 4개의 정책 틀을 도출하였으며 4개의 큰 정책 틀 아래에 총 10개의 세부 정책을 수립하였다.

‘통합의료 콘텐츠 개발’ 하에는 ‘통합진료 프로토콜 개발’, ‘임상프로토콜의 임상평가 및 과학적 검증’, ‘통합의료에 따른 생활습관 개선, 예방 및 교육 프로그램 개발’이라는 3개의 세부정책을, ‘통합의료의 전문화’ 하에는 ‘통합의료 진료인력 양성’, ‘통합의료 교과과정 개발’, 이라는 2개의 세부 정책을, ‘통합의료 관련 법, 제도 정비’ 하에는 ‘통합의료 특별법 제정’, ‘통합의료에 따른 건강보험 수가 개편’이라는 2개의 세부 정책을, ‘통합의료 국내외 산업화 기반구축’ 하에는 ‘한·양약 복합제제 개발’, ‘새로운 의료 진단기기 개발’, ‘통합의료 의료관광 특화, 시장개척 및 확대, 세계화 기반 조성’이라는 3개의 세부 정책을 도출하였다.

3. 미니델파이를 통한 최종 정책 틀 및 세부정책 도출

1차 정책 틀과 세부정책을 토대로 두 차례에 걸친 미니 델파이를 통해 최종 정책 틀 및 세부 정책이 도출되었다. 1차 델파이에서 문헌고찰 및 자문을 통해서 선정된 정책 틀과 세부정책에 대해 전문가들은 대체적으로 동의하는 편이었으나 통합의료 콘텐츠의 개발은 반드시 근거를 바탕으로 시행되어야 한다고 하였다. 또한 통합의 료 전문가에 대한 면허가 필요하고 이에 대한 법률적 정비가 중요하다는 의견이 많았으며 통합의료 산업화에 대해서는 통합의료산업에 대한 지원법을 제정하여 실버산업과 고령화 대비 정부 정책과의 연계방안을 설정하는 것이 중요하다고 하였다. 이를 토대로 1차의 ‘통합의료 콘텐츠 개발’이라는 항목이 ‘근거중심의학(Evidence-based medicine: EBM)에 근거한 통합의료 콘텐츠 검증 및 개발’로 구체화 되었으며 ‘통합의료 관련 연구지원사업’, ‘통합의료 특별위원회 구성’, ‘통합의료 산업 지원법 제정’, ‘통합의료 관련 면허제도 정비’, ‘산업화와 관련된 기술의 EBM 연구 지원’, ‘기존 산업과의 연계 방안 연구’ 등 총 6가지 세부정책이 추가 되어 총 4개의 정책틀 및 16개의 세부 항목이 도출되었다(Fig. 1).

2차 델파이에서는 이에 대한 동의정도를 5점 척도로 물어보았는데 ‘한·양방 복합제제 개발’이 3.50으로 가장 낮았고 ‘통합의료 전문인력 양성’이 4.73으로 가장 높았다(Table 2). 켄달의 W검정으로 순위의 일치도를 확인한 결과 유의확률(p-value)이 0.046으로 0.05보다 낮아 통계적으로 유의하였다.

Table 2.The Mean and Standard Deviation of the agreement about Final Policies and Actions induced by Delphi

Table 3.The Weight and Ranking of the Final Policies and Actions induced by AHP

4. AHP 조사 결과

AHP조사는 델파이 조사에 2회 모두 응한 15명을 대상으로 시행하였으며 응답한 조사자는 총 10명으로 응답률이 66.7%,이었다.

1) 4가지 정책 틀의 실행 우선순위 비교

‘통합의료 국내외 산업화 기반 구축’이 가장 중요하다고 나타났으며 ‘통합의료의 전문화’, ‘EBM에 근거한 통합의료 콘텐츠 검증 및 개발’, ‘통합의료 관련 법·제도 정비’순으로 우선순위가 도출되었다. 4가지 정책 틀에 대한 실행 우선순위 비교에서 일관성 비율(Consistency Ratio: CR)은 0.1미만이었다.

2) 세부 정책에 대한 실행 우선순위 비교

‘통합의료 국내외 산업화 기반 구축’에서는 ‘새로운 의료진단 및 치료 기기 개발’이 가장 중요하다고 도출되었으며 ‘통합의료의 전문화’에서는 ‘통합의료 전문 인력 양성’이, ‘EBM에 근거한 통합의료 콘텐츠 검증 및 개발’에서는 ‘각 질환별 통합진료 프로토콜 개발’이, ‘통합의료 관련 법·제도 정비’에서는 ‘통합의료 관련 면허제도 정비’가 가장 중요한 우선순위로 도출되었다. 세부 정책에 대한 실행 우선순위 비교에서 4영역 모두 일관성비율(CR)는 0.1미만으로 나타났다(Table 2).

 

고 찰

본 연구는 국내의 통합의료 서비스를 실행하기 위해 어떠한 정책 실현이 우선적으로 필요한지를 객관적으로 검증하기 위하여 실행하였다. 이를 위해 국내통합의료 관련 전문가들을 대상으로 델파이 방법을 통해 의견을 취합한 이후 AHP방법을 통해 정책별로 우선순위를 매겼다.

델파이 기법은 어떠한 문제에 대해 여러 전문가의 의견을 종합할 때 사용하는 방법이다20). 익명성을 기초로 하여 적어도 2회 이상5명에서 20명 정도의 전문가 의견을 제시받아 불확실한 문제에 대한 해결 방안 등을 제시받는다. 이는 기존의 패널식 조사연구 방법의 장점을 보완한 것이다21,22).

본 연구에서는 델파이 조사를 위한 통합의료 전문가 그룹 선정을 위해 보건복지부에서 시행한 ‘통합의료 제도화 추진 간담회’ 참석자 중 통합의료센터에서 근무하면서 통합의료를 시행하거나 통합의료에 대한 연구를 진행하거나 통합의료에 대한 정책을 입안하는 사람 가운데 본 연구에 동의한 사람을 대상으로 하였다. 따라서 한 방병원, 보완대체의학 및 통합의료 센터 근무자, 국립연구소 근무자, 통합의료관련학회장 등의 다양한 통합의료 관련 전문가를 섭외 할 수 있었다.

1차 정책 및 세부 정책 틀에 대해 1차 델파이를 시행하였을 때 근거를 바탕으로 통합의료 콘텐츠 개발을 시행해야 한다는 의견이 많았다. 이에 대해서는 한의과・의과・통합의료전문가의 직군의 차이를 보이지는 않았다. 통합의료 전문가에 대한 면허가 필요하다는 의견은 주로 통합의료센터 근무경력이 긴 전문가에게서 많이 나왔다. 연구소에 근무하는 전문가군에서는 실버산업과 고령화 대비 정부 정책과의 연계방안을 설정하는 것이 중요하다는 의견이 나왔다. 이를 토대로 4개의 정책과 16개의 세부정책을 수립하여 다시 2차설문조사를 시행한 결과 4개의 정책 중 ‘통합의료 국내외 산업화 기반 구축’ 에 대한 동의율이 가장 높았던 반면 그에 따른 세부정책에 대한 동의율은 3점대로 낮은 편에 속했다. 즉 세부정책에 대해서는 다소 이견이 있다고 할 수 있었다. 이러한 델파이 조사에서 신뢰성과 정확성을 평가하는 것은 매우 어려우나 본 연구에서는 순위의 일치도를 평가하는 비모수검정인 켄달의 W검정을 사용하여 2차 설문의 신뢰도를 평가하였는데 통계적으로 일치한다는 결과를 얻었다.

델파이 조사에 이어 시행한 AHP 조사는 쌍대비교를 통해 인간의 판단을 합리적으로 종합하는 방식으로 상대평가에 근거한다23). 델파이 조사를 통해 선정된 전문가들의 답변 중 일관성이 맞지 않는 결과는 재조사를 통해 일관성비율을 0.1 미만으로 맞추었다. 그결과 전문가들이 가장 우선적으로 실행되어야 한다고 생각한 정책은 ‘통합의료 국내외 산업화 기반 구축’이었으며 그 중에서도 ‘새로운 의료진단 및 치료 기기 개발’이 가장 중요하다고 하였다. 즉 본연구에서 전문가들은 통합의료가 제도화 되고 활성화 되려면 산업화를 기반으로 발전해 나가야 한다고 생각하고 있었으며 통합의료가 산업화를 통해 정착하였을 때 전문화 및 콘텐츠 개발, 법 제도정비가 이루어 질 것이라고 생각하였다.

이러한 결과는 기존의 연구들이 통합의료 제도화의 문제점으로 지적한 부분과는 상당한 차이를 보이는 것이다. 지금까지 통합의료가 제도화되기 어려운 이유로 현재 국내 의료법이나 약사법 등의 법률이 통합의료 시스템을 적용하는 데 걸림돌이 되고 있다고 지적하거나24) 통합의료의 문제점으로 통합의료의 효과성 및 안전성이 과학적으로 검증되지 않았고 의료기관에서 통합의료를 시행할 수 있는 법과 제도 마련이 없는 것이 문제라고 하였다10). 하지만 본 연구의 결과에서는 오히려 ‘통합의료 관련 법, 제도 정비’가 '통합의료의 전문화‘ 와 ‘통합의료 콘텐츠 개발‘ 보다도 우선순위가 밀려 4위에 선정되었다. 따라서 본 논문의 대상이 된 전문가들이 생각하는 통합의료의 문제점은 통합의료 시행을 위한 우선적인 실행 정책 순위와는 많은 차이가 있는 것으로 보인다.

본 연구는 통합의료와 관련하여 지속적인 고민을 해왔던 전문가들을 대상으로 의견을 수렴하여 통합의료정책의 방향을 제시하였다는 것에 의의가 있다. 하지만 통합의료와 직접 관련된 종사자에 국한하여 전문가를 선발하였기 때문에 한의학계 및 의학계의 전반적인 의견을 수렴하였다고 할 수 없다. 따라서 본 논문에서 제시한 정책이 일반화되기 위해서는 다양한 직종의 의료인들을 대상으로 통합의료 정책방향에 대한 의견을 수렴하는 연구가 뒤따를 필요가 있다.

양대 의학계의 합의가 이루어져 분야별 전문가들이 동참하여 추진해 나간다 해도 통합의료의 제도화는 쉽지 않은 문제이다. 이 논문이 통합의료 정책 방향에 대해 각 의학분야(의학, 한의학, 보완대체의학) 전문가들의 지침이 된다면 그 의미가 크다고 하겠다.

References

  1. Hwang, H.S. 2014 Aging statistics. Statistics Korea. 2014. Available from: URL: http://kostat.go.kr
  2. Meng, K.H. Population Aging and Health Promotion Activities in Korea. Korea Association of Health Promotion. 2(2):197-198, 2004.
  3. Han, D.W. Use of Integrative Medicine among primary care patients in Western countries. Korean Journal of Oriental Preventive Medical Society. 16(1):1-13, 2012.
  4. Choa, Y.G. The Basic Plan of Integrative Medical Center Construction. Korean Health Industry Development Institute. pp 3-4, 31-32, 2012.
  5. Bell, I.R., Caspi, O., Schwartz, G.E., Grant, K.L., Gaudet, T.W., Rychener, D., et al. Integrative medicine and systemic outcomes research: issues in the emergence of a new model for primary health care. Arch Intern Med. 162(2):133-140, 2002. https://doi.org/10.1001/archinte.162.2.133
  6. Choi, W.J. Scientific approach on CAM. Korean Clinical Oncology Society. 5(2):41-46, 2009. https://doi.org/10.14216/kjco.09013
  7. Jung, Y.S. Ethical reflection on the CAM. Korean Journal of Medical Ethics. 12(2):189-198, 2009.
  8. Lee, T.H., Kim, N.I., Maeng, W.J. Changing Definitions of Complementary and Alternative Medicine and Related Research Analysis in Korea. The journal of Korea Institute of Oriental Medicine. 16(2);55, 2010.
  9. Choa, Y.G. The Basic Plan of Integrative Medical Center Construction. Korean Health Industry Development Institute. 26, 2012.
  10. Lee, S.J. A study on the situations and development of Integrative Medicine. The korean medical law association. 11: 3-11, 2013.
  11. Kim, U.Y. Predictors of the use of integrative health services among patients with breast cancer. Seoul: Hanyang university. 2012.
  12. Sung, S.Y. Study on the use of integrative health service among the middle aged women. Gyeonggi-do: CHA University. 2013.
  13. Kim, Y.Y. Factors affecting the use of integrative health care services among infertile women. Seoul: Hanyang university. 2012.
  14. Choi, B.H. Factors related to use of integrative health care among patients with chronic diseases. Seoul: Hanyang university. 2010.
  15. Choa, Y.G. The Basic Plan of Integrative Medical Center Construction. Korean Health Industry Development Institute. pp 3-18, 2012.
  16. Jillson, I.A. Developing Guidelines for the Delphi Method. Technological Forecasting and Social Change. 7(2);179-192, 1975. https://doi.org/10.1016/0040-1625(75)90061-X
  17. Saaty, T.L. Highligt and critical points in the theory and application of the analytic hierarchy process. Eur J Oper Res. 74(3):426-447, 1994. https://doi.org/10.1016/0377-2217(94)90222-4
  18. Vaidya, O.S., Kumar, S. Analytic hierarchy process: an overview of applications. Eur J Oper Res. 169: 1-29, 2006. https://doi.org/10.1016/j.ejor.2004.04.028
  19. Coyle, G. A possible method for assessing the relative values of alternative system dynamics models. In: Proceedings of the 20th International Conference of the System Dynamics Society. 2002.
  20. Dalkey, N.C. The Delphi method: An experimental study of group opinion. Rand Corporation Memorandum RM-5888-PR, 1969:(SRI-ARC Catalog Item 3896).
  21. Lee, J.S. The Delphi Method. Seoul: KYOYOOKBOOK. 2001.
  22. Rowe, G., Wright, G. Expert opinions in forecasting: The role of the Delphi technique in J. Armstrong(Ed.) Principles of Forecasting. Boston: Kluwer Academic. pp 125-144, 2001.
  23. Park, Y.S. Analysis Hierarchy Process. Seoul, Kyowoo. 2009.
  24. Lee, G.S. The Research about development of Integrative Medical Service. Integrated health care Development Agency. 2012. 10.

Cited by

  1. Priority analysis of the healthcare policy using analytic hierarchy process vol.60, pp.2, 2017, https://doi.org/10.5124/jkma.2017.60.2.164