| Home | E-Submission | Sitemap | Editorial Office |  
top_img
Journal of Korean Society for Quality Management > Volume 53(1); 2025 > Article
제조성숙도 평가체제 및 평가항목 개선방안

Abstract

Purpose

In the past, many companies had issues such as schedule delays, cost increases, and quality deterioration due to immature manufacturability during the weapons system development process. To overcome these, a manufacturing readiness assessment system for weapon systems was introduced in 2012. This study contains improvement measures for the assessment system and assessment items for the manufacturing readiness level 8 evaluation.

Methods

In this study, a risk management-based evaluation system was introduced and a method for preparing a self-evaluation report for development organizations was proposed. In addition, the latest manufacturing readiness assessment items in the United States were benchmarked, and the introduction of assessment items related to cybersecurity and ergonomics was proposed.

Results

We applied the existing evaluation method and the method proposed in this study. As a result of application, the method proposed in this study was able to derive real-life risks and suggest solutions through a more systematic process.

Conclusion

In this research, a risk-based evaluation system and improvement measures for evaluation items were presented for the manufacturing readiness assessment system. Ultimately, the manufacturing readiness assessment system is also intended to identify and respond to risks that may occur during the mass production process in advance. In addition, assessment items that had hardly changed in the 10 years since the system was introduced were updated.

1. 서 론

대한민국의 국방 연구개발 예산은 2011년 약 2조 원 규모였으나, 급변하는 안보환경 속에서 꾸준히 증가하여 2025년의 예산(안)은 4조 9천억 원 규모에 이른다. 또한 대한민국의 군사력 순위(Military Power Index)는 2024년 기준 최상위권으로(세계 5위) 분류되고 있다(GFP, 2024). 이러한 성과 및 위상은 하루아침에 이루어진 것은 아니며, 오랜 기간 여러 기관과 관계자의 부단한 노력으로 이루어졌다고 할 수 있을 것이다. 2000년대 초반, 신규 개발한 다수의 K계열 무기체계에서 동시다발적으로 결함이 발생하기도 하였으며, 일부 무기체계의 경우 개발된 기술의 양산성 확보에 실패하여 사업화되지 못하거나 정해진 개발기간 혹은 예산을 초과하는 사례도 발생하였다(Park, 2014). 그러나 이는 국내에서만 일어난 현상은 아니며, 민간 분야 및 방산 선진국인 미국에서도 공통으로 일어난 현상이었다. 따라서 개발과정에서 달성한 기술성숙도의 양산과정 재현 가능성을 사전에 측정하려는 노력이 있었으며, 이러한 노력의 제도적인 산출물이 바로 제조성숙도 평가제도이다.
제조성숙도 평가제도의 엄밀한 정의는 ‘무기체계의 미성숙된 제조성으로 인한 사업상의 일정지연, 비용상승, 품질 저하를 방지하기 위해 연구개발 단계에서 제조성의 성숙도를 확인하는 평가(DAPA, 2021)’를 의미한다. 이는 점차 기술이 고도화/집적화/시스템화됨에 따라 실험실 환경과 제조 환경과의 차이가 커져, 기술성숙도를 달성해도 제조 현장에서의 재현 가능성은 불투명해졌기 때문이다. 따라서 개발 과정에서 기술의 대량생산 가능정도, 즉, 성숙도(maturity)를 확인해 가는 제조성숙도 평가제도(MRA, Manufacturing Readiness Assessment)가 도입되었다.
이러한 제조성숙도는 총 10단계(MRL, Manufacturing Readiness Level)로 구분되며, 각 수준의 정의는 아래 와 같다.
국내 제조성숙도 제도는 미국의 제조성숙도 제도를 참조하여 2012년도에 도입된 제도임에 따라, 평가항목 상당수가 초창기 미국의 평가항목과 유사하다. 그러나 제도 도입 이후 시간이 지남에 따라 제도 운용 및 평가항목 관점에서 간극이 커지고 있다. 또한 여러 선행연구에서 현 제조성숙도 평가제도가 가지고 있는 한계점을 지적하였다.
따라서 본 연구에서는 제도의 운용 측면과 평가항목의 관점에서 현재의 제조성숙도 평가제도를 검토하여 제한점을 식별하고, 그에 따른 개선안을 제시하고자 한다. 본 논문의 구성은 다음과 같다. 이어지는 2장에서는 현재의 제조성숙도 평가제도 및 관련 선행연구를 조사하여 제시하였다. 3장에서는 현 제조성숙도 평가제도의 한계점을 식별하고, 개선 방안을 제시하였다. 이어지는 4장에서는 3장의 개선방안을 구체화하고 이를 제조성숙도 평가에 적용한 시범결과를 제시하였다. 마지막 5장에서는 본 논문을 요약하고 향후 연구 방향을 제시하였다.

2. 현 제도 및 선행연구 고찰

2.1 제조성숙도 평가제도 고찰

현재 대한민국은 체계개발 단계에서 총사업비가 200억원 이상 되는 무기체계 개발사업중 사업일정지연, 비용상승 등 위험도가 높을 것으로 판단되는 사업 또는 방위사업청 통합사업관리팀장이 필요하다고 판단한 사업에 대해 제조성숙도 수준 8의 달성 여부를 평가하게 되어 있다. 평가항목은 9개 분야 총 64개의 항목으로 구성되어 있으며, 이중 58개 항목 이상을 충족하면 제조성숙도 수준 8을 달성한 것으로 판정한다.
업무의 흐름을 살펴보면, 먼저 방위사업청 통합사업관리팀장은 대상 사업을 선정하여 국방기술품질원(이하 기품원)에 제조성숙도평가를 의뢰한다. 이후 기품원은 사업별로 평가팀을(외부위원 포함) 구성하여 개발기관에 대한 평가(서면평가와 현장실사)를 수행하고, 그 결과보고서를 방위사업청에 제출하도록 되어있다. 방위사업청(DAPA, Defense Acquisition Program Administration), 기품원(DTaQ, Defense Agency for Technology and Quality), 평가팀(TFT, Task Force Team), 개발기관(DI, Defense Industry)간 업무 분담은 아래 와 같다.
먼저 제도 운용 측면에서 비교해 보면, 국내의 경우는 여러 현실적인 제약(짧은 평가기간 및 제조성숙도 수준 8만 평가 등)으로 인해 평가팀은 업체가 스스로 평가한 제조성숙도 평가보고서를 일차적으로 검토하게 되어 있다. 그러나 이러한 보고서를 작성하는 가이드라인이 부재함에 따라, 동일한 평가항목이어도 개발기관 별로 전혀 다른 방식으로 자체평가를 수행하고 결과를 제시하는 사례가 일부 존재한다. 예를 들어 평가항목 중 ‘제조공정에서 검사 포인트가 정의되었는가’의 경우, 특정 개발기관의 경우 평가항목 그대로 자체평가를 수행하여 검사 포인트를 정의한 것만 으로 충족으로 판단하는 반면, 다른 기관은 검사 포인트의 정의 및 그에 따른 실적까지 제시한 경우에만 충족으로 판단하는 경우도 존재한다.
평가항목 관점에서 비교해 보면, 국내는 2012년 제도 도입 이후 꾸준히 평가항목 수가 축소되는 경향을 보인 반면, 미국의 경우는 꾸준히 평가항목 수가 증가하는 추세이다(현 제조성숙도 수준 8에 대해 미국의 평가항목 수는 92개이며 한국은 64개이다). 사용하는 용어에서도 차이를 보이는데, 예를 들어 자재(material)라는 용어를 국내에서는 원자재(raw material)로 간주하는 반면, 미국의 경우는 부체계 이하 모든 구성품(sub-systems, components, raw material)을 자재로 간주하고 있다. 그리고 국내의 제조성숙도 평가분야는 기술 및 산업기반, 설계, 비용 및 자금, 자재, 공정능력 및 관리, 품질, 인력, 설비, 제조계획/일정 관리 등 9개 분야(thread)지만, 미국의 경우 총 24개 sub-thread로 구성되어 있으며 국방 분야에 특화된 평가 분야(cyber security 등)가 별도로 존재한다.
현재 국내의 제조성숙도 평가제도는 12년도에 9개 평가분야, 총 98개 평가항목으로 시작하였다(제조성숙도 수준 8 기준). 그러나 지침이 개정될 때마다 따라 각 분야의 평가항목의 수는 축소되었으며, 그 축소 현황은 아래 와 같다.
에서 볼 수 있듯이 전반적인 평가항목의 수는 축소되었으며, 특히 비용 및 자금 분야의 경우 초기에는 11개 평가항목이었으나 지금은 4개로 약 64%가 감소하였다. 기술 및 산업기반 그리고 자재 분야 역시 초기 평가항목 대비 약 38% 정도 평가항목의 수가 축소되었다.
반면 미국의 경우 아래 표에서 확인할 수 있는 것처럼 평가항목의 수는 증가추세를 보인다 (2015년 이전의 경우는 자료 검색이 제한되어 2016년 이후 자료만 제시함).
미국의 경우 전반적으로 평가항목 수는 증가하였으며, 특히 제조계획 및 일정관리 분야의 경우 초기에는 6개 평가항목이었으나, 현재 13개로 약 54%가 증가하였다. 자재 및 품질 분야 역시 초기 평가항목 대비 약 33% 정도 평가항목의 수가 증가하였다.
제조성숙도 수준 8에 대한 달성여부 평가는 아래 표와 같이 무기체계가 양산에 들어가기 전 모든 생산준비상태를 점검할 수 있는 마지막 수단이다(표 5 참조). 따라서 제도의 올바른 운영 및 개선을 위한 여러 선행연구가 존재한다.

2.2 선행연구 검토

선행연구는 크게 두 분야로 구분해 볼 수 있는데, 첫 번째 분야의 연구들은 2012년 제도가 도입된 직후 이루어진 연구들로, 소위 미국제도의 한국적 적용 방안에 관한 연구들이다. 이는 미국의 무기체계 개발 과정과 국내의 무기체계 개발 과정이 상이함에 따라 제도의 안정적인 국내 정착을 위한 절차 정비 및 적용방안에 관련 연구들이다. 두 번째 연구 분야는 이후 국내 제조성숙도 평가 사례가 누적되면서, 더욱 내실 있는 평가를 수행하기 위한 연구들이다.
먼저 운영유지 단계에서의 제조성숙도평가 적용방안에 관한 연구(Shin and Choi, 2012), 제조성숙도 평가제도 개선 관련 연구(Choi et al., 2013), 제조성숙도/기술성숙도/시스템성숙도 평가방안 소개 및 적용 방안에 관한 연구(Kim et al., 2013), 통합성숙도 평가절차 관련 연구(Wo et al., 2014) 등의 연구가 제도 도입 초창기에 수행된 연구로 미국의 여러 성숙도 관련 제도들을 한국의 실정에 맞게 적용하기 위한 제안을 담고 있다. 해당 연구의 상당수는 제도의 운용을 담당하는 기품원 연구원에 의해 수행되었으며, 현재의 제도가 정착하는데 많은 기여를 했다고 판단된다. 그러나 무기체계 연구개발 선진국인 미국의 경우 제조/기술/통합·연동/시스템 성숙도 등이 존재하는 것으로 파악되나, 국내의 경우 제조와 기술성숙도 제도만이 도입되어 운영중이다.
이후 제조성숙도 평가제도가 실시되고 평가 사례가 누적됨에 따라, 여러 개선 필요 사항들이 도출되었다. 평가항목이 하드웨어에 치중되어 있음을 지적하고 소프트웨어 분야 평가항목 도입을 주장한 연구(Seo et al., 2017), 평가항목의 중요도에 따라 가중치 부여를 주장한 연구(Lee et al., 2017), 평가항목간 연관도 분석을 실시한 연구(Eom, 2017), 평가항목의 세분화를 주장한 연구(Lee, 2018), 기동·화력분야 제조성숙도평가 사례분석을 통한 주요 미충족 항목 관리 방안에 관한 연구(Kwon et al., 2019), 제조성숙도 평가결과를 토대로 항목 달성률 향상 방안을 수행한 연구(Jeong et al., 2022) 등이 존재한다. 다만 제조성숙도 평가결과를 직접적으로 언급한 논문은 파악되지 않는데, 이는 보안유지라는 국방 분야의 특수성에 기인한 것으로 여겨진다. 그리고 2023년 이후부터는 제조성숙도 평가제도 관련하여 진행된 연구는 파악되지 않는다.
참고로 본 논문의 주제인 제조성숙도 평가제도와 직접적인 관련은 없지만, 무기체계 품질향상을 위한 제도의 개선이라는 유사한 목표를 가지고 수행한 연구들, 국방품질경영체제에 대한 정량화 방안을 연구한 논문(Kim and Ha, 2022), 국방규격 개선사업의 성과평가 모형을 개발한 연구(Lee et al., 2023), PCSI 지수를 통한 국방 서비스 품질을 분석한 연구(Nam et al., 2023), 군수품 품질수준진단을 위한 프레임워크를 설계한 연구(Kang and Choi, 2024)가 존재한다.

3. 현 제도 운영상 한계점

본 장에서는 현 제조성숙도 평가제도의 한계점을 용어의 해석 및 적용범위, 평가항목 술부 해석의 모호성, 국방분야 특수성 미반영이라는 세 가지 측면에서 지적하고자 한다. 구체적인 개선 방안 및 개선 방안 적용 결과는 이어지는 4장에서 제시하고자 한다.
첫 번째 한계점은 제조성숙도 평가시 사용되는 용어를 해석하여 적용할 때, 국내는 너무 협소하게 적용하고 있다는 점이다. 예를 들어 주 협력업체라는 용어를 국내는 대부분 1차 협력업체로 해석하여 적용하고 있다. 주 협력업체에 대응하는 미국의 제조성숙도 평가지침(DoD, 2022)상의 용어가 ‘major supplier’라면, 해당 지침에서는 major supplier를 ‘A supplier, distributor, vendor or firm that furnishes supplies or services to or for the prime contractor whose total costs are a significant portion of the total purchased value for the program’로 정의하고 있다. 즉, 협력업체뿐만 아니라 유통업체 및 벤더 등을 포함하며 전체 프로그램에서 공급가액이 큰 업체를 major supplier로 정의하고 있다. 또 다른 용어의 예로는 ‘지속적 개선’을 들 수 있다. 한국에서는 품질 혹은 성능개선 실적이 존재하면 이를 지속적 개선으로 간주하는 경향이 존재하지만, 미국의 제조성숙도 지침에서는 ‘continuous improvement’를 ‘Plan-do-check-act cycle or Lean/six sigma models’로 정의하고 있다. 어느 쪽이 더욱 적절한지 가부를 판단할 수 없는 문제지만, 한국이 보다 좁은 범위로 용어를 해석하고 적용하는 경향이 존재한다는 점은 자명하다.
아래 는 제조성숙도 평가간 사용되는 주요 용어들에 대해 한국과 미국의 차이를 비교한 표이다. 단, 본 표는 비교 목적임에 따라 한국에서 사용하는 용어는 한국어를 병기하였다.
두 번째 한계점은 현 제조성숙도 평가항목은 국방 분야의 특수성을 반영하지 못하고 있다는 점이다. 일반 제조업과 방위산업은 여러 차이점이 있지만, 가장 큰 차이점은 보안 관련 요구사항일 것이다. 방위산업은 산업의 특수성으로 인해 기술 및 관련 자료의 대외 유출이 불가하며, 보안 사고를 예방하기 위한 여러 사전 조치를 인력/설비/자재/업무 프로세스 등에 요구하고 있다. 또한 최근에는 유·무인 복합 무기체계가 확대됨에 따라, 무기체계 설계시 인간을 고려한 설계, 즉 HMI(Human Machine Interface)의 중요성이 점차 커지는 상황이다. 하지만 한국의 제조성숙도 평가제도는 보안 및 인간공학 관련 평가항목이 부재한 실정이다. 한국과 미국의 제조성숙도 평가분야(thread)의 차이는 아래 와 같다.
세 번째 한계점은 현재 국내 제조성숙도 평가제도의 평가항목은 너무 다양한 술어 구조로 구성되어 있음에 따라, 평가항목의 해석 및 적용 범위에 대해 기관별로 이견이 존재할 수 있다는 점이다. 예를 들어 평가항목 12번 ‘핵심공정을 식별하였는가’의 경우 핵심공정을 식별만 하면 충분한 것인지 아니면 체계적인 절차를 통해 핵심공정을 식별해야 하는지 혹은 식별하고 관리까지를 요구하는 것인지 현재로는 구분하기 어렵다. 또한 평가항목 7번 ‘제조공정이 환경에 미치는 영향을 분석하고 조치 계획을 수립하였는가’의 경우 계획을 수립만 하면 충분한 것인지 혹은 계획을 수립하고 조치까지 해야 하는 것인지 이견이 존재할 수 있다. 이는 평가항목의 술부가 너무 다양하게 구성된 것이 그 원인이라 할 수 있을 것이다. 본 연구에서는 술부를 크게 다섯 가지, 즉, 계획수립여부, 정의 및 식별여부, 실행 및 조치여부, 입증 및 검증 여부, 최신화 및 문서화 여부로 구분할 수 있다고 판단하였다. 아래 는 현재의 술부 구성을 다섯 가지 기준으로 분류한 결과를 나타낸다. 마찬가지로 현재의 술부는 비교 목적임에 따라 한국어 그대로 표기하였다.

4. 제조성숙도 평가제도 개선방안

본 장에서는 크게 두 가지 관점에서 제조성숙도 평가체계에 대한 개선방안을 제시하고자 한다. 첫 번째는 평가항목에 대한 개선방안이고, 두 번째는 위험관리체제 적용방안이다. 평가항목의 경우는 미국의 최신 제조성숙도 평가항목을 벤치마킹하여 현 평가항목을 보완하고, 국방 분야에 특화된 평가항목을 추가로 적용하는 방안을 제시하였다. 평가체제 개선을 위해서는 개발기관 자체평가 결과보고서 작성시 위험관리체제(Risk Management System)를 적용하는 방안을 제안하고자 한다. 결국 제조성숙도 평가제도 역시 양산 과정 중 발생할 수 있는 위험을 개발단계에서 사전에 식별하여 대처하기 위한 제도이기 때문이다.

4.1 평가항목 개선방안

본 절에서는 다양한 형태의 술부로 구성된 현 제조성숙도 평가항목을 위험관리체제에 적용하기 위해 위험식별을 할 수 있는 평가 대상으로만 평가항목을 재구성하였다. 이때 3장에서 언급한 바와 같이 미국의 최신 제조성숙도 평가항목을 벤치마킹하여 일부 평가항목을 최신화하였고, 국내에는 없는 사이버 보안 및 인간공학적 관점의 평가항목 역시 추가하였다.

4.2 위험관리체제 적용방안

방위사업청에서 발간한 위험관리 가이드북(DAPA, 2018)에 따르면, 무기체계 개발 과정 간 비용, 일정, 성능에 부정적인 영향을 줄 수 있는 사건을 위험으로 정의하였다. 그리고 이러한 위험을 발생 가능성과 영향성 관점으로 다섯 단계로 평가하여, 위험을 세 가지(고위험, 중위험, 저위험)로 분류하였다. 그리고 위험의 중요도에 따라 우선순위를 결정하고, 위험완화계획을 수립하여 지속적으로 위험을 감시하는 체제를 위험관리절차라고 부른다.
본 논문에서도 이러한 위험관리절차를 벤치마킹하여 개발기관 자체평가 결과보고서를 작성하는 방안을 제시하고자 한다. 또한 이를 통해 술부만을 준수하여 보고서를 작성시 너무 협소한 범위로 작성할 가능성을 차단하는 것이 목표이다. 다만, 현재의 위험관리절차를 제조성숙도 평가에 적용하기 위해서 위험관리 절차, 발생 가능성 및 영향성 구분, 위험완화방법을 아래 와 같이 수정·보완하여 제시하고자 한다.
기존의 위험관리절차가 위험식별, 위험분석, 위험관리계획수립, 계획실천, 감시로 구성되었다면, 본 논문에서는 용어 및 범위 정의, 위험식별, 위험분석, 위험등급 부여, 위험관리계획수립, 계획실천 및 문서화로 제안한다. 발생 가능성의 경우 개발단계임을 고려하여 유사 체계나 타 사업장에 문제가 발생한 실적이 없으면 ‘저’, 유사 체계나 타 사업장에 문제가 발생한 실적이 존재하는 경우 ‘고’로 판단하고, 그 외의 경우는 ‘중’으로 판단하는 것을 제안한다. 영향도의 경우 마찬가지로 일정/비용/성능에 경미한 영향을 미치며 별도 보고가 필요하지 않은 사안으로 판단되면 ‘저’, 심각한 영향을 미치어 사업장장 차원의 보고가 필요하다고 판단되면 ‘고’, 부서장 차원의 처리가 보고가 필요한 경우는 ‘중’으로 판단하고자 한다. 즉, 영향도를 구분시 보고받는 객체의 직급에 따라 구분하는 방안을 제시하고자 한다.
발생 가능성 및 영향도 구분에 따른 위험의 3단계 구분(고위험, 중위험, 저위험)은 아래 그림과 같다. 예를 들어 식별한 위험의 발생 가능성이 ‘중’이고, 영향도가 ‘고’라면, 아래 그림의 행렬에 따라 해당 위험은 고위험으로 구분된다.
고위험의 경우 사업장장 차원의 위험처리계획 인지/승인/조치가 필요한 위험, 중위험의 경우 부서장 차원의 위험처리계획 인지/승인/조치가 필요한 위험, 마지막으로 저위험의 경우 담당자 차원의 위험처리계획 인지/승인/조치가 필요한 위험으로 정의하였다. 즉, 영향도와 마찬가지로 위험완화계획을 수립하고 처리시 해당 계획의 최종 결재 주체의 직급에 따라 위험을 구분한 것이다. 현실적으로는 이러한 구분이 더욱 명확하고 위험의 중요도를 잘 나타내줄 것이라고 여긴다.
본 장에서 정의한 평가체계를 기존 제조성숙도 평가항목들, ‘장납기품목에 대한 분석을 완료하고, 최초양산을 위한 장납기품목의 확보계획을 수립하였는가?’, ‘생산 및 제조전문가가 설계변경 및 기술변경시 공식적으로 참여하도록 규정화되어 있고 실제로 그렇게 운영되는가?’, ‘설비/치공구설계 검증을 완료하였는가?’에 시범 적용한 결과는 아래 와 같다. 현실태 열(As-Is)에는 현재 이루어지고 있는 해당 항목에 대한 자체평가 결과보고서 작성 방식을 기술하였고, 개선방안 열(To-Be)에는 본 연구에서 제안한 위험관리체제를 도입시 어떠한 절차로 위험완화가 이루어지는지를 설명하였다.
‘장납기품목에 대한 분석을 완료하고, 최초양산을 위한 장납기품목의 확보계획을 수립하였는가?’ 평가항목의 경우, 기존에는 협력업체에 공문을 보내 발주 물량에 따른 예상 리드타임 자료를 확보하고 이를 통해 리드타임이 긴 업체를 선정하는 형태로 개발기관 자체평가 결과보고서를 작성하였다. 또한 해당 항목의 충족여부 판단은 예상리드타임 회신공문의 수령 여부로 충족 여부를 판단한다. 본 연구에서 제안한 변경된 프로세스에 따르면 장납기 품목은 WBS(Work Breakdown Structure) 수준 3이상의 품목에서 3개월 이상 리드타임이 소요되는 품목으로 정의된다. 이후 해당 정의에 부합하는 품목 파악 미실시 및 장납기 품목에 대한 대응방안 미수립이 위험으로 식별되고, 이러한 위험에 대한 관리계획으로는 협력업체 예상 리드타임 요청 공문 송부/회신 및 선발주 공문 등이 될 것이다.
‘생산 및 제조전문가가 설계변경 및 기술변경시 공식적으로 참여하도록 규정화되어 있고 실제로 그렇게 운영되는가?’ 평가항목의 경우, 형상변경 회의시 생산 및 제조부서의 인력이 해당 회의에 참석한 회의록을 제출하는 형태로 개발기관 자체평가 결과보고서를 작성하는 것이 일반적이다. 해당 항목의 충족여부 판단 역시 해당 모든 회의에 생산 및 제조부서의 인력이 참석하였다면 충족으로 판단한다. 본 논문에서 제안한 변경된 프로세스에 따르면 발생할 수 있는 위험은 사내규정에 생산 및 제조전문가의 회의 미참여와 사내규정에 부합하는 사내 생산 및 제조전문가의 부재로 식별하였다. 이후 위험분석과 평가를 통해 사내규정에 생산 및 제조전문가의 형상변경 회의 참여 의무화 반영, 회의 미참여시 추후 검토 후 변경내용에 동의하는 업무 프로세스 수립, 그리고 사내 생산 및 제조전문가 양성 프로그램의 수립 등을 위험완화대책으로 결정하였다. 이후 해당 대책의 실행 여부를 모니터링한 결과가 위험완화 프로세스에 따른 보고서 내용을 구성할 것이다.
‘설비/치공구설계 검증을 완료하였는가?’ 평가항목의 경우, 기존에는 검·교정 시험성적서로 개발기관 자체평가보고서로 구성하였다. 본 연구에서 제안한 변경된 프로세스에 따르면 발생할 수 있는 위험은 정기적인 검·교정을 미실시하거나 기술자료에서 요구하는 사양(예 측정 정밀도 등)을 충족하지 못하는 경우가 해당된다. 이러한 위험을 관리하기 위한 계획은 검·교정 주기에 따른 검·교정 일정을 자동으로 알려주는 시스템 구축 및 최신 기술자료에 따른 요구사양의 주기적인 확인이 될 것이다. 따라서 검·교정 주기 알림시스템 구축 및 실행 내역, 그리고 기술자료 요구사항 확인 실적이 보고서를 구성할 것이다.
기존의 평가체제와 본 연구에서 제안한 평가체제를 요약하여 비교한 결과는 아래 와 같다. 평가 분야가 9개에서 11개 분야로 증가하였으며 평가항목도 64개에서 71개로 증가하였다. 또한 기존의 보고서가 실적(혹은 기록) 위주로 작성되었다면, 본 연구에서는 위험관리기반의 체제를 통한 중간단계의 산출물을 담도록 요구하고 있다. 이를 통해 기존 평가항목 해석의 모호성과 천편일률적인 보고서 작성을 벗어나, 프로그램 및 사업체 현실에 적합한 제조성숙도 평가체제가 자리잡기를 기대한다.

5. 결론 및 향후 연구방향

본 연구는 크게 두 가지 측면에서 제조성숙도 평가제도에 대한 개선 방안을 제시하였다. 첫 번째는 위험관리기반의 평가체제 도입이다. 현재의 평가항목은 어떠한 관점에서 보느냐에 따라 해석에 차이가 발생할 수밖에 없는 구조이며, 무기체계라는 특수성이 반영되지 못하고 있다. 이를 개선하기 위해 키워드 중심으로 위험을 식별/분석/평가하여 대책을 수립하는 위험관리기반의 평가체제 도입을 제안하였다. 결국 제조성숙도 평가제도 역시 양산 과정 중 발생할 수 있는 위험을 사전에 식별하여 대처하기 위한 제도이기 때문이다. 두 번째는 평가 항목의 개선이다. 현재 한국의 제조성숙도 평가항목은 미국의 평가항목과 비교하여 좁은 범위로 해석하여 적용되고 있으며, 국방 분야에 필요한 일부 평가항목이 누락되어 있다고 판단하였다. 따라서 원 평가항목의 취지를 고려한 평가항목의 보완과 국방 분야에 필요한 추가 평가항목을 제안하였다.
향후 연구 방향으로는 제도개선에 따른 효과성 측정 방안의 수립을 들 수 있을 것이다. 일반적으로 어떠한 정책 혹은 제도의 개선에 따른 효과는 무형적인 요소가 많음에 따라 측정이 어려운 경우가 많다. 따라서 어떠한 제도의 개선은 문제가 발생하고 나면 이루어지거나 상급 기관의 지시로 이루어지는 경우가 존재하는 것이 현실이다. 그러므로 제도개선에 따른 효과를 정량화하여 제시할 수 있다면 효율적으로 선제적인 제도개선을 추구할 수 있는 동력으로 작용할 수 있을 것이다. 또한 현재 무기체계 연구개발 단계에는 제조성숙도 평가제도와 유사한 제도인 기술성숙도 평가제도가 존재한다. 해당 제도 역시 본 연구의 접근방식을 통해 제도개선을 추진할 수 있을 거라 여겨진다.

REFERENCES

Choi, D., Lee, S. Y., and Kim, Y. R. 2013. Research on Improvements of an Effective Manufacturing Readiness Assessment (MRA) System for Domestic Defense R&D Project. Journal of the Korea Association of Defense Industry Studies 20(1):141-158.

Defense Acquisition Program Administration(DAPA) 2018. Risk Management Guidebook.

Defense Acquisition Program Administration(DAPA) 2024. Technology Readiness Assessment and Manufacturing Readiness Assessment Processing Regulations. Order 869.

Defense agency for Technology and Quality(DTaQ) 2024. Guideline for Manufacturing Readiness Assessment. Established in Oct. 2024.

Department of Defense(DoD) 2022. Manufacturing Readiness Level Deskbook.

Eom, W. 2017. Association Analysis for MRA Results of Defense R&D. Journal of the Korean Society for Quality Management 45(3):309-326.

Global Military Power(GFP) 2024. www.globalfirepower.com.

Jeong, H. C., Son, M. J., and Yoon, Y. H. 2022. Research on Ways to Improve Item Achievement Rate through Analysis of Manufacturing Readiness Assessment(MRA) Results. Fall Conference of Korean Society for Quality Management 96-96.

Kang, Y. H., and Choi, J. Y. 2024. Design of Framework for Quality Level Diagnosis of Military Supplies. Journal of the Korean Society for Quality Management 52(3):495-508.

Kim, H. W., Wo, S., and Jang, B. K. 2013. A Study on Readiness Assessment for the Acquisition of High Quality Weapon System. Journal of the Korean Society for Quality Management 41(3):395-404.
crossref
Kim, Y. H., and Ha, J. S. 2022. A Study on the Development and Institutionalization Plan of a Quantitative Evaluation Model of Defense Quality Management System. Journal of the Korean Society for Quality Management 50(2):183-197.

Kwon, S. I., Lee, I. R., Park, K. C., and Kim, S. J. 2019. Research on Management Plans for Major Unmet Items through Case Analysis of Manufacturing Readiness Assessment in the Mobile Firepower Field. Fall Conference of Korean Society for Quality Management 175-175.

Lee, J. H. 2018. A Study on the Improvement of the Preparedness for MRA through the Survey on the Current Understanding of Appraisee and the Itemization of the Assessment List. The Graduate School of Ajou University.

Lee, M. C., Kim, Y. H., Ahn, Y. J., and Kim, J. S. 2023. A Study on the Development and Application of Performance Evaluation Model for Defense Standard Improvement Projects. Journal of the Korean Society for Quality Management 51(2):185-202.

Nam, Y. W., Ko, D. H., Kim, H. M., and Lee, K. W. 2023. Analysis of Defence Service Quality using PCSI Index and an Empirical Comparative Analysis. Journal of the Korean Society for Quality Management 51(1):37-54.

Park, C. H. 2014. A case study on calibration of computational model for a reasonable cost estimation of missile development program(A case of guidance & control system of X missile). Journal of Digital Convergence 12(5):139-148.
crossref
Seo, Y. J., Gwon, G. Y., Kim, J. W., No, T. J., Baek, H. B., Lee, H. G., and Jeon, Y. G. 2017. Supplementing Manufacturing Readiness Assessment(MRA) SW Evaluation Items. Communications of the Korean Institute of Information Scientists and Engineers 35(12):78-86.

Shin, C. J., and Choi, S. C. 2012. A Study on the Application of MRL to the Operations & Support Phases of Weapons Systems. Journal of the Korea Association of Defense Industry Studies 19(2):195-215.

Wo, S., Lee, J. H., and Lim, J. S. 2014. A Study on the System Readiness Assessment Procedure Development through a case study in Defense R&D Programs. Journal of the Korean Society for Quality Management 42(1):111-128.
crossref

Figure 1.
Comparison of the Number of Evaluation Items between South Korea and U.S.
jksqm-53-1-1f1.jpg
Figure 2.
Risk classification for MRA
jksqm-53-1-1f2.jpg
Table 1.
Manufacturing Readiness Level Summaries (DoD, 2022)
MRL Description MRL Description
1 Basic manufacturing implications identified 2 Manufacturing concepts identified
3 Manufacturing proof of concept developed 4 Capability to produce the technology prototype in a laboratory environment
5 Capability to produce prototype components in a production-relevant environment 6 Capability to produce a prototype system or subsystem in a production-relevant environment
7 Capability to produce systems, subsystems, or components in a production-representative environment 8 Pilot line capability demonstrated; ready to begin low rate initial production(LRIP)
9 LRIP demonstrated; capability in-place to begin full rate production(FRP) 10 FRP demonstrated and lean production practices in-place
Table 2.
Division of Work by Organization During Manufacturing Readiness Assessment
Name Task
DAPA Selection and request of target program
DTaQ Composition of task force team, Supervision of evaluation process
TFT Review of development agency self-evaluation results, On-site inspection and evaluation
DI Write self-assessment results, Undergo inspection
Table 3.
Change Trends in the Number of Manufacturing Readiness Assessment Items in South Korea
Thread 12.04.06. 12.10.26. 13.04.19. 14.05.23. 18.01.31. 19.09.18. 21.07.23.
Technology & Industrial Base 13 13 13 11 11 8 8
Design 20 20 19 17 17 13 13
Cost & Funding 11 11 10 6 6 4 4
Materials 18 18 18 11 11 11 11
Process Capability & Control 10 10 9 8 8 7 7
Quality Management 8 8 8 8 8 8 8
Manufacturing Workforce 5 5 4 3 3 3 3
Facilities 6 6 6 5 5 4 4
Manufacturing Management 7 7 7 6 6 6 6
Total 98 98 94 75 75 64 64
Table 4.
Change Trends in the Number of Manufacturing Readiness Assessment Items in U.S.
Thread 14.05.23. 18.01.31. 19.09.18. 21.07.23.
Technology & Industrial Base 6 7 8 6
Design 6 6 6 5
Cost & Funding 8 8 8 8
Materials 14 18 18 21
Process capability & Control 8 9 9 9
Quality Management 10 15 15 15
Manufacturing Workforce 4 4 4 4
Facilities 9 11 11 11
Manufacturing Management 6 8 8 13
Total 71 87 87 92
Table 5.
Relation between Manufacturing Readiness Level and Development Phases
Material solution analysis phase Technology maturation and risk reduction phase Engineering and manufacturing development phase Production deployment phase
~MRL 4 MRL 5 MRL 6 MRL 7 MRL 8 MRL 9 MRL 10
Table 6.
MRA Terminologies Differences between Korea and U.S.
Terminology Korea Definition U.S. Definition
Key characteristic Major characteristic (주요 품질특성) features of a material or part whose variation has a significant influence on product fit, performance, service life, or manufacturability
Major supplier 1st supplier (1차 협력업체) A supplier, distributor, vendor or firm that furnishes supplies or services to or for the prime contractor whose total costs are a significant portion of the total purchased value for the program
Material Raw material (원자재) Includes raw material, components, and sub-systems
Specialized facilities Major facilities (주요설비) Facilities required to produce a specific product at tolerances, speeds, rates, configurations, materials, environment (temperature, clean room, etc.)
Continuous improvement Quality improvement record (품질개선실적) Plan-do-check-act cycle or Lean/six sigma models
Critical parts Major parts (주요부품) Include semi-processed or finished parts with potential risk to a program due to problems such as long lead-time, manufacturing maturity, historic quality problems, foreign source or diminishing domestic manufacturing source
Table 7.
Differences in MRA Threads between Korea and U.S.
Korea MRA Threads U.S. MRA Threads
Technology & Industrial Base Technology Maturity, Industrial Base, Manufacturing Technology Development
Design Producibility Program, Design Maturity
Cost & Funding Production Cost Knowledge, Cost Analysis, Manufacturing Investment Budget
Materials Maturity, Availability, Supply Chain Management, Special Handling
Process capability & Control Modeling & Simulation, Manufacturing Process Maturity, Process Yields and Rates
Quality Management Quality Management, Product Quality, Supplier Quality Management
Manufacturing Workforce Manufacturing Workforce
Facilities Tooling/Special Test and Inspection Equipment, Facilities
Manufacturing Management Manufacturing Planning & Scheduling, Materials Planning, Manufacturing OT Cybersecurity
Table 8.
Predicate Analysis of MRA Evaluation Items
Category Predicates
Plan establishment 수립되었는가? 계획이 있는가? 수립하였는가? 수행하였는가? 수립하여 진행중인가? 수립되어 관리되고 있는가?
Definition or identification 정의하였는가? 식별하였는가? 찾았는가? 정의되었는가? 필요한지 식별하였는가? 명시하였는가?
Execution 고려하였는가? 분석하였는가? 마련되어 있는가? 수행하였는가? 갖추고 있는가? 설정되어 있는가? 가지고 있는가? 운용되고 있는가? 마련되었는가? 적용하고 있는가? 운용하였는가? 완료되었는가? 수립하였는가? 반영되었는가? 활용하고 있는가? 진행중인가? 이루어지는가?
Verification or prove 검증하였는가? 입증되었는가? 완료되었는가? 추적 가능한가? 확인하였는가?
Updating or documentation 최신화하였는가? 문서화하였는가? 문서화되어 있는가?
Table 9.
Suggested Manufacturing Readiness Assessment Evaluation Items
Thread Risk Source
Technology & Industrial Base Technical risk, solely owned/single owned/foreign owned/foreign controlled/foreign influenced sources, Monitoring supplier stability, Contingency planning, Supplier production capacity, Industrial base, Environment impact, Joint development and production,
Design Participation in configuration control, Component/system design specification compliance, Program schedule, Critical processes, Tracking process for physical/functional configurations, Demonstration of core technologies, Meeting key design characteristics, Configuration control history, System and process for configuration tracking and control between main contractors and subcontractors, Process design, Material production process, Documented firmware and software requirements, Production and test equipments and facilities,
Cost & Funding Target cost, Compliance with cost guidelines, Target cost for materials/Cost tracking within WBS, Cost tracking process and cost control indicators for sub-contractors,
Materials Raw material performance, Shortage of raw materials, Obsolete parts management, Parts standardization, Alternatives for materials, Management plan for sub-contractors, M-BOM, Storage and disposal of materials, System and process for materials management, Long-lead-time items,
Process Capability & Control New process manufacturing technology, Changes in manufacturing process, Process variables for critical processes, Possible development delay, Production process simulation software, Yield data analysis, Reliable facility and test equipment,
Quality Management Continuous improvement, Quality improvement process, Checkpoint, Quality control plan for suppliers, Documented quality assurance records, Calibration/inspection process for inspection equipment, FRACAS(failure reporting analysis and corrective action system), Statistical process control,
Manufacturing Workforce Estimation of required workforce, Engineering personnel, Training program for workforce,
Facilities Production facilities, Production capacity, Production capacity improvement plan, Government-owned facility/equipment,
Manufacturing Management Production planning and management, Updated risk management plan, Required resources, Maintenance performance improvement plan, Necessity for special facility and test equipment, Technical documents for production,
Cyber security Incidents throughout the supply chain, Cybersecurity procedures, Trained workforce, Up-to-date cybersecurity measures, Planning and documentation for OT systems in facilities and equipment, Cyber security incident reporting procedure
Human factors Human factors requirements for personnel/processes/equipments, HMI requirements
Table 10.
Risk Management Procedures for MRA
As Is To Be
Process Identification, Analysis, Planning, Execution, Monitoring Definition of terms and scope, Identification, Analysis, Classification, Planning, Execution and documentation
Probability 5 levels 3 levels
Impact 5 levels 3 levels
Risk 3 levels 3 levels
Risk mitigation Acceptance, Avoidance, Transfer, Control Avoidance, Transfer, Control
Table 11.
First Case of the Comparison between the Existing MRA System and the Suggested System
As-Is To-Be
Step Action
Have completed the analysis of long-term delivery items and established a plan to secure long-term delivery items for initial mass production? Risk target Long-term delivery items
Term/Scope definition - Items of WBS Level 3 or higher that take more than 3 months from order placement to procurement are defined as long-delivery items, or items in the top 20% of all procurement items with a procurement period are defined as long-delivery items
- Determination of procurement time based on partner company procurement plan
Risk identification - No analysis of long-term delivery items
- No plan to secure long-term delivery items
Risk analysis (possibility, impact) - No analysis: P=1, I=2
→ Out of a total of 700 partner companies, have placed advance orders for items that require delivery of more than 40 days, and related data is attached. - No plan: P=2, I=2
Risk level - No analysis: Low risk
- No plan: Medium risk
Establishment of risk management plan - Check the possibility of shortened procurement period delivery to partners for items with long delivery periods and identify substitute items
Plan implementation and documentation - Sending official documents to partners
- Receiving replacement item/company document
- Check final procurement period
Table 12.
Second Case of the Comparison between the Existing MRA System and the Suggested System
As Is To Be
Step Action
Are production and manufacturing experts officially required to participate in design and technology changes, and are they actually operated that way? Risk target Design changes and technology changes
Term/Scope definition - Production and manufacturing experts are those with more than 7 years of experience working in production-related departments
- Official regulations refer to company regulations mandating attendance at design/technology change meetings
- Operation period is at least 6 months
Risk identification - No production and manufacturing experts
- Participation clause not specified in company regulations
Risk analysis (possibility, impact) - No regulation: P=1, I=2
→ During the shape change meeting, an experienced person from the production department participates, and relevant meeting minutes are attached. - No specification: P=3, I=2
Risk level - No regulation: High risk
- No specification: High risk
Establishment of risk management plan - Training of production and manufacturing experts
- Regulation revision and post-approval by production and manufacturing experts
Plan implementation and documentation - Presentation of educational records
- Presentation of regulations revision records
- Present post-approval records
Table 13.
Third Case of the Comparison between the Existing MRA System and the Suggested System
As Is To Be
Step Action
Has equipment/tool design verification been completed? Risk target Equipment/tool design
Term/Scope definition - Design verification refers to regular calibration performance for equipment that requires calibration, and whether or not the specifications required by technical data are met for equipment that does not undergo calibration.
Risk identification - Regular calibration and correction are not carried out
- Failure to meet specifications required by technical data
Risk analysis (possibility, impact) - No records: P=1, I=1
- Failure to meet: P=3, I=2
→ Presentation of calibration results Risk level - No records: Low risk
- Failure to meet: High risk
Establishment of risk management plan - Calibration is carried out according to the calibration cycle.
- Fine-tuning required specifications according to the latest technical data
Plan implementation and documentation - Establishment of calibration cycle notification system
- Required specifications confirmation records
Table 14.
Summary of comparison between As Is and To Be of MRA system
As Is To Be
Evaluation items · Question based item · Possible risk
· 9 thread, 64 items · 11 thread 71 items
Evaluation system Evidence(or record) based system Risk management system
Evaluation result Ambiguity in interpretation/definitions and one-size-fits-all type report Identification and mitigation of realistic risks that are specific to program or industry

Appendices

부록.

제조성숙도 평가항목
jksqm-53-1-1-app1.pdf
TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
Full text via DOI  Full text via DOI
Download Citation  Download Citation
  Print
Share:      
METRICS
0
Crossref
497
View
28
Download
Related article
Editorial Office
1806, 310, Gangnam-daero, Gangnam-gu, Seoul, 06253, Korea
TEL: +82-2-563-0357   FAX: +82-2-563-0358   E-mail: ksqmeditor@ksqm.org
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © The Korean Society for Quality Management.                 Developed in M2PI
Close layer
prev next