2.1.1 해군 군사혁신

2023년 3월 국방부는 정부 및 군 주요 기관의 심의를 통해 ‘국방혁신 4.0 기본계획’과 AI과학기술강군 육성 목표를 발표하였다. 그간 국방 개혁은 변화하는 정세에 발맞추어 수차례의 수정이 있었으나, 최근 군은 신기술 중심의 산업구조 변화와 국외 전쟁 사례 분석을 통해 인공지능 중심의 첨단전력확보와 미래 전장에 대응하고자 노력하고 있다. 대한민국 해군은 ‘해군 비전 2045’를 중심으로 미래 해양작전환경에 대응하기 위한 군사혁신을 본격화하고 있다. 유·무인 복합전력 확보, 인공지능 기반 지휘통제체계 구축 등이 그 예이다. 한편, 함정 전투체계는 해군의 핵심 무기체계 중 하나로 무장, 통신, 및 지휘통제 기능을 통합하여 공중, 수중, 해상의 위협에 대응하기 위한 시스템이다. 특히, 수상함의 경우 센서 체계를 통한 표적 획득과 탑재된 무장을 활용한 위협 대응까지 일련의 교전 절차를 내재하고 있다. 최근, 군사혁신에 발맞추어 예상되는 해군의 소요를 해소하기 위해 전투체계에 적용 가능한 다양한 인공지능 기술이 연구되고 있며, 이에 따라 인공지능 기술 적용을 위한 체계 내 다양한 형태의 데이터를 효율적으로 관리하고 훈련 및 추론을 위한 데이터셋 구축 기술이 요구된다. 본 논문은 함정 전투체계의 지능화를 위한 함 내에 탑재된 다양한 센서 및 무장 간 연동데이터에 초점을 맞추고 있다. 이러한 군사혁신은 단순히 전력 증강에 그치지 않고, 무기체계의 신뢰성과 성능을 위하여 품질 관리와도 밀접하게 연계될 필요가 있다.

2.1.2 국방품질 4.0

국방혁신 4.0에 기반한 해군의 군사혁신과 더불어, 국방의 품질 분야에서도 첨단 기술에 발맞춘 목표를 제시하였다. 국방 분야에서 무기체계는 점차 첨단기술을 기반으로 지능화되고 있음에 따라 품질 분야에서도 ‘국방품질 4.0’이라 불리는 새로운 개념이 등장하였다. 2022년 9월 국방기술품질원은 국방품질 종합학술대회와 12월 국방품질 4.0 포럼에서 국방혁신 4.0 시대 국방품질의 발전방향을 모색하였다. 품질 4.0(Seo et al., 2021)은 본래 4차 산업혁명 기술을 활용한 효율적인 공정 관리에 그 핵심을 담고 있으나, 국방분야의 군수품 품질관리 특성을 고려하여 국방품질 4.0의 개념이 등장하였다. 국방품질 4.0은 데이터 기반의 예측 및 진단 활동이라는 점에서 데이터 기반의 학습, 추론, 배포, 운영 측면이 주요한 관심사인 인공지능 기술과 밀접한 관련이 있다고 할 수 있다. 특히, 지능형 함정 전투체계의 인공지능 기능은 고품질 데이터셋에 의존하며, 데이터의 품질 저하는 곧 전술적 의사결정의 결함으로 작용될 수 있다. 최근에는 4차 산업혁명 기술에 대비하여 국방에서 효과적인 품질 관리를 위한 다양한 접근 방법이 연구되고 있다(Huh et al., 2023, Huh et al., 2025).

2.2.1 회귀와 분류 과업

기계학습은 명시적인 규칙 없이 데이터로부터 패턴을 학습하여 의사결정을 수행하는 인공지능의 핵심 분야로, 지도학습, 비지도학습, 강화학습으로 구분된다. 본 연구에서는 지도학습의 두 주요 과제인 회귀와 분류 과업을 위한 데이터 품질 관리 방안을 다루며, 본 절에서는 데이터셋을 통한 추론 기능 구현에 활용 가능한 선형 모델부터 최신 딥러닝 아키텍처까지 다양한 알고리즘의 특성을 비교 분석한다.

회귀 모델은 독립변수와 종속변수 간의 관계를 정량적으로 모델링하여 연속적인 수치 값을 추론하는 지도학습 기반의 방법론이다. 입력 특징 벡터 x∈ℝ^d 가주어졌을 때, 연속적인 목표 변수 y∈ℝ^d 를 추정하기 위한 함수 f : ℝ^d → ℝ 를 학습한다. 전통적인 선형 회귀에서부터 비선형 관계 학습을 위한 심층 신경망에 이르기까지, 회귀 모델은 다양한 복잡도 수준에서 설계가 가능하기 때문에, 금융 분야의 주가예측, 부동산 가격 추정, 의료 분야의 환자 예후 예측 등 다양한 분야에서 활용된다. 회귀 모델의 핵심 과제는 과적합(overfitting)을 방지하면서 데이터의 기저 패턴을 정확하게 포착하는 것이며, 이를 위해 정규화, 교차 검증, 앙상블 기법 등의 다양한 기법이 적용된다. 이와 달리, 데이터가 연속적인 값이 아니라 범주형 클래스에 속하는 경우에는 분류 과업이 핵심적인 역할을 담당한다. 또한, 분류 모델은 입력 데이터를 미리 정의된 K 개의 범주형 클래스 중 하나로 할당하는 지도학습 방법론이다. 분류 문제는 일반적으로 추론하고자 하는 클래스의 수에 따라 이진 분류(K = 2)와 다중 분류(K ≥ 3)로 구분되며, 각각 두 개 그리고 그 세 개 이상의 클래스를 예측한다. 수학적으로, 분류 모델은 입력 특징 벡터 x∈ℝ^d 를 이산적인 레이블 y∈{1,2, ..., K - 1, K }로 매핑하는 함수 f : ℝ^d→{1,2,...,K - 1,K }를 학습한다. 분류 모델은 의료 진단, 스팸 메일 필터링, 고객 이탈 예측 등 광범위한 실무 문제에 적용된다. 따라서 회귀와 분류는 지도학습의 대표적인 두 축을 형성하며, 이러한 문제를 해결하기 위해 다양한 기계학습 모델이 개발되어 왔다.

전술된 두 과업 기반의 문제를 해결하기 위해서 다양한 기계학습 모델이 사용되어 왔으며, 대표적으로 선형 모델, 앙상블 모델, 신경망 모델, 트랜스포머 기반 모델이 있다. 선형 모델은 입력과 출력 간의 선형 관계를 가정하며, 최소 제곱법이나 최대우도 추정을 통해 학습되어 해석이 용이하나 비선형 관계 포착에 한계가 있다는 특징이 있다. 앙상블 모델은 배깅과 부스팅으로 나뉘며, 배깅은 부트스트랩 샘플링을 통해 여러 모델을 독립적으로 학습하여 분산을 감소시키고, 부스팅은 약한 학습기를 순차적으로 학습하여 편향을 감소시킨다. 신경망 모델은 다층 구조와 비선형 활성화 함수를 통해 복잡한 패턴을 학습하며, 특히 트랜스 포머 기반 모델은 셀프-어텐션(self-attention) 메커니즘을 활용하여 특징 간 상호작용을 효과적으로 학습한다. Table 1에는 선형 모델부터 트랜스포머 기반 모델까지 대표적인 모델들이 나열되어 있다. 그러나 이러한 다양한 모델들이 충분한 성능을 발휘하기 위해서는 단순히 알고리즘 구조의 우수성 뿐만아니라, 학습에 사용되는 데이터의 품질이 높은 영향을 미친다.

Table 1

Representative Models for Machine Learning

2.2.2 인공지능 학습용 고품질 데이터셋

2.2.1 절에서 설명한 바와 같이, 기계학습 기반의 인공지능 기술은 대규모 데이터를 기반으로 내재된 패턴을 학습한다. 특히 전술된 인공지능 기술들은 학습 데이터를 통해 입력과 출력 간의 관계를 추정함으로써 학습과정에서 사용되지 않은 데이터(unseen data)에 대한 일반화된 추론 능력을 획득할 수 있다. 이러한 능력 향상을 위해서 알고리즘 구조를 개선하기위한 노력들이 수행되었다. 그러나, 이러한 모델 중심의 접근방법 다르게 데이터 중심의 접근방법은 학습과정에 직접적인 영향을 미치는 데이터의 품질을 개선함으로써 인공지능의 성능을 개선한다. 데이터 중심의 모델 개선 활동에는 데이터의 중복, 노이즈, 라벨 오류 처리가 포함된다. Northcutt et al.(2021)은 라벨 오류를 교정하여 분류 정확도를 향상 시켰으며, Zhang et al.(2021)은 데이터의 잡음이 신경망의 성능을 저하시킴을 실험을 통하여 입증하였다. 이 외에도 데이터 증강 기법을 활용하여 모델의 과적합을 완화하거나 일반화 성능을 향상시키는 연구도 수행되었다(Cho et al., 2019; Jo et al., 2025).

국방에서는 중장기적인 관점에서 인공지능 기반 무기체계의 도입을 가속화하고 있으며, 핵심기술개발 사업이나 미래도전개발 사업 추진을 통해 기존 무기체계의 지능화가 예상되는 바이다. 이를 위한 다양한 대비로써, 무기체계로부터 획득한 데이터에 대한 품질 관리 기준 수립을 위한 많은 시도가 있었다. Seo et al.(2023)은 표적탐지 및 추적분야에서 데이터 품질을 고려하기 위한 네 가지 지표를 도출하였다. Bak et al.(2024)은 데이터의 신뢰성을 중심으로 비정형 데이터의 품질 향상을 위한 프레임워크를 제안했다. 한편, 민수 분야에서는 인공지능 기술을 고려한 학습용 데이터 품질 관리를 위하여 기관을 중심으로 방안들이 제시되어 왔다. 다음 절에서는 과학기술정보통신부, 한국지능정보사회진흥원(이하 NIA), 한국정보통신기술협회(이하 TTA), 그리고 국제표준화기구 ISO의 선행 연구를 다룬다.

3.3.1 지능형 함정 전투체계

함정 전투체계는 다양한 센서와 무장, 그리고 전투관리체계로 구성되어 센서로부터 식별된 적 표적에 대하여 적절한 무장을 할당하여 명령을 통한 위협을 효과적으로 제거하는 함정 무기체계이다. 표적이 식별된 이후부터 위협제거까지의 일련의 절차를 본 논문에서는 ‘교전절차’로 지칭하며, 함정 전투체계(CMS, Combat Management System)의 일반적인 교전 절차는 Figure 5 와 같다. 함정 전투체계는 각 기능이 장비 성능, 규칙, 운용자에 의존하여 운용되는 것이 일반적이나, 지능형 함정 전투체계는 각 기능을 부분적으로 인공지능을 활용하여 기능을 고도화할 수 있다. 해당 기술은 현재까지도 연구가 진행중이나, 본 연구에서는 함정 전투체계의 교전 절차에 지도학습 기반 인공지능을 적용하여 새롭게 주요 기능을 정의하고 인공지능 학습용 데이터셋 구축을 위한 기반을 마련하였다. Table 3에는 지능형 함정 전투체계의 주요 기능 6가지를 기존 함정 전투체계와 비교하여 보여준다.

Figure 5

Engagement Flow of CMS

Table 3

Major Functions of Traditional CMS and Pre-defined Intelligent CMS

함정 전투체계는 체계 운용 간 발생하는 메시지가 통합된 네트워크상에 부유하며 콘솔을 통해 운용자에게 전시되며, 전시된 정보를 활용하여 운용자는 표적 선택, 무장 발사, 위협 설정 등 명령 입력이 가능하다. 본 연구에서는 사전에 마련된 가상화 콘솔을 활용하여 데이터를 수집 하는 방식을 취한다. 또한, 각 기능에 필요한 인공지능 학습용 데이터셋과 인공지능 모델 구축이 가능하다. 그러나 이러한 데이터셋이 실제로 효과적인 학습과 추론을 지원하기 위해서는 데이터의 품질을 체계적으로 관리할 필요가 있다. 따라서 다음 절에서는 지능형 함정 전투체계 인공지능 학습용 데이터셋의 품질 관리 지표를 정의하고, 이를 통해 데이터의 신뢰성과 활용성을 확보하는 방안을 제시한다.

3.3.2 품질 관리 지표

본 절에서는 지능형 함정 전투체계의 인공지능 학습용 데이터셋 품질 관리 지표와 각 지표의 설명과 운영정의(Operational definition)가 서술된다. 본 연구에서 운영정의는 품질 지표를 활용하여 데이터를 평가하기 위한 기준과 정의를 의미한다. 운영정의는 각 지표의 설명과 함께 제시된다. 품질 관리 지표는 특성에 따라 내재적 품질, 의존적 품질, 그리고 운영적 품질로 구분된다. ISO/IEC 25012에서는 평가 목적과 활용 관점에 따라서 내재적 품질과 시스템 의존적 품질로 구분하였다. 내재적 품질은 데이터 자체의 고유한 특성을 의미하며, 데이터의 활용처 혹은 시스템과 상관없이 항상 일관된 기준으로 관리된다. 반면에, 의존적 품질은 데이터의 사용 측면에서 적합한가를 판단하기 위한 기준으로 사용된다. 함정 전투체계는 여러 체계의 집합이기 때문에 이를 운용하기 위한 여러 개의 다기능콘솔(Multi Functional Console)를 포함한다. 따라서, 역할과 목적에 따라 특정 임무를 부여받은 운용자가 존재한다는 것을 알 수 있다. 본 연구에서 제안하는 지표는 운용자 역할에 따라 3가지로 구분 되며, 지표 특성에 따라 구분하기 위하여 11가지로 구분된다. 이러한 분류는 실적용에 있어서 체계적인 품질 관리 수행에 도움이 될 수 있다. 결과적으로 총 17가지의 지표가 Table 4에서 확인된다.

Table 4

Categories and Metrics for Intelligent CMS Train Data Quality Management

지표 1(Accuracy). ‘정확성’은 데이터의 값이 현실을 정확하게 반영하고 있는지를 의미하는 지표이다. 다시 말해 서 값의 도메인과 형식이 사전에 정의되어 있는 형식에서 벗어나는지를 확인한다. 정확성은 데이터의 수집이나 정제 등의 과정에서 발생된 저품질 요소를 관찰하기 위해 활용될 수 있다. 정확성은 수식을 통해 정량적으로 계산되며, 이는 수식(1)과 같다.

지표 2(Integrity). ‘정합성’은 데이터 값이 논리적으로 적절한지를 의미하는 지표이다. 데이터 수집 환경에 따라, 생성기로 수집된 모의 데이터나 예기치 못한 오류로 인해 수집된 데이터 값에 모순이 발생한 경우가 있다. 데이터 생성기는 설계 시 현실의 논리를 반영하지 못하거나 네트워크의 오류에 의해서 정합성을 만족하지 못하는 경우가 있을 수 있으며, 실환경에서 수집되었음에도 사전에 정제하여 처리되지 않은 경우, 데이터의 노이즈에 의해 정합성이 낮게 평가될 수 있다. 정합성에 대한 정량적인 평가는 수식(2)에 의해 수행된다.

지표 3(Format^validity). ‘형식 적합성’은 수집된 데이터의 파일 포맷과 메타데이터(라벨값)를 포함하는지를 평가하며, 파일포맷과 메타데이터는 모두 정량적으로 평가 가능하나, 파일 포맷의 경우 측정 단위가 파일 그 자체가 될 수 있다. 그러나, 메타데이터의 경우 정형 혹은 비정형 데이터 상관없이 데이터포인트가 측정 단위가 된다. 수식(3)과 수식(4) 각각 측정 단위에 따른 형식 적합성 기반의 계산 수식을 보여준다.

지표 4(Generality). ‘일반성’은 전투체계 데이터의 통합 정도를 의미한다. 서로 상이한 베이스라인 상에서 건조된 함형의 경우, 전투체계 데이터의 형태와 도메인 등 특성에 차이가 있다. 또한, 탑재된 센서와 무장, 그리고 연동 가능한 체계가 다르기 때문이다. 하지만, 지능형 함정 전투체계로부터 수집된 데이터를 활용해 학습한 모델은 가능한 많은 함정에 적용하여 동일한 기능이 수행되길 기대한다. 데이터 통합용 규칙 혹은 약속을 가정했을 때, 일반성은 수식 (5)와 같이 계산된다.

지표 5(Non-Redundancy). ‘비중복성’은 데이터가 서로 중복되지 않은 정도를 나타낸다. 전투체계 내의 메시지 데이터에서는 중복이 완전한 일치를 의미한다. 실제로 다양한 센서로부터 동일한 값이 수집되거나, 수집을 위해 전투체계와 연동한 시스템에서 동일한 데이터가 발생할 수 있다. 한편, 비정형 데이터의 경우 동일한 데이터(가령 전자 광학 센서 이미지)가 아닌 아닌 유사도가 높을 때 중복성이 존재한다고 판별한다. 예를 들어, 고속정을 동일한 계절, 기상환경, 화각에서 EO(Electro-Optical) 데이터로 수집할 경우, 완전히 동일하지 않을지라도 인공지능 학습에는 부적절하며 학습 속도에 영향을 줄 수 있다. 수식(6)은 다음과 같다.

지표 6(Reliability). ‘신뢰성’은 데이터 수집 출처에 따라 신뢰할 수 있는 데이터인지를 판단하는 지표이다. 지능형 함정 전투체계를 위한 데이터셋 구축 시 수집 가능한 기반 데이터는 다음과 같다. 민간의 공개 데이터, 전투체계 모의데이터(가령 시뮬레이터 혹은 가상화된 전투체계 등), 훈련 간 발생된 전투체계 데이터, 실 전투 간 발생된 전투체계 데이터가 있다. 단, 민간의 공개 데이터의 경우 기관, 연구집단 등 다양하게 구분될 수 있으나, 본 지표는 지능형 함정 전투체계가 활용되는 환경과 가까울수록 높은 점수를 획득할 수 있도록 설계되었다. 신뢰성은 수식(7)과 같이 급간화 하여 {0, 25, 50, 75, 100} 중 하나로 정규화된다.

지표 7(Quantitativeness). ‘정량성’은 학습용 데이터셋 구축 시 요구되는 데이터의 양을 의미한다. 일반적으로 데이터의 양이 많을수록 모델의 일반화 성능, 편향 완화, 복잡성 높은 문제해결 용이 등 다양한 강점이 있다. 하지만, 데이터의 비중복성이 낮아질 수 있으며, 불균형 데이터의 경우 여전한 과적합 문제와 편향을 지니게 된다. 따라서, 이는 전투체계 운용자의 요구사항(작전운용성능 등)과 전투체계 데이터 과학자 간의 적절한 조율이 필요하며, 최초 임계값을 설정하여 수식(8)과 같이 지향하는 데이터 양 대비 현재 데이터의 양을 비율로 계산하여 평가할 수 있다. 이후 환류 과정을 통해 데이터를 추가적으로 수집하는 등의 후속 조치가 가능하다.

지표 8(Completeness). ‘완전성’은 필드값, 레코드와 같은 데이터의 누락으로 인한 결측 정도를 검사하기 위한 지표이다. 최신의 인공지능은 내부에 결측값을 처리하여 학습까지 엔드 투 엔드 방식으로 처리하나, 결측으로 인한 데이터의 불완전성은 모델에 영향을 줄 수 있다. 완전성은 수식(9)에 의해 계산된다.

지표 9(Environmental Diversity). ‘환경다양성’은 데이터 수집 간 공간 및 시간 등 환경조건들이 충분히 다양한지를 검사한다. 해상 환경에서 계절 혹은 날씨에 따라 온도, 습도, 풍향, 풍속 등이 다르며, 해무에 따른 광학장비의 표적 식별률 변화 등은 충분히 다양하게 고려될 필요가 있다. 따라서, 정의된 기능에 맞도록 충분히 합의된 기준을 마련하고, 이에 대한 데이터셋을 대상으로 만족한 기준의 개수의 비율을 계산한다. 수식(10)은 정규화된 환경다양성을 보여준다.

지표 10(Distributional Diversity). ‘분포다양성’ 데이터의 편향성을 방지하기 위해, 구축된 데이터셋에 통계적으로 충분히 다양한 데이터가 반영되었는지를 평가하기 위한 지표이다. 분포다양성의 운영정의는 특성값(입력)과 타겟값(출력)에 따라 별도로 계산될 필요가 있으며, 변수의 타입에 따라 독립적으로 고려되어야 한다. 이는 수식(11)과 수식(12)에 의해 계산된다.

지표 11(Freshness). ‘최신성’은 학습에 사용되는 데이터가 실제 환경 또는 현재 시점과 시간적으로 얼마나 근접한지를 나타내는 지표이다. 모델의 현실 적합성, 개선된 일반화 성능, 시의성 있는 의사결정을 위해 사용된다. 데이터 포인트 단위의 최신성은 수식(13)에 의해 계산될 수 있다. t_now 는 품질 관리 활동 수행일자로 기준 시점을 의미하며, t_past는 데이터포인트(sample)의 수집 일자를 나타낸다. T 는 합의된 최대 경과 시간을 의미한다. 예를 들어, 당일과 데이터 첫 번째 데이터포인트의 수집 일자의 차이가 1일 이며, 합의된 최대 경과 시간이 7일 이라고 가정할 경우, Freshness₁ = 1 - 1/7 = 6/7 ≈ 0.857이다.

예를 들어, 당일과 데이터 첫 번째 데이터포인트의 수집 일자의 차이가 1일이며, 합의된 최대 경과 시간이 7일이라고 가정할 경우, Freshness₁ = 1 - 1/7 = 6/7 ≈ 0.857이다. 데이터셋의 최신성은 결과적으로 데이터포인트의 최신성의 평균으로 계산된다. 카디널리티가 N인 데이터셋의 최신성은 수식(14)와 같이 계산된다.

지표 12(Usefulness). ‘유용성’은 사전 정의된 전투체계 인공지능 모델의 기능에 대해서 주어진 데이터가 얼마나 유용한지를 평가하기 위한 지표이다. 기계학습 특성 상 학습용 데이터의 특징(feature) 변수와 목표(target) 변수 간의 관계가 성능으로 이어질 가능성이 높다. 또한, 특성이 서로 독립적일수록 모델 학습에 유용하다. 이를 위해 특성 기여도(C) 와 특성 독립성(I)을 동시에 고려하여 유용성을 평가한다. 특성 기여도는 상호정보량(Mutual Information)을 적용하며, 특성 독립성은 상관계수(σ)를 활용한다. 수식(15) 및 수식(16)는 특성 기여도와 특성 독립성을 계산하는 방법이며, 수식(17)은 앞선 두 가지를 종합하여 고려한 유용성에 대한 운영정의를 보여준다. 수식(17)에서 w는 정의된 모델 기능에 따라 조정 가능한 가중치를 의미한다.

지표 13(Understandability). ‘이해가능성’은 데이터에 대한 설명과 그 메타정보가 명확하고 운용자로 하여금 이해가능한지를 정성적으로 평가하기 위한 지표이다. 일반적인 경우, 관리와 검색을 목표로 하기 때문에 색인(index)이 중요시 되지만, 지능형 함정 전투체계는 인공지능 학습을 목표로 하므로 이를 위한 충분한 설명과 메타정보가 제공되어야 하며, 전문가 입장에서 해당 데이터는 직관적으로 이해가능 하여야 한다. 따라서, 수식(18)을 기반으로 메타정보 중심 평가로 점수(U_meta)를 산출하며, 수식(19)을 기반으로 전문가에 의해 설계된 항목에 따라 운용자 중심 평가의 평가에 의하여 점수(U_user)를 산출한다. 마지막으로 두 평가 방식의 중요도에 따라 가중치를 설정하여 수식(20)과 같이 평가할 수 있다.

운용자 중심 평가는 지표 기반의 데이터셋 평가 전에 명목집단법(NGT, Nominal Group Technique) 혹은 초점집단인터뷰(FGI, Focus Group Interview) 등을 통하여 다수의 전문가들의 토론을 통하여 평가 항목을 사전에 정의하고 평가할 수 있도록 한다. 전문가에는 품질 측정/품질 평가/품질 관리 전문가, 데이터 분석가, 전투체계 도메인 전문가가 포함될 수 있다. 전문가들의 논의를 통하여 설계된 평가 항목은 리커트 척도(Likert Score)에 기반하여 평가되며 수식(19)가 계산된다.

지표 14(Traceability). ‘이력성’은 데이터의 변경 이력을 추적 가능한지를 평가하기 위한 지표이다. 학습용 데이터셋을 구축하는 과정은 대게 단발성에 그치지 않는다. 모델의 테스트, 데이터 분석 과정 등 환류를 통한 데이터가 재구축되거나 정제될 수 있다. 특히, 지능형 함정 전투체계에서는 교전 절차에 따른 다양한 인공지능 모델의 기능 정의가 수행될 것이며, 이를 위한 데이터셋이 다양한 버전으로 관리될 수 있다. 또한, 전문가는 데이터의 이력을 참고하여 불필요한 과정을 지양하고, 이는 효과적인 작전수행을 동반할 것이다. 이력성을 계산하기 수식은 수식(21)에 보여진다.

N개의 데이터셋을 포함하는 데이터셋집합 D가 존재하고, i번째 데이터셋을 D_i 라고 표현해보자. 특정 목적(재수집, 정제, 재구축 등)에 의해 서로 관계되어 있는 경우는 다음과 같이 표현된다: ∀ D_i, D_j∈D,∃R : D_i ∼ D_j. 여기서 R은 관계를 의미한다. 어떤 데이터셋을 선택하더라도 D의 모든 데이터셋으로의 경로(관계)가 존재하다면 추적성은 100%로 계산된다.

보안성(Security)은 전투체계 뿐만 아니라 국방 도메인에서 중요시되어야할 특성이다. 다음 세 가지 지표를 기반으로 품질 관리 수행하기 위해서는 다음의 가정이 필요하다. 품질 관리 계획 수립 시 데이터셋에 접근하는 운용자에 따라, 데이터셋에 대한 접근권한이 부여되어 있으며, 접근권한에 따라 데이터셋 생성, 수정, 삭제 등의 작업이 제한될 수 있다. 운용자마다 상이한 권한을 부여하는 것은 보안측면에서 중요하다. 그러므로, 본 연구에서도 전술된 바를 가정하였다.

지표 15(Accessibility). ‘접근통제성’은 데이터 접근 시 운용자의 권한에 따른 접근통제 정책이 수립되어 있는지를 평가하기 위한 지표이다. 인공지능 학습에 필요한 데이터는 다양한 소스로부터 수집되기 때문에, 학습용 데이터는 서로 상이한 보안 등급의 데이터의 집합이다. 학습용 데이터는 구축 후 단일 모델을 위한 목적으로 한정되지 않을 것이며, 공유를 통해 복수 개의 모델을 위한 기반 데이터가 될 수 있다. 즉, 다양한 운용자로부터 접근 가능하기 때문에 이를 위한 통제 정책이 필수이다. 평가를 위해서 접근 통제 정책 수립을 평가하기 위한 체크리스트의 제작이 필요하며, 이에 기반한 접근통제성의 운영정의는 수식(22)와 같다.

지표 16(Classification). ‘등급분류성’ 은 데이터에 지정된 보안등급이 부여되어 있는지를 평가하기 위한 지표이다. ｢국방규격 기술자료 등급별 분류기준｣, ｢군사기밀보호법｣ 등에 따르면 자료 수준에 따라 등급을 분류(A/B/C/비공개)하고 있다. 전투체계 데이터 또한 군 내 특정 네트워크에서 발생하는 데이터이기 때문에, 보안에 의해서 철저하게 관리되어야 한다. 인공지능 학습 시 데이터는 하나의 소스(가령 특정 함의 네트워크)를 활용하는 것보다, 다양한 소스로부터 수집된 데이터를 통합하여 활용될 수 있다. 민간의 공개된 데이터를 통해 데이터셋을 보강하거나 인공지능 추가 학습에 사용하는 것도 다른 예시가 될 수 있다. 지능형 함정 전투체계의 등급분류성은 전술된 상황을 고려하여 보안 측면에서 철저한 품질 관리를 고려한다. 수식(23)은 데이터포인트를 측정 단위로 하는 운영정의를 보여준다.

지표 17(Disposability). ‘폐기성’은 구축된 데이터셋의 폐기 후 복구되는 것을 차단하기 위한 지표이다. 비밀정보 포함, 학습 불가 저품질, 보존기간 만료, 보안 기준 미충족 등의 이유로 학습용 데이터의 폐기가 가능하다. 폐기성은 보안 측면에서 중요하지만, 본 연구에서 폐기성의 경우, 데이터 폐기를 위한 절차가 수립되어 있는지를 검사하기 위한 전문가의 체크리스트를 통해 평가한다고 가정한다. Figure 6은 체크리스트 예시를 보여준다. 결과적으로 폐기성은 전체 항목에 대한 Pass 항목의 비율로 계산되며, 이는 수식(24)와 같다.

Figure 6

A Practical Example of Disposability Checklist

3.3.3 지능형 함정 전투체계 인공지능 학습용 데이터셋 품질 관리

본 절에서는 제안된 품질 관리 방안에 대한 전반적인 구성을 설명한다. 지능형 함정 전투체계를 위한 인공지능 학습용 데이터셋 구축 공정 과정에는 기능정의-CMS데이터 수집-데이터 정제-데이터 처리-학습 및 평가 단계로 구성된다. 본 연구에서는 제안된 지표를 통해 데이터셋의 품질을 점수화하여 관리한다. 3.3.2절에서 제시된 지표를 활용하여 데이터셋 구축 공정 과정의 각 세부 과정에서 파생되는 데이터에 대한 품질 관리를 수행하고, 이 결과를 바탕으로 환류를 통해 고품질 데이터셋을 생성하도록 돕는다. 지표를 활용하여 평가 시 평가자는 임계값(threshold)을 설정하여, 품질의 수준을 측정할 수 있다. 지표들은 각 공정 단계마다 유연하게 적용 가능하며, 지능형 함정 전투체계 기능 정의에 따라 각 공정 단계에서 적용하는 지표를 품질 관리 전 설정하도록 한다. 해당 품질 지표는 일회성 평가가 아닌 환류를 통한 지속적 평가를 지향한다.

Figure 7은 지능형 함정 전투체계의 주요 기능과 제안된 지표를 중심으로 인공지능 학습용 데이터셋 품질 관리 과정을 전반적으로 도시하며, 각 과정에 표기된 번호는 흐름을 나타낸다. 먼저, 1) 사전에 설계된 지능형 함정 전투체계 기능에 따라, 플랫폼(함정)에서 CMS 데이터가 수집된다. 2) 수집된 데이터는 일관적인 형태로 변환되어 별도의 데이터 집합으로 구성되며, 이는 저품질 데이터로 분류된다. 구체적으로, CMS에서 수집된 메시지 데이터의 경우, 헤더 내의 메타데이터와 페이로드(payload)를 분리하여 데이터 저장소에 저장된 형태가 저품질 데이터로서 여겨질 수 있다. 혹은, 플랫폼마다 상이한 형태를 띄는 메시지를 통합하여 저장된 형태가 될 수 있다. 3) 설계된 지능형 함정 전투체계 주요 기능에 의해서 데이터 정제와 전처리가 수행되며, 구축된 인공지능 학습용 데이터셋은 모델 생성을 위한 훈련과 평가에 사용된다. 4) 데이터 정제(data cleansing)는 모델 학습에 불필요한 요소를 제거하거나 완화하기 위한 절차 포함된다. 결과적으로 중복된 데이터를 제거하거나 편향성을 제거하는 기능에 의해서 데이터 집합이 생성된다. 5) 데이터 처리(data processing)에서는 학습피쳐와 라벨값(label)을 지정하거나 생성하여 지도학습 기반 인공지능 모델이 학습 가능한 형태의 데이터셋이 생성된다. 6) 제안된 품질 지표 중에서 사전에 지정된 지표의 운영정의와 임계값을 기반으로 데이터셋 품질이 측정된다. 7) 앞선 과정의 측정 결과를 바탕으로 환류(feedback)가 수행된다. 환류에는 데이터 수집, 데이터 정제, 데이터 처리에 대한 정책이나 기법을 보완하는 과정이 포함될 수 있다. 8) 결과적으로 제안된 품질 지표를 기반으로 고품질 데이터셋이 구축되며, 이것은 학습을 통하여 지능형 함정 전투체계 주요 기능 수행을 위한 인공지능 모델 구축에 활용된다. 과정 6)에서의 지표 선정, 품질 관리 활동 등은 사전에 기획 및 수립된 지능형 함정 전투체계 기능 및 품질 관리 절차에 따라 유연하게 적용된다.

Figure 7

Overall Architecture of the Proposed Method

4.3.1 품질 관리 지표 기반 실험

본 연구에서는 Table 5의 지능형 함정 전투체계 주요 기능 중, 교전의 첫 번째 절차인 센서 탐지 기능을 선정하였고, 전술된 데이터셋을 파생하여 품질 평가를 수행하였다. Table 7은 각 지표별로 품질 평가를 수행한 결과를 보여준다. 이때, 각 지표별 임계값들을 임의로 설정함으로써 등급을 확인하고, 저품질 데이터셋에 대해 어떠한 조치가 필요한지를 함께 도출하였다. 이것은 본 연구의 품질 지표 수립의 목적이 전투체계 데이터 기반의 학습용 데이터 품질 향상을 위한 지속적인 품질 개선 통찰 제공을 포함하기 때문이다. 한편, 실제 군에서 운용하는 데이터를 기반으로 구축된 데이터셋이 아니므로 일부 지표, 즉, Operational Quality와 같이 생성기를 통해 모사할 수 없는 지표의 정량화는 생략되었다.

Table 7

Results of Experiments based on Intelligent Dataset(Intelligent Sensor Detection)

저품질 데이터셋에는 데이터가 도메인 불일치, 타입 불일치, 결측치, 중복데이터, 모순, 이상치가 주입되었기 때문에, 고품질 데이터셋 대비하여 낮은 품질 점수가 확인된다. ‘정량성’ 지표 기반의 평가의 경우, 지향하는 데이터셋의 크기를 20,000 으로 가정하였을 때, 각 데이터셋의 크기가 20,000 및 10,000 이므로 고품질 데이터셋의 경우 ‘정량성’을 100% 만족하는 반면에 저품질은 50%의 점수로 평가되었다. ‘비중복성’의 경우, 저품질 데이터셋에 대한 운영 정의에서 분모의 크기가 고품질의 것보다 작기 때문에, 저품질의 ‘비중복성’이 더 높은 점수로 평가되었다. 그럼에도 다른 지표에서는 고품질 데이터셋에 대한 품질 점수가 높다는 것을 알 수 있다. 70%로 설정된 임계값을 만족하지 못하는 항목은 FAIL로 표기되었으며, 이 경우 학습용 데이터셋 품질 관리를 위하여 최우측 열의 활동(가령 품질 개선 활동)을 수행하는 것이 권고된다. 본 실험 결과를 도출하기 위해서 정량적 수식을 활용하였으나, 지능형 함정 전투체계의 인공지능 기능 수행을 위해서는 기계학습 모델을 활용한 성능도 함께 관찰할 필요가 있다.

4.3.2 기계학습 모델 기반 실험

본 연구에서는 인공지능 학습용 데이터 품질이 모델 성능에 미치는 영향을 검증하기 위하여, 동일한 구조를 가지되 품질 수준이 상이한 두 개의 데이터셋을 구성하였다. 첫 번째는 저품질(low-quality) 데이터셋으로, 4.3.1 절의 품질 측정 결과와 같이 정확성(Accuracy), 정합성(Integrity), 완전성(Completeness), 분포다양성(Distribution Diversity) 등이 낮은 데이터셋이다. 두 번째는 고품질(high-quality) 데이터셋으로, 저품질 데이터셋을 개선하여 결측값 제거, 형식 일관성 확보, 분포 균등화를 통해 품질을 극대화한 데이터셋이다. 선정된 모델은 다음의 회귀모델을 채택하여 실험에 활용하였다: Random Forest, XGBoost, LightGBM, CatBoost, MLP, 그리고 TabPFN. 데이터 분할은 학습용 80%, 검증용 20%로 진행하였으며, 학습용 데이터에 대해 5-Fold 교차검증을 수행하였다. 성능평가 시 회귀 문제에 적합한 지표 RMSE(Root Mean Squared Error)와 MAE(Mean Absolute Error)를 통해 성능을 측정하였다.

Table 8은 저품질 데이터셋과 고품질 데이터셋 각각에 대하여 6가지 모델의 평균 성능을 비교한 결과를 보여준다. 모든 모델에서 고품질 데이터셋의 성능이 저품질 데이터셋과 비교하여 우수한 것이 나타났다. 최신의 모델인 TabPFN은 정형데이터 처리에서 우수한 성능을 보여준 모델이며, 본 실험에서도 데이터셋의 품질과 관계없이 세 가지 평가지표에서 모두 다른 모델에 비해 높은 성능을 보였다. 이에 반해, 랜덤포레스트는 가장 낮은 성능을 보였다. 이를 통해서, 높은 품질 점수의 데이터셋은 전반적으로 지능형 센터 탐지 기능 수행에 있어서 유리하며, 학습용 데이터의 품질 관리가 인공지능 성능과 연관 있음을 확인할 수 있다.

Table 8

Performance Results for two types of datasets