순서형 분류 방법론은 순서 정보를 반영하는 방식에 따라 크게 두 가지로 구분된다. 첫째는 모델 구조 자체에 순서 제약을 두는 방식으로 Ordinal Logistic Regression이 대표적이다. 둘째는 기존 머신러닝 알고리즘의 수정 없이 데이터의 형태나 알고리즘 손실 평가 방식을 확장하여 적용하는(Framework) 방식이다. 본 연구는 특정된 알고리즘에 종속되지 않고 유연하게 확장할 수 있는 프레임워크 방식인 FH, DRM, CS에 대한 비교 분석을 수행하고자 한다.

Mathias & Bhattacharyya(2018)는 기존 ASAP Automated Essay Grading 데이터셋에 Essay 속성 점수를 추가하여 ASAP++ 데이터셋을 구축하였다. 해당 데이터셋은 content, organization, word choice, sentence fluency 등 여러 속성 점수를 포함한다. 각 속성 점수는 프롬프트(Essay 작성 주제)에 따라 서로 다른 범위(예: 0–3, 0–4, 1–6)의 순서형 값으로 구성되어 있다. FH 프레임워크를 Weka 환경에서 적용하였으며, 알고리즘은 RF를 사용하였다. 모형 평가는 Quadratic Weighted Kappa(이하 QWK)로 수행되고 약 0.54-0.76 사이의 성능을 보였다.

Costa & Cardoso(2015)는 합성 데이터셋과 다양한 실제 순서형 데이터셋(ERA, ESL, LEV, SWD, Balance Scale, BCCT 등)을 대상으로 분석을 진행하였다. 예를 들어 BCCT 데이터는 유방암 보존치료 결과를 Excellent, Good, Fair, Poor 등급으로 평가한 데이터이다. 연구에서는 DRM을 기반으로 순서형 분류 문제에 접근하였다. DRM은 순서형 문제를 확장된 이진분류 문제로 변환하는 과정을 통해 하나의 분류기로 학습하도록 하는 방법이다. 또한 AdaBoost에 DRM을 적용하기 어려운 문제를 개선하기 위해 oAdaBoost라는 순서형 AdaBoost 변형 알고리즘을 제안하였다. 실험 결과, DRM 기반 방법은 일반적인 AdaBoost 다중분류 모델보다 우수한 성능을 보였고, 순서 정보를 학습 과정에 반영하는 것이 성능 향상에 기여하였음을 확인하였다.

Ruan et al.(2014)는 Yahoo Learning to Rank Challenge(LTRC1, LTRC2)와 Microsoft Learning to Rank(MS10K, MS30K) 데이터셋을 대상으로 분석을 수행하였다. 해당 데이터셋은 문서의 관련성(relevance)을 0~4 수준의 등급으로 표현한 순서형 종속변수(Y)로 구성되어 있다. 순서형 분류를 위해 연구에 활용된 프레임워크는 COCR(Cost-Sensitive Ordinal Classification via Regression)이다. COCR은 순서형 문제를 여러 개의 이진분류 문제로 분해한 후에 회귀 모델을 이용하여 학습하는 방법으로, 오분류 비용을 반영할 수 있도록 Cost-Sensitive 구조를 적용한 것이 특징이다. 특히 예측 성능 향상을 위해 Expected Reciprocal Rank(ERR) 기반의 비용(oERR cost)을 설계하였다. 머신러닝 분류 알고리즘으로는 Linear Regression, M5P Regression Tree, Gradient Boosted Regression Trees(GBRT) 등을 사용하였다. 실험 결과, COCR 기반 방법은 기존의 회귀 방식보다 ERR 및 NDCG 지표에서 더 높은 성능을 보였으며, 순서형 데이터를 연속형 변수로 처리하는 것보다 순서 정보를 고려한 Cost-Sensitive 학습이 성능 향상에 중요함을 확인하였다.

Buczak(2024)는 심리학 및 교육학 시뮬레이션과 실제 학생 성취도 데이터를 대상으로 분석을 수행하였다. 해당 데이터는 다수준의 등급으로 표현된 순서형 종속변수(Y)로 구성된다. 순서형 분류를 위해 제안된 신규 프레임워크는 FABOF(Frequency-Adjusted Borders Ordinal Forest)이다. 이는 복잡한 수치 점수 최적화 알고리즘 대신, 데이터의 클래스별 관측 빈도에 비례하여 범주 간 분할 경계선을 동적으로 할당하는 구조를 적용한 것이 특징이다. 머신러닝 분류 알고리즘으로는 Regression RF를 기본 학습기로 사용하여 예측값을 생성한 후, 빈도 기반 경계값을 반영하여 범주로 변환한다. 실험 결과, FABOF 기반 방법은 중간 범주에 데이터가 집중된 불균형 환경에서 기존의 통계적 누적 모델(CLM) 및 순서형 포레스트(OF, Ordinal Forest)보다 Weighted Kappa 등 지표에서 더 높은 성능을 보였으며, 범주의 분포 빈도를 직접 반영한 경계선 튜닝이 연산 속도와 예측 성능 향상에 모두 중요함을 확인하였다.

Yürek & Birant(2024)는 C-MAPSS, AI4I 2020, 실제 유압 시스템 등 데이터에서 온도, 압력, 회전속도 변수로 구성된 다변량 테이블 데이터셋을 대상으로 분석을 수행하였다. 해당 데이터는 기계 상태를 '정상, 저위험, 중위험, 고위험'의 순서형 종속변수로 정의한다. 본 연구에서 제안된 OPMEB 프레임워크는 순서형 문제를 복수의 이진 하위 문제로 분해한 뒤 앙상블 기법을 결합하는 구조이며, 기본 분류기로 의사결정나무(DT, Decision Tree)를 활용하였다. 실험 결과, OPMEB는 명목형 분류 및 단순 One-vs-All 방식뿐만 아니라 OVF, OVN 등 기존 순서형 이진 분해(OBD) 기법들보다 우수한 정확도를 입증하였다.

이처럼 선행연구들은 다양한 순서형 분류 프레임워크를 제안하며, 데이터의 순서 정보를 반영하는 방법론이 일반적인 명목형 다중분류 방식보다 높은 예측 성능을 도출할 수 있음을 실증적으로 입증해 왔다. 그러나 기존 연구들에서 제안된 순서형 프레임워크나 분석 모델은 특정 알고리즘에 수학적으로 종속되어 있어, 알고리즘 선택의 범용성이 제한된다. 예를 들어, Buczak(2024)가 제안한 FABOF 프레임워크는 RF를 기본 학습기로 결합하도록 설계되었으며, 앙상블 기법이 적용된 OPMEB(Yürek & Birant, 2024) 역시 DT에 한정되어 있어 머신러닝 알고리즘 중에서도 뛰어난 성능을 보이는 XGB나 CAT 같은 트리 기반 부스팅 알고리즘으로의 확장성과 범용적 결합력을 검증하지 못했다. 더불어, 순서형 분류 문제에서 클래스 개수에 따른 성능을 비교한 연구도 충분하지 않다. 따라서, 본 연구에서는 FH, DRM, CS 프레임워크를 동일한 실험 환경에 적용한 후, RF, XGB, CAT 알고리즘을 활용하여 순서형 예측 성능을 비교하고자 한다. 또한, 클래스 개수가 서로 다른 여러 데이터셋으로 실험을 진행하여 특정 데이터 구조에 국한되지 않는 범용적이고 일반화된 연구 결과를 도출하고자 한다.

본 연구에서는 순서형 데이터 분류 문제에서 서로 다른 프레임워크의 성능과 속도를 분석하였다. 이를 위해 대표적인 순서형 분류 프레임워크인 3개(FH, DRM, CS)와 다중분류(MC) 1개 방식에, 알고리즘 3개(RF, XGB, CAT)를 결합하여 12개 조합을 비교하였다.

모델 학습 및 평가 과정에서는 데이터셋을 학습 데이터(Train) 60%, 검증 데이터(Validation) 20%, 평가 데이터(Test) 20% 로 분할하였다. 학습 데이터는 모델 학습에 활용되며, 검증 데이터는 hyper parameter 설정을 위한 성능 평가에 사용하였다. 평가 데이터는 최종 모델의 성능을 평가하는 데에 활용하였다. 샘플링은 목표변수(Y)의 클래스 비율을 동일하게 유지하는 층화 추출(Stratified Sampling) 기법을 적용하였다.

머신러닝 성능 평가에는 QWK를 활용하였다. 먼저 검증 데이터셋에서 QWK 값을 기준으로 하이퍼파라미터를 최적화하였으며, 이를 기반으로 평가 데이터셋에서의 최종 QWK 성능을 도출하였다. 또한, 알고리즘 학습 시간을 초(s) 단위로 측정하여 연산 속도 측면의 성능도 함께 비교하였다.

실험 결과의 안정성 및 신뢰성을 확보하기 위해 데이터 학습/검증/평가 과정을 30회 수행한 후 평균하였고, 다양한 데이터셋 환경에서 분석 모델 간 상대적 우위를 객관적으로 평가하기 위해 절대 성능 값 대신 각 데이터셋 별 순위(Rank)를 도출하여 분석하였다. 여러 데이터셋에서 알고리즘을 비교할 때 절대 성능 값보다 순위 기반 비교가 더 적절할 수 있기 때문이다(Demšar, 2006). 또한, 순서형 분류는 목표변수의 클래스 개수(Cardinality)에 크게 영향을 받으므로, 데이터셋을 저차원과 고차원 그룹으로 세분화하여 분석을 진행하였다. 이 과정에서 전체 조합 간의 통계적 유의성을 검정한 후 사후 분석을 수행한다. 사후 분석에서는 본 연구의 핵심 프레임워크인 DRM과 나머지 두 프레임워크(FH, CS) 간의 실질적인 성능 차이를 규명하고자 하였다.

다양한 클래스를 갖는 데이터를 분석하기 위해 총 12개의 공개 데이터셋을 사용하였다. 해당 데이터셋들은 주로 정량형 설명변수와 순서형 목표변수로 구성되어 있으며, 결측치는 제외한 후 정량형 설명변수 기반으로 순서형 목표 변수를 예측하는 문제를 분석 대상으로 하였다. 분석에 사용된 데이터는 주로 KEEL(Alcalá-Fdez et al., 2011), UCI Machine Learning Repository(Dua & Graff, 2017), 그리고 TOC-UCO(Triguero et al., 2015) 등 대표적인 머신러닝 벤치마크 학술 저장소를 비롯하여, 한국국민체육진흥공단(KSPO), 캐나다 정부 공개 데이터 포털(Open Government Portal) 등의 공공 데이터 및 Kaggle 플랫폼을 통해 수집하였다. 각 데이터셋의 기본 정보 및 상세 출처는 아래 Table 1에 제시하였다.

본 연구에 사용된 각 데이터셋의 원본 수집 출처 및 다운로드 경로는 다음과 같다. 데이터셋 1/4는 각각 KEEL 및 TOC-UCO 저장소에서, 데이터셋 6/8/9/10/12는 UCI 머신러닝 저장소에서, 데이터셋 2/3/5/7/11은Kaggle 공개 데이터 플랫폼을 통해 획득하였다.

thyroid 데이터셋은 KEEL 저장소에서 제공되는 자료로, 갑상선 관련 임상 데이터를 기반으로 구성되어 있다. 다양한 임상검사 결과를 설명변수로 포함하고 있으며, 목표변수는 갑상선 상태의 정도를 반영하는 1–3으로 구성된 3개의 순서형 클래스로 정의되어 있다. 다만, 해당 클래스는 임상적 의미에 기반한 범주로서, 값의 크기가 질병 상태의 정도를 일관되게 반영하지 않는다. 이에 본 연구에서는 순서형 변수의 해석 일관성 확보를 위해 클래스 수는 기존 3개 그대로 유지하되, 목표변수 값을 재정의함으로써 값이 증가할수록 상태의 정도가 증가하도록 변환하여 분석에 사용하였다. 구체적으로, 원본 자료는 1: Normal(정상), 2: Hyperthyroidism(항진증), 3: Hypothyroidism(저하증)으로 순서성이 고려되지 않은 형태였다. 본 연구에서는 호르몬 분비량이라는 연속적 지표의 양적 변화를 반영하고자, 목적변수를 ‘0: Hypothyroidism(저하증) → 1: Normal(정상) → 2: Hyperthyroidism(항진증)’의 연속적인 순서형 척도로 재정렬하여 분석에 적용하였다.

fetal 데이터셋은 산부인과 검사에서 측정된 태아 심박동 기록(Cardiotocograms, CTG)의 추출 특징을 바탕으로 태아의 건강 상태를 분류하기 위해 수집된 데이터이다. 목표변수는 정상(Normal), 의심(Suspect), 병리적 상태(Pathologic)를 나타내는 3개의 순서형 클래스로 구분된다.

pancreatic 데이터셋은 소변 바이오마커(Urinary biomarker) 패널 및 임상 정보를 활용하여 췌장암(Pancreatic cancer)을 조기에 진단하고 예측하기 위해 구축된 데이터이다. 목표변수(diagnosis)는 정상, 양성, 췌장암 등의 질병 진행도에 따라 3개의 클래스로 분류된다.

swd 데이터셋은 TOC-UCO 저장소에서 제공되는 사회복지 분야 자료이다. 여러 사회/경제적 특성을 나타내는 변수들을 설명변수로 포함하고 있다. 목표변수는 각 사례에 대해 부여된 위험 수준(Risk level)을 반영한 2–5의 4개 순서형 클래스로 구성된다.

body 데이터셋은 한국국민체육진흥공단(KSPO)에서 측정 및 관리하는 국민 체력측정 항목별 결과(연령, 신장, 체중, 체지방률 등)를 담고 있는 공공 데이터이다. 목표변수는 체력 수준 및 등급을 나타내는 4개의 순서형 클래스로 구분된다.

cirrhosis 데이터셋은 원발성 담즙성 경화증(Primary Biliary Cirrhosis) 환자들의 임상 기록 및 생존 분석을 위해 수집된 의료 데이터이다. 목표변수는 질병의 진행 심각도를 나타내는 4개의 클래스로 구성된다.

eucalyptus 데이터셋은 척박한 토양 환경을 보존하기 위해 다양한 유칼립투스의 생장 특성과 생존력을 평가하여 수집된 농임업 데이터이다. 목표변수는 해당 수종의 유용성 등급을 나타내는 5개의 순서형 클래스로 이루어져 있다.

HCV 데이터셋은 환자의 혈액 검사 및 임상 수치를 바탕으로 C형 간염(HCV) 및 간 질환의 진행 상태를 예측하기 위해 수집된 의료 데이터이다. 목표변수는 정상 헌혈자부터 간염, 간경변 등 질병의 심각도를 나타내는 5개의 순서형 클래스로 구분된다.

wine_red 및 wine_white 데이터셋은 UCI Machine Learning Repository에서 제공되는 Wine Quality 데이터셋이다. 설명변수는 와인의 화학적 및 물리적 특성과 관련된 다양한 지표들(산도, 당도 등)로 이루어져 있으며, 목표변수는 와인의 품질을 나타내는 quality 점수이다. 이 점수는 이론적으로 0–10 범위의 순서형 척도로 정의되나, wine_red 실제 데이터에서는 3–8 범위의 6개 클래스가 존재하며, wine_white 실제 데이터는 3-9 범위의 7개 클래스가 관측된다.

smog 데이터셋은 캐나다 정부에서 제공되는 차량 배출가스 관련 공개 데이터를 기반으로 하며, 본 연구에서는 Kaggle에 공개된 데이터를 활용하였다. 해당 데이터는 차량의 이산화탄소 배출량, 연료 소비량 등 배출가스 관련 지표를 설명변수로 포함하고 있다. 목표변수는 Smog Rating으로 정의되며, 이론적으로 1–10 범위의 순서형 등급을 갖지만 실제 데이터에서는 1, 2, 3, 5, 6, 7, 8의 총 7개 클래스가 관측된다. 분석에는 정량형 설명변수를 중심으로 사용하였으며, 목표변수 중복과 데이터 누출(Data Leakage) 방지를 고려하여 CO₂ Rating 변수는 제외하였다.

obesity 데이터셋은 멕시코, 페루, 콜롬비아 지역 개인들의 식습관 및 신체 상태 정보를 바탕으로 비만도를 추정하기 위해 구축된 데이터이다. 목표변수는 체중 미달(Insufficient Weight)부터 정상 체중, 고도 비만(Obesity Type III)까지 체중의 상태를 나타내는 7개의 순서형 클래스로 구분된다.

분류 알고리즘은 RF, XGB, CAT를 활용하였다. 이는 해당 알고리즘들이 실무와 연구 현장에서 주를 이루는 정형데이터(Tabular Data) 분석 시, 노이즈에 대해 강건하면서도 우수한 성능을 입증하여 그 활용도가 높기 때문이다.

RF는 배깅(Bagging)으로 다수의 결정 트리(Decision Tree)를 결합해서 분산을 감소시킴으로써 안정적 예측 성능을 보여준다. 반면에 XGB, CAT은 Gradient Boosting 기반 알고리즘으로, 이전 단계에서의 예측 오차를 순차적으로 보완하는 방식으로 모형 학습이 진행된다.

각각의 알고리즘은 고유한 장점을 갖는다. RF는 hyper parameter 의 민감도가 낮고 안정적인 성능이 나타나며, XGB, CAT은 높은 예측 성능을 기대할 수 있다. 이러한 장점 덕분에 이들 알고리즘은 정형 테이블 데이터에서 널리 활용되고 있다. 본 연구에서는 각각의 순서형 분류 프레임워크에 RF, XGB, CAT 3가지 알고리즘을 적용하여 성능을 비교 분석하고자 한다.

이러한 알고리즘 간의 예측 성능 및 학습 속도 차이를 객관적으로 비교하기 위해서는 실험 환경을 일관되게 통제하여야 한다. 이에 본 연구에서의 모든 실험은 특정 PC 환경(Windows 11, AMD Ryzen 5 5600H, 24GB RAM)으로 고정하였다. 나아가 연구의 투명성과 재현성을 위해 python 3.12.10 환경에서 numpy(v2.2.2), pandas(v3.0.1), scikit-learn(v1.8.0), xgboost(v3.2.0), catboost(v1.2.9), scipy(v1.17.0), scikit_posthocs(v0.12.0), statsmodels(v0.14.6), polars(v1.38.1) 패키지 버전을 일관되게 사용하여 분석을 수행하였다.

RF, XGB, CAT 분류 알고리즘 간의 성능을 비교하고자 hyper parameter 튜닝을 수행하였다. 이를 위해 전체 데이터를 학습, 검증, 평가로 데이터를 분할하였다. 학습 데이터는 모델 학습에 사용하고, 검증 데이터는 hyper parameter 선택을 위한 기준으로 활용하였다.

각 알고리즘의 parameter 탐색은 grid search 방식으로 수행하였다. grid search는 사전 정의된 후보 집합에 대해, 가능한 조합을 순차적으로 모두 탐색하여 가장 우수한 성능을 보이는 조합을 찾는 방법이다. 이 방법은 탐색 과정이 간단하고 재현성이 높으며, 여러 parameter 조합을 안정적으로 비교할 수 있다는 장점이 있다.

최적 parameter는 검증 데이터에서의 QWK 값을 기준으로 선정하였다. 이때 알고리즘별 기본 설정(default parameter)이 grid search에서 도출된 최적 조합보다 더 안정적이고 우수한 성능을 보일 가능성을 고려하여, 설정된 grid search 외에 기본값 모델의 성능도 함께 탐색하였다. 또한, 실험의 공정성을 확보하고 특정 프레임워크에 유리한 파라미터 튜닝이 이루어지는 것을 방지하고자, RF, XGB, CAT 알고리즘에 설정된 동일한 파라미터 탐색 범위를 FH, DRM, CS 프레임워크 전체에 일관되게 적용하였다.

순서형 분류 알고리즘의 예측 성능을 평가하기 위해 QWK(Quadratic Weighted Kappa)를 평가지표로 사용하였다. QWK 는 예측값과 실제값 간의 불일치 정도를 거리 기반 가중치(quadratic weight)로 반영함으로써, 오차 크기에 따라 서로 다른 페널티를 부여하는 지표이다(Cohen, 1968).

순서형 데이터는 클래스 간 서열 정보(ordering)를 포함하고 있기 때문에, Accuracy 및 F1-score를 적용할 경우 오분류로 인한 손실 크기를 반영하지 못하는 한계가 있다. 이를 극복하기 위해 순서 데이터 평가에서는 범주 간 거리에 따라 페널티를 차등 부여하는 Weighted Cohen's Kappa가 활용된다(Um, 2013). 본 연구는 범주 간 격차의 제곱에 비례하여 벌점을 부과하는 이차형 가중치 기반의 QWK를 평가지표로 설정하였다. QWK는 오차가 커질수록 페널티를 무겁게 부여하여 치명적인 오분류를 엄격히 통제하므로, 오차의 크기가 품질 비용 및 운영 리스크와 직결되는 순서형 분류 환경에서 모델의 예측력 및 안정성을 검증하는 데 유용하다.

본 연구에서는 모델 최적화에 요구되는 실질적인 연산 비용을 포괄적으로 파악하기 위해, grid search 과정에 소요된 전체 학습 시간을 우선적으로 분석하였다. 알고리즘 학습 hyper parameter 조합은 Table 6에 제시하였으며, 프레임워크 및 알고리즘 조합에 대한 학습시간(단위: s)은 Table 7에 기술하였다.

grid search 탐색 공간(Table 6)은 연산 자원 소모와 트리 기반 앙상블 알고리즘 특성을 반영하여 설계되었다. RF는 안정적인 수렴을 위해 트리 개수(n_estimators)는 200개로 고정하였다. 데이터 변환에 따른 과적합 방지와 모델의 다양성 확보를 위해 최대 깊이(max_depth), 리프 노드 최소 샘플 수(min_samples_leaf), 무작위 변수 추출 비율(max_features)의 규제 조건을 다각화하였다.

XGB는 편향-분산 Trade-Off에 민감한 트리 개수, 최대 깊이, 학습률의 상호작용을 파악하도록 grid를 설계하였고, 데이터 확장 환경에 대응하여 서브샘플 비율(subsample)을 조합에 포함시켰다.

CAT는 Ordered Boosting 및 Oblivious 구조가 유발할 수 있는 연산량 증가를 통제하고자 했다. 알고리즘 자체의 과적합 억제력을 바탕으로 반복 횟수는 500회로 제약하되, 핵심 지표인 depth와 learning_rate 중심으로 공간을 콤팩트하게 구성하여 효율성을 도모하였다.

또한, RF, XGB, CAT 공통적으로 각 알고리즘의 기본 설정이 제공하는 검증된 성능 안정성을 활용하고자, 설정된 grid search 외에 기본값 모델의 성능도 탐색 과정에 함께 포함하였다.

분석 결과는 Table 7에 기록하였다. DRM_XGB 조합이 짧은 연산 시간을 보였다. 다만, 아래에 집계된 탐색 시간은 연구자가 설정한 parameter 크기에 종속된다. 즉, 학습 속도가 알고리즘 고유의 연산 속도보다 실험 설계에 따른 변동성을 내재하므로, 별도 통계 검정은 생략하고 각 조합 별 속도 경향성만 확인하였다. 반면, 최적화가 완료된 최종 모델의 학습 속도(Table 8)를 대상으로는 다음과 같이 4단계 계층적 검정을 수행하여 통계적 유의성을 검증하였다.