Kim et al. (2021)은 경기도 광역버스 승객 수를 예측하기 위해 DNN (Deep Neural Network)과 RNN (Recurrent Neural Network)을 활용하였으며, RNN이 DNN 보다 더 높은 예측 정확도인 91.03%를 기록했다. 이는 시간의 흐름에 따른 예측에서 RNN의 우수성을 입증하며, 버스 수요 예측의 신뢰성을 높이는 데 기여할 수 있음을 보여주었다. Baek (2021)은 스마트카드 데이터를 기반으로 버스 승객 수를 예측하고, 딥러닝 기법을 통해 다양한 건물 용도와 시간적 요인을 고려한 예측 모델을 개발했다. 연구 결과, 출퇴근 피크 시간에 버스 승객 수가 많아지는 경향이 나타났으며, 이는 버스 운영에 실질적인 시사점을 제공했다. McSharry and Paul (2021)은 Lagos 지역의 BRT (Bus Rapid Transit) 시스템의 수요를 분석하고, 요일 및 시간대에 따른 수요 패턴을 세분화했다. 이 연구에서는 월요일과 금요일에 가장 높은 수요를 보였으며, 조건부 평균 예측 모델을 통해 버스 대기 시간을80%까지 단축할 수 있는 방안을 제시했다. Thiagarajan and Kumar (2021)은 DBSCAN (Density-Based Spatial Clustering of Applications with Noise)과 SARIMA (Seasonal Autoregressive Integrated Moving Average) 알고리즘을 활용하여 버스 도착 시간과 버스 승객 수를 예측했다. SARIMA 모델은 GMM (Gaussian Mixture Model)과 ARIMA (Autoregressive Integrated Moving Average)의 하이브리드 모델보다 높은 정확도를 기록하며, 버스 운영 개선의 가능성을 시사했다. Rui et al. (2015)은 IMM (Interactive Multiple Model) 기법을 사용하여 단기 버스 승객 수 예측 모델을 제안했다. IMM은 다양한 환경 데이터를 통합하여 급격한 수요 변화에도 높은 예측 정확도를 보였으며, ARIMA와의 결합 접근법이 실효성을 입증했다. Montero-Lamas et al. (2024)은 GIS (Geographic Information System) 데이터를 활용하여A Coruña 지역의 버스 승객 수를 예측했다. 분석 결과, 병원과 대학이 버스 승객 수에 가장 큰 영향을 미친 것으로 나타났으며, 이는 버스 운영 전략 수립에 중요한 기초 자료로 작용할 수 있음을 시사했다. Khalesian et al. (2024)은 리옹 지역의 GPS (Global Positioning System) 데이터를 기반으로 딥러닝을 활용한 버스 승객 수 예측 모델을 제안했다. LSTM에 대한 최적화된 조정을 통해 예측 정확도를 19.23% 향상시켰으며, 이는 버스 운영의 효율성을 증대시키는 데 기여할 수 있음을 보여주었다.

본 연구는 부산 빅데이터 혁신 센터의 산업 요인, 인구, 교통 데이터를 중심으로, 지역 특성에 최적화된 예측 모델을 제안한다. 또한 예측 모델을 구축하면서 설명변수들에서 발생하는 다중공선성 문제를 확인하고 이를 해결하고자 한다. 다중공선성 문제 해결을 위해 Altman and Krzywinski (2015)는 VIF (Variance Inflation Factor) 검사 및 주성분 분석의 활용을 강조하였다. Montero-Lamas et al. (2024)는 설명 변수들 간 상관관계 분석을 진행하였고, Kim and Kim (2021)은 VIF 검사를 통해 설명 변수들 간 다중공선성을 검사하였다. 본 연구에서도 VIF 검사와 상관 관계 분석을 통해 다중공선성을 확인하고, 이를 해결하기 위해 주성분 분석을 적용한다. 이러한 다중공선성 해결 방안들을 버스 승객 수 예측 모델링에 적용한 사례는 존재하지 않는다. 본 연구에서는 버스 승객 수 예측모델링에서 존재하는 다중공선성을 해결하는 사례를 최초로 제시한다. Chan et al. (2022)은 머신러닝과 변수 선택법이 다중공선성을 줄이는 경우를 설명하며, De Veaux and Ungar (2000)는 신경망이 변수 간 상관관계를 효과적으로 처리한다고 제안했다. 따라서 본 연구에서는 주성분 분석, 다중회귀분석, 머신러닝(GBDT(Gradient Boosted Decision Trees): LightGBM (Light Gradient Boosting Machine), XGBoost (Extreme Gradient Boosting), CatBoost (Categorical Boosting), RF(Random Forest)), 딥러닝(MLP (Multi-Layer Perceptron), LSTM (Long Short-Term Memory)) 및 변수 선택법을 고려하여 상관관계가 높은 데이터에서 다중공선성을 효과적으로 제어하며 버스 승객 수 예측 성능을 향상시킬 수 있는 방법을 제안한다.

주성분 분석은 다중공선성 문제를 해결하고 예측 변수들의 수를 줄이는 통계적 방법으로, 상관관계가 없는 주성분(PC(Principal Component))들을 추출한다(Saikat & Yan, 2008). 주성분들은 원래 변수들의 선형 결합으로 데이터의 분산을 최대한 설명하며, 공분산 행렬 계산, 고유값 분해, 주성분 선택, 주성분 계산의 네 단계로 진행된다(Greenacre et al., 2022). PCR은 주성분들을 설명 변수로 고려하는 다중회귀분석으로, 다중공선성 문제를 극복하며 고차원 데이터에서도 안정적인 예측이 가능하다(Chen & Ma, 2015; Agarwal et al., 2023).

GBDT는 약한 학습기를 다수 결합해 강력한 예측 모델을 형성하는 앙상블 기법으로, CatBoost, XGBoost, LightGBM이 있다. CatBoost는 범주형 데이터 처리에 특화된 앙상블 모델로, Prokhorenkova et al. (2017)의 연구에 따르면, TS (Target Statistics)를 활용하여 범주형 특성을 자동으로 평가하고Target Leakage를 방지할 수 있다. XGBoost는 병렬 처리를 지원하며 메모리 사용을 최적화해 빠른 처리 속도와 높은 확장성을 제공한다(Chen & Guestrin, 2016). 또한, 정보 이득(Information Gain)을 기준으로 최적의 분할을 찾아 트리를 성장시키는 방식으로 성능을 향상시킨다. LightGBM은 대용량 데이터를 효율적으로 처리하기 위해 설계된 알고리즘으로, Ke et al. (2017)의 연구에 따르면, GOSS (Gradient-based One-Side Sampling)와 EFB (Exclusive Feature Bundling) 알고리즘을 통해 학습 속도를 개선하고, 리프 중심(tree-leaf-wise) 방식으로 트리를 성장시킨다. 이러한GBDT 알고리즘들은 범주형 및 수치형 데이터에 효과적으로 적용되며, 과적합 방지 및 학습 속도 개선을 위한 다양한 기술을 도입하여 우수한 성능을 보여준다. RF는Bagging 기반의 앙상블 트리 알고리즘으로, 데이터 샘플을 무작위로 선택해 여러 개의 의사결정 트리를 학습한 뒤, 각 트리의 예측값을 평균하여 최종 결과를 도출한다(Breiman, 2001).

MLP는 비선형 활성화 함수를 사용하는 다층 구조로, 복잡한 패턴을 학습할 수 있다(Popescu et al., 2009). 역전파 알고리즘을 통해 오차를 최소화하며, 이미지 분류와 음성 인식 등 다양한 분야에서 활용된다. LSTM은RNN의 기울기 소실 문제를 해결한 구조로, 메모리 셀과 게이트를 통해 장기 의존성을 효과적으로 처리한다(Hochreiter & Schmidhuber, 1997). 이를 통해 시계열 데이터의 예측 정확도를 향상시킬 수 있다.

본 연구는 부산 빅데이터 혁신 센터의 데이터(Busan Big Data Innovation Center, 2022)를 활용하여 2022년 1월부터 12월까지의 산업 요인, 교통, 인구 데이터를 고려한다. 버스 승객 데이터는 정류장 별로 수집하였고, 산업 요인 통계는 지역구 종사자 수와 사업체 수를 확보하였다. 인구 데이터는 국가통계포털(KOSIS, 2022)과 부산 빅데이터 혁신 센터의 유동인구 데이터를 사용하였다. Table 1은 본 연구에서 사용된 데이터 변수들을 보여주고 우리는 교통, 인구 및 산업 요인, 지역, 시계열 변수를 고려하여 버스 승객 수를 예측한다. 전체 데이터는 부산의 15개구와 1개군의 1년간 한달마다 수집된 데이터로 192(12월 데이터 16구/군)개이며, 설명 변수들의 개수는 49이다. 구와 군에 대한 자세한 설명은 Table 1에 기술되어 있다. 데이터는 인구 및 지역별 산업 요인 변수들은 월마다 변화되는 값들을 가진 시계열 수치형 변수이며 지역 면적, 버스 노선 수와 같은 시계열 데이터는 시간에 따라 크게 변화하지는 않지만 중요한 시계열 정보가 있을 수 있음으로 그대로 사용하였으며, 지역명 변수는 인코딩을 사용하여 비시계열 수치형으로 변환하여 사용하였다.

상관관계 분석 결과, 부산의 관광 특성에 따라 버스 승객 수는 휴가철에 증가하였다. 하지만 이러한 특징을 반영하여 휴가철과 비휴가철을 나누어 두 그룹으로 분석한 결과, 두 그룹에서의 상관관계 분석 결과는 큰 차이가 존재하지 않았고 산업별 상관관계의 순위는 동일하였다. 또한, 분석 모델에 있어 두 그룹을 나누어 분석할 경우 데이터 수의 부족으로 인해 정확한 예측이 어려웠으며, 예측 정확도 역시 휴가철, 비휴가철을 합친 모델보다 좋지 않은 성능을 보였다. 따라서 본 연구에서는 휴가철과 비휴가철을 합친1년의 데이터를 사용하여 분석하였다.

산업 요인에서는 사업 시설 관리 산업 종사자 수가 가장 높은 양의 상관관계(0.557)를 보였으며, 금융업 종사자 수(0.472)와 사업체 수(0.477), 숙박업 종사자 수(0.357)와 사업체 수(0.432)와 의료업 종사자 수(0.463)와 사업체 수(0.349)가 높은 양의 상관관계를 보였다. 반면, 전기, 가스 및 수도 사업 종사자 수(0.044)와 사업체 수(-0.575), 광업 종사자 수(-0.635)와 사업체 수(-0.591), 제조업 종사자 수(-0.464)와 사업체 수(-0.302)는 음의 상관관계를 나타냈다. 인구적 측면에서는 여성 인구 수(0.241)가 버스 승객 수와 양의 상관관계를 보였다. 교통적 특성에서는 버스 노선이 많이 지나는 지역이 버스 승객 수 또한 높은 것으로 나타났다. 세부적으로 부산진구와 중구는 금융업 및 숙박업 발달로 버스 이용률이 높았고, 강서구는 제조업 중심으로 버스 의존도가 낮았다. 결론적으로, 1차 산업(광업), 2차 산업(제조업)이 활성화된 지역은 버스 이용률이 낮았으며, 3차 산업(서비스업)이 활성화된 지리적 특성이 버스 이용률에 중요한 영향을 주는 것으로 판단되었다.

부산은 특정 지역에 주요 산업이 밀집된 특성상 다중공선성 문제가 발생할 수 있으며, 이는 상관관계 분석과 VIF 검사에서 확인되었다. 특히 유동인구 및 산업 요인에서 대부분의 설명 변수들이 0.5 이상의 높은 상관관계를 보였고, VIF 값도 대부분 30을 초과하여 심각한 다중공선성이 존재했다. 우리는 이를 해결하기 위해 예측 모델링에서 주성분 분석을 적용하고, 다중공선성에 강건한 머신러닝과 변수 선택 기법을 고려하였다.

데이터 전처리 및 예측 모델을 학습하기 위해서 파이썬을 이용하였으며, 데이터 전처리 단계에서는 지역구 명칭을 Label Encoding 기법을 사용하였다. 또한, 데이터 정규화를 통해 변수 크기 차이에 따른 영향을 줄이고, 딥러닝의 Local Minima 문제를 완화하였다. 학습 데이터는 1월~8월, 테스트 데이터는 9월~12월로 분할하였다. 주성분 분석을 적용하여 다중공선성을 제거하기 위해 Horn (1965)의 연구를 참고하여 병렬 분석을 수행하였으며, Glorfeld (1995)의 기준에 따라 95% 설명력을 확보하는 9개의 주성분들을 확인하였다.

다중회귀분석에서의 변수 선택 과정은 중요한 변수를 반복적으로 추가하는 방식인 전진 선택법, 유의성이 낮은 변수를 제거하는 후진 제거법, 추가와 제거를 병행하여 최적의 변수 조합을 찾는 Step-Wise 기법을 고려하였다. 또한 머신러닝에서는 중요도가 낮은 변수를 반복적으로 제거하며 최적의 변수 조합을 찾는 RFE (Recursive Feature Elimination)와 이를 교차 검증하여 안정성을 높인 RFECV (Recursive Feature Elimination with Cross-Validation)를 활용하였다. 딥러닝에서는 가장 예측 성능이 우수한 머신러닝의 변수 선택을 적용하였다. 추가적으로 머신러닝의 하이퍼파라미터는 파이썬 함수의 기본값을 사용하였다. 딥러닝의 하이퍼파라미터는 베이지안 최적화를 이용하여 조정하였다. 베이지안 최적화를 진행할 때는 파이썬 함수의 하이퍼파라미터 기본값을 기준으로 파라미터 범위를 지정하였다. 구체적으로 설명하면 MLP와 LSTM에 공통으로 Dropout, Learning Rate, Batch Size, Epochs, Activation을 조정하였으며, MLP의 경우 추가로 은닉층 수, 뉴런 수, 최적화 알고리즘, Two Norm 규제항을, LSTM의 경우 추가로 Sequence Length, LSTM 층 수, 뉴런 수를 각각 조정하였다. 마지막으로 LSTM에서는 지역구 수에 맞추어 Window Size를 16으로, Shift Size는 데이터 크기를 고려해 1로 조정하였다.

실험의 예측 정확도는 MSE (Mean Squared Error), RMSE (Root Mean Squared Error), MAE (Mean Absolute Error), MAPE (Mean Absolute Percentage Error)를 고려하였고 다중회귀분석에서는 R², Radj2를 추가적으로 고려하였다. Table 3은 다중회귀분석의 예측 정확도를 나타낸 표이다. 다중회귀분석에서 변수 선택법은 Radj2를 향상시키는 기준으로 선택되었다. 다중회귀분석에서 변수 선택법은 모든 변수를 사용하는 방법과 전진선택법, 후진제거법 그리고 단계별 변수 선택법을 고려하였으며 주성분 분석을 진행한 후 주성분의 변수 선택을 통한 방법을 비교 분석하였다. 주성분 선택은 95%의 설명력을 보이는 주성분 1~9 가장 좋은 예측 정확도를 보이는 주성분 1~19, 그리고 모든 주성분을 고려하였다. 원래 변수들을 단계별 변수 선택법으로 선택했을 때 Radj2가 0.881, MAPE가 약 5.78%의 예측 정확도를 보였다. PCR의 경우 주성분 19개에서 예측 정확도가 최적 성능을 보였으며 MAPE 5.75%를 기록했다. 이를 통해 변수 선택을 고려하면서 다중회귀분석 그리고 주성분 분석을 결합하는 PCR 기법은 다중공선성을 해결하며 예측 성능을 개선한 것으로 사료된다.

Table 4에서 모든 원래 변수들을 고려했을 때 XGBoost는 MAPE 4.679%, LightGBM은 MAPE 4.314% 그리고 RF는 MAPE 2.797%로 가장 우수한 성능을 보였다. 반면, CatBoost는 RFECV변수 선택법을 적용했을 때 가장 좋은 예측 성능을 보였으며, MAPE 3.146%를 기록했다. 또한 변수 선택법이 모델 성능에 미치는 영향이 모델마다 다르지만, 변수 선택법을 적용했을 때와 적용하지 않았을 때의 예측 정확도 차이는 크지 않았다. 또한 주성분 분석 적용 시GBDT와RF의 성능은 원래 변수들을 사용할 때보다 예측 성능이 하락하였다. 이러한 결과는 GBDT와RF의 예측 성능이 다중공선성에 크게 영향을 받지 않았다는 점을 시사한다.

Table 5는 딥러닝의 예측 성능을 비교한 결과를 보여준다. 모든 원래 변수들로 모델링한 경우, 시계열 분석에 특화된LSTM이 MLP보다 더 좋은 예측 성능을 보여주며, LSTM은MAPE 3.979%, MLP은MAPE 7.464%로RF의 변수 선택을 적용한 모델보다 좋은 성능을 기록했다. 그러나 두 모델 모두 주성분 분석을 적용한 결과, LSTM은PC를19개까지 고려했을 때MAPE 3.908%, MLP는RF의 변수 선택을 사용했을 때MAPE는5.876%로, 예측 성능이 크게 향상되었다. 이는 다중공선성을 제거하고 적절한 변수 선택을 적용한 것이 딥러닝 예측 성능 개선에 기여했음을 나타낸다. 결과를 종합하면, 원래 변수들을 고려한 머신러닝 기법들이 전반적으로 뛰어난 예측 성능을 보였으며, 특히RF가 가장 우수한 성능을 나타냈고 주성분과 변수 선택을 고려한 딥러닝 기법들이 예측 성능 향상을 보였다.