2.1 Latent Dirichlet Allocation(LDA)

토픽모델링(Topic Modeling)은 주어진 문서 집합 내에서 잠재된 토픽을 자동으로 추출하고 식별하는 텍스트 마이닝(Text Mining) 기법으로, 주로 대규모 텍스트 데이터에서 패턴을 찾아내고, 문서들이 어떤 토픽들로 구성되어 있는지 분석하는데 사용된다. 이때 토픽모델링은 두 가지 기법으로 분류된다. 먼저, 잠재 의미 분석(Latent Semantic Analysis, LSA)은 단어-문서 행렬에 특이값 분해(SVD)를 활용해 문서와 단어의 잠재적 의미 관계를 추출하는 기법으로 주로 정보 검색과 자연어 처리에 사용된다(Deerwester et al., 1990). LDA는 토픽모델링 기법 중 가장 널리 사용되는 방법으로 Blei et al.(2003)에 의해 제안되었으며, 문서 내 잠재된 토픽을 발견하고 단어별 관련성에 따라 토픽별로 단어를 구분하는 방법이다. 특히 LDA를 사용하면 대규모의 비구조화된 텍스트 데이터에 잠재되어있는 주요 토픽을 효과적으로 추출할 수 있다.

LDA는 두 가지 주요 변수인 토픽의 단어 분포와 문서의 토픽 분포를 결합하여 확률 분포를 모델링한다. 두 변수 모두 양의 실수를 요소로 가지며, 모든 요소를 더한 값이 1이 되는 사전 분포인 디리클레 분포(Dirichlet Distribution)를 따른다고 가정한다. 각 문서는 여러 토픽의 혼합으로 구성되어 있으며, 각 토픽은 특정 단어 분포를 따른다고 정의된다. 디리클레 매개변수인 α와 β는 각각 문서와 단어의 분포를 조절하는 역할을 하며, 보통 실험으로 최적의 값을 찾는다.

α는 문서별 토픽 분포에 영향을 주는 k차원 매개변수로, 각 문서별 토픽의 비율을 결정하는 역할을 한다. α값이 크면 문서가 여러 개의 토픽을 골고루 포함하기 때문에 각 문서에 다양한 토픽이 섞여 있게 된다. 반대로 α값이 작으면 문서가 소수의 토픽에 집중되는 경향이 있으므로, 각 문서가 1개 또는 소수의 주요 토픽만을 다루게 된다.

β는 토픽별 단어 분포에 영향을 주는 k × V 크기의 행렬 매개변수로, 각 토픽 별 단어 비율을 결정하는 역할을 한다. β값이 크면 각 토픽이 다양한 단어를 골고루 포함하게 되어 각 토픽 내에서 여러 단어가 고르게 나타나게 된다. 반대로 β값이 작으면 각 토픽이 소수의 단어에 집중되어 각 토픽이 특정 몇 개의 단어로 주로 표현되게 된다.

Figure 1은 LDA가 가정하는 문서 생성과정을 나타낸 것으로 각 변수와 그 상호 관계를 보여준다.

Figure 1.

Graphical model representation of LDA (Blei et al., 2003)

LDA는 단어들이 모여서 문서를 이루고, 문서들이 모여서 말뭉치를 이룬다고 가정한다. 단어, 문서, 말뭉치를 정의하면 다음과 같다.

단어(Word): 데이터의 기본 단위(the basic unit of discrete data, an item from a vocabulary)

{1, …, V}

문서(Document): N개의 단어들의 연속(a sequence of N words)

W = {w₁, w₂, ... , w_N}

말뭉치(Corpus): M개의 문서들이 모인 집합(a collection of M documents)

D = {w₁, w₂, ... , w_M}

또한 LDA는 말뭉치 D내의 각각의 문서 W가 다음과 같은 생성과정에 의해 만들어졌다고 가정한다.

1. 총 단어 개수 N ~ Poisson(ξ)를 선택한다.

2. Topic Mixture θ ~ Dir(α)를 선택한다.

3. 문서 내의 단어 w_n∈w에 대해서

a) 토픽 z_n ~ Multinomial(θ)를 선택한다.

b) 토픽 z_n이 주어졌을 때 단어 w_n은 p(w_n|z_n, β)로부터 선택한다.

LDA는 세 가지 수준(level)으로 나눌 수 있다. 먼저, 앞서 설명한 매개변수 α와 β는 말뭉치 수준의 매개변수로, 말뭉치를 생성하는 과정에서 디리클레 분포에서 한 번만 샘플링(Sampling)된다. 다음으로 k차원 디리클레 벡터 θ는 문서 수준의 변수로 문서마다 한 번씩 샘플링된다. 마지막으로 문서의 n번째 단어를 나타내는 단어변수 w_n과 w_n이 어떤 토픽으로부터 나온 것인지를 나타내는 토픽 변수 z_n은 각 문서의 각 단어마다 한 번씩 샘플링된다. 이 가정을 바탕으로 LDA는 대규모 텍스트 데이터에서 각 문서가 어떤 토픽들로 구성되어 있는지 추정한다(Blei et al., 2003).

LDA를 활용하기 전에 먼저 결정해야 하는 토픽 개수와 관련하여, Röder et al.(2015)과 Mimno et al.(2011)는 일관성(Coherence)을 사용하여 최적의 토픽 개수를 선택하는 방법을 제안하였다. 일관성 모형(Coherence Model)은 토픽의 일관성을 측정하는데, 특정 토픽 내 자주 등장하는 단어들이 실제로 의미적으로 연결되어 있다면 일관성 점수(Coherence Score)가 높게 나오며 일반적으로 일관성 점수가 높을수록 더 좋은 성능의 모형임을 의미한다.

LDA 토픽모델링은 다양한 분야에서 활용되고 있는데, Joo et al.(2024)는 네이버 카페에 작성된 다량의 게시물을 기반으로 네이버 스마트 스토어에 대한 소상공인들의 주요 반응을 제시하였고, Oh & Cheong(2022)은 설문조사와 숏폼(Short-form) 광고에 게시된 소비자의 댓글 등 다량의 텍스트 데이터를 기반으로 온라인상의 숏폼 광고의 특성을 분석하였다. 또한, Park(2021)은 Amazon.com에서 Galaxy S20 스마트폰에 대한 상품평 데이터를 기반으로 고객들이 만족한 주요한 품질 속성들을 평가하였다. 그러나 앞서 언급한 선행연구에서는 텍스트의 주제를 효과적으로 파악하는 데 중점을 두어 중요한 시사점을 제공하였지만, 해당 주제에 대한 긍정적 또는 부정적 감정은 분석하지 않아 해당 주제의 감성적인 맥락을 깊이 있게 조명하지는 못하였다.

2.2 감성분석(Sentiment Analysis)

오피니언 마이닝(Opinion mining)이라고도 불리는 감성분석(Sentiment analysis)은 텍스트에서 감성 정보를 추출하는 자연어 처리(Natural Language Processing, NLP) 기법이다. 감성분석은 주로 문서 수준, 문장 수준, 토픽 수준에서 이루어지며, 고객 리뷰에 표현된 고객의 감성을 자동으로 식별하고 분류하여 고객들의 제품이나 서비스에 대한 태도, 의견, 호감도, 감정 등을 평가한다. 이는 주로 소셜 미디어 게시물, 제품 리뷰, 고객 피드백, 기사 등에서 텍스트의 주관적인 정보를 추출하고 분석하는데 사용된다(Liu, 2012).

감성분석의 주요 방법에는 감성사전 기반 접근법, 기계 학습 기반 접근법, 딥 러닝 기반 접근법이 있는데, 특히 딥 러닝 기반 접근법은 최근 감성분석에서 가장 활발하게 사용되고 있는 기법이다. 딥 러닝 기반 접근법은 순환 신경망(RNN), 장단기 메모리(LSTM), 게이트 순환 유닛(GRU) 등의 모델과 BERT(Bidirectional Encoder Representations from Transformers)와 같은 인공 신경망을 사용하여 문맥을 이해하고 감정을 분석하는 방법으로, 특히 복잡한 문맥과 비유적 표현을 처리하는 데 강점을 갖고 있기 때문에 최근에 가장 널리 사용되는 감성분석 기법이다(Young et al., 2018). 종합 IT 기업 Google에서 개발한 BERT는 문맥을 단방향으로 이해하는 다른 기법들과 달리 문맥을 양방향에서 이해하여 단어가 문장 내에서 가지는 의미를 더 정확하게 이해하는 강점을 가지고 있어 정확한 감성분석이 가능하여 널리 사용되고 있는 딥 러닝 기법이다(Devlin et al., 2019).

그러나 BERT는 주로 영어를 기반으로 학습된 모델이기 때문에 한국어와 같은 비영어권 텍스트 데이터의 특성을 반영하여 분석하는데 한계가 존재한다. 이를 해결하기 위해 한국의 통신 기업 SK텔레콤에서 한국어에 특화된 BERT 모델인 KoBERT(Korean Bidirectional Encoder Representations from Transformers)를 개발하였다. KoBERT는 뉴스나 위키피디아 등에서 수집한 수백만 개의 한국어 문장으로 구성된 대규모 말뭉치로 학습된 모델로 한국어의 불규칙한 언어 변화의 특성을 반영해주어 한국어 텍스트 감성분석에 널리 사용되고 있다.

한편 최근에는 LDA 기반 감성분석을 이용하여 사용자 의견을 도출하고자 하는 연구들이 진행되고 있다. Cui & Jung(2023)은 LDA를 활용하여 미국 소매업체 사이트의 고객 리뷰에서 고객 요구사항을 추출하고, 감성분석을 통해 러닝화 개발을 위한 지침을 제시하였다. Lee & Moon(2024)은 ‘XIAOMI’ 키워드를 기반으로 다양한 웹사이트에서 데이터를 수집하고, 감성분석을 통해 샤오미에 대한 소비자의 인식을 파악하였다. 또한, Hong et al.(2018)은 ‘TripAdvisor’에서 전 세계 주요 관광지의 호텔 리뷰 데이터를 수집하고, 고객의 주요 감성을 파악하고, 서비스 개선을 위한 전략적 통찰을 제공하였다. 그러나 이들 기존연구에서는 고객 요구사항을 주관적으로 평가한다는 한계가 있다. 본 연구에서는 PCSI Index 모형을 활용하여 고객 만족도를 정량화함으로써 객관적이고 신뢰성 있는 분석을 제시하고자 한다.

3.1 LDA

3.1.2 데이터 전처리

수집한 데이터를 바탕으로 전처리 과정을 수행하였다. Konlpy와 Pykospacing 패키지를 사용하여 데이터 정규화, 띄어쓰기 교정, 토큰화, 불용어 제거 및 명사 추출 과정을 통해 텍스트 데이터를 정제하고 가공하였다. 분석 결과는 워드 클라우드(Word Cloud)로 시각화하여 주요 키워드와 그 빈도를 시각적으로 명확히 나타내었다.

워드 클라우드를 통해 ‘Nike Run Club’의 리뷰(Figure 2)에서는 ‘로그인’, ‘기록’, ‘어플’, ‘오류’, ‘계속’, ‘사용’ 등의 단어가 가장 많이 사용되었음을 확인할 수 있었으며, ‘Runday’의 리뷰(Figure 3)에서는 ‘달리기’, ‘운동’, ‘어플’, ‘기록’ 등의 단어가 가장 많이 사용되었음을 확인할 수 있었다.

Figure 2.

‘Nike Run Club’ Word Cloud

Figure 3.

‘Runday’ Word Cloud

3.1.3 LDA 기반 토픽 추출

토픽 개수를 선정하기 위해 일관성 모형(Coherence Model)을 사용하여 토픽 최적화를 진행하였다. 이는 토픽이 얼마나 일관성이 있는지 판단하고자 하는 모델이고, 값이 크게 나타날수록 의미론적 일관성이 높게 나타난다는 것을 의미한다. LDA 모델에서 반복 횟수를 100으로 두었을 때 일관성 점수는 Figure 4와 같고, 일관성 점수가 최대인 0.57에 대응하는 파라미터 값은 α = 0.05, β = 0.01, K = 4이었다. 따라서 토픽 개수가 4개일 때 의미론적 일관성이 높게 나타난다고 판단하여 토픽 개수를 4개로 설정하였다.

Figure 4.

Coherence Chart

3.1.4 토픽모델링 결과 시각화(LDAvis)

LDAvis는 LDA 모델의 학습 결과를 시각적으로 해석하기 위한 라이브러리로, Sievert & Shirley(2014)는 토픽에 대해서와 토픽이 서로 어떻게 다른지에 대한 전체적인 관점을 제공하는 동시에 각 개별 토픽과 가장 연관성이 높은 용어를 심층적으로 분석할 수 있도록 LDAvis 모델을 제안하였다.

위 Figure 5는 LDA 결과를 LDAvis로 시각화한 자료로 토픽 모델의 전체적인 관점을 제시하며 각 토픽 간의 유사도와 각 토픽이 말뭉치 중 얼마만큼을 차지하는지 원의 크기를 통해 상대 크기를 나타낸다(Sievert and Shirley, 2014). 이때 각 원에 해당하는 토픽은 Table 1과 같다. 토픽 1과 3은 가까운 위치에 있어 앱 자체에 대한 유사한 특성을 공유하고 있으나 각 토픽은 앱의 기술적 오류와 기능 및 호환성이라는 서로 다른 범주로 구분될 수 있어 분류하여 연구를 진행하였다. 반면, 토픽 2와 4는 러닝과 관련된 특성을 보이므로 서로 떨어져 있다.

Figure 5.

Visualization of the results of topic modeling

Table 1.

Results of topic modeling

3.2 감성분석

3.2.2 학습

감성분석은 선행연구에서 언급했던 한국어 기반 성능이 좋은 KoBERT 모델을 사용하였다. 학습 시 사용한 하이퍼 파라미터는 아래 Table 2와 같다. 하이퍼 파라미터는 사용자가 직접 지정하는 초매개변수로, 특히 epoche의 경우는 early stopping 기능을 추가해 정확도가 2번 연속 개선되지 않을 경우 멈추도록 설정하였다. 수집한 리뷰 데이터를 사전 학습된 모델을 이용해 파인 튜닝하여 학습한 결과, 본 연구에서 정확도는 92.4%, 정밀도는 91.8%, 재현율은 92.4%, F1-score는 91.4%를 기록하였다.

Table 2.

Hyperparameters used in training the KoBERT model

3.2.3 감성분석 결과

위 토픽모델링 결과를 중심으로 감성분석을 진행한 결과, 아래 Table 3, Table 4와 같은 결과가 나왔다. 감성 점수는 5점 척도로 (해당 토픽 내 부정 리뷰 비율 x 0) + (해당 토픽 내 중립 리뷰 비율 x 2.5) + (해당 토픽 내 긍정 리뷰 비율 x 5)의 방식으로 도출해냈다.

Table 3.

‘Nike Run Club’ Sentiment score

Table 4.

‘Runday’ Sentiment score

전반적으로 ‘Nike Run Club’의 감성점수가 ‘Runday’의 감성점수보다 뒤쳐지고 있지만, 특히 Topic2(운동기능)와 Topic4(초보자)에서 감성점수가 현저히(1점 이상) 더 낮은 모습을 보이고 있다. 또한 ‘Nike Run Club’과 ‘Runday’에서 공통적으로 Topic1(오류(앱안정성))과 Topic3(앱 기능/호환성)에서 감성점수가 매우 낮은 모습을 보이고 있다.

4.1 카노 모델(Kano Model)

본 연구에서는 ‘Runday’와 ‘Nike Run Club’의 구글 플레이스토어 리뷰에 대해 LDA 토픽모델링을 진행한 후, 토픽별로 주로 언급된 주요 고객 요구사항을 브레인스토밍하여 Table 5와 같이 8개의 품질 요구사항으로 선정하였다.

Table 5.

Customer requirements for running application

이후 품질 요소들을 분류하기 위해 Kano(1984)가 제안한 설문조사지법을 사용하였다. 설문의 모든 문항은 긍정적, 부정적 질문을 짝으로 하여 조사하였다. 품질 요소에 대한 긍정적, 부정적 질문에 대한 답변은 다음의 평가 이원표를 고려하여 해석할 수 있다. Table 6은 러닝 애플리케이션의 로그인 기능에 대한 설문지 조사 방법의 예이다.

Table 6.

Kano survey method

고객 요구사항에 대한 긍정적 질문과 부정적 질문의 대답은 Table 7과 같은 평가 이원표에 의해 해석할 수 있다. 최종 품질특성은 설문조사 결과를 통해 가장 많은 응답을 해당 품질 요구사항의 품질특성으로 정의한다(Kano et al., 1984).

Table 7.

Kano evaluation two-dimensional matrix (Nam et al., 2023)

본 설문조사는 ‘Runday’, ‘Nike Run Club’, ‘러너블’ 등 러닝 앱을 사용해본 경험이 있는 한국어 사용자 109명을 대상으로 설문을 실시하였다. 설문 결과 ‘로그인'은 109명의 응답자 가운데 58명이 당연적 품질로 가장 많은 답변이 되었음으로 당연적 품질이 된다.

이러한 방식으로 109개의 응답을 분석한 결과, 당연적 품질은 ‘로그인’, ‘튕김’, ‘기록저장’, 일원적 품질은 ‘GPS’, ‘스마트워치’, 매력적인 품질은 ‘챌린지’, ‘맞춤형 훈련 프로그램’, 무관심한 품질은 ‘트레이너’로 분류되었다.

8개의 품질 요구사항 중 당연적 품질로 선정된 항목을 보면, 로그인, 튕김 현상 등 앱 안정성과 관련된 오류에 해당한다. 일원적 품질은 실제 달리기를 할 때 영향을 줄 수 있는 GPS와 스마트 워치 연동성이 포함되었다. 매력적인 품질은 러닝 앱의 기본적인 기능 외에 챌린지, 맞춤형 훈련 프로그램과 같이 부가적인 기능들이 선택되었으며, 운동 중 음성으로 도움을 주는 트레이너 기능은 무관심 품질로 분류되었다.

카노의 품질특성에 대한 이원적 분석은 동일한 품질인식에서 갖는 차이를 구분할 수 있는 방법이 부족했다. 이를 해결하기 위해, 고객이 제품이나 서비스를 접했을 때 고객의 만족 정도가 어느 정도 올라갈 수 있고, 제품의 상태가 불만족 되었을 때 어디까지 떨어질 수 있는지를 파악한 계수인 고객만족계수를 사용하였다(Lim and Park, 2010). 고객만족계수에서 만족 및 불만족의 영향정도를 산출하기 위해 카노 품질분석을 통해 파악한 매력적, 일원적, 당연적, 무관심 품질의 설문 결과를 사용하였다.

물리적 내용이 충족되었을 때 만족의 크기에 영향을 미치는 매력적 품질과 일원적 품질을 더하고 이를 고객의 품질형태에 많은 영향을 미치는 매력적, 일원적, 당연적, 무관심 품질을 합한 값으로 나누어 정규화하였다. 불만족계수를 산정하기 위해서는 만족계수와 분모는 동일하게 사용하고 불만족에 영향을 미치는 일원적 품질과 당연적 품질의 합을 분자로 계산한 후 음의 값을 취한 값으로 불만족계수를 계산하였다. 이를 식으로 나타내면 다음과 같다. A는 매력적 품질로 응답한 수, O는 일원적 품질로 응답한 수, M은 당연적 품질로 응답한 수, I는 무관심 품질로 응답한 수를 나타낸다. 만족계수의 범위는 0에서부터 1까지이고, 불만족계수의 범위는 –1에서 0까지이다(Timko, 1993).

4.2 잠재적 고객만족 개선 지수(PCSI Index 모형)

PCSI Index는 현재의 만족위치(P)에서 만족계수(S)까지의 거리를 나타낸다. PCSI Index를 구하는 과정은 다음과 같다. P는 현재의 만족 위치, S는 만족계수, D는 불만족계수, L은 현재의 만족수준, Max는 현재 만족도 수준의 설문 척도 중 가장 큰 값, Min은 현재 만족도 수준의 설문 척도 중 가장 작은 값을 나타낸다. 5점 척도로 현재의 만족도를 조사했기에, Max는 5, Min은 1이 된다. 식(3)은 만족 위치를 파악하기 위한 식으로, 이 값은 만족계수와 불만족계수에서 현재의 만족 위치를 파악한 값이다. 현재 만족 위치에서 만족계수까지의 차이만큼을 개선의 여지로 볼 수 있는 데, 이를 표현하면 식(4)와 같다(Lim and Park, 2010).

본 연구에서의 품질특성 및 만족, 불만족계수 값, PCSI Index값을 한 번에 나타내었을 때 Table 8과 같다.

Table 8.

PCSI Index result

PCSI Index값을 토대로 품질 요인의 우선순위를 나타낼 수 있는데, ‘스마트워치’, ‘기록저장’, ‘GPS’, ‘튕김’, ‘맞춤형 훈련 프로그램’, ‘로그인’, ‘챌린지’, ‘트레이너’ 순으로 나타남을 확인할 수 있다.

가장 마지막에 위치한 ‘트레이너’ 요인의 경우 무관심 품질특성을 갖고 있고, 상위 4개의 요인을 살펴보면 일원적 품질과 당연적 품질이 각각 2개씩으로 나타난다. ‘스마트워치’, ‘기록저장’, ‘GPS’, ‘튕김’은 일원적, 당연적 품질특성에 해당하지만 고객의 요구하는 바를 충족하였을 때, 만족도의 향상 폭이 크게 나타난다 볼 수 있다.