우리 학교 전기및전자공학부 이성주 교수 공동 연구팀이 사생활 침해 문제를 해결한 모바일 정신 건강 모니터링 시스템을 개발했다고 지난해 12월 21일 밝혔다. 
연구팀이 개발한 FedTherapist은 일종의 자연어 처리 모델로, 누적된 사용자의 음성과 텍스트를 기반으로 불안, 우울증 등 정신 건강 상태를 진단한다. 중요한 점은 연합학습(Federated Learning)을 적용하여 개인의 언어 사용 내역이 침해될 가능성을 최소화하였다는 점이다. 연합학습은 중앙 서버로 데이터를 보내지 않고 분산된 컴퓨팅 장치 내부에서 직접 학습하는 기법을 말한다. 

이번 연구는 전기및전자공학부 이 교수, 윤형준 박사과정, 이승주 석사과정, 전산학부 신재민 박사과정, 박성준 SoftlyAI 대표, 중국 칭화대학교 윤신 리우(Yunxin Liu) 교수, 그리고 미국 에모리 (Emory) 대학교 최진호 교수의 공동연구로 진행되었다.

언어 데이터를 활용한 정신 건강 진단의 한계점, 연합학습으로 해결

임상적으로 정신질환 진단은 환자와의 상담을 통한 언어 사용 분석을 활용한다. 이처럼 실시간으로 사용자의 언어 데이터를 분석하여 정신 건강을 모니터링하고자 하는 시도는 기존에 있었다. 다만 언어 데이터는 사용자의 사적인 정보를 담고 있을 수 있어, 적극적인 활용에는 여전히 어려움이 있었다. 

연구팀은 연합학습을 모니터링 시스템에 접목했다. 연합학습은 컴퓨팅 장치 각각에서 학습하도록 하여 데이터의 외부 유출 없이 학습을 가능케 한다. 기존에 중앙 서버로 수집될 수 없었던 수많은 데이터를 활용할 수 있어, 구글(Google)의 Gboard, 애플(Apple)의 Siri 등 빅테크 기업의 제품 개발 및 개선 작업에 실제로 연합학습이 활용되고 있다. 연합학습이 적용된 FedTherapist는 민감 정보인 키보드 입력값 및 음성 데이터 등 사용자의 언어 사용 내역을 바탕으로 개인정보 침해 없이 정신 건강 모니터링 인공지능 모델을 학습했다.

상황에 기반한 언어 데이터 처리 및 정신 건강 진단 

FedTherapist는 크게 두 가지의 정보, 사용자가 직접 작성한 문자 메시지 등의 키보드 입력 내용과 스마트폰 위 마이크에서 실시간으로 수집되는 사용자의 음성 데이터를 기반으로 정신건강 진단을 수행한다. 실제 인공지능 모델은 일상 대화 내용과 화자의 정신건강을 바탕으로 한 데이터세트를 기반으로 학습되었으며, 스마트폰에서 입력으로 주어지는 언어를 실시간으로 분석하여 학습된 내용을 바탕으로 사용자의 정신건강 척도를 예측한다.

더 나아가, 연구팀은 대량으로 주어지는 사용자 언어 데이터로부터 효과적인 정신건강 진단을 수행하는 방법론을 개발했다. 사용자들이 언어를 사용하는 패턴이 실생활 속 다양한 상황(Context)에 따라 다르다는 것을 고려하여, 다양한 상황에서 모니터링 성능이 어떻게 달라지는지 조사했다. 그리고 스마트폰 위에서 주어지는 현재 상황에 대한 단서를 기반으로, 인공지능 모델이 상대적으로 중요한 언어 데이터에 집중하도록 설계했다. 예를 들어, 업무 시간보다는 저녁 시간에 가족 또는 친구들과 나누는 대화에 정신건강을 모니터링 할 수 있는 단서가 많다고 인공지능 모델이 판단해, 해당 대화에 중점을 두고 분석하는 식이다. 실제로 연구팀은 모든 상황이 균일한 가중치를 지니는 것이 아니라, 특정 상황에서 생성한 언어 내역들이 정신 건강 모니터링에 더 중요하다는 사실을 밝혀냈다. 구체적으로 사용자들이 집에서 사용한 언어가 집 밖 일터 등에서 사용한 언어보다 정신 건강 감지에 큰 역할을 한다. 또, 키보드로 입력된 데이터 중에서는 카카오톡 등 메신저 앱보다 그 외의 앱에서의 언어 사용이 정신 건강 감지에 도움이 된다는 등의 사실을 관찰했다.

끝으로 신 박사과정은 “Fed-Therapist 연구는 정신과적 치료가 필요하지만 스스로 인지조차 못 한 상태로 방치되어 있는 사람들을 위해 시작되었다”라며 “4년간 연구를 진행하면서 현대인들이 정신 건강을 잘 챙기기가 너무나 어렵고, 또한 중요하다는 것을 온몸으로 느꼈다”라고 밝혔다. 그는 “교내 구성원 모두 힘들고 바쁜 하루에도 가끔은 스스로에게 눈길을 돌리면 좋겠다”라는 따뜻한 응원의 말을 남겼다.