우리 학교 AI대학원 최재식 교수(설명가능 인공지능연구센터장) 연구팀이 심층 학습(이하 딥러닝) 생성 모델의 오류 수정 기술을 개발했다. AI대학원의 알리 투씨(Ali Tousi), 정해동 연구원이 공동 제1 저자로 참여한 이번 연구는 지난 6월 23일 ‘국제 컴퓨터 비전 및 패턴인식 학술대회(IEEE Conference on Computer Vision and Pattern Recognition, CVPR)’에서 발표됐다. 

CAM 적용된 오류 유닛 제거 기술
    이 연구는 딥러닝 기반(신경망 기반)의 생성모델 내부에서 오류를 유발하는 유닛을 찾아서 제거하여 수정할 수 있는 기술개발을 목표로 하였다. 연구팀이 유닛의 문제를 찾기 위해서 사용한 것은 CAM(Class Activation Map)이라는 설명가능인공지능 기술이다. 연구팀이 만든 정상/이상 레이블을 기반으로, 정상/이상을 판별하는 딥러닝 모델을 학습했다. 여기에 CAM을 적용하여 레이블이 없이도 어느 부분이 결함 생성인지 알아냈다. 그 위치 정보를 토대로, 활성도가 많이 겹치는 생성 모델의 내부 유닛이 결함 생성을 유발했을 것으로 생각하고, 여러 계층에서 그런 유닛을 찾아서 활성화하지 않도록 기술을 개발하였다. 수리 성능은 매사추세츠 공과대학(MIT)이 보유한 수리 기술 대비 FID(Frechlet Inception Distance)점수가 10점 정도 감소했으며, 사용자 평가에서 시험 이미지 그룹의 약 50%가 결함이 제거됐고, 약 90%에서 품질이 개선됐다는 결과를 얻었다. 

오류의 종류와 판단 기술의 정립 및 앞으로의 연구 가능성
    최 교수는 생성모델의 오류(시각적 결함이 포함된 생성 이미지)가 주관적인 기준으로 판단될 수 있기 때문에 객관화를 위한 기준을 세우는 과정에 많은 어려움이 있었다고 밝혔다. 이를 해결하기 위해 연구팀에서는 많은 생성 이미지를 관찰하고 오류에 대한 의견을 공유하며, 오류의 종류와 판단 기준을 정립하였다. 또한, 연구팀은 이번 기술의 보완해야할 점 두 가지를 언급하였다. 하나는 안경을 포함한 생성 이미지의 오류이고, 다른 하나는 본래 이미지가 유지되지 않고 그럴듯한 이미지로 바뀌는 오류이다. 이에 최 교수는 “연구팀에서는 생성모델의 생성 오류를 창의적인 생성(Creative generation) 과정 중 실패한 것으로 간주하고, 이를 유발하는 유닛(뉴런)을 조절하여 생성의 다양성 확보와 성능을 증가시키는 기술에 대한 심층 연구를 계획 중”이라고 말했다. 더 나아가, “MIT의 연구 Gan Dissection에 보면, 어려운 이미지는 판별기를 통과하는 것이 어렵기 때문에 아예 생성을 포기하는 경우가 많다는 이야기가 있지만, 연구팀은 새로운 이미지와 객체를 더 생성해 보기로 앞으로의 연구방향을 정할 것.”이라며 앞으로의 연구계획 및 포부를 밝혔다.

앞으로의 응용과 필요성
    이러한 생성 오류 수리 기술은 신경망 모델의 재학습을 요구하지 않으며 모델 구조에 대한 의존성이 적어, 다양한 적대적 생성 신경망에 폭넓게 응용 및 적용될 수 있을 것으로 기대된다. 최 교수는 마지막으로 “최근 딥러닝 기반의 생성모델이 이미지 생성 분야에서 좋은 성능을 보이는 중이지만, 최신 기술이 적용된 생성모델도 여전히 결함이 있는 결과를 만드는 경우가 많다.”고 밝혔다. 이에 덧붙여, 생성모델이 국방, 의료, 제조 등 중요한 작업에 활용되기 위해 딥러닝 모델의 내부에서 발생하는 오류를 탐지하고 수정할 수 있는 기술의 필요성을 강조하였다.