우리 학교 바이오및뇌공학과 정기훈, 이도헌 교수 공동연구팀이 근적외선 기반 라이트필드 카메라와 인공지능기술을 융합하여 얼굴의 감정표현을 구분하는 기술을 개발했다. 

광선의 방향 정보 획득이 가능한 라이트필드 카메라
 흔히 물체를 본다고 하는 것은 물체의 정보를 얻는다는 것이다. 이때의 정보는 광선이 눈에 언제 들어왔는지(시간정보), 어디에 있는 광선이 들어왔는지(공간정보), 광선이 어느 방향으로 눈에 들어왔는지(방향정보), 광선의 색이 무엇인지(파장 정보)이다. 

 일반 카메라는 광선의 모든 방향 정보가 이미지 센서의 한 위치에 합쳐지면서 광선의 세기 정보를 얻기 때문에 방향정보를 얻을 수 없다. 하지만 일반 카메라의 이미지 센서 앞에 마이크로렌즈 어레이*를 부착한 라이트필드 카메라는 마이크로렌즈 어레이를 통해 렌즈를 통과한 빛의 방향정보를 얻을 수 있다. 즉, 일반 카메라로는 빛의 공간정보만을 얻을 수 있었지만 라이트필드 카메라는 빛의 방향정보 또한 얻을 수 있다는 것이다. 이는 라이트필드 카메라로 얻은 이미지를 통해 여러 가지 방향에서의 물체의 이미지 또한 얻을 수 있다는 것을 시사한다. 

기존의 한계점 극복과 얼굴 3차원 이미징에 최적화
 연구팀에서는 기존의 라이트필드 카메라의 단점을 극복하면서 얼굴의 3차원 이미징에 최적화된 카메라를 설계하고 제작하였다. 첫째, 기존의 라이트필드 카메라는 실내조명에 의한 그림자와 미세렌즈 사이의 광학 크로스토크**에 의해 이미지의 대비도 및 3차원 재구성의 정확도가 낮아지는 한계점이 있다. 연구팀은 마이크로렌즈 사이의 광흡수층을 제작하여 광학 크로스토크를 제거하였다. 이를 통해 영상 대비도를 기존 대비 약 2.1배 정도 향상된 획기적인 이미지를 얻을 수 있었다.

 둘째, 기존의 라이트필드 카메라는 조명 환경에 따라 3차원 재구성 정확도가 떨어지는 문제점이 있다. 이를 해결하기 위해 라이트필드 카메라에 근적외선 영역의 수직 공진형 표면 발광 레이저광원과 근적외선 대역필터를 적용하였다. 근적외선의 얼굴 표면에서의 반사 특징을 이용하여 영상을 재구성한 결과, 재구성 오류를 최대 54%까지 줄이는 성과를 달성하였다. 

 이를 통해 기존 라이트필드 카메라의 한계를 극복하고 3차원 표정 영상 재구성에 최적화된 근적외선 기반 라이트필드 카메라 개발에 성공했다. 연구팀은 개발한 카메라를 통해 피험자의 다양한 감정표정을 가진 얼굴의 3차원 재구성 이미지를 조명 환경과 관계없이 고품질로 획득할 수 있었다.

3차원 얼굴 이미징 정확도를 이용한 활용 가능성 
 획득한 3차원 얼굴 이미지로부터 기계 학습을 통해 성공적으로 표정을 구분할 수 있었고, 분류 결과의 정확도는 평균 85% 정도로 2차원 이미지를 이용했을 때보다 높은 정확도를 보였다. 연구팀이 개발한 초소형 라이트필드 카메라는 정량적으로 인간의 표정과 감정을 분석하기 위한 새로운 플랫폼으로 활용될 수 있을 것으로 기대되며 모바일 헬스케어, 현장 진단, 사회 인지, 인간-기계 상호작용 등의 분야에서 활용될 것으로 예상된다. 

 마지막으로, 제3 저자로 참여한 권재명 석사과정은 “3차원 표정 인식용 라이트필드 카메라는 다양한 분야가 융합된 연구이다. 3차원 얼굴 이미징의 구현을 위해 반도체 공정과 머신 러닝을 이용하여 획득한 3차원 이미지를 분석하였다. 이처럼 바이오 문제를 해결하는 데에 한 분야의 기술만으로 쉽게 해결되지 않고 다양한 분야의 접목이 필요한 경우들이 많다.”고 밝히며 이러한 융합 연구에 관심이 있는 학생들에게 바이오및뇌공학과를 추천하였다. 

마이크로렌즈 어레이*
수십 마이크로에서 수백 마이크로미터 정도의 직경을 가진 마이크로 렌즈를 배열로하여 만든 광학 소자.

광학 크로스토크**
한 렌즈를 통과한 빛이 다른 렌즈로부터 들어온 빛과 겹쳐 생기는 현상으로 영상이 중첩되어 촬영되는 것.