바이오및뇌공학과 예종철 교수 연구팀이 딥 러닝 기반 이미지 복원 과정의 수학적 원리를 규명하고, 이미지 복원 기술의 정확도를 향상하였다. 이번 연구는 지난 4월 26일 <사이암 저널 온 이미징 사이언스(SIAM Journal on Imaging Sciences)> 온라인판에 게재되었다.

이미지 복원에 사용되는 딥 러닝 기술

 최근 딥 러닝이 각광받으며 의료 영상 분야에서도 딥 러닝 기반 기술 개발이 주요 흐름으로 자리 잡았다. 특히 의료 영상의 노이즈*를 제거하고 화질을 개선하는 등의 이미지 복원 작업에 딥 러닝을 사용하는 방식이 주목받았지만, 딥 러닝이 어떤 방식으로 이미지를 복원하는지 설명할 수 없었다. 이미지 처리에 주로 사용되는 딥 러닝 기술은 합성 곱 신경망(Convolutional Neural Network, CNN)이다. 합성 곱 신경망에서 입력된 이미지는 풀링 레이어(Pooling Layer), 컨볼루션 레이어(Convolution Layer) 등의 여러 단계를 거쳐 변환된다. 그러나 기존에는 이러한 과정이 왜 필요하고, 각각의 단계가 어떠한 영향을 미쳐서 이미지를 복원하는지를 설명하지 못했다. 보정 작업을 거치더라도 원본에 없던 암세포를 만들어서는 안 되기 때문에, 의료 영상은 반드시 100%의 신뢰도를 보여야 한다. 따라서 구체적인 작용 과정이 알려지지 않은 딥 러닝 기반 이미지 복원 기술에 대한 비판이 지속적으로 제기되어 왔다.

계산 복잡해 사용 어려웠던 기존 이론

 연구팀은 수학적 원리에 기반한 이미지 복원 방법과 딥 러닝 기반 이미지 복원 기술이 본질적으로 같다는 사실을 발견했다. 이미지를 구성하는 데이터는 하나의 행렬로 표현될 수 있다. 기존의 이미지 복원 이론에서는 데이터를 반복 나열하여 행렬의 행과 열이 늘어난 고차원 공간의 행렬로 변환한다. 이 고차원 공간의 데이터들은 저차원의 행렬 구조를 가짐을 수학적으로 증명할 수 있는데, 이때 노이즈는 원래 이미지에 포함되지 않는 데이터이므로 저차원 행렬 구조에 포함되지 않는다. 어떤 행렬 구조는 기저 함수**의 선형 결합을 통해 표현될 수 있으므로, 저차원 행렬 구조의 기저 함수만 파악하면 노이즈를 제거할 수 있다. 하지만 저차원 행렬 구조의 기저 함수를 찾기 위한 과정이 매우 복잡해 이 방법은 실제로 사용하기에 적합하지 않다.

수학적인 복원 과정에 대응됨을 증명

 합성 곱 신경망은 수학적 원리에 기반한 이미지 복원과 같은 원리를 사용한다. 연구팀은 합성 곱 신경망의 풀링 레이어가 데이터 행렬을 고차원 공간의 행렬로 변환하는 과정에 대응되고, 컨볼루션 레이어가 기저 함수를 찾는 과정을 수행함을 수학적으로 증명하였다. 이 결과를 활용하면 합성 곱 신경망이 더 원활하게 작동할 수 있는 조건을 예측할 수 있다. 데이터 행렬은 항상 저차원 행렬 구조를 이루지는 않으며, 이는 입력된 이미지에 따라 달라지므로 이미지 복원을 하기 전에 데이터들이 저차원 행렬 구조를 이룰 수 있도록 미리 이미지를 조작하거나, 데이터를 변환하는 과정에서 정보가 손실되지 않도록 풀링 과정을 바꾸어 줄 수 있다.

 이번 연구는 딥 러닝 기반 이미지 복원 과정이 수학적 복원 이론의 발전된 형태임을 밝혀냈다는 의의가 있다. 또한, 인공지능이 최적의 성능을 나타내기 위한 조건을 알아낼 수도 있어 실용성도 크다. 예 교수는 “딥 러닝 기반 기술이 수학적인 이론에 바탕을 두고 확장되었다는 사실을 밝혀 이미지 복원 기술의 신뢰성을 확보하였다”고 이번 연구의 의의를 밝혔다. 

노이즈*

전자공학이나 기계제어 분야에서 기계 동작을 방해하는 전기 신호.

기저 함수**

벡터 공간 내에서 선형 독립이며 전체 벡터 공간을 생성할 수 있는 원소의 집합을 이루는 함수.