3D영상 입체 변환 과정의 효율을 획기적으로 높인 NAKiD
상태바
3D영상 입체 변환 과정의 효율을 획기적으로 높인 NAKiD
  • 이경은 기자
  • 승인 2013.03.12 17:06
  • 댓글 0
이 기사를 공유합니다

[문화기술대학원 노준용 교수팀]배경으로부터 전경 추출, 물체의 깊이값 부여 등 기존에 수작업으로 이루어지던 부분 대폭 줄여

우리 학교 문화기술대학원 노준용 교수 연구팀이 2D 영상을 3D로 변환하는 입체 변환 효율을 3배 이상 향상한 소프트웨어 NAKiD를 개발했다. 이번 연구는 전산학과 유윙 타이 교수와 바이오및뇌공학과 정재승 교수와 공동으로 이루어졌으며, 지난해 8월 미국 LA에서 열린 컴퓨터 그래픽 및 양방향 기술 컴퍼런스 전시회 ‘시그래프 2012’에서 많은 관심을 받았다.

주목받고 있는 입체 변환 프로그램
3D 콘텐츠를 만드는 방법에는 두 가지가 있다. 한 가지 방법은 두 개의 카메라로 동시에 촬영하는 것이고, 다른 방법은 한 개의 카메라로 촬영 후 입체 변환 프로그램을 통해 입체 영상으로 만드는 방법이다. 그런데 촬영에 사용되는 스테레오 카메라는 매우 비싸고 무게도 무거워 여러 개를 동시에 사용하기 어렵다. 또 카메라 두 개의 높이를 똑같이 맞추는 작업이 까다로워서 주로 입체 변환 프로그램을 사용한다.

과정의 상당 부분이 수작업으로 진행
입체 변환 과정은 객체 분리, 깊이 정보 생성, 스테레오 렌더링의 단계로 나누어진다. 객체 분리 단계에서는 배경에서부터 상대적으로 앞에 있는 전경을 추출한다.
깊이 정보 생성 단계에서 배경과 전경에 각각 다른 깊이값을 부여하고, 물체 하나하나의 상대적인 깊이값도 부여한다. 깊이값이란 영상 내 사물들의 3차원 거리를 0에서 255사이의 숫자로 나타낸 값이며, 이 값이 높아질수록 관객과 가까운 거리에 위치한다.
스테레오 렌더링 단계에서는 같은 장면을 가지고 이전과는 다른 카메라 위치의 깊이값을 부여해 다른 위치에서 촬영한 것 같은 장면을 만든다.
예를 들어 책장을 배경으로 사람이 앉아있는 장면을 입체 변환하려면, 사람과 책장의 경계를 따서 사람과 책장에 각각 다른 깊이값을 부여한다. 그리고 사람 얼굴의 볼륨감을 표현하기 위해 신체 각 부위에 다른 깊이값을 매긴다. 이 과정을 다른 카메라 위치에서 한 번 더 반복하면 3D 영상이 탄생한다.
그런데 지금까지는 대부분의 변환과정이 수작업으로 이루어졌다. 반투명한 물체, 머리카락, 기둥 뒤로 지나가 가려졌다가 다시 나타나는 물체 등을 배경으로부터 추출해 깊이값을 부여하려면 정교한 작업이 필요하기 때문이다. 연구팀은 각 공정에서 수작업이 필요한 부분을 최대한 줄인 효율적인 반자동 입체 변환 프로그램을 개발했다.


각 단계의 효율을 높인 NAKiD
타이 교수는 최적화 기법을 이용해 정교한 작업도 반자동으로 이루어지도록 했다. 기존에는 정지된 화면에만 최적화 기법이 적용되었었다. 이를 영상에서도 사용하도록 시간을 변수로 고려해 복잡한 전경도 배경으로부터 쉽게 분리할 수 있게 되었다.
노 교수는 물체 하나하나에 상대적인 깊이값을 부여하는 과정에서의 효율을 높였다. 일반적인 깊이값을 가진 사람, 책상, 자동차 등의 모델을 만든 후, 이 모델이 장면 속 물체와 일치하도록 변형시킨다. 그리고 모델의 깊이값을 실제 장면의 깊이값에 대입하면 일일이 수작업으로 물체의 깊이값을 지정하지 않아도 된다.


관객과 작업자를 모두 배려해
NAKiD는 깊이값을 부여할 때 관객도 고려한다. 과도한 입체 영상을 구현하면 관객이 어지러움을 느낄 수 있다. 이를 최소화하기 위해 정 교수는 MRI와 임상실험을 통해 관객이 편안하게 영상을 감상할 수 있는 깊이값을 설정했다.
한편, 노 교수는 스테레오 렌더링 단계에서의 효율도 높였다. 기존에는 카메라 두 개로 찍은 장면을 연출하기 위해 한 장면의 깊이값을 설정하는 작업이 두 번 이루어졌다. 그런데 입체 영상을 만들기 위해 찍는 두 카메라 사이의 거리는 우리 몸의 두 눈 사이의 거리와 같기 때문에 상당 부분이 겹친다. 노 교수는 두 번째 영상을 만들 때 처음 작업한 영상 중 겹치는 부분을 최대한 이용함으로써 작업 효율을 늘렸다.

노 교수는 “입체 변환 기술은 다시점 무안경 3D 입체영상을 만드는 근본이 될 수 있다”라며 “다시점 무안경 입체영상을 만들려면 8시점, 16시점, 32시점의 영상을 만들어야 하는데, 많은 카메라를 가지고 직접 촬영하기보다는 카메라 한 대로 촬영한 후 입체 변환 기술을 적용하는 것이 효율적일 수 있다”라고 입체 변환 기술이 앞으로 더욱 중요해질 것이라 전망했다.


▲ (좌) 실제 촬영 장면 (우) NAKiD를 이용해 반자동으로 깊이값을 부여한 화면 /노준용 교수 제공

 


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
0 / 400
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사
이슈포토