우리 학교 전기및전자공학부 유회준 교수 연구팀이 지난달 29일 사진에서 3차원 공간정보를 추출하여 물체를 인식하는 인공지능 반도체 기술을 지식재산권(IP)화했다고 밝혔다. 임동석 박사과정이 주도적으로 참여한 이번 연구에서는 유 교수가 이끄는 PIM 반도체 설계 연구센터(AI-PIM)가 개발한 5종의 인공지능 반도체 IP 중 Depth Signal Processing Unit(DSPU)의 IP를 개발했다.
 

3차원 공간정보를 이용한 물체 인식

기존의 물체 인식 인공지능 반도체는 2차원 정보를 인식하는 사진 인식 기술을 사용해왔다. 하지만 실제 물체는 3차원 구조물이므로, 물체를 정확하게 인식하기 위해서는 3차원 공간정보를 활용해야 한다. 이를 위해서는 사진에서 추출할 수 있는 RGB 데이터와 깊이(depth) 정보가 필요하다.

그러나 ToF 센서*를 활용해 모든 물체의 3차원 정보를 추출하면 전력 소모가 매우 크므로, 배터리를 기반으로 한 모바일 장치에서는 이용하기 어렵다. 투명하거나 반사가 많이 되는 영역에서는 3차원 정보가 손실되거나, 데이터 전처리에 오랜 시간이 걸린다는 문제점도 있다.

또한, 3차원 공간정보를 담은 포인트 클라우드 데이터는 복잡해서 기존의 2차원 사진인식 가속 프로세서로는 처리하기 어렵다. 구체적으로, 포인트 클라우드 데이터는 패턴이 불규칙해서 기존의 하드웨어를 사용하면 데이터를 처리할 때 연산의 병렬화가 힘들어지고 메모리 낭비가 발생한다. 따라서 연구팀은 모바일에서도 3차원 공간정보를 생성하고 처리할 수 있는 새 하드웨어 장치를 개발하게 되었다.
 

모바일에서도 3차원 애플리케이션 구현이 가능한 반도체

연구팀은 카메라와 64픽셀의 저전력 거리센서를 융합하여 모바일에서도 3차원 데이터 처리가 가능한 인공지능 반도체, DSPU를 개발했다. DSPU는 사진 이미지의 RGB 데이터를 입력으로 받아 인공지능 프로세싱을 진행한다. 인공지능 추론을 진행하면 깊이 정보가 생성되며, 이를 통해 3차원 공간정보를 추론할 수 있다. 이렇게 만들어진 3차원 공간정보로도 물체 인식을 수행할 수 있지만, 사진 이미지에서 기준이 되는 거리가 없기 때문에 정확도가 떨어진다. 따라서 64픽셀의 저전력 ToF 센서를 이용하여 인공지능이 추론한 상대적인 거리를 절대거리로 보정했다. 여기에 센서 퓨전 알고리즘을 적용하면 더 정확한 깊이 정보를 얻을 수 있다.
 

DSPU는 ToF 센서에만 의존했던 기존의 3차원 물체 인식 반도체와 비교했을 때 전력 소모가 63.4% 적으며, 지연시간은 53.6%로 감소했다. 더불어 인공지능 추론을 이용하여 사진 이미지에서 깊이 정보를 추출했기 때문에, 반사가 매우 많이 되는 영역에서도 깊이 정보를 잘 추출할 수 있다.
 

연구의 응용 가능성

3차원 물체 인식 기술은 자율주행, 증강/가상현실(AR/VR), 자동화 기술 등 다양한 3D 애플리케이션에 이용되는 핵심 기술이다. 따라서 DSPU를 이용하면 모바일 기기에서도 3차원 데이터를 처리할 수 있으므로 인공지능의 활용 분야를 유의미하게 확장할 수 있다. 이를 위해 연구팀은 기능 면에서는 노이즈를 제거하는 일에서부터 하드웨어 및 시스템의 최적화, 각종 환경에서 깊이 정보를 추출하는 방법까지 다양한 측면에 걸쳐 연구를 발전시키기 위해 노력하고 있다고 밝혔다.

이번 연구에 주도적으로 참여한 임동석 박사과정은 연구를 진행하는 과정에서 회의감이 들 때 어떤 마음가짐을 가지느냐가 중요한 것 같다고 언급했다. 특히 회의감이 들 때 포기하기보다는 피드백을 확인하고 개선하자는 마음으로 연구를 진행했을 때 훨씬 발전한 결과를 낼 수 있었다며, “연구 과정에서 실패를 겪을 수도 있지만, 위기를 기회로 삼아 이겨내는 방법을 잘 계획한다면 더 좋은 결과를 얻는 원동력이 될 것”이라는 응원을 전했다.
 

* ToF(Time-of-Flight)센서
3차원 공간정보를 추출하는 센서로, 방출한 레이저가 물체에 반사되어 돌아와 검출되기까지의 시간을 측정함으로써 물체까지의 거리를 계산한다.