소리와 진동 분석해 소음 존재하는 일상생활에서도 높은 정확도 가져… 사용자가 복잡한 조작 없이 사물과 즉각적 상호작용

전산학부 이성주 교수와 인하대학교 이보원 교수 공동연구팀이 사물을 두드릴 때 나타나는 특성을 이용해 사물을 정확하게 구분하는 노커(Knocker) 기술을 개발했다. 이번 연구 결과는 지난 9월 13일 유비쿼터스 컴퓨팅 분야의 최우수 국제학회 <ACM 유비콤(ACM UbiComp)>에서 발표됐다.

 

스마트폰으로 구현 가능한 노커 기술

최근 사물과 빠르고 쉽게 상호작용하기 위한 다양한 기술들이 제안되고 있다. 그중 전자 태그를 이용해 사물을 인식하는 기존 방법은 모든 사물에 전자 태그를 부착해야 해 실용성이 떨어졌다. 또한, 전자기기의 전자파를 감지하거나 사물에 반사된 빛을 감지하기 위해서는 스마트폰에 추가적인 장치를 부착해야 했다. 하지만 노커 기술은 다양한 사물을 두드릴 때 나는 소리가 서로 다르다는 특성을 이용하기 때문에 스마트폰만으로도 충분히 구현할 수 있다. 소리는 주변 소음에 의해 왜곡된다는 단점이 존재하는데, 연구팀은 이 문제를 해결하기 위해 스마트폰에 내장된 각속도 센서와 가속도 센서로 사물을 두드릴 때 발생하는 순간적인 진동을 함께 측정했다. 노커 기술은 마이크와 센서가 얻은 정보를 추출 정렬하고, 머신러닝을 통해 두드린 사물이 무엇인지 판단할 수 있다. 소리와 진동 두 가지 요소를 기반으로 판단하기 때문에 일상생활에서 노출되는 다양한 소리나, 스마트폰 사용 중에 발생하는 운동을 구분하고 사물을 두드렸을 때만 사물의 종류를 분석한다.

스마트폰에 적용된 노커 기술로 사물을 구분하는 과정
스마트폰 내부의 가속도, 각속도 센서와 마이크가 수집하는 데이터에서 필요한 부분을 추출하고 정렬해 두드린 사물을 구분할 수 있다. (ⓒ이성주 교수 제공)

 

다양한 상황의 데이터로 정확도 높여 

측정한 정보를 분석해 사물의 종류를 판단하는 프로그램을 학습시키기 위해서는 많은 데이터가 필요하다. 연구팀은 사물의 특정 부위를 다양한 실험자가 자유로운 방식으로 반복해서 두드릴 때의 데이터를 수집했다. 이러한 데이터로 학습한 프로그램이 과연 소음이 존재하는 일상생활에서도 사물을 정확하게 구분할 수 있는지 다양한 장소에서 직접 확인해 보았다. 그 결과 주위 환경이 달라졌을 때도 높은 정확도를 보였다. 실험자에게 사물을 두드릴 때 어느 부위를 두드릴지 설문한 결과 대부분 학습시킬 때 사용한 특정 부위를 선택했다. 이처럼 사람들 사이에 경향성이 존재하지만, 앞으로 노커 기술의 정확도를 높이기 위해서는 물체의 다양한 부위와 조건들에 대해 데이터를 수집하여 프로그램을 학습시킬 필요가 있다.

 

일상의 모든 사물과 상호작용 가능해

이번에 개발한 노커 기술은 사용자 일상에서의 패턴과 조합해 다양하게 활용될 수 있다. 연구팀은 일상에서 볼 수 있는 15개의 구체적인 활용 사례를 제시했다. 그중 취침 전에 스마트폰으로 침대를 두드리면 불이 꺼지고 알람 설정 프로그램이 켜지는 예시는 노커 기술이 사물 인터넷 기술과 융합되면 사용자가 복잡한 조작 없이 즉각적으로 사물과 상호작용할 수 있음을 보여준다. 또한, 노커 기술의 활용성을 넓히기 위해 사물을 두드리는 횟수를 인식하도록 했는데, 이는 한 사물에 대하여 폭넓은 사용자의 상호작용을 가능하게 한다. 연구팀은 그 예로 기타 연주를 할 때 스마트폰으로 기타를 두드리는 횟수에 따라 조율 애플리케이션과, 메트로놈 애플리케이션이 실행되도록 했다. 환경에 의존하지 않고 모든 사람이 언제 어디서나 스마트폰으로 두드리는 간단한 동작으로 실행 가능하다는 점에서 노커 기술이 유비쿼터스한 특성이 있음을 알 수 있다.

이 교수는 “이미지를 이용한 기존의 사물 인식 방법은 빛과 같은 환경적인 제한이 있었지만, 노커 기술은 주변 환경에 대해 자유롭다는 점에서 개선된 기술”이라며 연구의 의의를 전했다. 또한, 이번 연구에 참여한 공태식 박사과정은 “노커 기술은 마이크와 센서가 있는 스마트 워치 등 다양한 기기로 확장될 수 있으며, 시각 장애인을 위한 스마트 지팡이에도 활용될 수 있을 것”이라 밝혔다.

저작권자 © 카이스트신문 무단전재 및 재배포 금지