사용자 인터페이스의 개념과 역사

컴퓨터와 사람 사이의 상호작용을 위한 중간 매개체를 사용자 인터페이스(User Interface), 곧 UI라 일컫는다. 키보드와 마우스, 휴대폰 화면상에서 터치할 수 있게 보이는 버튼 등 사람들과 상호작용을 하기 위해 설계된 모든 것이 UI에 포함된다. 사용자는 시스템을 조작할 수 있고, 시스템은 사용자의 이용 결과를 표시한다. UI는 사용성, 심미성 등 여러 가지 기준에 의해 평가될 수 있는데, 근본적으로 사용자가 자신에게 필요한 것을 쉽게 사용할 수 있고, 그 결과 또한 의도한 것을 쉽게 얻을 수 있어야 한다.

초기에 많이 사용되었던 사용자 인터페이스는 명령 줄 인터페이스(Command Line Interface, CLI)와 텍스트 기반 사용자 인터페이스(Text User Interface)이다. CLI는 사용자가 키보드 등을 이용해 직접 명령문을 작성해 상호작용하는 인터페이스이며, 텍스트 기반 사용자 인터페이스는 텍스트를 이용해 상호작용할뿐더러 레이아웃이나 그래픽 요소들도 텍스트로 나타난다. CLI와 텍스트 기반 사용자 인터페이스 이후 등장한 것이 바로 지금까지 사용되고 있는 대표적인 사용자 인터페이스인 그래픽 사용자 인터페이스(Graphic User Interface, GUI)이다. 1960년대부터 연구되고 1980년대부터 빠르게 보급된 GUI는 그래픽을 이용해 사람과 컴퓨터와의 상호작용, 즉 입출력을 표현한 것이다. 이전까지는 텍스트를 기반으로 했던 상호작용이, GUI가 나타나며 아이콘과 같은 그래픽 요소가 기반이 되었다. 애플의 맥OS와 마이크로소프트의 윈도우가 GUI를 적용한 대표적인 컴퓨터 운영체제이다. 곧 GUI는 오늘날까지도 가장 많이 쓰이고 있는 사용자 인터페이스로 자리 잡았다.

자연스러운 사용자 인터페이스란

그래픽을 기반으로 한 GUI 이후 등장한, 차세대 사용자 인터페이스로 거론되는 것이 바로 자연스러운 사용자 인터페이스(Natural User Interface, NUI)이다. 기존의 CLI나 GUI는 사용자가 이용하기 위해서 별도의 지식과 학습이 필요했는데, 사용자가 일상생활에서 얻은 기존의 경험만을 가지고 기기를 사용할 수 있도록 하는 것이 바로 NUI이다. NUI에 포함되는 여러 인터페이스 기술 중에서도 차세대 인터페이스로 주목받는 것은 음성 사용자 인터페이스(Voice User Interface, VUI)와 생체인식 인터페이스(Biometric Interface), 그리고 제스처 사용자 인터페이스(Gesture User Interface)이다.

생체인식 인터페이스의 가장 큰 장점은 높은 보안성과 편리성이다. 처음 군사 보안 등의 분야에 적용되어 먼저 쓰이기 시작했던 생체인식 인터페이스는 현재 스마트폰 잠금 해제, 모바일 결제 등 여러 방면에서 사용되고 있다. 가장 많이 쓰이는 생체인식 방법은 지문인식으로, 개발 비용은 적고 활용도는 높아 유용하다. 이외에도 가장 정확한 생체인식 방법이라 일컬어지는 홍채인식, 신원을 확인하는데 많이 쓰이는 안면인식 등이 존재한다. 홍채인식은 빠른 속도로 정보 처리가 가능하며, 직관적인 사용자 인터페이스를 제공하기 때문에 앞으로 많은 분야에서 사용될 것으로 보인다.

CUI와 음성인식 개인비서

4차 산업혁명 시대의 사물인터넷 기기에서 주로 사용될 것으로 보이는 VUI는 사람과 대화하듯이 기기와 자연스럽게 대화함으로써 음성 인식을 통해 기기를 이용할 수 있는 대화형 사용자 인터페이스(Conversational User Interface, CUI) 기술이다. 음성을 매개로 한 대화는 인간이 태어났을 때부터 자연스럽게 접하고 습득하는 소통 방법이다. 그렇기에 기존의 대화 방식을 그대로 이용하는 방법은 사용자들이 어려움 없이 기기들을 이용할 수 있게 만들어준다. CUI의 대표적인 예로 음성인식 개인비서로 일컬어지는 애플의 시리, 삼성의 빅스비, 구글의 구글 어시스트 등이 있다. 이들은 스마트폰, 컴퓨터, 인공지능 음성인식 스피커 등을 통해 그 이용 영역을 확대하고 있다. 현재 이러한 음성인식 개인비서들은 일정 공유, 사용자 위치 캡처 후 공유 등 여러 개의 애플리케이션이 사용되거나, 여러 단계로 이루어진 명령들까지도 처리할 수 있다. 더불어, 이들은 사용자가 최근에 이용한 표현, 사용자가 그동안 가장 많이 이용한 표현 등의 컨텍스트를 바탕으로 사용자에게 최선의 제안과 효과적인 대안을 제공해줄 수 있다. 또한, 사용자의 요구사항에 대한 상황별 대응 프로세스를 통해 가장 적절한 거절 방법을 선택해 사용자의 실망을 최소화할 수 있게 한다. 인공지능 음성인식 스피커와 같이 전적으로 음성만을 사용하는 VUI 외에도 모바일, 웹 등 기존 UI에 VUI가 더해져 사용자들에게 더욱 편리한 사용 경험을 제공할 수 있다. 

음성은 문화, 신체 조건 등에 영향을 많이 받는다. 그렇기 때문에 VUI는 다양한 사용자들의 음성을 인식할 수 있어야 한다. 초기의 시스템은 대화 능력이 부족하고 발음이 정확하지 않은 어린아이와는 소통하기 어려웠다. 하지만 비언어적인 상호작용과 단답형 질문 위주의 대화가 가능한 VUI가 고려되면서 더욱 자연스러운 상호작용이 가능해졌다. 향상된 음성 인식 기술과 사용자의 말을 파악할 수 있는 머신러닝 기술을 통해 성능은 빠르게 발전했지만 CUI는 여전히 단발성 대화에 그친다는 아쉬운 점이 존재한다. 정보의 교환은 계속 이루어지지만, 각각은 간단한 대화로 서로 이어지지 못한다. 사용자의 의도와 대화의 맥락을 정확히 이해해 사용자와 매끄럽게 상호작용하는 것이 현재 대화형 인터페이스가 풀어야 할 과제이다.

레이더로 동작 인식하는 솔리 센서

제스처 UI는 NUI의 또 다른 대표적인 분야 중 하나로, 손동작과 몸동작을 이용해 사용자가 기기와 상호작용하는 방식이다. 제스처 UI에는 접촉식과 비접촉식 방법이 존재한다. 접촉식 제스처 UI는 사용자가 안정적인 상황에서 이용하는 경우에는 편리하지만, 움직이고 있는 상황에서는 이용이 불편하다. 기존의 비접촉식 제스처 UI는 카메라 센서를 이용해 사용자의 움직임을 추적했다. 하지만 이 방법은 카메라 앞에서 동작을 해야만 인식할 수 있으며, 동작 인식률의 정확도 또한 낮다. 

현재 주목받고 있는 구글의 허공 제스처(in-air Gestures) 기반 사용자 인터페이스는 이와 다르다. 구글은 차세대 스마트폰인 픽셀 4에 탑재할 것이라 밝힌 솔리(Soli) 센서를 이용해 허공 제스처 인식을 가능하게 한다. 2015년에 처음 발표된 솔리 센서는 구글 첨단 기술 및 프로젝트 그룹(ATAP)에서 나온 기술로, 올해 1월 미국연방통신위원회의 허가를 받았다. 솔리 센서는 레이더를 기반으로 하는 모션 센서로, 1mm 이하의 조그마한 움직임까지 인식할 수 있다. 구글이 공개한 데모 동영상에서는 허공에서 손가락을 문질러 음량을 조절하고 스크롤링 및 스와이핑이 가능했다. 8mm×10mm의 특수한 소형 칩이 사용되는 솔리 센서는 레이더를 이용해 사용자의 동작을 캡처한 후, 머신러닝 알고리즘을 이용해 해당 동작을 처리한다. 솔리 센서를 적용한 스마트폰은 주머니에 넣거나 장갑을 낀 상태에서도 조작할 수 있는데, 이는 섬유를 통과하는 레이더의 특성 덕분이다. 스코틀랜드의 세인트앤드루스 대학의 연구에 따르면, 솔리 센서는 사물의 소재를 구분할 수 있으며 사용자의 어느 신체 부위가 스마트폰과 맞닿아 있는지도 식별할 수 있다. 이러한 특징들로 인해 솔리 센서를 이용한 제스처 UI는 앞으로 사용자와 기기 간의 상호작용에서 높은 비중을 차지할 것이다.

AR·VR UI와 뇌파 이용한 BCI 기술

NUI 외에도 차세대 인터페이스 기술로 꼽히는 것이 증강 현실(Augmented Reality, AR) 및 가상 현실(Virtual Reality, VR) 인터페이스이다. IT 업게 종사자들은 흔히 스마트폰의 궁극적인 형태는 스마트폰이 사라지는 것이라고 말한다. 현실 세계 내 가상 물체, 혹은 가상 현실 속에서 스마트폰으로 하던 조작을 그대로 시행하게 되는 것이다. 현재 AR 및 VR UI에 관한 연구는 활발하게 진행되고 있다. 앞서 언급된 솔리 센서를 AR UI에 적용해 상호작용하는 방법 또한 논의되었다.

NUI와 VR 및 AR UI 이후의 인터페이스로 거론되는 것이 바로 뇌-기계 인터페이스(Brain-Computer Interface, BCI)이다.(관련기사 본지 463호, <BCI, 생각만으로 기계를 조종하다>) 이는 뇌 활동 측정을 통해 사용자의 감정, 생각 등을 분석하고, 해당 정보로 이용해 기기를 제어하거나 사용자의 의사를 전달하는 기술이다. 이는 물리적인 동작 등으로 기기를 제어했던 기존의 인터페이스와는 전혀 다른 성격을 가진다. 뇌파를 이용한 인터페이스 기술이기에 아직 상용화에는 거리가 있다. 하지만 인공지능, 사물인터넷 기술과 결합한다면 사람과 기기 사이의 상호작용 방법에 있어 새로운 패러다임을 제시할 것이라 예상된다.

미국의 디자이너이자 일러스트레이터인 프랭크 시메로(Frank Chimero)는 “사람들은 사용자를 무시하는 디자인을 무시한다”고 말했다. 사용자 인터페이스가 어떻게 발전해 왔는지를 보면 이를 확인할 수 있다. 초기에 별도의 지식과 학습이 필요하던 인터페이스들은 현재 사람들이 가지고 있는 기존의 경험만으로도 충분히 사용할 수 있게 되었다. 편리한 삶을 추구하는 방향으로 발전하는 사용자 인터페이스 기술이 가져다줄 미래를 생각해본다. 

감수 | 산업디자인학과 이상수 교수