바이오및뇌공학과 이상완 교수와 케임브리지 대학 공학과 벤 시모어(Ben Seymour), 구글 딥마인드 공동연구팀이 계산신경과학과 인공지능의 융합 연구를 통해 미래 인공지능의 방향을 제시했다. 이번 연구 결과는 지난 1월 16일 <사이언스 로보틱스(Science Robotics)> 온라인판에 게재되었다.

강화학습 기반 알고리즘, 개선 필요해

 기계를 정밀하게 제어하고 다양한 상황에서 사용하기 위해서는 적절한 알고리즘이 필요하다. 이러한 알고리즘을 개발하기 위해 지난 20년 동안 강화학습*이 꾸준히 연구되어왔다. 그러나 기존 강화학습은 복잡도가 높아지면 실제 상황에 적용되었을 때 알고리즘 계산의 정확성이 떨어진다는 단점이 있다. 최근 딥러닝 기술의 발전으로 이 문제를 해결하면서, 인공지능을 로봇 제어, 응급실 비상 대응 시스템, 의료 진단 등에 폭넓게 사용할 수 있게 되었다. 

현재 인공지능은 문제 환경이나 제어 대상에 대한 개별적인 파악을 하지 않고 주어진 목표를 달성하기 위해 전략을 최적화하는 강화학습 전략만이 가능하다. 이러한 방식을 모델 비의존적 제어(Model-Free Control)이라 한다. 모델 비의존적 제어는 한 가지 목표를 추구하기 때문에 효율적이지만, 돌발적인 상황에 유연하게 대처할 수 없다는 한계가 있다. 따라서 알고리즘이 원활하게 작동하기 위해서는 변화하는 환경에 대한 모델을 세우고 주어진 상황에 따라 자신의 알고리즘을 즉각적으로 변화시킬 수 있는 모델 기반 제어(Model-Based Control)가 필요하다.

예를 들어, 인간은 경쟁할 때 상황에 따라 의도대로 경기의 흐름을 조절하는 모델 기반 제어가 가능하다. 그러나 모델 비의존적 제어의 경우, 이를 위해 원하는 경기 흐름을 만들기 위해 이기는 방법과 지는 방법을 따로 훈련해야 하는 번거로움이 존재한다.

뇌 기반 인공지능으로 문제 해결해

 이러한 번거로움을 해결하기 위해, 연구팀은 계산신경과학 분야에 주목하였다. 인간은 모델 비의존적 제어와 모델 기반 제어가 모두 가능해 상황에 따라 적절하게 대처할 수 있다. 이 교수는 2014년 인간의 전두엽-기저핵 뇌 네트워크 회로에서 이 두 학습 전략 사이의 균형을 조절한다는 계산신경과학적 연구 결과와, 2015년 동일한 뇌 회로가 고속 추론 과정**(One-Shot Inference)을 제어한다는 연구 결과를 발표했다. 

연구팀은 위의 연구 결과를 바탕으로 두뇌의 메커니즘을 인공지능에 그대로 적용하면 다양한 상황에 유연하게 대처하는 알고리즘을 만들 수 있을 것이라는 전두엽 메타 제어(Prefrontal Metacontrol) 이론을 제시했다. 전두엽 메타 제어 이론을 이용하면 학습된 정보에 대한 신뢰도를 추정하여 주어진 상황에 최적화된 전략을 찾을 수 있다. 이를 통해 상황에 맞춰 모델 비의존적 제어와 모델 기반 제어를 선택할 수 있으므로 성능과 효율, 속도 사이의 균형점을 유지하는 최적의 제어 시스템을 설계할 수 있게 된다.

 이 교수는 “이번 연구는 하나의 에이전트로 다양한 작업환경에 유연하게 대처할 수 있는 엔지니어링 시스템 디자인의 가능성을 제시했다는 의의가 있다”며, “추후 전두엽 메타 제어를 적용한 연구를 진행할 예정이다”고 전했다. 

강화학습*

기계 학습 중 컴퓨터가 주어진 상태에 대해 최적의 행동을 선택하는 학습 방법.

고속 추론 과정**

단 한 번의 경험을 바탕으로  추론하여 빠르게 정보를 갱신하는 과정.