인공지능과 인공신경망은 어떻게 발전했을까요? 뇌과학 이론을 바탕으로 인공신경망을 만들었다면 역으로, 인공신경망을 통해 뇌를 이해할 수도 있을까요? 인공신경망은 정말 뇌처럼 생각할까요? 

1. 인공지능과 인공신경망의 발전

 신경과학적 지식이 발달함에 따라, 인간 지능을 논리적 모델로 설명하려는 시도가 등장합니다. 그리고 이를 이용해 문제를 해결하려는 인공지능 분야를 발전시켜나갑니다. 뇌세포 자체를 모방한 인공 신경망은 두 번의 겨울을 극복하고 현재와 같이 굳건하게 자리 잡았습니다. 

인간 지능에 관한 논리적 모델이 탄생하다

“신경 활동의 '전부 아니면 전무(All-or-None)'적인 특성 때문에 신경계의 일과 그들 사이의 관계들은 명제 논리(Propositional logic)로 취급된다. 모든 망의 행동은 이러한 관점에서 기술될 수 있다.”

 1943년 신경생리학자 워런 매캘러 (Warren McCulloch)와 논리학자인 월터 피츠(Walter Pitts)는 <신경 활동에 있어서 관념의 논리적 미적분(A Logical Calculus of Ideas Immanent in Nervous Activity)>이라는 논문을 발표합니다. 위 문장이 바로 핵심 내용 중 일부입니다. 

 기념비적이라 평가받는 이 논문은 뉴런의 작용을 2진법 논리로 설명할 수 있으며, 이를 바탕으로 인간 두뇌를 이진 원소들의 결합 모델로 이해할 수 있다고 주장했습니다.

 이어서 1940년 후반에 심리학자 도널드 헤비안(Donald Hebb)는 ‘헵의 이론(Hebbian theory)’을 발표합니다. 이 이론은 “같이 발화되는 신경세포는 같이 연결된다”라며, 학습 과정에서 시냅스 연결 강도가 변화한다고 주장합니다. 이 이론은 훗날 인경신경망 분야에서 가중치(weight)라는 개념으로 활용됩니다.

인공지능과 퍼셉트론이 등장하다

 박완서 작가는 작가란 ‘사물의 이름을 아는 자’라고 정의합니다. 비슷하게, 연구자는 ‘사물의 이름을 밝히고 알리는 자’라고 부를 수 있을 것입니다. 사실 연구 진흥에 있어서 적합하고 매력적인 단어를 정의하고, 상징적인 사건을 만드는 것은 매우 중요합니다. 대표적인 예시가 바로 ‘인공지능’입니다.

 인공지능이라는 용어는 1956년 존 매카시(John McCarthy)가 개최한 다트머스(Dartmouth) 컨퍼런스를 통해 처음으로 등장했습니다. 관련된 모든 연구가 인공지능(Artificial Intelligence, AI)이라는 멋있는 옷을 차려 입고 세계로 나서는 첫 순간이었습니다. 이 회의 이후 인공지능은 더욱 활발하게 연구되기 시작했으며, 1958년에는 드디어 퍼셉트론(Perceptron)이 등장합니다.

 퍼셉트론은 현재까지도 사용되는 기본적인 인공신경망 단위로 프랑크 로젠블라트(Frank Rosenblatt)가 제안했으며, 다수의 입력으로부터 하나의 결과를 내보내는 형태를 가지고 있습니다. 뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달하는데, 바로 이를 모방한 것입니다. 이론적으로는 위에서 살펴보았던 ‘월터 피츠-워런 매캘러 모델’에, ‘헵의 학습이론’에서 영감을 얻어 고안한 가중치 개념을 추가한 형태가 바로 퍼셉트론입니다. 퍼셉트론이 창시된 이후 인공신경망 연구는 주목을 받으며 짧은 부흥기를 맞이합니다.

인공신경망 연구에 두 번의 겨울이 찾아오다 (XOR 문제, MLP의 한계)

 퍼셉트론을 향한 스포트라이트는 금방 꺼지게 됩니다. 결정적인 계기는 단층 퍼셉트론이 XOR를 비롯한 비선형적인 문제를 해결할 수 없다는 것이었습니다. 인공지능의 아버지라고 평가받는 마빈 민스키는 <퍼셉트론>을 통해 퍼셉트론의 한계를 수학적으로 증명합니다. 단층 퍼셉트론은 직선 하나로 두 영역을 나눌 수 있는 문제에 대해서만 적용할 수 있습니다. 입력값 두 개가 서로 다른 값을 가져야만 출력값이 1이 되는 게이트를 XOR 게이트라고 하는데, 단일 직선으로는 선형 분리가 불가능합니다. 다시 말해 단층 퍼셉트론으로는 XOR 문제를 해결할 수 없던 것이었죠. 하지만 현실의 많은 문제는 비선형적이었기에 인공지능의 첫 번째 겨울이 찾아옵니다. 

 60년대 후반까지 지속된 겨울을 끝내고 봄을 되찾은 이는 바로 제프리 힌튼(Geoffrey Everest Hinton)입니다. 제프리 힌튼 교수는 다층 퍼셉트론(Multi-Layer Perceptrons, MLP)과 역전파 알고리즘(Back-propagation Algorithm)를 실험적으로 증명하였고 이를 통해 XOR 문제를 해결하였습니다. 퍼셉트론의 층을 여러 번 쌓고, 수동으로 기울기를 조정하는 것이 아니라 역전파 계산을 통해 기울기가 자동으로 반영될 수 있도록 한 것이죠. 이를 계기로 1990년대 초반까지 인공지능 연구에 큰 발전이 찾아옵니다. 그러나 이번에는 다층 퍼셉트론의 문제점이 제기되면서 두 번째 겨울이 시작됩니다.

 제기된 문제의 핵심은 기울기 소실 문제와 과적합 문제였습니다. 다층 신경망은 그 이름에 걸맞게 은닉층(Hidden layer)을 늘려 어려운 문제를 해결했습니다. 그러나 신경망의 깊이가 깊어질수록 연산 과정에서 기울기가 소실되어 학습이 되지 않는 문제가 발생했습니다. 또한, 깊은 신경망에서는 학습 데이터의 국소적인 패턴을 익히게 되어 새로운 데이터에 대해서는 정확성이 떨어지게 되는 과적합 문제가 발생했습니다. 

 그러나 제프리 힌튼은 포기하지 않았습니다. 연구 끝에 제프리 힌튼은 <심층 신뢰 신경망을 위한 빠른 학습 알고리즘(A fast learning algorithm for deep belief nets)> 논문을 발표합니다. 제프리 힌튼은 논문을 통해 가중치의 초깃값을 제대로 설정한다면 깊은 신경망을 통한 학습이 가능함을 밝혀냈습니다.

 구조적으로 엄청난 변화는 없었지만 수정된 MLP는 DNN(Deep Neural Network)이라는 새로운 이름으로 다시 태어납니다. 사실 인공신경망의 두 번째 암흑기를 거치면서, 당시에는 인공신경망이라는 단어 자체가 배척되는 학계 분위기가 있었습니다. 이에 제프리 힌튼은 deep을 붙인 DNN(Deep Neural Network)이라는 용어를 사용하면서 본격적으로 2000년대 딥러닝 중흥기를 이끌어갔으며, 이는 현재까지 이어져 왔습니다. 그는 사물에 이름을 제대로 붙일 줄 아는 사람이었습니다.

2. 인공지능으로 바라본 인간의 뇌

 분명한 경계는 존재하지 않지만, 이론적인 신경과학은 크게 두 분야로 나눌 수 있습니다. 분자생물학적 신경과학과, 계산신경과학이 이에 해당합니다. 전자는 생물학적인 접근법으로 뇌의 메커니즘을 밝혀내는 학문입니다. 다음으로 대부분 생소할 ‘계산신경과학’은 뇌가 생물학적 연산장치라는 가정에서 출발하여 그 연산의 메커니즘을 밝혀내려는 학문입니다. 또한 이 과정에서 아주 다양한 뇌 기반 인공지능이 개발됩니다

 그러나 우리가 앞서 살펴봤듯이, 뇌신경망 연구와 인공신경망 연구가 서로 영향을 주고 받는 방향은 일방적이었습니다. 이러한 경향성은 실제로 2010년대 초반까지 이어졌습니다. 그러나 계산신경과학이 발달함에 따라 몇 년 뒤부터는 역과정이 진행되기 시작했습니다. 인공 신경망이 뇌 신경망을 이해하는 데 도움을 주기 시작한 것입니다! 이번 장에서는 이 바람직한 순환을 소개합니다.

대뇌피질과 컨벌루셔널 신경망의 기능적 유사성

 1950년대 하버드 의대의 데이비드 허블은 고양이를 이용한 실험을 통해 시각 정보 처리 과정을 연구했습니다. 결과적으로 동물의 시각 피질 내에 있는 뉴런들은 전체의 이미지를 한 번에 인식하는 것이 아니라, 소수의 뉴런으로 구성된 국부 수용장 이미지의 일부 특징을 인식한다는 것을 밝혀냈습니다. 이 연구에 영감을 받아 개발된 인공신경망이 바로 컨벌루셔널 신경망 (Convolutional Neural Network, CNN)입니다.

 2016년 MIT 연구팀에서는 거시적 관점에서 대뇌피질과 컨벌루셔널 신경망의 기능적 유사성에 주목하였습니다. 컨벌루셔널 신경망을 이용해 대뇌피질의 정보 처리 과정을 더욱 자세하게 이해하려 시도한 것입니다. 연구자들은 ‘목적 기반의 계층적 컨벌루셔널 신경망’이라는 이름의 인공신경망을 만들고, 물체 인식 문제에 적용했습니다. 그리고 원숭이를 잘 훈련시켜 인공 신경망과 동일한 문제를 풀게 하면서 시각 피질의 여러 곳의 신경 활성도를 관찰하였습니다.

 결과는 놀라웠습니다. 학습을 거듭함에 따라 인공신경망 각 층의 개별 뉴런들이 점점 원숭이의 시각 피질 신경과 비슷하게 행동하기 시작한 것입니다. 물론 사람 뇌의 기능적 활성도 데이터를 이용한 분석에서도 동일한 결과를 얻었습니다. 2020년에는 신경세포의 국소적 패턴까지 반영한 인공 신경망을 이용해 뇌 데이터를 분석하는 수준에 이르렀습니다. 

 해당 연구는 특별한 함의를 지닙니다. 단순히 뇌를 모방하는 것에 그치지 않고, 인간의 뇌를 수학적으로 분석 가능한 인공 신경망의 틀 안에서 이해할 수 있다는 가능성을 제시했기 때문입니다. 이 연구를 기점으로 인공 신경망에 다양한 변화를 주면서 뇌의 동작 원리를 이해하는 연구들이 활발히 진행되고 있습니다. 

3. 뇌신경망-인공신경망

 신경세포의 분자 생물학적인 특성은 인간의 이해가 닿기엔 아직은 너무 복잡합니다. 따라서 인공신경망 관점에서 제대로 해석하고 적용할 수 있는 부분 자체가 많지 않습니다. 일례로 신경 교세포의 부재를 들 수 있습니다. 현재 대부분 모델은 ‘신경세포’들의 상호작용에 초점을 맞추고 있습니다. 하지만 실제 뇌에는 신경세포들보다 훨씬 많은 수의 세포들이 뇌에 존재합니다. 이 세포들을 신경 교세포(glia)라고 부릅니다. 신경 교세포는 신경전달물질의 농도를 조절하고, 영양분을 공급하거나, 신경 세포의 연결 자체에 관여하기도 합니다. 하지만 이러한 특성은 보통 반영되어 있지 않습니다. 이처럼 인공신경망이 뇌와 완벽히 동일하게 작동한다고 말하기엔 비약이 있습니다.

 이에 대하여 지능을 공학적으로 탐구하고 뇌 기반 인공지능을 연구하는 이상완 교수는 “1%의 겉은 같아 보이지만 99%의 속은 다르다.”라고 말합니다. 인공지능과 뇌가 유사한 계층적 구조를 가지는 점, 특정한 자극에 대해 유사한 반응 패턴을 보이는 점이나, 유사한 연산 원리를 공유하고 있는 등의 겉모습을 바탕으로 “딥러닝과 인간의 뇌는 비슷하다”라고 생각할 수 있습니다. 그러나 딥러닝과 생물학적 뇌와 같이 복잡한 시스템에 대해서는 겉모습이 비슷하다고 해서 같은 생각을 하는 경우는 극히 드물기에 그 생각의 틀을 깨야 한다고 말하는 것이죠. 

 한계를 명확히 인정한 뒤에도 인공신경망은 계속해서 인간을 닮아가려 하고 있습니다. 앞 뉴런의 메시지가 다음 뉴런에 얼마나 잘 전달되었는지 평가하는 ‘예측 코딩 이론’을 기반으로 신경망을 정밀하게 구현하기 위해 노력하기도 하며, 인간의 의사결정 전략이나 감정 등의 상위 인지 능력을 밝히고 모방하고자 애쓰기도 합니다. 그리고 이러한 노력은 다시금 돌아와 뇌과학을 향합니다. 이상완 교수는 이를 “뇌과학 이론이라는 안경으로 인공 신경망을 뜯어보고, 반대로 인공 신경망이라는 안경을 쓰고 뇌가 움직이는 원리와 이유를 분석한다.”라고 표현합니다.

인간을 닮아가길 꿈꾸는 인공지능이 뇌에 관한 지평을 넓힌다는 것, 정말 아름답지 않습니까?