[전자과학 신윤오 기자] 최근 인텔이 냄새를 맡는 컴퓨터 칩을 개발했다고 밝혀 화제를 모았다. 인간의 뇌를 모사한 반도체, 뉴로모픽 반도체가 몇 가지 냄새를 ‘학습’한 결과이다. CES 2018에서 인텔이 뉴로모픽의 프로세서에 기반해 자체학습 방식으로 작동하는 ‘로이히(Loihi)'칩을 발표한 지 3여 만의 일이다. 생물학적 신경 네트워크를 모사하는 기술, 뉴로모픽(Neuromorphic)이 빠르게 발전하고 있는 단면을 보여줬다. 

서울대학교 융합과학기술대학교에도 이 뉴로모픽 컴퓨팅을 연구하는 연구실이 있다. 전동석 교수가 이끄는 모바일 멀티미디어 시스템 연구실(Mobile Multimedia System Group)이다. 여기에서는 하드웨어 기반의 신호처리 알고리즘에서부터 아날로그/디지털 집적회로, 하드웨어 보안, 센서, 딥러닝 하드웨어 등 다채로운 분야의 연구를 진행하고 있다.


전 교수 연구팀은 지난해 2월, 뉴로모픽의 원리와 장점은 취하되 기존의 반도체 회로를 구현하는 데도 적합한 새 알고리즘을 개발해 주목을 받았다. 실제 숫자 필기체 패턴을 인식하는 실험에서 엔비디아의 고성능 GPU보다 5배 빠르고, 머신러닝 칩보다 전력을 3분의 1만 쓰는 뉴로모픽 프로세서를 만들어냈다. 

전 교수의 연구실이 있는 서울대 융합과학기술대학교로 찾아가 뉴로모픽 반도체를 물었다. 학부에서 전자공학을 전공한 뒤에, 미시간 대학에서 신호처리 반도체를 주로 연구한 그가 어떻게 뉴로모픽 분야에 관심을 갖게 됐는지 먼저 묻지 않을 수 없었다.  

뉴로모픽에 눈을 돌리고...

“요새 딥러닝이 핫한 분야인데, 어떻게 보면 신호처리의 연장선상이라고 볼 수 있습니다. 원래, 여러 가지 알고리즘들을 어떻게 하면 프로세서나 반도체로 잘 만들 수 있을까하는 연구를 했어요. 근데 4년 전에 한국에 돌아와 보니, 머신러닝 분야에 관심이 높은 분위기였다. 딥러닝 분야는 당시에도 기술이 충분히 성숙해서 연구하는 사람들이 많았는데, 저는 다음 스텝을 보았고 그게 뉴로모픽이었요.” 

전 교수가 말하는 다음 스텝은, 당장 상용화는 어렵지만 꼭 필요한 선행 기술이라는 의미이다. 워낙 어려운 분야이기도 하고 선행연구가 없기에 매 순간 연구가 개척하는 길과 같다. 그렇다고 역사가 짧은 분야도 아니다. 사람의 뇌를 궁금해 한 역사는 오래됐으니까. 대신 뇌를 연구한지는 100년이 넘었지만 이것을 이용해 반도체로 만든 역사는 불과 10~20년 사이이다.  본격적으로 80년대부터 연구를 시작했는데 어려움이 있어 관심이 줄었다가, 최근에 머신러닝이 다시 떠오르면서 뉴로모픽 컴퓨팅에 대한 관심이 높아졌다. 

그럼, 전 교수는 다음 스텝인, 뉴로모픽 컴퓨팅에 어느 정도 확신을 가지고 있을까. 

“제가 뉴로모픽 컴퓨팅 공부를 해보니까 분명히 장점은 있어요. 예를 들어, 사람의 뇌에 있는  뉴런과 이 뉴런을 연결하는 시냅스 사이에 어떤 전기펄스 신호들이 오가는데, 간단히 말하면 1bit 시그널입니다. 0이나 1의 시그널이 오가는데, 이것을 그대로 컴퓨터로 만들 수만 있다면 굉장히 낮은 전력을 소모할 것입니다. 다시 말해, 두뇌가 어떻게 돌아가는지는 확실히 모르지만, 두뇌가 하고 있는 일을 컴퓨터로 또는 반도체로 만들 수만 있다면 굉장히 높은 효율성을 얻을 수 있다는 사실입니다. 반면에 표준화가 많이 된 딥러닝 알고리즘을 반도체나 컴퓨터에서 구현하려고 하면 효율성을 높이기 쉽지 않아요. 이 때문에 퀀텀 점프를 해서 뉴로모픽 컴퓨터를 구현한다면 훨씬 좋은 효과를 얻을 수 있을 것이라고 믿었습니다. 그런 비전을 갖고 모험을 한 셈이죠."  

이처럼, 전 교수의 모험이 일부 결과물로 나타나기까지는 오래 걸리지 않았다. 지난해 초에 자체 개발한 뉴로모픽 프로세서를 세상에 공개한 일이다. 완전한 형태의 AI반도체가 아니지만 쉽지 않았다. 그가 실마리를 찾은 것은 뉴로모픽 반도체가 뇌를 모사한 반도체라는 고정된 시각이었다. 자신이 보기에 기존에 뉴로모픽 프로세서, 뉴로모픽 반도체를 만들려 했던 사람들의 목표는 사람들의 뇌를 모사하는데 방점을 찍어 왔다는 것. 연구 목적으로 사람의 뇌와 똑같은 반도체를 만들려 하다보니 어려움을 겪었다는 점이다. 

그래서 전 교수는 발상의 전환을 꾀했다, 

“우리는 굳이 사람의 뇌를 그대로 따라하지 않더라도 약간 변경해서 더 실용적인 것을 만들 수 있지 않을까. 라는 생각에 도달했어요. 한마디로 뉴로모픽 컴퓨터에서 배울 것은 배우되 그대로 따라하지 말자고 생각했습니다. 뉴로모픽 컴퓨터와 딥러닝에서 장점만을 취합해서 새로운 알고리즘을 하나 만들었고, 이 알고리즘을 바탕으로 프로세서를 개발했습니다. 기존의 뉴로모픽 반도체의 가장 큰 문제는, 딥러닝과 비교했을 때 성능이 떨어지는 것인데, 저희가 개발한 알고리즘으로 구현해보니까 딥러닝과 거의 비슷한 성능이 나오면서 훨씬 더 좋은 연산 효율성이 나왔어요.”

기존의 뉴로모픽 문법을 따라하지 않으면서도 뉴모로픽 공학을 기반으로 했다는 말에는 좀 설명이 필요했다. 뉴런 사이에 연결된 시냅스를 스파이크(Spike)라고 해서 1bit 시그널로 오간다는 것은 잘 알려져 있는 사실이다. 이 스파이크로 돌아가는 뉴럴 네트워크, SNN(Spiking Neural Network)은 한 가지 측면일 뿐이고, 또 한 가지는 사람의 뇌를 학습시키기 위해 딥러닝을 쓰는 방법이다. 딥러닝을 학습 시키는 가장 좋은 방법이 역전파(Backpropagation)인데, 문제는 이것을 뇌에 적용하려면 뇌의 아키텍처랑 맞지 않는다는 사실이다. 그래서 이를 학습시키기 위해 새로운 알고리즘을 찾을 필요가 있었다. 

사람의 뇌에 대해, 우리가 알고 있는 모든 것을 만족시키는 알고리즘은 별로 없었기에, 

“우리는 여기에서 과감하게 벗어나 모든 것을 만족시킬 필요 없이 이 중에서 스파이크를 쓰는 특성만 이용하자고 생각했어요. 왜냐하면 나머지는 중요하지 않기 때문입니다. 그 특성만 이용하되 딥러닝 알고리즘을 적용해서 효율성을 많이 높였습니다.” 

그는 칠판에 도식을 그려가며 자세한 설명을 이어갔지만, 여기에 모두 옮겨 적지는 않았다. 알고리즘과 프로세서 개발 구조는 앞서 설명이 충분했고, 기사가 길어지는 이유도 있었다. 그보다 이번 연구도 실용성에 더 무게 중심을 두었다는 그의 전언이 궁금했다.

연구팀이 개발한 뉴로모픽 프로세서가 실용화된다면, 현재 딥러닝을 쓰는 모든 것을 대체할 수 있다고 한다. 아직까지는 그렇게 성능이 나오지 않지만 궁극적인 목표가 그렇다는 얘기다.
 
현재의 딥러닝을 모두 대체하려면, 

“우리의 목표는 이것을 잘 만들어서, 거의 모든 분야에서 딥러닝과 비교해 동등한 성능이 나오면서도 프로세서의 효율성을 높이는 것입니다. 성능은 정확도를 말하는 것인데, 정확도를 높이기 위해 현재 말씀드릴 수 있는 것은, 알고리즘 개발을 하고 있다는 말 뿐입니다. 알고리즘을 잘 만들어서 정확도를 높여야 합니다. 뉴로모픽 반도체를 잘 만들기 위해서는 알고리즘이 따라가야 하기 때문입니다.” 

연구팀에서 개발한 알고리즘의 수준은 어떠할까. 사물인식에서 가장 간단한 데이터셋이 숫자인식인데, 사람 손으로 쓴 숫자 인식, 앰리스트(MNIST)에서는 딥러닝과 비슷한 성능을 냈고  10종류의 사물 중에서 하나를 찾아내는 CIFAR-10을 적용해서도 괜찮은 성능을 얻었다. 현재는 더 윗 레벨인 이미지넷(Imagenet)까지 적용하려는 단계에 와 있다. 전 교수는 이러한 알고리즘을 더 개발시켜야 현재의 GPU나 AI가속기의 정확도에 근접하거나 넘어설 수 있다고 말한다. 뉴로모픽 반도체의 정확도를 높이면 기존의 인공지능 반도체에 버금가거나 뛰어넘을 수 있을 것이다. 하지만, 다른 인공지능 반도체도 가만있지 않을 것이 분명하다. 

여기에 대해서 전 교수는 이들의 근본적인 차이로 설명을 가름한다, 

“딥러닝과 뉴로모픽은 근본적인 차이가 있어요. 사람의 뇌는 정확하지 않은 스파이크를 가지고 학습을 잘 합니다. 하지만 올해 나온 최신 딥러닝 논문을 살펴보면 각각의 데이터 정확도를 낮추기 시작하면 학습 수준이 많이 떨어져요. 가장 낮게 쓰고 있는 것이 8bit 정도를 쓰고 있는데, 이정도면 추론은 괜찮은데 학습할 때가 문제입니다. 사람의 뇌는 1bit으로 하고 있는데 말이죠. 만일 딥러닝이 이를 극복할 수 있으면 모르겠지만 현재 상태에서 효율성으로만 따지면, 뉴로모픽을 따라가기가 힘들어요. 저희 연구실에서는 딥러닝을 저전력으로 구현할 수 있는 방법도 연구하고 있는데, 전력과 연산력 면에서 큰 차이가 있는 것 같아요.” 

이에 전 교수는 인공지능 반도체의 트렌드를 2가지 정도로 정리했다. 하나는 서버용으로 고성능 딥러닝 반도체이고, 다른 하나는 모바일이나 에지용으로 저전력 인공지능 반도체를 말한다. 보통 포괄적인 머신러닝 반도체는 학습용과 추론용으로 나누었다. 
하지만 그의 말마따나, 결국 반도체 개발도 산업계를 따라가게 되어있다. 인텔이 2018년 발표한 뉴로모픽 칩, 로이히가 가는 방향도 그와 마찬가지다. 로이히의 장점은, 다양한 뉴로모픽 알고리즘에 대응할 수 있도록 여러 가지 알고리즘을 포용할 수 있도록 구조로 되어 있다는 점이다. 인텔 외에도 IBM도 여전히 연구를 진행하고 있지만, 국내 대기업은 이제야 차세대 메모리 개발과 관련하여 뉴로모픽 컴퓨팅을 진지하게 바라보기 시작했다. 

뉴로모픽 컴퓨팅의 킬러 애플리케이션 얘기가 들어갈 때,
그는 그 어렵다는 개발 이야기보다도 난감해 하는 것 같았다. 

“그게 사실 굉장히 어려워요. 새로운 분야를 할 때 킬러앱이 있어야 설득하기 쉽잖아요. 하지만 앞서 얘기한 것처럼 뉴로모픽의 정확도가 떨어지다 보니까, 그런 시장을 찾기가 쉽지 않아요. 현재로써는 정확도가 높지 않은 대신 굉장히 낮은 전력 소모를 필요로 하는 애플리케이션이 뉴로모픽 컴퓨팅에 매우 적합하다고 보고 있습니다. 그런데 문제는 그런 애플리케이션이 생각만큼 많지 않습니다. 정확도가 매우 중요한 자율주행에 쓰기도 그렇고요. 최근 중국에서 나온 논문이 뉴로모픽 프로세서를 로봇 자율주행에 적용한 사례가 있긴 한데, 결과는 딥러닝을 적용해도 마찬가지일 것입니다. 그런 것이 뉴로모픽의 문제예요. 킬러앱이 명확히 딱 떨어지지 않는다는 것이죠. 그래서 그런 것을 찾는 것보다는 알고리즘을 잘 개발해서 딥러닝과 똑같은 애플리케이션을 대체할 수 있으면 더 좋을 것이라고 생각합니다. 다른 사람들은 또 어떤 생각을 하는지 모르겠지만요.” 

그래서, 전 교수는 지금, 알고리즘을 잘 개발해야 한다는 말을 반복했다. 뉴로모픽 컴퓨팅을 위한 좋은 알고리즘을 개발하고 나면 자연스레 킬러앱도 생기지 않겠냐는 기대이다. 이를 위해서 인력 확보와 분야를 집중할 필요가 있다고 강조했다. 

우선은 알고리즘을 연구하는 인력이 많아졌으면 한다고 했다. 아무래도 알고리즘 연구하는 인력이 딥러닝 쪽에 치중해 있기 때문에 뉴로모픽 분야의 인력이 부족한 감이 있다는 것. 또 하나는 우리나라가 잘하는 메모리 분야에 집중하는 것이다. 차세대 메모리를 연구할 때, 뉴로모픽 컴퓨팅 기술이 있다는 것을 감안해 거기에 맞는 연구를 하는 것이다. 나중에 알고리즘이 개발됐을 때, 즉각적으로 실용화할 수 있다는 것이다. 

뉴로모픽 알고리즘 연구 인력이 부족한 이유는

“특히 회로설계 분야에서는, 딥러닝 반도체든 뉴로모픽 반도체든 인력이 많이 있는데, 아무래도 알고리즘 개발하는 전문 인력이 많이 부족한 편입니다. 알고리즘 연구를 열심히 하시는 분들도 있지만 하드웨어를 같이 하는 경우가 많이 있죠. 실제로 뉴로사이언스 분야를 연구하는 분들이 알고리즘 연구를 많이 해야 할 것 같은데, 다른 쪽을 많이 하는 것 같아요.” 

알고리즘 연구자들이 부족하다는 어려움 말고도 힘든 점도 많다. 그 중에서도 가장 아쉬운 점은 뉴로모픽 공학이 융합 학문이다 보니 이종의 학문을 습득하는 것도 쉽지 않지만, 다양한 분야의 전문가와 소통하는 기회도 적다는 점이다. 아직 국내에 인프라가 넓지 않다보니 커뮤니티나 연구 교류도 개인적으로 알음알음하는 수준이다. 

가장 밀접한 학문이라고 할 수 있는 컴퓨테이션 뉴로사이언스(Computational neuroscience) 분야가 있는데, 이들과의 협업도 어렵고 문제는 뉴로모픽 공학자들과 지향점이 다르다는 점이다. 뉴로사이언티스트들은 어떻게 하면 뇌를 잘 이해할까 고민하고 연구하지만, 전 교수 같은 연구자들은 좋은 하드웨어를 만드는데 집중하기 때문이다.  

그래도 전 교수가 기대를 저버리지 않는 이유는 지금 성장기를 달리고 있는 딥러닝도 10년 전에는 비슷한 환경이었다는 사실이다. 

“처음에 뉴로모픽 분야라는 것이 좀 있어 보여서 그런지, 관심을 보인 학생들이 많았어요. 하지만 1~2년 해보면, 지난 수십 년 동안 왜 발전이 더뎠는지 알 것 같다고 어려움을 토로합니다. 다만, 상황이 좀 달라진 게 딥러닝도 불과 10년 전까지만 해도 진척이 없었습니다. 사람들이 믿지 않았다가 딥러닝이 갑자기 발전하면서 굉장히 많은 알고리즘 기술이 나오게 됐죠. 이런 과정을 잘 활용하면 뉴로모픽 반도체를 발전시키는데 쓸 수 있지 않을까, 생각하고 연구를 진행하고 있습니다.” 

끝으로, 뉴로모픽 반도체와 같은 인공지능 반도체가 한국에 어떤 의미와 영향이 있을지 물었다. 그는 메모리 반도체 강국의 장점과 약점을 보완할 수 있는 기회가 인공지능 반도체에 있다고 강조했다. 

“우리에게 아주 좋은 기회라고 생각합니다. 국내에서 시스템 반도체를 발전시키려고 노력을 많이 하고 있는데, 비메모리 반도체는 특허도 많이 걸려있고 이미 오랜 기간 연구를 해 왔기 때문에 따라잡기기 쉽지 않습니다. 그런데 뉴로모픽이라는 전혀 새로운 분야가 튀어 나오면서 우리도 해볼 수 있겠다는 기회가 열렸다고 생각합니다.”