뉴로모픽 소자는 인간의 지능을 기계로 구현하는 목표를 가지고 연구되기 시작했습니다. 최근에 주목받고 있는 딥러닝을 이용한 인공지능에서 컴퓨터의 데이터처리 속도 및 전력 소모 문제가 커 한계가 있었는데, 이런 분야에서 뉴로모픽 소자로 구현한 신경망이 해결책중 하나로 연구되고 있습니다.

글 / 고려대학교 주병권 교수님 연구실

• 강대철 한국과학기술연구원(KIST)에서 고려대학교 전기전자공학부 석박 통합 과정 중
• 김건희 한국과학기술연구원(KIST)에서 고려대학교 전기전자공학부 석박 통합 과정 중
• 김태현 한국과학기술연구원(KIST)에서 고려대학교 전기전자공학부 석사 과정 중
• 임재광 한국과학기술연구원(KIST)에서 고려대학교 전기전자공학부 석사 과정 중



목 차

1 뉴로모픽 등장배경
2 뉴로모픽 소자의 변천사
2.1 Neuromorphic device (Flash memory)
2.2 Neuromorphic device (Memristor-ECM)
2.3 Neuromorphic device (Memristor-VCM)
4 뉴로모픽의 미래
5 결론

1. 뉴로모픽 등장배경

4차 산업혁명이라는 화두와 함께 현존하는 최고 바둑 선수들이 연달아 인공지능 시스템인 ‘알파고’에게 패배하면서 대중에게 인공지능이 많이 알려지게 되었고, 이미 일부분은 벌써 현실에서 적용이 되고 있습니다.

인공지능은 인간의 지능을 기계로 구현한다는 목표로 1956년 당시 인공지능의 선구자들이 인간의 지능과 유사한 특성을 가진 복잡한 컴퓨터를 만드는 것으로부터 출발하였습니다. 그리고 수십 년 동안 많은 기술의 발전을 바탕으로 얼굴 인식 기능과 같은 특정 작업을 인간 이상의 능력으로 해낼 수 있을 만큼 발전하였지만, 아직 인간과 같은 사고력과 감각을 가지고 인간처럼 행동하고 생각하는 인공지능의 개발까지 갈 길이 많이 남아있습니다.



인공지능의 핵심요소로 알고 있는 딥러닝(Deep Learning)의 인공신경망을 제프리 힌튼 토론토대 교수 연구팀이 슈퍼컴퓨터를 이용하여 딥러닝의 이미지인식 인공신경망 알고리즘을 통해 획기적인 이미지 인식에 성공하면서 급속한 발전을 이뤄왔습니다. 이러한 발전을 토대로 병렬연산에 최적화된 GPU를 이용한 딥러닝을 가속화할 수 있는 가속기의 등장으로 연산속도를 기존에 비해 더 끌어올려 딥러닝 기반 인공지능이 가속화되고 있습니다.

딥러닝 기반 인공지능은 복잡하게 프로그래밍된 인공신경망은 여러 레이어들로 연결되어 있고, 특정 데이터 처리방향을 가지고 있습니다. 즉, 이미지를 조각 분할해 인공신경망의 Input에 입력하면 인공신경망의 특정 알고리즘을 통해서 데이터를 다음 레이어로 전달하고 마지막 레이어에서 최종 출력이 완성될 때까지 알고리즘을 통해 반복 연산하게 됩니다. 각 레이어들 간 연산 정확도를 향상시키기 위해 임의의 가중치가 설정되고, 가중치에 따라 최종 출력이 결정되게 됩니다.

그렇기에 각 레이어 별로 계산되어야 하는 데이터의 양이 많고 슈퍼컴퓨터나 고성능 전용 GPU 프로세서(Processor)의 적용이 필수적입니다. 따라서, 현재 인공지능 딥러닝은 많은 장점과 여러 분야에 활용될 가능성이 많지만, 상대적으로 복잡한 소프트웨어 알고리즘을 통한 다량의 데이터(Data)를 처리하기 위해서는 고성능 대용량 서버와 그 데이터를 처리할 수 있는 전문 인력과 슈퍼컴퓨터가 필요합니다.



그러나, 인공지능을 이용해 간단한 기능을 사용 및 구현을 하기 위해 시스템을 구축하기엔 일반인들이나 기업에서 매우 어려운 것이 현실입니다. 이러한 이유에서 기존에 출시되어 있는 인공지능이 대중적으로 사용되지 못했던 것은 이와 같은 비효율적인 문제가 가장 큽니다. 그

래서 많은 전문가들은 복잡한 딥러닝 알고리즘 소프트웨어, 비싼 하드웨어 및 운영을 위해 많은 자원을 소비하는 현재 소프트웨어와 네트워크 기반의 클라우드 인공지능의 문제와 더불어 기존 폰 노이만 방식의 아키텍처 기반 컴퓨팅의 한계를 언급하면서 인간 뇌의 하드웨어(Hardware)적인 뉴런을 반도체 CHIP으로 구현해 이 문제점을 해결하는 방안을 내놓았습니다.

이 칩의 이름은 뉴로모픽(Neuro + Morphic)이라 불리며, 이름 그대로 인간의 신경 구조, 즉 뉴런을 모방한 ‘Hardware Neuron’을 병렬로 연결한 것을 의미합니다. 현재, 제안된 방법인 병렬 뉴럴네트워크를 구성한 뉴로모픽은 현실적인 대안으로 최근 많은 연구기관과 기업에서 실용화 개발에 뛰어들고 있습니다.



그렇다면 뉴로모픽 기술 연구가 필요한 이유는 무엇일까. 기존 폰 노이만 컴퓨팅 아키텍처 기술로 인지처리 기능을 수행하기에는 인간의 뇌에 비해 효율성이 매우 낮기 때문입니다. 인간의 뇌는 약 20W 수준의 전력으로 기억, 연산, 추론, 학습 등을 동시에 수행할 수 있습니다. 이를 위해서는 시냅스의 다양한 기능들을 전기적인 소자로 모방하는 기술이 필요합니다. 그래서 앞으로 전도 유망한 뉴로모픽 시스템에서 사용되는 시냅스의 종류에 대해 다루고자 합니다.

2. 뉴로모픽 소자의 변천사

2.1 Neuromorphic device (Flash memory)

플래시 메모리는 전기적으로 자유롭게 재기록이 가능한 비휘발성 반도체 저장장치입니다.
플래시 메모리라는 이름은 플래시 메모리는 1980년 도시바의 마쓰오카 후지오 박사가 NOR형을 발명하면서 생기게 되었는데, ‘플래시’라는 이름은 마쓰오카 후지오 박사의 동료였던 아리이즈미 쇼지 박사가 제안해 만들어진 것으로 데이터 삭제가 마치 카메라의 플래시처럼 빠르다며 지어졌습니다.

이런 플래시메모리는 3단자 구조를 갖는 시냅틱 트랜지스터 소자로서 연구도 진행되고 있습니다. 3단자 시냅틱 트랜지스터로써 플래시메모리의 구조는 전 뉴런인 presynaptic neuron으로부터 신호를 받는 Drain 쪽과 시냅스의 synaptic weight, 즉 트랜지스터의 드레인 전류 또는 채널 층의 컨덕턴스(conductance)를 비휘발적으로 조절할 수 있는 제3의 단자인 control gate, 업데이트된 정도에 따라 전류를 후 뉴런인 postsynaptic neuron으로 전달해주는 Source 쪽으로 총 3개의 터미널들이 있습니다. 플로팅 게이트는 절연 층으로 둘러싸여 있으며, 그 안에 저장된 전자는 전력공급이 끊겨도 손실되지 않습니다. 따라서 플래시 메모리를 비 휘발성 메모리라고 부르는 이유입니다.



플래시 메모리에 write operation 즉, 데이터를 저장하는 방법은 control gate에 양의 전압을 인가하여 전자가 Tunneling oxide layer의 절연 층을 통해 플로팅 게이트로 들어가도록 하는 것입니다. 반대로, 데이터를 지우는 방법인 erase operation은 플로팅 게이트에 저장된 전자를 없애기 위해 기판에 양의 전압을 인가하는 것입니다.

이런 플래시 메모리는 Drain으로 신호가 전달되는 과정에서 Control gate를 통해 가중치 업데이트를 할 수 있기에 다양한 시냅틱 거동을 구현하는데 유리한 장점이 있습니다.



2.2 Neuromorphic device (Memristor-ECM)

메모리 장치의 추가 통합을 향한 과정에서 첨단 플래시 기술은 향후 몇 년 내에 확장 한계에 도달할 것입니다. ReRAM은 빠른 스위칭과 고밀도 패시브 크로스바 어레이 제작 가능성으로 인해 기존 메모리 기술에 대한 유망한 대안으로 검토되고 있습니다.

최근에는 저항성 스위치를 기반으로 한 새로운 신경형 애플리케이션이 제안되었습니다. ReRAM 시스템 중에서 전기화학적 금속화 메모리(ECM) 셀은 낮은 전력 소비량, 8가지 멀티비트 스토리지 잠재력 및 원자 수준까지의 확장성 때문에 미래의 메모리 장치에 매우 적합합니다.

ECM 셀의 구조는 능동형 전극, 이온 전도층 그리고 카운터 전극으로 구성되어 있습니다. 능동형 전극은 Ag나 Cu와 같이 전기적으로 쉽게 용해되고 이온 전도 층을 통해 전도될 수 있는 금속으로 구성되는 반면 카운터 전극은 Pt와 같은 불활성 카운터 전극으로 이루어져 있습니다.



ECM 셀의 기능을 결정하는 주요 요인은 전극 반응과 전달 동력학입니다. 전극 및 전해질 재료 전자 전달에 따라 전기 결정화 또는 강한 전기장 하에서의 느린 확산이 속도를 결정할 수 있습니다. ECM의 전기화학적 역학은 전극과 금속 양이온 운반이 이루어지는 박막의 계면, 필라멘트의 성장 그리고 양자 크기 효과를 집중적으로 분석됩니다. ECM 셀은 매우 좁은 필라멘트에 의해 ON 상태의 전류가 전달되는 것으로 추정되기 때문에 확장성이 높은 장치로 간주됩니다. 확장성이 ECM 메모리의 주요 특성이지만 그 성능도 마찬가지로 중요합니다.

NAND 플래시의 ~1us 쓰기 속도와 NOR 플래시의 ~10us 쓰기 속도에 비해, ECM 메모리가 분명한 이점을 가지고 있다는 것이 입증되어 왔습니다. 그리고 많은 연구들은 ECM 장치의 ON 상태 저항을 가진 장치를 통해 흐를 수 있는 최대 전류로 단조롭게 감소한다는 것을 보여왔습니다. OFF 상태 저항은 ON 상태 저항과 대조적으로 MIM 커패시터의 경우와 같이 면적에 반비례합니다.

ECM 이 지니는 ON 저항과 OFF 저항의 큰 차이는 멀티 레벨 오퍼레이션에 사용 될 수 있기에 이목을 끌고 있습니다. ECM 셀에 저장된 정보(예: ‘0’또는 ‘1’ 상태)는 전압을 인가하여 셀 저항을 측정하여 읽습니다. 이로 인해 읽기 작업 중에 셀의 저항 수준이 흐트러져서 정보가 손실되거나 적어도 읽기 작업이 완료된 후 셀을 다시 작성해야 할 수 있습니다. ECM 장치에 대한 대부분의 연구에서는 SET 전압과 동일한 극성의 읽기 전압(즉, 양극 AE 및 접지 또는 음극 CE)을 사용하여 OFF 상태에서 ON 상태로 관련 문제가 발생했습니다.

놀랍게도 ECM은 이러한 장애에 대해 매우 안정적입니다. 읽기 속도와 마찬가지로 ECM 기술에 필요한 내구성은 용도에 따라 크게 달라지며, DRAM 교체용으로 약 1015 사이클이 필요하고 플래시 메모리의 교체용으로도 103 사이클이 필요합니다. ECM 장치의 내구성은 채택된 사이클링 알고리즘(즉, 단일 펄스 대 멀티 펄스, SET 펄스 폭, 전류 준수 등)에 민감하므로 ECM 문헌에 나와 있는 여러 재료 시스템의 상대 내구성을 비교하기가 어렵습니다. 그러나 대학교 및 산업 수준에서 많은 연구들이 이 기술이 다양한 애플리케이션에서 플래시 메모리를 대체할 만큼 내구성이 충분하다고 보고했습니다. 마지막으로, ECM의 경우 온도가 상승하더라도 장시간 동안 OFF 상태가 매우 안정적이므로 ON 상태를 유지하는 것이 중요한 문제라고 보고되었습니다.

결론적으로 전기화학적 금속화 메모리 셀(ECM)은 원자 수준까지 확장성이 높고 저전압 및 작동 전류에서 읽기/쓰기/삭제 속도가 빠르기 때문에 ReRAM 기반 비휘발성 메모리의 가장 유망한 후보 중 하나입니다. 기존 ECM 기술의 개선과 관련하여 재료 선택 및 셀 지오메트리의 최적화에 상당한 노력을 기울여 기존 전하 저장 기술을 대체할 수 있어야 합니다.

2.3 Neuromorphic device (Memristor-VCM)

RRAM에는 크게 VCM(valence change mechanism)과 ECM(electrochemical metallization)으로 나뉘는데, 그중 VCM은 ECM과 달리 conductive path가 anode에서 생기는 방식을 말합니다. 또한 ECM에서는 양이온이 필라멘트를 형성하지만 VCM에서는 보통 산소 공공(oxygen vacancy, Vo)의 생성과 소멸이 RRAM의 저항의 변화를 결정합니다.



공통적인 구조는 metal-insulator-metal(MIM) 구조로 이루어져있으며, 초기 상태는 금속산화물에는 Vo가 적은 고저항 상태입니다. 하지만 한쪽 전극에 일정 이상의 전압(forming voltage)을 가해주면 산화물안에서 breakdown이 일어나면서 Vo가 생기고 두 전극 사이에 전류가 흐르는 통로(filament)가 생깁니다. 이 과정을 electroforming이라고 하며 소자에 가해지는 전압과 내부 온도가 크게 관여합니다.



여기서 G는 defect(Vo) 생성 확률, G0는 상수, EA는 activation energy, b는 bond polarization factor이며, kB는 볼츠만 상수, E는 전기장, T는 온도를 의미합니다. Forming voltage를 가하면 전기장과 온도가 같이 올라가서 Vo가 한번에 많이 생기는 positive feedback이 일어나고 그로 인해 대체로 급격하게 저항변화가 발생합니다.

Forming 과정 이후, 반대로 전압을 가해주면 산소 이온이 다시 필라멘트와 결합하여 저항이 높아지는데(high resistance state, HRS) 이를 Reset 과정이라고 합니다. Oxygen vacancy가 filament를 형성하는 VCM 방식에서 Reset은 forming보다 저항 변화가 점진적으로 이루어집니다.



Reset 이후 oxide 내의 필라멘트는 끊어지지만 Vo가 완전히 사라지지 않고 layer 사이의 경계면 주변에서만 끊어지기 때문에 소자의 초기 상태(virgin state)보다는 낮은 저항을 가집니다. 그래서 다시 필라멘트를 연결하여 저항을 낮추는 Set 과정에서는 Forming voltage보다 낮은 전압에서도 필라멘트가 연결됩니다. Oxide based RRAM은 이러한 Forming 이후에 Reset과 Set을 반복해줌으로써 소자의 저항을 조절할 수 있습니다.



하지만 필라멘트 방식으로 작동하는 RRAM은 필라멘트가 연결되거나 끊어지는 순간에 급격하게 저항이 변하기 때문에 점진적인 변화가 필요한 뉴로모픽 소자로 사용하기는 적합하지 않습니다. 그래서 최근 RRAM의 analogue한 특성을 강화하기 위해 다양한 방법들이 모색되고 있습니다. 그 중에서 특히 다층구조(multi-layer device), 도핑(doping) 방식이 대표적으로 사용되고 있습니다.

4. 뉴로모픽의 미래

반도체 산업은 쓰임에 따라 메모리 반도체와 비메모리(시스템) 반도체로 나눌 수 있습니다.
그중 뉴로모픽 반도체가 목표하는 시장은 비메모리(시스템) 반도체 분야인데, 비메모리 반도체 산업에서 대표상품에는 CPU(Central Processing Unit)가 있습니다. CPU는 MOSFET으로 구성되는데 MOSFET(Metal Oxide Semiconductor Field Effect Transistor)은 대한민국의 강대원 박사님이 최초로 발명한 제품이기도 합니다.

MOSFET은 크게 Source, Gate, Drain 단자로 구성되는데 집적도를 높이기 위하여 Gate를 FinFET, GAAFET(Gate All Around FET), MBCFET(Multi Bridge Channel FET) 등으로 소자를 제작하는 연구가 진행되고 일부는 상용화되어 있습니다.

시장의 선두주자가 이처럼 노력하는 만큼 뉴로모픽 소자 역시 집적도를 확보하기 위하여 많은 노력을 하고 있습니다. 그중 대표적인 것이 Crossbar Array 구조로 소자를 제작하는 것입니다. 이 구조는 Word Line과 Bit line이 직교하도록 배열하고 Word line과 Bit line 직교지점에 시냅스 소자를 수직으로 배열하는 구조입니다. 기본적으로 많은 Word line과 Bit line 덕분에 신호를 입력-출력하는 데 유리함이 있으며 이 구조를 여러 층으로 올려 쌓아 3D 구조로 표현하게 되면 굉장히 높은 집적도를 확보할 수 있습니다.



실제 인텔은 2015년 7월에 비휘발성 메모리를 적층한 3D XPoint 구조를 발표하였으며, Word line과 Bit line 사이에 메모리를 수직으로 넣은 구조입니다. 메모리 소자이긴 하지만 2층 구조는 상용화하여 제품까지 양산하였으며 로드맵에 4층 및 더 높은 구조로 제작할 계획을 발표하기도 하였습니다.

이외에도 인텔은 2017년 ‘로이히(LOIHI)’라는 130,000개의 뉴런과 1억 2800만 개의 시냅스를 포함한 뉴로모픽칩을 공개하였습니다. 그리고 이 로이히칩을 더욱 잘 이용할 수 있도록 2020년에 여러 개의 로이히칩을 이용할 수 있는 ‘포호이키 스프링스’라는 섀시를 공개하기도 하였습니다.

IBM의 뉴로모픽 칩은 ‘트루노스(TrueNorth)’라는 이름으로 2008년부터 지속해서 연구가 진행되어 왔습니다. 2011년에는 26만 개의 시냅스를 가진 뉴로모픽 칩을 구현하였으며 최근 2014년에는 26억 5600만 개의 시냅스를 가진 칩을 구현하였습니다.

실제로 트루노스는 동영상의 사람을 구분하는 것을 시연하였는데 이 프로세서의 전력소모량은 기존 프로세서의 1/10,000 정도에 불과했습니다.



이렇게 기업체에서만 실제 뉴로모픽 칩을 제작하는 것은 아닙니다. 미국의 스탠포드 대학에서는 2014년에 뉴로 그리드(Neurogrid)라는 이름으로 16개의 뉴로모픽칩을 포함한 회로를 공개했습니다. 각 뉴로모픽칩에는 65,536개의 뉴런이 포함되어있는 구조이며 이를 바탕으로 뉴로 그리드 전체에는 100만 개의 뉴런과 수십억 개의 시냅스를 가지고 있게 됩니다.

영국의 맨체스터대학교에서는 2019년 SpiNNaker 시스템을 제작하였는데 해당 시스템은 백만 개의 뉴로모픽칩을 장착하고 있는데 뉴로모픽칩 한 개는 백만 개의 시냅스 연결을 모사할 수 있습니다. 해당 시스템을 이용하여 저전력 고성능의 슈퍼컴퓨터를 구현하는 것이 목표입니다.

뉴로모픽 반도체는 저전력 범용 소자로써 굉장한 잠재력을 가지고 있다. 이 잠재력을 위해 많은 산업계, 학계에서 기술들을 활용하며 연구개발을 진행하고 있다. 상용화될 만큼 완성도가 높아진다면 현재의 연산 장비에 필요한 전력을 대폭 낮출 수 있을 것으로 기대됩니다.

5. 결론

뉴로모픽 소자는 인간의 지능을 기계로 구현하는 목표를 가지고 연구되기 시작했습니다. 최근에 주목받고 있는 딥러닝을 이용한 인공지능에서 컴퓨터의 데이터처리 속도 및 전력 소모 문제가 커 한계가 있었는데, 이런 분야에서 뉴로모픽 소자로 구현한 신경망이 해결책중 하나로 연구되고 있습니다. 대표적으로 뉴로모픽 시냅스 소자로 이용되는 Flash memory, Memristor-ECM, Memristor-VCM 등이 있으며 각각 작동방식을 살려 유용한 신경모사 반도체 기반 시스템이 될 수 있도록 노력하고 있습니다.

그리고 이들의 작동방식은 다를지라도 저전력, 병렬처리, 고집적 특성을 앞세워 미래의 시스템반도체가 되도록 노력한다는 공통점이 있습니다. 실제로 산업계, 학계, 연구계에서 괄목할만한 성과를 내고 있습니다. 미래에 고집적 신경망과 마땅한 알고리즘이 만나면 새로운 컴퓨터 시스템 패러다임을 가져올 수 있을 것입니다.