Since 1959

연산량과 메모리 사용량 줄이고, 실제 구동 환경에서 성능과 효율 높여

최근 AI 모델의 성능은 매우 빠른 속도로 발전하고 있다. 하지만 모델이 고도화될수록 이를 구동하는 데 필요한 연산량과 메모리도 함께 증가하고 있다. 그래서 이제 AI 산업의 중요한 질문은 바뀌어야 한다고 노타(Nota AI)의 이봉무 이사는 말한다.

단순히 ‘누가 더 좋은 모델을 만드느냐’가 아니라, ‘좋은 AI를 얼마나 많은 사람과 서비스, 산업 현장에서 실제로 활용할 수 있게 하느냐’는 것이다. .

그는 이를 ‘AI Everywhere’라고 말한다. 

2015년 카이스트 출신 연구진이 설립한 노타는 ‘AI Everywhere’를 비전으로, AI 모델 경량화 및 최적화 기술을 통해 다양한 하드웨어 환경에서 AI가 효율적으로 구동될 수 있도록 하는 글로벌 AI 기술 기업이다.

노타는 AI 모델의 구조와 GPU, NPU, CPU 등 하드웨어별 연산 특성을 함께 분석해 연산량과 메모리 사용량을 줄이고, 실제 구동 환경에서의 성능과 효율을 높이는 기술을 보유하고 있다. 

이를 통해 모바일·엣지 디바이스부터 데이터센터까지 다양한 컴퓨팅 환경은 물론, 피지컬 AI와 초거대 언어모델 기반 서비스에서도 AI 모델이 효율적으로 실행될 수 있도록 지원한다. 궁극적으로는 반도체와 AI 모델, 서비스로 이어지는 AI 밸류체인 전반의 컴퓨팅 및 운영 효율을 높이는 것을 목표로 한다는 노타의 이봉무 이사에게 더 자세한 이야기를 들었다.

이봉무 이사, 노타

“노타의 차별성과 경쟁력은 다양한 하드웨어 환경에서 축적한 최적화 경험입니다.

또 하나는 정확도를 고려한 정교한 모델 최적화 역량입니다.

(중략) 결국 노타의 경쟁력은 다양한 하드웨어에 대한 이해와 경험을 바탕으로,

모델의 성능 저하를 최소화하면서 실제 구동 환경에서 필요한 성능을

구현할 수 있다는 점이라고 말씀드릴 수 있습니다.”

Q.  먼저, 노타가 강조하는 AI 보편화는 왜 필요한가요.

AI가 특정 데이터센터나 일부 서비스에 머무르지 않고 다양한 환경에서 보편적으로 활용되기 위해서는 크게 네 가지 과제를 해결해야 합니다.

첫 번째는 구동 효율과 하드웨어 선택권입니다. AI 모델이 특정 GPU에서만 동작하는 것이 아니라 CPU, GPU, NPU 등 다양한 하드웨어에서도 효율적으로 실행될 수 있어야 합니다. 각 하드웨어의 특성에 맞게 모델을 최적화할 수 있다면 기업은 서비스의 목적과 비용, 성능 요건에 따라 보다 다양한 인프라를 선택할 수 있습니다.

두 번째는 운영 효율입니다. 최근 여러 AI를 조합해 업무를 수행하는 AI 에이전트 활용이 본격화되면서 추론 수요도 빠르게 늘고 있습니다. 사용자 수가 증가하고, 컨텍스트가 길어지고, 멀티모달 AI와 AI 에이전트의 활용 범위가 넓어질수록 필요한 연산량 역시 함께 증가합니다. 결국 같은 인프라에서 얼마나 많은 요청과 서비스를 안정적으로 처리할 수 있느냐가 AI 사업의 중요한 경쟁력이 됩니다.

세 번째는 실시간성입니다. 자동차나 로봇, 산업 현장에서는 모든 데이터를 클라우드로 보내고 결과를 기다리는 방식만으로는 한계가 있습니다. 주변 환경을 인식하고 즉각적으로 판단해야 하기 때문에 AI가 실제 디바이스 안에서 빠르고 안정적으로 실행될 수 있어야 합니다.

네 번째는 보안과 데이터 주권입니다. 공공, 금융, 제조 등에서는 민감한 데이터를 외부 클라우드로 보내기 어려운 경우가 많습니다. 이에 따라 데이터를 자체 인프라나 디바이스 안에서 처리하는 온프레미스 AI에 대한 수요도 커지고 있습니다.

Q.  그래서, AI 보편화는 ‘최적화’와 같은 말이겠군요.

이런 관점에서 AI 최적화는 단순히 모델을 가볍게 만드는 기술이 아니라, 동일한 인프라를 더 효율적으로 활용하고 기존에는 AI를 적용하기 어려웠던 환경까지 활용 범위를 넓히는 기술이라고 볼 수 있습니다.

특히 앞으로 로봇과 자율주행 같은 피지컬 AI가 본격화되면 최적화의 중요성은 더욱 커질 것입니다. 피지컬 AI는 제한된 전력과 메모리 환경에서도 고성능 AI 모델을 실시간으로 구동해야 하기 때문입니다.

Q.  노타의 ‘넷츠프레소’는 AI 모델 최적화에 적합한 제품이겠군요.

노타의 사업은 크게 AI 모델 최적화 플랫폼 ‘넷츠프레소’와 최적화 기술을 실제 산업에 적용한 ‘노타 비전 에이전트(NVA)’ 두 축으로 구성되어 있습니다.

먼저 AI 에이전트 기반으로 하드웨어 특성에 맞는 최적화 과정을 자동화하는 AI 모델 최적화 플랫폼 넷츠프레소입니다. 같은 AI 모델이라도 어떤 하드웨어에서 실행하느냐에 따라 필요한 최적화 방식은 달라집니다. GPU와 NPU의 구조가 다르고, 같은 NPU라도 지원하는 연산 방식과 메모리 구조가 서로 다르기 때문입니다. 넷츠프레소는 AI 모델과 목표 하드웨어를 분석한 뒤 양자화, 프루닝, 그래프 최적화 등 다양한 기술을 적용해 모델의 연산량과 메모리 부담을 줄이고, 실제 하드웨어에서 보다 효율적으로 실행될 수 있도록 최적화합니다.

이 과정에서 저희가 중요하게 보는 것은 성능 저하를 얼마나 최소화했는지, 실제 하드웨어에서 메모리를 얼마나 사용하는지, 처리량과 응답속도가 어떻게 달라지는지 등을 함께 검증합니다. 결국 중요한 것은 모델을 얼마나 많이 줄였느냐가 아니라, 실제 환경에서 얼마나 효율적으로 동작하느냐입니다.

최근에는 LLM뿐 아니라 VLM과 VLA 등 AI 모델의 종류가 빠르게 다양해지고 있는 만큼, 넷츠프레소가 지원하는 모델과 하드웨어 범위도 지속적으로 확대하고 있습니다. 또한 AI 에이전트를 활용해 모델과 하드웨어, 고객이 원하는 성능 목표에 맞는 최적화 전략을 자동으로 탐색하고 적용하는 방향으로 플랫폼을 고도화하고 있습니다.

Q.   ‘노타 비전 에이전트’는 그 확대 기술이겠군요.

또 하나의 사업 축인 노타 비전 에이전트는 이러한 최적화 기술을 실제 산업 현장에 적용한 VLM 기반 영상 관제 솔루션입니다. 기존 영상 분석이 사람이나 차량 같은 객체를 탐지하는 데 집중했다면, 노타 비전 에이전트는 영상 속 객체와 행동뿐 아니라 상황의 맥락까지 이해하고, 주요 내용을 자동으로 요약·보고할 수 있습니다. 현재 지능형교통체계(ITS), 산업안전, 공공 관제 등 다양한 현장에 적용되고 있습니다.

노타가 제공하는 것은 AI 모델을 고객이 원하는 하드웨어에서 효율적으로 구동하고, 실제 서비스와 산업 현장까지 연결할 수 있도록 지원하는 기술과 솔루션 전반이라고 보시면 됩니다.

Q.   ‘넷츠프레소’와 ‘비전 에이전트’에서 노타의 차별성과 경쟁력이 나타나는 것 같은데.

그렇숩니다. 노타의 차별점은 크게 두 가지입니다. 첫 번째는 다양한 하드웨어 환경에서 축적한 최적화 경험입니다.

AI 모델은 같은 모델이라도 어떤 하드웨어에서 구동하느냐에 따라 필요한 최적화 방식이 달라집니다. 노타는 데이터센터 GPU부터 모바일 AP와 NPU, 엣지 디바이스까지 서로 다른 하드웨어 환경에 맞춰 AI 모델을 최적화해 온 경험을 갖고 있습니다.

지금까지 100개가 넘는 AI 모델을 퀄컴 스냅드래곤, 삼성 엑시노스, Arm 기반 프로세서, NVIDIA·Intel GPU 등 다양한 하드웨어 환경에 적용해 왔습니다. 특정 반도체에 종속되지 않고 여러 하드웨어에서 AI가 효율적으로 구동될 수 있도록 지원한다는 점이 중요한 경쟁력입니다.

이러한 역량은 실제 솔루션 사업으로도 이어지고 있습니다. 노타의 비전언어모델(VLM) 기반 영상 관제 솔루션을 엣지와 온디바이스 환경에서 구동할 수 있는 것도, 제한된 연산 자원에 맞게 모델을 최적화할 수 있는 기술을 보유하고 있기 때문입니다.

“노타는 글로벌 반도체 기업을 비롯해, AI 인프라 투자 부담을

낮추고자 하는 기업이나 관련 전문 인력이 부족한 중대형 기업,

그리고 보안과 데이터 주권 등의 이유로 퍼블릭 클라우드 활용에 제약이

있는 공공·금융·제조 분야에서 높은 수요를 확인하고 있습니다.”

Q.  그럼 또 하나의 차별성은 무언입니까.

또 하나는 정확도를 고려한 정교한 모델 최적화 역량입니다.

최근 양자화나 프루닝 같은 최적화 기법 자체는 오픈소스로도 많이 공개되고 있습니다. 하지만 실제 상용 환경에서는 특정 기법을 적용하는 것만으로 원하는 결과를 얻기 어렵습니다. 모델마다 구조가 다르고 하드웨어마다 연산 방식과 메모리 구조가 다르기 때문에, 정확도와 속도, 메모리 사용량, 처리량 사이에서 최적의 지점을 찾아내는 과정이 중요합니다.

노타는 모델 전체를 동일한 방식으로 줄이는 것이 아니라, 어떤 부분이 성능에 민감한지를 분석해 정확도에 미치는 영향을 최소화하면서 최적화를 적용합니다. 대표적으로 2,500억 파라미터급 초대형 모델인 업스테이지의 솔라 오픈 2에 최적화 기술을 적용해 기존 H100 GPU 8장이 필요했던 환경을 2장에서도 구동할 수 있도록 했습니다. 모델 메모리 사용량을 76.5% 줄이면서도 성능을 유지했고, 구동 속도 역시 향상시켰습니다. 이는 단순히 모델 크기를 줄이는 데 그치지 않고 실제 AI 인프라의 활용 효율을 높일 수 있다는 점을 보여주는 사례입니다. 또한 Kimi K3처럼 조 단위 파라미터를 가진 초대형 모델에도 최적화 기술을 적용하며 지원 가능한 모델의 규모와 범위를 계속 확대하고 있습니다.

결국 노타의 경쟁력은 다양한 하드웨어에 대한 이해와 경험을 바탕으로, 모델의 성능 저하를 최소화하면서 실제 구동 환경에서 필요한 성능을 구현할 수 있다는 점이라고 말씀드릴 수 있습니다.

Q.  고객이 노타 솔루션을 어떻게 받아들이고 사용하면 좋을까요. 비즈니스 관점에서 설명해 주세요.

고객 입장에서 저희의 ‘최적화’ 기술에 대해 쉽게 말씀드리면, 노타의 기술은 실제 사업에서 AI를 더 효율적으로 사용할 수 있도록 만드는 기술입니다. 기업이 좋은 AI 모델을 확보했다고 하더라도 실제 서비스를 하려면 또 다른 문제가 생깁니다. 필요한 GPU가 너무 많을 수도 있고, 응답속도가 충분하지 않을 수도 있고, 사용하는 하드웨어에서 해당 모델이 제대로 동작하지 않을 수도 있습니다.

노타는 이러한 운영 단계의 문제를 해결합니다. 경영 관점에서는 동일한 AI 인프라에서 더 많은 워크로드를 처리하거나 추가 인프라 투자 부담을 낮출 수 있습니다. CTO와 같이 기술 리더 입장에서는 새로운 모델이나 하드웨어를 도입할 때 발생하는 최적화 시행착오를 줄이고, 실제 서비스까지 가는 시간을 단축할 수 있습니다. 현업 개발 조직 입장에서는 기존 하드웨어의 활용도를 높이거나 제한된 메모리와 연산 환경에서도 더 다양한 AI 기능을 구현할 수 있습니다.

특히 최근에는 자체 인프라에서 AI를 운영하려는 기업이 늘고 있습니다. 보안이나 데이터 주권이 중요한 공공, 금융, 제조 분야뿐 아니라 AI 사용량이 빠르게 증가하는 기업에서도 이러한 수요가 나타나고 있습니다.

Q.  그럼, 다양한 기업에서 매우 다양해진 환경에서 노타의 솔루션을 사용할 수 있겠네요.

맞습니다. 노타는 글로벌 반도체 기업을 비롯해, AI 인프라 투자 부담을 낮추고자 하는 기업이나 관련 전문 인력이 부족한 중대형 기업, 그리고 보안과 데이터 주권 등의 이유로 퍼블릭 클라우드 활용에 제약이 있는 공공·금융·제조 분야에서 높은 수요를 확인하고 있습니다.

최근에는 기업용 AX 운영 인프라 영역으로도 최적화 기술의 적용 범위를 확대하고 있습니다. AICC 기업 메타엠과 첫 상용 계약을 체결했으며, AI 에이전트 구축 과정에서 노타의 최적화 기술을 적용해 AI 모델의 구동과 운영 효율을 높이는 것이 핵심입니다.

최적화 기술의 도입 방식은 각 기업의 상황에 맞게 선택할 수 있습니다. 내부에 AI 조직을 갖추고 지속적으로 모델을 최적화해야 하는 기업은 넷츠프레소 플랫폼을 직접 활용할 수 있고, 특정 모델이나 하드웨어에 대한 고난도 최적화가 필요한 경우에는 노타의 전문가가 직접 프로젝트를 수행하는 방식도 가능합니다.저희는 AI 워크로드 하나를 선정해 최적화 효과를 검증하는 것도 권해드립니다. 기존 환경을 기준으로 정확도, 메모리 사용량, 응답속도, 처리량, 필요한 연산 자원 등을 측정한 뒤 노타의 최적화 적용 전후를 비교할 수 있습니다. 실제 효과가 확인되면 다른 모델이나 서비스로 적용 범위를 확대할 수 있습니다. 이를 통해 초기 투자와 도입 부담을 낮추면서 고객의 실제 환경에서 최적화 효과를 구체적인 수치로 확인할 수 있습니다.

결국 AI 최적화의 목적은 단순히 AI에 투입되는 자원을 줄이는 데 있는 것이 아닙니다. 같은 자원을 더 효율적으로 활용해 더 많은 서비스와 더 다양한 환경에서 AI를 사용할 수 있도록 만드는 것이 핵심입니다.

Q.  노타의 비전과 장·단기 전략을 소개해 주세요.

노타는 지난 10여 년간 AI 최적화라는 한 분야에 집중하며 기술과 경험을 축적해 왔습니다. 앞으로는 이 경쟁력을 바탕으로 데이터센터부터 스마트폰, 자동차, 로봇까지 AI가 활용되는 모든 환경에서 효율을 높이는 최적화 기술을 제공하는 글로벌 기업으로 성장하고자 합니다.

저희가 지향하는 비전은 ‘AI Everywhere’입니다. 좋은 AI가 특정한 환경에만 머무르지 않고 어디에서든 효율적으로 활용될 수 있도록 만들고, 그 과정에서 노타의 최적화 기술이 자연스럽게 활용되는 것. 그것이 노타가 그리고 있는 미래입니다.

    노타의 핵심 제품과 협력 기업은

AI 에이전트 기반의 모델 경량화 및 최적화 플랫폼 제공

노타의 핵심 제품은 AI 에이전트 기반의 모델 경량화 및 최적화 플랫폼 ‘넷츠프레소 플랫폼’과, 이러한 최적화 기술을 실제 산업 환경에 적용한 비전언어모델(VLM) 기반 영상 관제 솔루션 ‘노타 비전 에이전트’이다.

노타는 삼성전자 모바일 애플리케이션 프로세서(AP) ‘엑시노스’에 AI 모델 최적화 기술을 공급하고 있으며, Arm, AWS, Intel, NVIDIA, Qualcomm 등 글로벌 반도체·AI 기업들과 협력하고 있다. 또한 정부의 ‘독자 AI 파운데이션 모델 프로젝트’, ‘모두의 AI 프로젝트’ 등 주요 소버린 AI 국책 과제에도 참여하며 기술 적용 범위를 확대하고 있다.

2025년 11월 코스닥에 상장했으며, 산업 전반의 AX 흐름에 맞춰 모바일과 엣지 중심의 사업 영역을 데이터센터, 엔터프라이즈 AX, 피지컬 AI 등으로 확대하고 있다. 이를 통해 AI가 활용되는 다양한 환경에서 컴퓨팅과 운영 효율을 높이는 최적화 기술 기업으로 성장하고 있다. 

<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>