추론 AI 모델 개발이 점점 더 쉬워지고 저렴해지고 있다. UC 버클리의 스카이컴퓨팅연구소(Sky Computing Lab) 소속 연구팀인 NovaSky 팀이 널리 사용되는 추론 및 코딩 벤치마크에서 OpenAI의 o1-preview와 동등한 성능을 발휘하는 추론 모델인 Sky-T1-32B-Preview를 공개했다. 

이 개발팀은 블로그에 “놀랍게도 Sky-T1-32B-Preview는 450달러 미만의 비용으로 훈련되어 고급 추론 능력을 경제적이고 효율적으로 재현할 수 있음을 보여준다. 모든 코드는 오픈소스로 제공된다.”고 소개했다. 

대규모 AI는 비용이 많이 드는 훈련과 폐쇄적인 방법을 요구한다는 것이 일반적인 인식이다. Sky-T1-32B-Preview는 수학과 코딩 문제의 균형 잡힌 데이터 조합과 부정확하거나 저품질의 결과물을 제거하기 위한 신중한 샘플링 프로세스를 통해 이러한 고정관념에 도전한다. 그 결과 다양한 작업에서 효과적으로 성능을 발휘하는 모델이 탄생했다. 

450달러가 저렴하지 않을 수도 있으나, 얼마 전만 해도 비슷한 성능의 모델을 훈련하는 데 수 백만 달러가 드는 경우가 많았다. 

대부분의 AI와 달리, 추론 모델은 스스로 사실 확인을 효과적으로 수행하여 일반적으로 모델에 걸림돌이 되는 몇 가지 함정을 피할 수 있다. 추론 모델은 일반적인 비추론 모델에 비해 솔루션에 도달하는 데 보통 몇 초에서 몇 분 정도 더 소요된다. 장점은 물리학, 과학, 수학과 같은 분야에서 더 신뢰할 수 있다는 것이다. 

NovaSky 팀은 다른 추론 모델인 알리바바의 QwQ-32B-Preview를 사용해 Sky-T1의 초기 훈련 데이터를 생성한 다음, 데이터 혼합을 ‘큐레이팅’하고 OpenAI의 GPT-4o-mini를 활용해 데이터를 보다 실행 가능한 형식으로 리팩터링했다고 설명했다. 320억 개의 파라미터로 구성된 Sky-T1을 훈련하는 데에는 Nvidia H100 GPU 8개로 구성된 랙을 사용해 약 19시간이 걸렸다. 

NovaSky 팀에 따르면, Sky-T1은 MATH500에서 o1의 초기 프리뷰 버전보다 더 나은 성능을 발휘한다. 또한, 이 모델은 코딩 평가인 LiveCodeBench의 어려운 문제 세트에서도 o1 프리뷰를 능가한다. 

그러나 Sky-T1은 박사 학위 소지자가 알고 있을 법한 물리학, 생물학, 화학 관련 질문으로 구성된 GPQA-Diamond에서는 o1 프리뷰에 미치지 못한다. 
또한, 중요한 점은 OpenAI의 o1 GA(General Availability) 버전이 o1 프리뷰 버전보다 더 강력한 모델이라는 점이며, OpenAI가 앞으로 몇 주 안에 성능이 더 뛰어난 추론 모델인 o3를 출시할 것으로 예상된다는 것이다. 

하지만 NovaSky 팀은 Sky-T1-32B-Preview가 고급 추론 능력을 갖춘 오픈소스 모델을 개발하기 위한 여정의 시작을 알리는 모델이라고 말한다. 

NovaSky 팀은 “앞으로 우리는 강력한 추론 성능을 유지하면서도 더 효율적인 모델을 개발하고, 테스트 시 모델의 효율성과 정확성을 더욱 향상시키는 고급 기술을 탐구하는 데 주력할 것이다. 이 흥미로운 프로젝트의 진전을 계속 지켜봐 달라”고 블로그에 남겼다.