인텔, 라마(LLaMa) 2 70B1의 추론 성능 테스트 밝혀

“지난 6월 E코어 기반 제온 6를 출시한데 이어, 오늘 코어당 고성능 제품을 원하는 고객을 공략할 수 있는 P코어 제품을 출시하며 제온 6 라인업이 좀 더 풍성해졌다. 이뿐 아니라, AI 가속기 신제품인 가우디 3 제품을 출시함으로써, 국내 고객들에게 AI 인프라 구축에 폭넓은 선택지를 제공할 수 있게 되었다."

인텔코리아의 나승주 상무(인텔 데이터센터 및 AI 사업부 한국 영업 총괄)는 9월 26일 진행된 데이터센터용 신제품 출시 기자간담회에서 이같이 말하고 제온 6 P-코어와 가우디 3 신제품의 상세한 기술사항을 발표했다. 
 

AI를 통한 업계 혁신이 계속되면서 기업들은 비용 효율적이면서도 빠르게 개발 및 배포할 수 있는 인프라를 필요로 하고 있다. 이러한 요구에 대응하기 위해 인텔은 제온 6 P-코어(Xeon 6 with Performance-cores)와 가우디 3(Gaudi 3) AI 가속기를 출시하며, 최적의 와트(watt)당 성능과 더 낮은 총 소유 비용(TCO)을 제공해 강력한 AI 시스템을 지원하겠다고 밝혔다.

인텔 데이터센터 및 AI 사업 총괄 저스틴 호타드(Justin Hotard) 수석부사장은 "AI에 대한 수요가 데이터센터의 대규모 변화를 이끌고 있으며, 업계는 하드웨어, 소프트웨어, 개발 도구에서 다양한 선택지를 원하고 있다"고 말하며, "제온 6 P-코어 프로세서 및 가우디 3 AI 가속기의 출시와 함께, 인텔은 고객들이 더 높은 성능, 효율성, 보안을 갖춘 워크로드를 구현할 수 있도록 개방형 생태계를 지원하고 있다"고 강조했다.

나승주 상무는 “조만간 주요 OEM에서 이번에 출시한 인텔 제품을 탑재한 서버를 국내 출시할 계획인 만큼 국내 고객들도 인텔 신제품의 강점을 빠른 시일안에 경험할 수 있을 것으로 예상한다”고 밝혔다.

가우디 3 AI 가속기, 심층 신경망 연산 가속화

인텔은 데이터 센터 포트폴리오에 두 가지 주요 업데이트를 포함한 최신 AI 인프라스트럭처 지원사항에 대해 발표했다.

컴퓨팅 집약적인 워크로드를 탁월한 효율로 처리할 수 있도록 설계된 제온 6는 이전 세대 대비 2배 높은 성능을 제공한다. 코어 수 증가, 메모리 대역폭 2배 증가, 모든 코어에 내장 AI 가속 기능을 갖춘 것이 특징이다. 이 프로세서는 엣지에서 데이터센터 및 클라우드 환경에 이르기까지 AI의 성능 요구를 충족하도록 설계되었다.

특히, 대규모 생성형 AI에 최적화된 가우디 3은 64개의 텐서 프로세서 코어(TPC)와 8개의 행렬 곱셈 엔진(MME)을 통해 심층 신경망 연산을 가속화한다. 가우디 3은 학습 및 추론 작업을 위한 128GB의 HBM2e 메모리와, 확장 가능한 네트워킹을 위한 24개의 200Gb 이더넷 포트를 갖추고 있다.

또한 파이토치(PyTorch) 프레임워크와 허깅페이스(Hugging Face)의 고급 트랜스포머 및 디퓨전 모델과의 완벽한 호환성을 제공한다. 인텔은 최근 IBM과 협력하여 IBM 클라우드에서 가우디 3 AI 가속기를 서비스 방식으로 배포한다고 발표한 바 있다. 이를 통해 인텔과 IBM은 AI를 활용하고 확장하는 데 있어 총 소유 비용을 줄이고 성능을 향상시킬 계획이다.