레드햇 AI 인퍼런스 서버 등 통합을 통해 더 높은 성능의 일관된 AI 애플리케이션 및 에이전트 구현 지원

레드햇은 주요 업데이트를 통해 엔터프라이즈 AI에서 고객 선택권을 지속적으로 확대한다고 발표했다.

대상 제품은 레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server), 레드햇 AI 서드파티 검증 모델 및 라마 스택(Llama Stack)과 모델 컨텍스트 프로토콜(Model Context Protocol, 이하 MCP) API의 통합 그리고 엔터프라이즈 AI 포트폴리오 전반에 걸쳐 있다.

 

이러한 개발을 통해 레드햇은 조직이 AI 도입을 가속화하는 데 필요한 역량을 더욱 강화하는 동시에 하이브리드 클라우드 환경 전반에서 생성형 AI 제품 배포에 있어 고객에게 더 많은 선택과 신뢰를 제공한다.

포레스터(Forrester)에 따르면 오픈소스 소프트웨어는 기업 AI 활동을 가속화하는 촉매제가 될 것이다. AI 환경이 점점 더 복잡하고 역동적으로 성장함에 따라 레드햇 AI 인퍼런스 서버 및 서드파티 검증 모델은 효율적인 모델 추론과 레드햇 AI 플랫폼의 성능에 최적화된 검증 AI 모델 컬렉션을 제공한다. 레드햇은 라마 스택 및 MCP를 비롯한 생성형 AI 에이전트 개발을 위한 신규 API 통합을 더해 배포 복잡성을 해결하고 높은 제어력과 효율성으로 AI 이니셔티브를 가속화할 수 있도록 지원한다.

레드햇 AI 포트폴리오에 새로운 레드햇 AI 인퍼런스 서버가 포함되며 하이브리드 클라우드 환경 전반에서 더 빠르고 일관되며 비용 효율적인 추론을 대규모로 제공한다. 이 핵심 기능은 레드햇 오픈시프트 AI(Red Hat OpenShift AI) 및 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)의 최신 출시에 통합되었으며 독립형 솔루션으로도 제공되어 지능형 애플리케이션을 더 효율적이고 유연하며 높은 성능으로 배포할 수 있다.

허깅페이스(Hugging Face)에서 제공되는 레드햇 AI 서드파티 검증 모델은 기업이 특정 요구사항에 적합한 모델을 쉽게 찾을 수 있도록 지원한다. 레드햇 AI는 검증된 모델 컬렉션과 배포 가이드를 제공해 모델 성능 및 결과 재현성(reproducibility)에 대한 고객 신뢰를 높인다. 레드햇으로 최적화된 일부 모델은 모델 압축 기술을 활용해 크기를 줄이고 추론 속도를 높여 자원 소비와 운영 비용을 최소화한다. 지속적인 모델 검증 프로세스를 통해 레드햇 AI 고객은 최적화된 생성형 AI 혁신의 선두를 계속 유지할 수 있다.

"AI의 미래는 단지 강력한 모델뿐만 아니라 능동적이고 비용 효율적으로 배포할 수 있어야"

레드햇 AI는 메타(Meta)가 처음 개발한 라마 스택과 앤트로픽(Anthropic)의 MCP를 통합해 사용자에게 AI 애플리케이션 및 에이전트 구축과 배포를 위한 표준화된 API를 제공한다. 현재 레드햇 AI에서 개발자 프리뷰로 제공되는 라마 스택은 모든 생성형 AI모델 전반에서 vLLM 추론, 검색 증강 생성(RAG), 모델 평가, 가드레일 및 에이전트 기능에 액세스할 수 있는 통합 API를 제공한다. MCP는 API, 플러그인, 데이터 소스를 연결하는 표준 인터페이스를 제공함으로써 에이전트 워크플로우에서 외부 도구와의 통합을 지원한다.

조 페르난데스(Joe Fernandes) 레드햇 AI 사업 부문 부사장 겸 총괄 매니저는 "더 빠르고 효율적인 추론이 생성형 AI 혁신의 새로운 의사 결정 포인트로 부상하고 있다. 레드햇 AI는 레드햇 AI 인퍼런스 서버를 통한 향상된 추론 기능과 새로운 검증된 서드파티 모델 컬렉션을 갖춰 조직이 필요한 곳에 원하는 방식으로 고유한 요구 사항에 가장 적합한 구성 요소를 활용하여 지능형 애플리케이션을 배포할 수 있도록 지원한다”고 말했다.

미셸 로젠(Michele Rosen) IDC 리서치 매니저는 "조직은 초기 AI 탐색 단계를 넘어 실용적인 배포에 집중하고 있다. 그들의 지속적인 성공 핵심은 다양한 환경과 요구에 맞게 AI 전략을 유연하게 조정할 수 있는 능력에 달려 있다. AI의 미래는 단지 강력한 모델뿐만 아니라 능동적이고 비용 효율적으로 배포할 수 있는 모델을 필요로 한다. AI 이니셔티브를 확장하고 비즈니스 가치를 실현하려는 기업에 이러한 유연성은 필수적이다"라고 말했다.