한 검증 가능한 신뢰성, 운영 통제력, 표준화된 아키텍처, 성능 투명성 제공
레드햇(Red Hat)이 레드햇 AI 3.5(Red Hat AI 3.5) 출시와 레드햇 AI 포트폴리오 전반에 걸친 주요 업데이트를 발표했다. 기업들이 초기 AI 실험과 파일럿 프로젝트를 넘어 본격적인 활용 단계로 진입하면서, IT 및 플랫폼 엔지니어링 담당자들은 미션 크리티컬 인프라와 동일한 수준으로 엄격하게 AI를 관리해야 하는 과제에 직면하고 있다.
레드햇 AI 3.5는 하이브리드 클라우드 전반에서 이러한 워크로드를 통제, 보안, 관측할 수 있는 확장 가능한 기반을 제공함으로써, 개별 AI 파일럿과 거버넌스가 완전히 적용된 엔터프라이즈 아키텍처 사이의 간극을 메운다고 밝혔다.
업체 측에 따르면, 레드햇 AI 3.5는 새로운 안전성 및 관측 가능성 기능을 통해 기업이 프로덕션 환경에서 AI를 확장하고 하이브리드 환경 전반으로 확대하는 데 필요한 운영 기반을 제공한다. 이번 버전은 에벌허브(EvalHub)를 통해 모델을 배포하기 전에 검증할 수 있으며, 리스크 중심의 안전성 벤치마킹과 규제 준수 인증서를 생성할 수 있다.
새로운 관측성(observability) 대시보드는 플랫폼 팀에 추론 상태, GPU 활용률, AI 모델 성능에 대한 실시간 인사이트를 제공하는 포괄적인 지표를 제공한다. 관리자 권한이 없는 사용자도 사용자별 토큰 사용량을 확인할 수 있는 쇼백(showback) 대시보드와 분산 추론 워크로드 관련 대시보드에 접근할 수 있다는 설명이다.
또한 레드햇 AI 3.5는 검증된 엔터프라이즈 플랫폼 기능을 확장했다. AI 서비스 제공업체와 하드웨어부터 소프트웨어까지 완전한 격리가 필요한 AI 사용 사례를 위해 멀티테넌시(multi-tenacy) 기능을 개선했다. GPU를 공유하는 환경에서는 네이티브 멀티테넌시와 함께 우선순위 인식 서빙(priority-aware serving)을 제공한다.
레드햇 AI는 테넌트 간 보다 강력한 격리가 필요한 기업을 위해 레드햇 오픈시프트 버추얼라이제이션(Red Hat OpenShift Virtualization)에 배포된 레드햇 오픈시프트(Red Hat OpenShift) 호스티드 컨트롤 플레인(Hosted Control Planes)운영을 공식 지원한다는 것이다.
호스티드 컨트롤 플레인은 하부 하드웨어를 통합하면서도 모든 테넌트에 전용 클러스터 컨트롤 플레인을 제공한다. 여기에 레드햇 오픈시프트 버추얼라이제이션의 가상머신(VM)에서 AI 워크로드를 실행하면 공유되는 GPU 지원 인프라 전반에서 강력한 VM 수준의 격리가 추가된다. 이러한 기능들이 결합되어 인프라 제공업체는 전체 기반 환경을 단일 제어 지점에서 운영하고 업그레이드할 수 있다.
레드햇 AI 3.5는 거버넌스를 갖춘 AI 에이전트 구축도 가속화한다. 오토RAG(AutoRAG)는 기업의 데이터 저장소를 에이전틱 애플리케이션에 직접 연결하며, 다국어 문서 지원, 대화형 테스트, 문맥 기반 검색 등 고급 기능을 제공한다. 사용자는 시각화된 파이프라인을 통해 배포에 앞서 RAG 구성을 확인하고 검증할 수 있다.
에이전트 템플릿은 코드 리뷰, 문서 처리, 리서치 워크플로 등 기업에서 일반적으로 활용되는 패턴에 대해 사전 구성된 구현을 제공한다. 배포 후에는 인퍼런스 타임 스케일링(Inference-Time Scaling)이 쿼리 복잡도에 따라 연산 자원을 동적으로 조절해 GPU 비용을 최적화한다고 업체 측은 전했다.
기업의 AI 파일럿이 성공을 거두고 초기 성과가 긍정적인 결과를 보이면서, IT 팀은 이제 AI를 대규모로 제공하고 운영해야 하는 과제를 해결해야 한다. 그러나 비즈니스 전반에 걸쳐 AI를 확장하려면 여느 미션 크리티컬 인프라와 동일해야 한다. 배포 전 안전성을 검증하고, 공유 GPU 환경에서 리소스를 정밀하게 제어하며, AI 에이전트의 행동을 거버넌스 체계 아래 관리하고 사용량을 투명하게 파악할 수 있어야 한다.
오늘날 대부분의 기업은 이러한 과제를 파편화된 툴과 확장 불가능한 수작업 프로세스로 대응하고 있다. 레드햇 AI 3.5는 안전성, 멀티테넌시, 에이전틱 개발 및 관측성을 하나의 엔터프라이즈 플랫폼으로 통합해 이러한 문제를 해결한다는 설명이다. 그 결과 AI는 고립된 실험이 아니라, 하이브리드 클라우드 환경 전반에서 책임성 있고 거버넌스가 적용된 AI 아키텍처로 운영된다.
조 페르난데스(Joe Fernandes) 레드햇 AI 사업부 부사장 겸 총괄 매니저는 “이제 논의의 중심은 AI를 프로덕션 환경에 도입하는 것에서 신뢰할 수 있는 엔터프라이즈 인프라로 대규모 운영하는 단계로 이동했다”며, “이를 위해서는 안전성에 대한 검증 자료와 거버넌스를 갖춘 에이전트, 비용 배분, 멀티테넌시가 필요하다”고 말했다. 이어, “레드햇은 레드햇 AI 3.5를 통해 IT 리더들이 하이브리드 클라우드 전반에서 AI를 안전하고 통제되며 책임성 있는 엔터프라이즈 AI 아키텍처로 운영하는 데 필요한 운영 제어력과 검증 가능한 신뢰성, 에이전틱 기반을 제공한다”고 말했다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
