기업의 생성형 AI 운영 위한 ‘AI Gateway & Claude Code’ 핸즈온 세미나 성료
솔트웨어(대표 이정근)는 LiteLLM과 아마존 베드락(Amazon Bedrock)을 활용해 기업의 AI Gateway를 구축하고, 클로드 코드(Claude Code)를 사내 통제 환경에서 운영하는 방법을 직접 실습하는 핸즈온 세미나를 개최했다고 9월 16일 밝혔다.
업체 측에 따르면, 이번 세미나는 기업 내 대규모언어모델(LLM) 활용이 확대되는 가운데, 여러 AI 모델을 하나의 엔드포인트로 통합하고 사용자별 접근 권한과 비용을 관리하는 것은 물론, 민감 정보 유출 방지와 사용 데이터 관리까지 기업의 LLM 운영에 필요한 체계를 직접 구축해보는 프로그램으로 마련됐다.
세미나는 AI Gateway의 필요성과 역할, 아키텍처에 대한 이해를 시작으로 LiteLLM을 활용한 AI Gateway 구축 실습을 중심으로 진행됐다는 설명이다.
참가자들은 여러 LLM을 하나의 엔드포인트로 통합하는 LLM Proxy를 구축하고 △사용자별 접근 권한 및 예산 관리 △사용자별·일자별 비용 추적 △반복 호출 비용과 지연을 줄이는 캐싱 △민감 정보 유출을 차단하는 가드레일 △LLM 사용 데이터 확보를 위한 로깅 등 주요 기능을 확인할 수 있었다.
이어 아마존 베드락 기반의 클로드 코드 활용 환경에 LiteLLM을 적용해, 클로드 코드를 사내 통제 범위 안에서 운영하는 방법을 다뤘다. 이를 통해 기업이 클로드 코드를 활용하면서 사용 환경을 효과적으로 관리하고 통제하는 방안을 살펴봤다고 업체 측은 전했다.
이번 세미나는 조직 내 LLM 도입을 검토 중이거나 이미 사용하고 있는 기술 리더를 비롯해 AI Gateway와 LiteLLM 활용에 관심 있는 개발자 및 엔지니어, 사내 LLM 사용 환경을 표준화하려는 플랫폼 엔지니어, LLM 사용 비용을 파악하고 통제하려는 인프라 운영자, 민감 정보 유출 등 AI 사용 리스크를 관리하는 보안 담당자 등을 대상으로 진행됐다.
이정근 솔트웨어 대표이사는 “기업의 LLM 활용이 확대되면서 다양한 AI 모델을 효율적으로 연결하는 것뿐만 아니라, 접근 권한과 비용, 민감 정보 등 AI 사용 전반을 체계적으로 관리할 수 있는 환경을 마련하는 것이 중요해지고 있다”며, “이번 세미나를 통해 LiteLLM 기반 AI Gateway 구축부터 클로드 코드 활용까지 기업의 실제 AI 운영 환경에 적용할 수 있는 방법을 직접 경험할 수 있는 기회를 제공했다”고 밝혔다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
