오픈 시큐어 AI 얼라이언스, AI 보안 사고의 안전한 공유·분석을 위한 공동 방어 체계 마련
엔비디아가 미국 라스베이거스에서 개최된 블랙햇(Black Hat) 연례 콘퍼런스에서 120개가 넘는 조직이 참여하고 있는 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance) 회원사들이 에이전틱 AI 사이버보안을 강화하기 위한 새로운 가이드라인을 개발하고 있다고 밝혔다.
리눅스 재단(Linux Foundation)은 SAFE(Shared AI Findings Exchange)에 대한 의견 수렴 요청서(Request for Comments, RFC)를 공개했다. SAFE는 에이전틱 AI 사이버보안 사고에서 얻은 정보를 생태계 전체를 보호하는 공동의 방어 체계로 전환하기 위해 제안된 가이드라인이다.
SAFE 가이드라인은 오픈 시큐어 AI 얼라이언스 워킹 그룹이 마련하고 있다. 엔비디아(NVIDIA)와 시스코(Cisco), 크라우드스트라이크(CrowdStrike), 허깅페이스(Hugging Face), 레드햇(Red Hat)을 비롯한 오픈 시큐어 AI 얼라이언스 회원사들은 리눅스 재단과 협력해 초기 제안서 작성에 참여하고 있다.
SAFE 가이드라인에는 AI 관련 사고와 아차 사고(near miss)를 기밀로 수집·분석하고, 영향을 받은 대상에 이를 알리며, 반복적으로 발생하는 통제 실패를 식별하는 방안이 포함돼 있다. 또한, 시스템 전반의 위험을 줄일 수 있도록 증거에 기반한 운영 권고안을 발표하는 방안도 담고 있다고 업체 측은 전했다.
사이버보안은 결승선이 없는 경주이다. 주요 기술이 전환될 때마다 새로운 잠재적 공격 표면이 생겨났다. 방어자는 인프라와 지식재산을 보호하기 위해 지금부터 AI 에이전트의 속도에 맞춰 신속하게 대응해야 하며, 이를 위한 가장 효과적인 방법은 함께 협력하는 것이다. 신뢰할 수 있는 생태계가 위협 인텔리전스를 투명하게 공유할 때 집단 방어의 효과는 더욱 배가될 수 있다.
AI 사이버보안 도구를 확대하는 오픈 시큐어 AI 얼라이언스
업체 측에 따르면, SAFE 프레임워크는 AI 보안 스택 전반에서 개방적이고 검토 가능한 도구를 개발·공유하기 위해 오픈 시큐어 AI 얼라이언스 회원사들이 이어온 기술적 기여를 한층 확장한다.
AI 에이전트는 단순한 모델이 아니라 아이덴티티 제어, 하네스, 가드레일, 로그, 평가로 구성된 하나의 시스템이다. 따라서 AI 에이전트를 보호하려면 단순한 취약점 검사 이상의 접근이 필요하다.
보안은 여러 계층이 유기적으로 작동하고 커뮤니티가 보유한 지식을 적극적으로 공유할 때 가장 강력해진다. 가장 어려운 문제는 보안 담당자들이 서로의 경험을 개방적이고 신속하게 공유하고 학습할 때 해결할 수 있다는 것이다.
엔비디아의 개방형 사이버보안 소프트웨어·모델 풀스택
엔비디아의 지원은 기술 스택 전 계층에 걸쳐 있다. 그 출발점은 깃허브(GitHub)에 공개된 엔비디아 랩스 객체 지향 에이전트(NVIDIA Labs Object-Oriented Agent, NOOA) 연구용 하네스이다. NOOA는 에이전트의 동작을 더욱 쉽게 테스트·추적·감사·관리할 수 있도록 지원한다.
엔비디아 오픈쉘(OpenShell) 런타임은 에이전트가 조회하고 접근하며 실행할 수 있는 범위를 제한한다. 에이전트 수준에서 보안·프라이버시 제어를 적용해 에이전트가 접근해서는 안 되는 영역에 닿지 못하도록 한다고 업체 측은 밝혔다.
엔비디아의 개방형 모델 제품군은 개방형 가중치와 데이터세트, 학습 기법과 함께 제공된다. 여기에는 에이전틱 AI를 위한 엔비디아 네모트론(Nemotron), 피지컬 AI를 위한 엔비디아 코스모스(Cosmos), 로보틱스를 위한 엔비디아 아이작(Isaac) GR00T, 헬스케어·생명과학을 위한 엔비디아 바이오네모(BioNeMo), 그리고 상업적 사용이 허가된 자율주행차 모델 중 세계 최대 규모인 엔비디아 알파마요(Alpamayo)가 포함된다.
엔비디아의 검증된 오픈 소스 에이전트 스킬은 이러한 신뢰성을 기능 계층까지 확장한다.
각 스킬은 이식 가능한 명령어 세트로 제공된다. 또한 카탈로그화되고, 프롬프트 인젝션과 툴 포이즈닝(tool poisoning) 같은 위험 요소에 대한 검사를 거치며, 암호학적으로 서명되고 스킬 카드로 문서화된다. 이를 통해 보안 담당자는 특정 에이전트 스킬의 기능과 출처, 공개 이후 변경 여부를 정확히 확인할 수 있다.
네모 가드레일(NeMo Guardrails)과 네모 어노니마이저(NeMo Anonymizer), 네모 세이프 신디사이저(NeMo Safe Synthesizer)는 안전 정책을 시행하고 민감한 데이터를 보호하며, 프라이버시가 보장된 합성 데이터를 생성하도록 지원한다.
또한 엔비디아의 오픈 소스 거대 언어 모델(Large Language Model, LLM) 취약점 스캐너인 가락(Garak)은 보안팀이 모델을 출시하기 전에 데이터 유출, 프롬프트 인젝션, 탈옥(jailbreak) 시나리오를 점검할 수 있도록 지원한다는 설명이다.
얼라이언스 회원사, 개방형 생태계 개발 도구 확대
오픈 시큐어 AI 얼라이언스의 다른 회원사들도 아이덴티티와 권한, 하네스, 런타임 가드레일, 보안 AI 모델, 관측성과 평가, 데이터 보안과 프라이버시, 가용성과 복원력 등 방어 스택 전반에 걸쳐 개발을 이어왔다.
아래에서는 스택의 각 계층에서 최근 공개된 주요 기여 사례를 소개한다. 이와 함께 새로운 기술 기여도 지속적으로 추가될 예정이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
