글로벌 사이버 보안 기업 카스퍼스키(Kaspersky)가 생성형 인공지능(Generative AI)의 어두운 활용, 이른바 ‘다크 AI(Dark AI)’의 부상에 대해 경고했다. 카스퍼스키는 18일 대규모 언어 모델(LLM)을 악용해 기존 AI 안전장치나 규정을 우회하여 데이터를 탈취하거나 사이버 공격을 수행하는 사례가 아시아태평양 지역에서 증가할 것이라고 밝혔다.

카스퍼스키 META 및 아시아태평양 지역 GReAT(글로벌 연구 분석팀) 총괄 책임자 세르게이 로즈킨은 “ChatGPT가 2023년 전 세계적인 인기를 얻은 이후, 우리는 영상 제작 같은 일상적인 작업부터 위협 탐지와 분석에 이르기까지 다양한 AI 활용을 목격해 왔다”라며 “동시에 악의적인 행위자들 역시 AI를 공격 역량 강화에 활용하고 있다. 우리는 이제 사이버보안과 사회 전반에서 AI가 방패이자 검이 되는 시대에 진입했다”라고 말했다.

다크 AI는 비제한 대규모 언어 모델을 로컬 또는 원격 환경에 배치해 비윤리적·비인가 목적에 사용하는 것을 의미한다. 이러한 AI는 감시나 통제를 벗어나 기만, 조작, 데이터 남용, 사이버 공격을 수행할 수 있다는 점에서 위험성이 크다.

대표적인 사례로는 ‘Black Hat GPTs’가 꼽힌다. 2023년 중반부터 등장한 이들 모델은 악의적 코드 생성, 피싱 이메일 작성, 딥페이크 제작, 레드팀 작전 지원 등 불법적 행위를 목적으로 설계됐다. WormGPT, DarkBard, FraudGPT, Xanthorox 등이 대표적인 예다. 이들 중 상당수는 비공개 또는 준공개 형태로 운영되며 사이버 범죄와 사기, 자동화 공격을 지원한다.

카스퍼스키는 특히 최근 국가 배후 APT(Advanced Persistent Threat) 공격자들이 LLM을 자국 작전에 활용하는 정황이 포착되고 있다고 지적했다. 로즈킨은 “최근 OpenAI가 자사 AI 도구를 악용하려는 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 방해했다고 발표했다”며 “위협 행위자들이 공공 및 사설 생태계에서 생성형 AI를 무기화하기 위한 더욱 교묘한 방법들을 개발할 것”이라고 경고했다.

OpenAI 보고서에 따르면, 악의적 행위자들은 LLM을 이용해 설득력 있는 가짜 인물을 만들고, 피해자와 실시간 상호작용하며, 다국어 콘텐츠로 보안 필터를 우회했다. 이와 관련해 로즈킨은 “AI는 본질적으로 옳고 그름을 구별하지 못하고 단지 명령을 따를 뿐이다. 다크 AI 도구가 점점 더 쉽게 접근 가능해지고 역량이 강화됨에 따라, 아시아태평양 지역의 조직과 개인은 사이버 보안 위생을 강화하고 AI 기반 위협 탐지 기술에 투자해야 한다”고 강조했다.

카스퍼스키 전문가들은 다크 AI 대응 방안으로 ▲Kaspersky Next와 같은 차세대 보안 솔루션을 통한 AI 기반 악성코드 탐지 ▲실시간 위협 인텔리전스 도구를 활용한 AI 기반 공격 모니터링 ▲섀도우 AI 및 데이터 유출 방지를 위한 접근 통제와 직원 교육 강화 ▲보안 운영 센터(SOC) 구축을 통한 실시간 감시 및 신속 대응 등을 제시했다.