AI를 활용한 안전 필수 시스템의 시대에는 산업 인증 획득 및 법적 요구사항 준수에 있어 V&V 절차가 매우 중요해지고 있다. 엔지니어는 신뢰할 수 있는 시스템을 구축하고 유지하기 위해 해당 시스템을 실행하는 AI 모델에 대한 설명 가능성과 투명성을 제공하는 검증 기술을 사용해야 한다. 


김영우 전무, 매스웍스 코리아 


전 세계 여러 나라가 AI 규제를 마련하면서, AI가 적용된 시스템의 엔지니어는 새로 도입된 조건과 기준을 충족시켜야 한다. 미국 정부는 지난해 10월 30일, AI 규제에 대한 행정 명령을 개시하며 AI 기능을 탑재한 시스템에 대한 충분한 검증 및 확인(Verification and Validation, 이하 V&V) 절차의 중요성을 강조했다. 이 지침은 AI 회사가 특정 모델을 테스트하여 AI 시스템이 의도한 대로 작동하며 지정된 조건을 충족하는지 확인하도록 의무화한다. 

자동차, 항공 우주 등의 안전이 중요한 분야의 시스템 설계에 AI 사용이 증가함에 따라 AI 규제와 V&V 프로세스는 안전 필수 시스템에 큰 영향을 미칠 것으로 보인다. 

AI 적용 시스템에서의 V&V

검증 절차는 제품이 고객의 요구와 기대를 충족하는지를 살펴보며, 확인 과정은 AI 모델이 지정된 조건에 따라 설계 및 개발되었는지를 판단하게 된다. 엔지니어는 V&V 절차를 활용해 AI 모델의 결과물이 조건을 충족하는지 확인하여 조기에 버그를 탐지하고 데이터 편향을 완화할 수 있다. 

안전 필수 시스템에서 AI를 활용할 때 이점 중 하나는 AI 모델이 물리적 시스템을 근사화해, 설계를 검증할 수 있다는 점이다. 시스템 엔지니어는 AI가 적용된 시스템을 전체적으로 시뮬레이션한 후 해당 데이터를 활용해 예상 밖의 경우의 수까지 포함한 다양한 시나리오에서 시스템을 테스트할 수 있다. 안전이 결정적으로 중요한 시나리오에서 V&V를 실행하면, AI 기반 안전 필수 시스템이 다양한 상황에서도 성능을 유지할 수 있다. 

AI 제품을 개발하는 대부분의 업계에서는 엔지니어가 제품 출시 전 기준 조건을 준수해야 한다. 이러한 인증 과정은 AI 제품 설계에 특정 구성 요소가 반영되도록 하며, 엔지니어들이 V&V를 수행해 해당 기능을 테스트하고 간편하게 인증을 획득할 수 있도록 돕는다. 

자동차 업계에서는 도로 주행 차량에 대한 안전 기능 및 위험 요인에 대한 표준으로 ISO/CD PAS 8800를 개발하고 있다. 인증 확보가 의무적인 항공우주 및 방위산업 분야의 경우 기존 항공 시스템 및 장비 인증의 소프트웨어 고려 사항(DO178C) 산업 표준으로는 AI 적용에 따른 문제에 직접적으로 적용하지 못할 수 있다. 이를 개선하기 위해 새롭게 ARP6983 프로세스 표준을 통해 AI를 구현하는 항공 안전 관련 제품의 개발 및 인증에 대한 지침을 제공하기 위해 준비하고 있다. 

엔지니어들은 딥러닝 툴박스 검증 라이브러리(Deep Learning Toolbox™ Verification Library) 및 매트랩 테스트(MATLAB? Test™)를 통해서 산업 표준을 준수하고, 더욱 광범위한 시스템 내에서 AI 모델 검증 및 테스트 간소화를 지원하는 소프트웨어를 개발하여 항공 및 자동차 분야에서 V&V의 선두를 유지할 수 있다. 

안전 필수 시스템에서의 V&V AI 공정

V&V 실행 시 엔지니어의 목표는 AI 구성요소가 지정된 요구 사항을 충족하고, 모든 운영 환경에서 신뢰할 수 있는 안전성을 확보한 상태로 배포를 준비하는 것이다. AI에 대한 V&V 프로세스에는 정적 및 동적 분석, 테스트, 정형 기법, 실제 운영 모니터링의 조합을 포함한 소프트웨어 보증 활동 등이 수반된다. 

V&V 프로세스는 산업에 따라 조금씩 다를 수 있지만, 핵심적인 단계는 블랙박스 문제 해결을 위한 의사결정 과정 분석, 대표 데이터셋을 기준으로 한 모델 테스트, AI 시스템 시뮬레이션 수행, 모델이 허용 가능한 범위 내에서 동작하는지 확인하기 등을 포함한다. 

V&V 프로세스의 단계는 반복적이기에 엔지니어는 새로운 데이터 수집하고, 새로운 인사이트를 얻고, 운영 피드백을 통합하면서 AI 시스템을 지속적해서 개선할 수 있다. 

블랙박스 문제를 해결하기 위한 의사결정 과정 분석

엔지니어가 AI 모델을 사용하여 시스템에 자동화를 추가할 때 블랙박스 문제가 발생한다. 엔지니어와 과학자가 AI 기반 시스템의 의사결정 과정을 이해하는 것은 투명성을 확보하고, 모델 예측에 대한 신뢰 구축과 의사결정 이해에 있어 매우 중요하다. 

특징 중요도 분석

특징 중요도 분석은 엔지니어가 어떤 입력 변수가 모델의 예측에 가장 큰 영향을 미치는지 식별하는 데 도움이 되는 기술이다. 분석은 트리 기반 모델, 선형 모델 등 다양한 모델에 따라 다양하게 작동하지만, 일반적인 절차에서는 각 입력 변수에 특징 중요도 점수를 부여한다. 중요도 점수가 높다는 것은 해당 특징이 모델의 의사결정에 큰 영향을 미친다는 것을 나타낸다. 자동차 산업의 안전 필수 시스템의 경우, 강수량 또는 다른 차량의 존재 및 행동과 같은 환경적 요인이 변수에 포함될 수 있다.

설명 가능성

설명 가능성 기법은 모델의 작동에 대한 인사이트를 제공한다. 이는 모델의 블랙박스적 속성, 불투명성으로 인해 다른 접근법을 사용할 수 없으면 특히 유용하다. 이미지는 최종 예측에 가장 크게 기여하는 영역을 식별하며, 이를 통해 엔지니어는 모델이 예측을 수행할 때 주로 집중하는 영역이 무엇인지 확인할 수 있다. 

대표 데이터셋을 기준으로 모델 테스트

엔지니어는 종종 안전 필수 시스템이 작동할 것으로 예상되는 실제 시나리오에서 AI 모델의 성능을 평가한다. 목표는 한계를 파악하고 모델의 정확도와 신뢰성을 개선하는 것이다. 엔지니어는 실제 상황의 방대한 데이터셋을 수집하고 테스트에 적합하도록 데이터를 정리하고, 모델의 정확도, 재현성 등 다양한 측면을 평가하기 위한 테스트 케이스를 설계한다. 마지막으로, 모델을 데이터셋에 적용하고 결과를 기록하여 예상 결과와 비교하면, 데이터 테스트 결과에 따라 모델 설계가 개선된다. 




AI 시스템 시뮬레이션 수행

엔지니어는 AI가 탑재된 시스템의 시뮬레이션을 통해 통제된 환경에서 시스템 성능을 평가할 수 있다. 시뮬레이션 중에는 다양한 조건에서 실제 시스템을 모방한 가상 환경이 구축된다. 엔지니어는 먼저 초기 조건과 환경 요인 등 시스템을 시뮬레이션할 입력과 파라미터를 정의한다.

그런 다음 시뮬링크(Simulink?)와 같은 소프트웨어를 사용하여 시뮬레이션을 실행하면 제안된 시나리오에 대한 시스템의 응답이 출력된다. 데이터 테스트와 마찬가지로 시뮬레이션 결과는 예상 결과 혹은 알려진 결과와의 비교를 거치며 모델을 반복적으로 개선한다. 

모델이 허용 가능한 범위 내에서 동작하는지 확인

AI 모델이 안전하고 안정적으로 동작하려면 제한을 설정하고 모델의 동작을 모니터링하여 정해진 경계 내에 있도록 해야 한다. 가장 일반적인 경계 문제 중 하나는 제한된 데이터셋으로 훈련된 모델이 런타임에서 분포 범위를 벗어난 데이터에 노출되는 경우에 발생한다. 마찬가지로, 모델이 아주 견고하지 않아 예측할 수 없는 동작이 발생할 수도 있다. 

엔지니어는 편향성 완화 및 강화 기술을 채택하여 AI 모델이 허용 가능한 경계 내에서 작동하도록 해야 한다. 



데이터 증대 및 밸런싱

데이터 편향을 완화하는 방법 중 하나는 AI 모델을 학습시키는 데 사용되는 데이터에 변동성을 부여해 학습을 저해하는 반복 패턴에 대한 모델의 의존도를 낮추는 것이다. 데이터 증대 기법은 다양한 계층 및 인구통계적 집단에 대한 공정성과 동등한 취급을 보장한다.

자율주행 자동차의 경우 데이터 증대은 다양한 각도에서 촬영한 보행자 사진을 사용하여 모델이 보행자의 위치와 관계없이 보행자를 더 잘 감지하도록 할 수 있다. 데이터 밸런싱 기법은 종종 데이터 증대와 함께 사용되며 각 데이터 클래스의 비슷한 표본을 포함한다. 보행자 예에서 데이터 밸런싱이란 데이터셋에 다양한 체형, 의상 스타일, 조명 조건, 배경과 같은 보행자 시나리오에 비례하는 수의 영상이 포함되는 것을 의미한다. 이 기법은 편향을 최소화하고 다양한 실제 상황에서 모델의 일반화 능력을 향상시킨다. 

견고성

견고성은 안전 필수 상황에 신경망을 배포할 때의 주된 고려사항이다. 신경망은 작고 인지하기 어려운 변경으로 인해 오분류가 발생할 수 있고, 이는 심각한 위험을 초래할 수 있다. 이러한 교란으로 인해 신경망이 부정확해지거나 위험한 결과를 출력할 수 있고, 오류로 인해 큰 피해로 이어질 수 시스템에서는 심각한 문제가 된다.

한 가지 해결책은 정형 기법을 개발 및 확인 공정에 통합하는 것이다. 정형 기법에서는 엄격한 수학적 모델을 사용하여 신경망의 정확성을 확립 및 증명한다. 엔지니어는 이러한 방법을 적용하여 특정 유형 교란에 대한 신경망의 탄력성을 개선하고 안전 필수 응용 분야에서 더 높은 견고성과 신뢰성을 보장할 수 있다. 

결론

AI를 활용한 안전 필수 시스템의 시대에는 산업 인증 획득 및 법적 요구사항 준수에 있어 V&V 절차가 매우 중요해지고 있다. 엔지니어는 신뢰할 수 있는 시스템을 구축하고 유지하기 위해 해당 시스템을 실행하는 AI 모델에 대한 설명 가능성과 투명성을 제공하는 검증 기술을 사용해야 한다.

엔지니어가 AI를 사용하여 V&V 프로세스를 지원함에 따라갈수록 복잡해지는 AI 기술 과제에 대처하는 다양한 테스트 접근법을 살펴보는 것이 필수적이다. 이러한 노력이 안전 필수 시스템에서 AI가 책임감 있고 투명하게 사용되도록 보장한다.