광주과학기술원(GIST)은 김승준 AI학과 교수팀이 인공지능(AI)이 사물을 잘못 인식하도록 유도해 AI의 취약점을 찾아내는 새로운 '적대적 공격*' 기법 'LSAA'를 개발했다고 밝혔다. 자율주행차는 카메라 영상에서 도로, 보행자, 차량 등을 식별해 주변 상황을 파악하며, 이때 영상의 각 화소(픽셀)가 어떤 사물이나 배경에 해당하는지 판별하는 AI 기술인 '의미 분할(Semantic Segmentation)'이 활용된다. 연구팀은 AI가 학습 과정에서 사물의 특징을 수치로 표현하고 정리하는 내부 공간인 '잠재 공간(Latent Space)'에 주목했다. LSAA는 잠재 공간의 정보를 활용해 영상의 각 화소에서 정답을 제외하고 AI가 가장 혼동하기 쉬운 대상을 찾아낸 뒤, 해당 대상으로 잘못 인식하도록 영상에 미세한 변화를 가하는 기술이다. 비교 실험 결과, 도심 주행 영상에서 원본 영상의 평균 사물 영역 일치도(mIoU)가 68.35%였던 AI 모델은 LSAA를 적용했을 때 0.41%를 기록했다. 연구팀은 AI가 어떤 대상을 혼동하는지는 학습 과정에서 형성된 내부 정보에 이미 담겨 있다고 밝혔다. 이번 연구는 향후 자율주행차와 로봇에 쓰이는 AI의 안전성과 신뢰성을 검증하는 데 기여할 것으로 기대된다.