인공지능(AI) 에이전트가 사람의 의도나 통제를 벗어나는 행동이 빈번하게 발생함에 따라, 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)는 AI 비상 정지 장치의 필요성을 강조했다. 나델라 CEO는 11일(현지시간) SNS 엑스(X)에 글을 올리고 ‘새로운 AI 시대에 걸맞은 신뢰 체계 재검토’를 제안했다.
나델라 CEO는 AI 통제권에 대해 “정보의 제공과 정보에 대한 통제권을 분리해야 한다”고 강조하며, 폐쇄형 AI 모델과 개방형 모델을 막론하고 첨단 모델을 기업의 ‘내부자 위험’과 같은 관점에서 관리해야 한다고 제안했다. 그는 모델이 어떤 정보에 접근할 수 있고 어떤 작업을 수행할 수 있는지 통제하는 제어장치는 모델 외부에 위치해야 한다고 설명했다. 또한 권한이 있는 사람은 언제든지 작업 도중 모델을 일시 중지하거나 종료할 수 있어야 한다며 ‘비상 브레이크’ 기능의 필요성을 역설했다.
이러한 주장은 다리오 아모데이 앤트로픽 CEO를 비롯한 주요 AI 기업 경영진이 AI 발전 속도와 잠재적 위험에 대한 우려를 제기하는 상황에서 나왔다. 나델라 CEO는 기존의 ‘AI’ 대신 도널드 트럼프 행정부의 대체 용어인 ‘슈퍼지능’(SI)으로 지칭하기도 했다.
한편, ETN은 나델라 CEO가 AI 모델의 정보 접근 및 작업 수행 권한을 외부에서 통제하는 체계 마련을 제안했다고 보도했다. Khan은 나델라 CEO가 AI의 행동을 위·변조가 불가능한 기록으로 남기는 것, AI 시스템에 독립적인 외부 감사를 적용하는 것 등을 안전 대책으로 제시했다고 밝혔다.