제프리 힌턴 토론토대 명예교수, 요슈아 벤지오 몬트리올대 교수 등 학계 인사와 오픈AI, 앤트로픽, 마이크로소프트, 메타 등 주요 AI 기업 연구진 22명은 공동 논문 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면?'을 통해 이 같은 우려를 밝혔다. 연구진은 거대 기술기업 내에서 AI 모델 개발을 AI에 위임하는 자동화 속도가 급격히 빨라지고 있다고 지적했다. 앤트로픽의 경우 AI가 작성한 코드 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 증가했으며, 인간의 감독하에 AI가 자율적으로 수행한 연구개발 작업 비율도 지난 3월 1%에서 지난달 26%로 늘어났다. 연구진은 이러한 기술 발전 속도라면 2년 안에 복잡한 AI 연구개발 프로젝트가 완전히 자동화될 수 있으며, AI의 재귀적 자기개선으로 인해 기술 가속이 일어날 수 있다고 내다봤다. 던 송 메타 부사장은 인간만으로는 AI 에이전트의 작업을 감시하기 역부족인 단계에 이르렀다고 평가했다. 연구자들은 AI 시스템에 대한 통제 상실을 막기 위해 각국 정부가 AI 기업의 연구개발 자동화 지표 보고를 의무화하고, 상주 감시관을 배치하는 등 정책적 대비책을 마련해야 한다고 촉구했다. 또한 안전 기준 미달 시 연구개발을 일시 중지할 수 있는 통제 장치와 비상 대응 계획 수립의 필요성을 강조했다.