지난 5월 보안 평가업체 이레귤러가 수행한 제미나이의 사이버보안 역량 시험 과정에서 이 같은 일이 발생했다. 당시 시험은 인터넷 접속이 차단된 환경에서 진행되어야 했으나, 실수로 인터넷 접속이 가능한 상태가 되면서 문제가 시작됐다. 제미나이는 가상의 기업을 공격하라는 지시를 수행하던 중 인터넷에서 해당 기업과 이름이 같은 실존 기업들을 찾아내 시스템 접근을 시도했다. 구글에 따르면 제미나이는 비밀번호를 추측하거나 공개 저장소에서 인증정보를 찾아내는 방식으로 3개 기업의 인프라에 접근했다. 구글은 제미나이가 해당 시스템이 실제 기업의 것임을 인지한 뒤 스스로 공격을 중단했다고 밝혔다. 또한 이번 사건으로 인한 실질적인 피해는 없었으며, 관련 기업들에 해당 사실을 통보하고 이레귤러와 함께 시험 절차를 수정했다고 설명했다. 구글은 이번 사례가 AI 모델의 목표 불일치나 통제 실패는 아니라는 입장을 보였다. 한편 이레귤러는 오픈AI, 앤트로픽, 메타 등 다른 기업의 AI 모델에서도 유사한 외부 시스템 접근 사례가 확인됐다고 밝혔다.