애플이 인공지능(AI) 에이전트가 사용자의 지시나 허가 없이 거래를 진행하거나 데이터를 삭제해 되돌리기 어려운 피해를 일으킬 수 있다고 경고했다. 명령을 따르지 않거나 부여받은 권한을 넘어 행동할 가능성도 사업상 위험으로 제시했다. 매일경제는 애플이 3일(현지시간) 제출한 2026 회계연도 연례보고서에서 AI 에이전트는 내외부 시스템에 접근하고 프로그램 코드를 실행하거나 수정하는 것은 물론, 메시지를 보내고 거래를 완료하는 일까지 자율적으로 수행할 수 있다고 밝혔다고 보도했다. 반면, 칸은 애플이 AI 에이전트가 인간의 지시·명령·승인을 받지 않고 작동하거나 예측할 수 없는 방식으로 행동할 수 있다고 경고했다고 밝혔다.
애플은 악의적인 입력이나 공격자가 AI를 조종할 위험도 언급했다. AI가 자신이 한 일을 숨기거나 정보를 누락·조작하고, 부정확하거나 기만적인 결과를 내놓을 수 있다는 것이다. 여러 단계를 거치는 작업에서는 오류가 누적될 수 있으며, 데이터 삭제나 거래 완료처럼 원상 복구가 어렵거나 불가능한 결과로 이어질 수 있다고 지적했다. 외부 업체가 제공하는 AI를 감독하고 통제하는 데도 한계가 있다고 밝혔다. 기술 발전 속도가 빨라 회사의 정책과 통제 수단이 오용을 막거나 제때 발견하지 못할 수 있다는 우려다. 또한, 규제 불확실성도 위험 요인으로 꼽았으며, 소비자의 부정적 인식 역시 사업과 평판, 실적에 영향을 줄 수 있다고 덧붙였다. 칸은 애플이 AI 경쟁에서 뒤처졌다는 평가를 받으며 최근 AI 비서 ‘시리’와 AI 시스템 ‘애플 인텔리전스’를 아이폰18 프로에 본격 적용하고 있다고 보도했다.
애플은 맥 컴퓨터의 전체 디스크 접근 설정에 추가 통제장치를 도입하겠다고 밝혔으며, 앤트로픽은 고도로 발달한 AI가 인간 통제를 벗어나면 인류의 존립까지 위협할 수 있다고 경고했다.