인공지능 캐릭터 챗봇 ‘제타’가 성인 인증 없이 이용 가능한 환경에서 미성년자로 설정된 캐릭터를 대상으로 성폭력 등을 묘사하는 대화가 생성 가능했던 것으로 확인됐다. 국회 과학기술정보방송통신위원회 황정아 의원실은 해당 챗봇 서비스를 점검한 결과, 청소년 기준이 적용되는 ‘세이프 모드’에서도 성폭력과 성 착취, 협박 대화가 생성됐고, 대화가 차단되자 AI가 필터를 피할 표현 방식을 제시하기도 했다. 스캐터랩은 문제 확인 후 즉시 유해 대화 탐지 및 차단 기능을 강화하고, 반복적인 유해 대화 시도에 대한 단계별 이용 제한 조치를 도입했다. 월간 활성 이용자는 지난달 말 기준 148만 명으로, 이 가운데 19세 이하 이용자는 38만 명이다. 황정아 의원은 “많은 청소년이 이용하는 AI 서비스인 만큼 보호 장치가 실제로 작동하는지 지속적으로 점검하고, 다른 AI 챗봇 업체들도 청소년 보호 방안을 더욱 고도화해야 한다”고 강조했다.