생성형 AI 스타트업 스캐터랩은 AI 플랫폼 ‘제타(zeta)’의 청소년 이용자 보호를 위해 연내에 이용 시간 및 결제 한도 정책을 도입한다고 밝혔다.
청소년 이용자는 하루 기본 이용시간 3시간, 월 결제 한도 10만원으로 제한된다. 이용시간이 3시간에 가까워지면 휴식을 권하는 안내가 표시되며, 설정된 이용시간이나 결제 한도에 도달하면 서비스 이용과 추가 결제가 제한된다.
기존에는 ‘세이프 모드’에서 청소년 유해 매체물 수준의 콘텐츠를 제한하고, ‘언리밋 모드’는 성인 본인인증을 거친 이용자에게만 제공했다. AI와 대화하는 과정에서 자살이나 자해 관련 표현이 반복적으로 감지되면 전문 상담기관을 안내하고, 이용자가 대화 상대를 실제 사람으로 혼동하지 않도록 플레이 화면에 AI라는 사실을 상시 표시하고 있다.
스캐터랩은 황정아 더불어민주당 의원실의 점검 결과, 일부 대화 시나리오에서 성폭력, 성착취 관련 표현이 생성되는 문제가 확인됨에 따라, 플레이 모델을 고도화하고 신규 탐지 모델을 배포할 계획이다. 매월 정기적으로 레드팀 점검을 실시할 예정이다.