성평등가족부는 인공지능(AI) 캐릭터 챗봇 사업자에 청소년 유해 대화 차단을 요청했다. 성인인증 여부에 따라 검색·추천·대화 기능을 제한하고, 자해·자살 및 범죄 조장 응답이 생성되지 않도록 보호조치를 강화할 방침이다.
청소년매체환경보호센터는 일부 AI 캐릭터 챗봇 서비스의 실제 대화 내용을 점검한 결과, 성적 내용과 성적 행위에 대한 구체적인 묘사, 폭력·잔혹성, 자해·자살 및 범죄·불법행위 조장 등 유해 우려가 있는 응답이 확인되었다. 특히 일부 캐릭터에서는 여러 유형의 유해 우려 응답이 함께 나타났다.
성평등부는 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터에 대해서는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하도록 요청했다. 또 자해·자살 조장이나 구체적인 범죄 실행을 돕는 응답 등 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 보완해 줄 것을 요청했다.
AI 캐릭터챗봇 서비스의 청소년 보호를 위해 사업자와 협력을 강화하고, 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성할 계획이다. 사업자의 자체점검과 보호조치 개선 여부를 지속적으로 확인할 방침이다.