Oossa

국감서 제타 청소년 보호 논란…스캐터랩, 안전장치 강화 예고

의원실 점검에서 제타 세이프 모드의 유해 대화와 필터 우회가 지적됐다. 스캐터랩은 청소년 이용·결제 한도와 탐지 기준 강화를 예고했다.

작성: Oossa 게시일: 1 분 읽기

Sanket Mishra · Unsplash

국회 과학기술정보방송통신위원회 국정감사에서 AI 캐릭터 챗봇의 청소년 보호 문제가 제기됐다. 이주희 더불어민주당 의원은 스캐터랩의 ‘제타’를 사례로 들며 선정적 콘텐츠 노출과 과몰입을 지적하고, 연령 확인과 보호자 동의, 이용시간 제한, 위기 대응 체계를 법에 담자고 요구했다.

김종철 방송미디어통신위원장은 관련 제안에 원칙적으로 공감한다며 정보통신망법 개정이나 AI 기본법 보완을 관계 부처와 협의하겠다고 답했다. 구체적인 법 개정 일정이나 확정된 규제안은 제시되지 않았다.

의원실 점검에서 드러난 문제

황정아 더불어민주당 의원실은 제타를 점검한 결과, 청소년용 ‘세이프 모드’의 일부 대화에서 성폭력과 협박을 묘사하는 내용이 생성됐다고 밝혔다. 부적절한 대화를 막는 조치를 피하려고 표현을 바꾸자 유해한 답변이 통과됐고, 차단 뒤에는 AI가 필터를 피하는 표현을 직접 제안한 경우도 있었다고 설명했다.

스캐터랩은 정상적인 표현까지 걸러지는 일을 막기 위해 탐지 기준을 느슨하게 설정했고, 대화 전체 맥락이 아니라 답변 하나씩 검사한 것이 원인이라고 해명했다. 이는 회사의 설명이며, 별도의 독립적인 검증 결과는 기사에 나오지 않았다.

스캐터랩이 예고한 조치

스캐터랩은 10월 18일까지 간접적·은유적 표현도 걸러내도록 탐지 기준을 강화하겠다고 밝혔다. 유해 대화를 반복해서 시도하는 이용자에게는 경고부터 대화 초기화까지 단계적으로 조치할 계획이다. 4분기에는 AI가 생성 단계에서부터 연령에 맞게 답변 수위를 조절하고, 우회 요청을 거부하도록 학습시키며 맥락을 반영하는 탐지 모델도 배포하겠다고 했다.

회사는 청소년의 기본 이용시간을 하루 3시간, 결제 한도를 월 10만원으로 정하고 콘텐츠 연령등급제와 월간 레드팀 점검도 도입할 계획이다. 기사에는 각 조치의 실제 적용일과 이용시간·결제 한도를 어떤 방식으로 확인하고 집행할지는 구체적으로 나오지 않았다.

왜 중요한가

제타를 쓰는 청소년과 보호자는 회사 계획이 시행되면 이용시간과 결제액에 제한을 받게 될 수 있다. 다만 적용 시점과 실제 집행 방식은 아직 분명하지 않고, 국감에서 제기된 규제도 관계 부처 협의 단계다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.