OpenAI, Google, Microsoft, Anthropic은 웹사이트 운영자가 AI 크롤러에 사이트에 접근하지 말라고 알릴 수 있는 공통 신호를 지원하겠다고 밝혔다. 제안된 ‘정책 토큰’은 웹사이트의 robots.txt 파일에 들어간다. robots.txt는 웹 크롤러가 사이트의 어떤 부분을 방문할 수 있는지 알려주는 텍스트 파일이다. 이 방안은 운영자가 기업마다 따로 대응하지 않고 여러 AI 기업에 한 번에 선호 사항을 설정할 수 있도록 하는 것이 목표다.
이 신호는 인터넷 표준을 개발하는 단체인 인터넷 엔지니어링 태스크포스(IETF)에서 제안됐다. 제안자는 Anthropic의 표준 담당 기술 책임자 Kevin Kelley다. Anthropic은 이미 이 신호를 도입했다. Google과 Microsoft는 2027년 지원을 계획하고 있으며, OpenAI는 앞으로 몇 달 안에 구현하겠다고 밝혔다. 기업들은 AI 크롤러가 토큰을 발견하면 사이트 접근을 제한할 것이라고 말했다.
게시자는 어떤 설정을 할 수 있나?
Microsoft는 더 세분화된 설정을 제공하겠다고 밝혔다. 게시자는 AI 학습, AI 그라운딩 또는 둘 다를 거부할 수 있다. 그라운딩은 잘못된 답변을 줄이기 위해 AI 모델이 검증된 정보 출처를 참조하도록 하는 것을 뜻한다. Microsoft는 사이트의 설정이 Bing 검색 결과에서 해당 사이트를 제외하지는 않는다며, 사이트 콘텐츠의 AI 활용과 검색 색인을 분리한다고 설명했다.
이번 발표는 AI 크롤러의 지속적인 콘텐츠 수집으로 게시자들이 어려움을 겪는 가운데 나왔다. 현재 웹사이트 운영자는 AI 학습 관련 선호를 기업마다 따로 알려야 한다. 공통 토큰은 이런 반복적인 설정 부담을 줄일 수 있지만, 실제 효과는 AI 서비스가 해당 신호를 인식하고 따르는지에 달려 있다. 발표에는 토큰의 구체적인 형식이나 모든 서비스가 설정을 적용했는지 게시자가 확인할 방법은 담기지 않았다.
콘텐츠 수집을 막기 위한 다른 방안
정책 토큰은 크롤러가 콘텐츠를 이용하는 방식에 대해 게시자가 더 많은 통제권을 갖도록 하려는 다른 시도들과 함께 추진된다. Really Simple Licensing 표준(RSL)은 게시자가 사이트를 방문하는 크롤러에 이용료를 부과할 수 있도록 한다. 한편 Cloudflare는 기본적으로 AI 크롤러를 차단한다. 각 방안의 목적은 다르다. 제안된 토큰은 참여 기업들에 선호 사항을 전달하고, RSL은 라이선스에, Cloudflare는 크롤러 접근 차단에 초점을 맞춘다.
당분간 게시자는 기업마다 다른 도입 일정을 고려해야 하며, Microsoft가 약속한 설정은 단순한 AI 학습 거부보다 범위가 넓다. 공통 방안은 기업별로 따로 신호를 보내는 일을 대체하려는 것이지만, 모든 기업의 약속이 아직 시행된 것은 아니다.
왜 중요한가
게시자는 공통 신호를 통해 참여 기업마다 설정을 반복하는 대신 한 곳에서 AI 이용 선호를 정할 수 있다. 다만 실제로 필요한 서비스가 이를 지원할지는 도입 여부에 달려 있다. Google과 Microsoft의 지원은 아직 시행된 것이 아니라 계획 단계다.
