Oossa

AI 에이전트, 사람보다 토큰 5배 더 사용

Futurum Group에 따르면 AI 에이전트는 8월에 7.3조 토큰을 사용해 사람의 5배에 달했으며, 대부분은 캐시된 프롬프트에서 발생했다.

OossaOossa 게시일: 1 분 읽기

Markus Spiske · Unsplash

Futurum Group의 CEO Daniel Newman은 X에 AI 에이전트가 이제 사람보다 토큰을 5배 더 많이 사용한다고 게시했다. 수치는 OpenRouter 사용량을 추적한 Andreessen Horowitz(a16z)의 차트에 나온 것이다. 8월 기준 에이전트는 7.3조 토큰을 처리했고, 사람은 1.4조 토큰을 사용했다. Newman은 격차가 10배 이상으로 커질 수 있다고 말했다.

트래픽 대부분이 재사용되는 이유

a16z에 따르면 에이전트가 사용한 토큰의 85% 이상은 캐시된 프롬프트에서 발생했다. 이는 에이전트가 새 콘텐츠를 생성하기보다 이미 접한 텍스트를 주로 다시 읽는다는 뜻이다. 캐시는 응답 속도를 높여 주지만 토큰 수를 부풀리기도 한다.

왜 중요한가

일반 사용자에게 에이전트의 토큰 사용량 급증은 AI 도구가 같은 정보를 반복해서 요청받고 있음을 보여 준다. 이 덕분에 응답은 빨라질 수 있지만, 실제로 새 콘텐츠를 얼마나 생성하는지는 가려진다. 또한 토큰 수에 따라 비용을 책정하는 서비스에서는 사용자 질의 증가보다 비용이 더 빠르게 늘어나 가격에 영향을 미칠 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.