앤트로픽은 클로드가 작업을 쉬는 동안 이전 기록을 살펴보고, 기억의 오류를 고치거나 새 지식으로 정리하는 ‘드리밍’ 방식과 관련 실험을 공개했습니다. 앤트로픽은 이를 모델을 다시 학습시키는 방식과 구분합니다. 작업 경험을 세션 사이에 저장해 두고 다음 작업에 활용하는 기억 관리입니다.
앤트로픽에 따르면 클로드는 작업 기록에서 중요한 내용을 골라 기억 노트로 남길 수 있습니다. 드리밍은 이 노트와 과거 기록을 다시 대조해 잘못된 내용을 수정하거나, 다음에 쓸 규칙과 계획을 정리합니다. 단순히 많은 정보를 쌓는 것보다 무엇을 기억할지 고르는 일이 중요하다는 설명입니다.
기억을 적게 남긴 모델이 게임에서 앞섰다
‘포켓몬 레드’ 실험에서 약 1만 단계까지 진행한 클로드 소네트 3.7은 225개 폴더에 413개 파일을 만들었지만 배지는 1개를 얻었습니다. 클로드 페이블 5는 폴더 2개와 파일 9개, 요약 파일 하나를 사용해 배지 4개를 획득했습니다. 페이블 5는 전략과 이동 계획, 직접 확인한 규칙을 주로 기록했습니다. 앤트로픽은 소네트 3.7이 게임 화면에서 매번 확인할 수 있는 정보까지 저장하느라 기록을 살피는 데 시간과 자원을 썼다고 설명했습니다.
다만 두 결과는 서로 다른 모델의 기록 방식과 진행 상황을 비교한 것입니다. 기억 관리 방식만 바꿔 효과를 측정한 실험은 아닙니다. 앤트로픽이 공개한 오류 수정 사례에서는 클로드가 포켓몬센터의 위치를 잘못 기억해 같은 길을 반복했습니다. 드리밍으로 과거 기록과 기억을 대조해 위치 정보를 바로잡은 뒤에는 목적지로 향했지만, 오류를 고치지 않은 경우에는 도착하지 못했습니다.
문서 분석에서는 성과와 비용이 함께 나타났다
AI Times에 따르면 앤트로픽은 약 35만 개 파일, 4억2000만 토큰 규모의 내부 문서로 위키 형태의 지식 구조를 만들었습니다. 클로드 오퍼스 5가 128차례 문서를 분석하고 위키를 수정하자, 위키만 사용한 평가 점수는 13%에서 48%로 올랐습니다. 검색과 위키를 함께 사용한 점수는 54%에서 61%로 상승했고, 질문당 토큰 사용량은 약 2만 개 줄었습니다. 기업 인수 관련 질문에서는 위키 활용 정답률이 87%로, 검색만 썼을 때의 73%보다 높았습니다.
계약서 분석에서는 여러 에이전트가 같은 파일을 고쳐 내용이 빠지는 문제가 생겼습니다. 클로드가 계약별로 문서를 나누도록 기억 규칙을 바꾼 뒤 평가 기준 충족률이 72%에서 100%로 높아졌다고 AI Times는 전했습니다. 반면 일부 법률 문서 작업에서는 위키가 검색보다 나은 결과를 내지 못했고, 위키가 원문보다 커지는 경우도 있었습니다. 기억을 검토하고 고치는 데 드는 추가 연산 자원도 남은 과제입니다.
왜 중요한가
기업에서 여러 문서와 긴 작업 기록을 다루는 사람이라면, 클로드가 정보를 요약해 다음 작업에 재사용할 때 질문당 토큰을 줄이고 일부 평가에서 정확도를 높일 가능성이 있습니다. 다만 결과는 특정 실험에 한정되며, 모든 업무에서 검색보다 낫다는 뜻은 아니고 기억을 정리하는 데 추가 연산 자원이 듭니다.
