유통업체의 재고 정확도 담당팀은 공용 LLM 플랫폼을 구축한 뒤 6개월 만에 환각률을 15%에서 1.5%로 낮췄다. 이 플랫폼은 자동 재시도 루프, 의도 검증 단계, 실행 중에도 업데이트할 수 있는 프롬프트 레지스트리를 제공한다. 또한 토큰 비용을 추적하고 리소스 서버에서 도구 사용 권한을 강제한다. 이러한 변경 사항은 Gemini와 GPT 같은 모델을 사용하는 멀티 에이전트 시스템에 적용됐다.
왜 중요한가
유통업체 운영팀은 환각률이 낮아지면 잘못된 재고 권고가 줄고, 이를 바로잡는 데 드는 수작업 비용도 절감할 수 있다.