산둥대·UC버클리 연구진은 하네스가 코드 작성 성공률을 꾸준히 높이지는 않았지만, 같은 과제의 비용은 최대 3배 달라졌다고 밝혔다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
산둥대와 UC버클리 연구진은 코딩 에이전트의 실행 환경인 ‘하네스’ 3종을 비교했습니다. SWE-bench Verified의 오프라인 과제 492개를 여러 모델로 평가한 결과, 기능이 많은 하네스가 성공률을 일관되게 높이지는 않았습니다.
반면 같은 모델과 과제에서도 하네스에 따라 과제당 비용이 최대 3배 차이 났습니다. 연구진은 프롬프트와 도구 정의에 들어가는 고정 문맥이 비용을 키울 수 있다며, 실제 사용할 모델에서 성능과 비용을 반복 측정하고 효과가 확인된 기능만 남기라고 권했습니다.
코딩 에이전트를 운영하는 개발팀은 기능을 더하는 것만으로 성공률이 높아진다고 가정하기보다, 실제 과제에서 비용과 성공률을 반복 측정해 불필요한 실행 절차를 줄일 필요가 있습니다.
도구와 에이전트
Axiom은 약 1만5000쪽에 걸친 유한 단순군 분류 증명을 Lean으로 형식화했다고 밝혔다. 작업 중 기존 논증의 오류와 가정 누락 34건도 확인했다.
도구와 에이전트
LMArena의 무료 커넥터를 이용하면 로그인한 사용자가 업무용 앱을 연결해, 권한을 부여한 범위에서 Agent Mode가 정보를 읽고 작업을 수행하게 할 수 있다.
도구와 에이전트
베타 버전 비서는 글 초안 작성, 표 만들기, 슬라이드 편집을 돕습니다. Apple Intelligence를 지원하는 기기에서 최신 Apple 운영체제를 실행해야 합니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
