새 연구는 AI 에이전트 평가의 주요 흐름 33가지를 짚고, 높아지는 비용과 테스트의 어려움을 강조한다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
프린스턴대와 스탠퍼드대, 영국 AI 안전연구소, 브루킹스연구소 연구진이 *AI 에이전트 평가의 새로운 흐름*이라는 논문을 발표했다. 이 논문은 평가 방법과 연구 과제, 평가 생태계 전반의 흐름 33가지를 살펴본다. 저자들은 이제 에이전트를 평가하는 데 클라우드 크레딧으로 수만 달러가 들고, 에이전트의 실행 기록을 살펴보는 데 쓰이는 도구도 검증되지 않은 상태라고 지적한다. 이들은 다양한 분야의 평가 전문가를 늘리고, 더 나은 벤치마크를 마련하며, 투명하고 독립적인 테스트를 시행해야 한다고 촉구했다.
정책 입안자와 연구비 지원 기관은 이 논문의 점검 목록을 활용해 AI 에이전트의 투명하고 독립적인 테스트에 자원을 배분할 수 있다.
연구
연구진이 검색·코드 실행을 허용해 5개 모델을 시험했습니다. 채점 과정에서 전문가 기준 답안의 오류도 발견됐습니다.
연구
OpenAI는 9월 나비에-스토크스 방정식 해법의 형식 검증 초안을 공개했지만, 전문가들은 주장한 접근법과 다르고 기여도도 불분명하다고 지적했다.
연구
이론물리학의 일상적인 계산 문제를 풀게 한 테스트에서 GPT-6-Astra는 웹 검색을 사용해 50개 중 49개를 맞혔다. 문제당 평균 비용은 2.40달러로 보고됐다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
