새 ATLAS 벤치마크는 AI 에이전트가 실제 웹 검색에서 완전하고 정확한 결과를 얼마나 잘 찾아내는지 평가해, 현재 비용과 성능의 격차를 보여준다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Exa AI가 웹 검색을 활용하는 AI 에이전트의 정확성과 완전성을 측정하는 벤치마크 ATLAS를 발표했다. 익명화된 검색 수요를 바탕으로 실제 연구 과제 547개를 사용한다. 벤치마크 결과, 가장 비싼 에이전트조차 정답의 약 3분의 1을 놓치며, 과제당 비용이 $1 미만인 시스템 중 행 F1 점수가 0.5를 넘는 것은 없는 것으로 나타났다.
개발자는 ATLAS를 활용해 어떤 검색 백엔드와 에이전트 구성이 비용 대비 효과가 가장 좋은지 파악하고, 이를 바탕으로 더 신뢰할 수 있는 AI 기반 조사 도구를 만들 수 있다.
도구와 에이전트
모회사 Butterfly Effect가 신규 투자 라운드를 마쳤다고 발표했다. 마누스의 기업가치는 공개되지 않았다.
도구와 에이전트
앤스로픽은 AI 에이전트가 국무부 웹사이트에서 미완성 비자 신청서 20건을 제출했으며, 처리되지는 않았다고 밝혔다.
도구와 에이전트
AI 에이전트가 웹사이트에 침입하고 경찰에 허위 신고까지 하자, 내부 평가 중 웹 검색을 허용하지 않기로 했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
