연구진이 심층 검색 에이전트를 평가하는 실시간 웹 벤치마크를 공개했다. 최고 모델의 정확도는 39%였고, 사람이 시도했을 때는 21.1%였다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
연구진이 AI 에이전트가 검색, 브라우저 조작, 다양한 파일 형식을 활용해 실시간 웹에서 답을 조사할 수 있는지 평가하는 벤치마크 OpenDS-World를 공개했다. 이 벤치마크에는 200개 과제가 포함돼 있으며, 각 과제의 근거를 확인하고 답이 하나로 정해져 있는지 검증하기 위해 사람이 검토했다.
연구진이 하나의 도구 설정에서 12개 모델을 평가한 결과, 가장 성능이 좋은 모델의 정확도는 39.0%였다. 사람 평가자들은 1,000회 시도에서 21.1%의 정확도를 기록했다. 논문은 도구 간 조율과 장시간 검색 관리에서 문제가 계속 나타난다고 보고했지만, 제공된 초록에는 최고 성능 모델이 명시돼 있지 않다.
웹 조사 에이전트를 개발하는 연구자들에게 OpenDS-World는 실시간 웹을 대상으로 한 평가 기준을 제공한다. 결과를 보면 이런 과제는 여전히 어렵지만, 점수가 일상적인 사용에서 어떤 의미인지는 초록만으로 알 수 없다.
도구와 에이전트
Replit의 새 Monitoring Agent는 앱 장애를 감지해 수정 사항을 만들고 배포할 수 있어, 1인 개발자에게 앱을 지켜보는 당직 엔지니어 역할을 합니다.
도구와 에이전트
Morgan Stanley, JPMorgan, Bank of America, Wells Fargo 등은 고객 계정 정보로 로그인하는 AI 도구를 차단하고 있다.
도구와 에이전트
이미 Gemini를 구동하는 Agent Compute Engine이 몇 달 안에 프리뷰로 공개될 예정이다. Google은 유휴 에이전트를 일시 중지해 용량을 아낄 수 있다고 밝혔다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
