새로운 OpenProblemBench에는 미해결 문제 82개가 담겼다. GPT-6-Astra는 이 중 14%를 풀어 다른 모델을 크게 앞섰다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
연구진이 수학과 이론물리학의 미해결 문제 82개로 구성된 테스트 세트 OpenProblemBench를 공개했다. 각 문제에는 연구 배경과 해답을 검증할 명확한 기준이 제시된다. 정답 예시를 참고하지 않고 제출물을 채점하는 평가 모델 4개는 답의 정확성과 연구 진전 정도를 평가한다. 테스트에서 GPT-6-Astra의 평균 문제 해결률은 14.0%였으며, 다른 대형 오픈 모델은 5.5~6.7%, Flash 모델은 2.4~3.7%를 기록했다.
최신 대형 언어 모델이 실제 연구 문제에서 측정 가능한 진전을 이룰 수 있음을 보여준다. 이는 이론 과학에서 AI의 역할이 커지고 있음을 시사한다.
모델
Claude 기반 에이전트 3개로 구성된 새 검토 시스템이 핵심 주장 오류의 73.43%를 찾아냈다. 기존 최고 기록인 14.81%를 크게 웃도는 수치다.
모델
Mistral의 신규 1조 매개변수 모델은 독립 지수에서 38점을 기록했지만, 경쟁 오픈 모델보다 작업당 비용이 높다.
모델
OpenAI는 AI로 만든 콘텐츠를 실제 언론에 퍼뜨려 허위 보도를 심으려 한 영향력 공작 2건을 공개하고, 관련 계정을 차단했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
