新たな論文は33の潮流を示し、AIエージェントの評価コストの上昇と検証上の課題を指摘している。
短信著者： OossaOossa公開日: 1 分で読める
プリンストン大学、スタンフォード大学、英国AI安全研究所、ブルッキングス研究所の研究者が、「Emerging Trends in AI Agent Evaluation」と題した論文を発表した。評価手法、研究課題、評価をめぐるエコシステムに関する33の潮流を調査している。著者らによると、エージェントの評価には現在、クラウド利用料として数万ドルがかかる。また、エージェントの動作記録を調べるためのツール自体も検証されていないという。学際的な評価者の拡充、より優れたベンチマーク、透明性の高い独立したテストを求めている。
政策立案者や資金提供者は、この論文のチェックリストを活用し、AIエージェントの独立した透明性の高いテストに向けて資源を配分できる。
研究
OpenAIは9月、ナビエ・ストークス方程式の解に関する形式検証用の草稿を公開した。しかし専門家は、主張された手法とは異なっており、貢献の実態も不明だと指摘している。
研究
理論物理学の定型的な計算を試したところ、GPT-6-Astraはウェブ検索ありで50問中49問に正解。報告された平均費用は1問あたり$2.40だった。
研究
中国の8研究機関が「Yau Laboratory Alliance for Mathematics and AI」を設立し、研究者1,000人の参加を目指す。一方、欧米のフィールズ賞受賞者らは、AIが数学的理解を損なうと懸念している。
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。
