Oossa

METR、AIの進歩グラフに自由度の高いタスクを追加

非営利団体が更新したグラフによると、AIは簡単なタスクでは4カ月ごとに対応可能な長さが倍増している一方、研究設計など判断力を要する作業では遅れが見られる。

著者: Oossa公開日: 2 分で読める

铮 夏 · Unsplash

MIT Technology Reviewによると、AI評価を行う非営利団体METRは、タスクに対応できる時間の長さを示すグラフを更新した。新しいグラフには、人間が完了するのに大幅に長い時間がかかり、より高度な判断を要するタスクが加わった。たとえば、AI評価を設計することや、哲学的な議論を採点することだ。広く共有された当初のグラフは、人間がタスクを終えるのに必要な時間を基準に進歩を測り、最先端モデルが対応できるタスクの長さは4カ月ごとに倍増していると示していた。今回の更新でも、コーディングや数学のように正解を確認しやすいタスクではこの傾向が続いているが、自由度の高いタスクでは差が広がっていることも浮き彫りになった。 追加されたタスクは、研究開発の自動化に重要な能力を調べることを目的としている。評価設計のタスクでは、最先端モデルでさえ「基準をわずかに上回る程度」の成績にとどまり、METRのスタッフにとって有用な水準には達しなかった。哲学的な議論を評価するタスクでも、モデルの成績は人間の専門家を下回った。記事で紹介された研究者らは、こうした結果は意外ではないと述べている。先行研究では、AIが人間によるコンピューターサイエンスの研究を自力で再現できないことがすでに示されていた。 METRのスタッフ自身も、これらのタスクの性能を測るのは難しいと指摘する。新たに加えた多くのタスクでは、人間に数百時間かかる仕事を実際に完了してもらうと費用がかさむため、実作業の代わりに人間が必要とする時間の推定値を用いている。そのため、判断力を要するタスクは少数にとどまり、データの確かさも当初のタスク群より低いと報告書は認めている。UC BerkeleyのSayash KapoorやBoston UniversityのNajoung Kimら専門家は、こうしたタスクを加えたことを前向きに評価する一方、測定が難しい能力の傾向は今後も不確かなものになると注意を促す。 全体として、更新されたグラフは、成否を簡単に確かめられるタスクで急速な進歩が続く一方、判断を伴う作業での進歩はまだ確かなものではないことを示している。このグラフは、AIによる研究開発の自動化がいつ実現するのかをめぐる議論に影響を与えそうだ。

新しいタスクが重要な理由

AIが新たな実験の設計や研究提案の作成を支援するには、単純な合否判定では確認できないタスクをこなす必要がある。更新されたMETRのグラフは、そうした分野で現在のモデルがまだ人間に及ばないことを示しており、研究を完全に自動化するAIの実現は差し迫っていないことを示唆している。 AIで製品開発を加速させようとしている企業にとって、この差は、高度な戦略判断にAIを使ってもすぐに成果が得られるとは限らないことを意味する。現時点でAIの信頼性が最も高いのは、コード生成やデータ分析のような、具体的で正しさを確認しやすい作業だ。

なぜ重要か

一般ユーザーにとって今回の更新が示すのは、コーディングのように明確な正解がある仕事ではAIツールの性能向上が続く一方、研究計画や哲学的な推論で人間の判断を代替する段階にはまだ至っていないということだ。企業は定型作業の自動化にAIを活用しつつ、戦略的な意思決定では引き続き人間が関与する必要がある。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。