Oossa

METR, AI 발전 그래프에 정답 없는 과제 추가

비영리단체 METR의 최신 그래프에 따르면 AI는 쉬운 과제에서 여전히 4개월마다 처리 능력이 두 배로 늘고 있지만, 연구 설계처럼 판단력이 필요한 일에서는 뒤처져 있다.

작성: Oossa 게시일: 2 분 읽기

铮 夏 · Unsplash

MIT Technology Review에 따르면 AI 평가 비영리단체 METR이 시간 지평 그래프의 최신 버전을 공개했다. 새 그래프에는 사람이 훨씬 오랜 시간을 들여야 하고 더 많은 판단력이 필요한 과제가 추가됐다. AI 평가를 설계하거나 철학적 논증을 채점하는 일이 그 예다. 널리 공유된 기존 그래프는 사람이 과제를 끝내는 데 필요한 시간을 기준으로 진척을 측정했으며, 최첨단 모델이 처리할 수 있는 과제의 길이가 4개월마다 두 배로 늘어난다는 점을 보여줬다. 이번 업데이트에서도 코딩과 수학처럼 쉽고 검증 가능한 과제에서는 이런 추세가 이어지지만, 정답이 정해져 있지 않은 과제에서는 격차가 커지고 있다는 점도 드러났다. 새 과제는 연구개발 자동화에 중요한 역량을 살펴보기 위해 마련됐다. 평가 설계 과제에서 가장 앞선 모델들도 겨우 “기준을 간신히 넘는 수준”의 성과를 냈으며, METR 직원들이 유용하다고 볼 만한 수준에는 미치지 못했다. 철학적 논증 과제에서도 모델은 인간 전문가보다 낮은 점수를 받았다. 기사에 인용된 연구자들은 이런 결과가 놀랍지 않다고 말한다. 앞선 연구에서도 AI가 인간의 컴퓨터과학 연구를 독자적으로 재현하지 못한다는 점이 확인된 바 있다. METR 직원들은 이런 과제의 성과를 측정하기가 어렵다고 지적한다. 수백 시간씩 걸리는 작업을 사람에게 맡기려면 비용이 많이 들기 때문에, 새 과제 다수에서는 실제 시험 대신 사람이 과제를 수행하는 데 걸리는 시간을 추정한다. 따라서 보고서에 포함된 판단력 중심 과제는 더 적으며, 데이터의 신뢰도도 기존 과제 모음보다 낮다고 인정한다. UC Berkeley의 Sayash Kapoor와 Boston University의 Najoung Kim 등 전문가들은 이런 과제를 추가한 것은 긍정적인 조치라고 보면서도, 측정하기 어려운 능력의 추세는 여전히 변동성이 클 것이라고 경고한다. 종합하면, 최신 그래프는 성공 여부를 쉽게 확인할 수 있는 과제에서는 빠른 발전이 이어지는 반면, 판단력이 필요한 분야의 진전은 아직 불확실하다는 점을 보여준다. 이 그래프는 AI 기반 연구개발 자동화가 언제 가능해질지에 대한 업계의 판단에도 영향을 미칠 것으로 보인다.

새 과제가 중요한 이유

AI가 새로운 실험을 설계하거나 연구 제안서를 작성하는 데 도움을 주려면, 단순한 통과·실패 기준으로 확인할 수 없는 과제도 처리할 수 있어야 한다. 업데이트된 METR 그래프는 현재 모델이 이런 분야에서 여전히 인간보다 뒤처져 있음을 보여준다. 완전히 자동화된 AI 연구가 당장 실현되기는 어렵다는 뜻이다. AI로 제품 개발을 앞당기려는 기업들은 AI를 활용해 높은 수준의 전략적 결정을 내리더라도 당장 큰 효과를 기대해서는 안 된다. 현재 AI는 코드 생성이나 데이터 분석처럼 구체적이고 검증 가능한 작업에서 가장 신뢰할 만하다.

왜 중요한가

일반 사용자에게 이번 업데이트가 의미하는 바는 코딩처럼 명확한 기준이 있는 일에서는 AI 도구가 계속 발전하겠지만, 연구 계획이나 철학적 추론에서 인간의 판단을 대신할 준비는 아직 되지 않았다는 것이다. 기업은 반복적인 업무 자동화에는 AI를 계속 활용하되, 전략적 결정에는 사람이 관여하도록 해야 한다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.