Oossa

한계에도 코딩 에이전트에 의존하는 OpenAI 연구진

OpenAI에 따르면 연구진의 코딩 에이전트 사용이 급증했다. 도구는 반복적인 작업을 잘 처리하지만, 여전히 면밀한 사람의 감독이 필요하다.

작성: Oossa 게시일: 3 분 읽기

Mohammad Rahmani · Unsplash

OpenAI에 따르면 연구진은 코딩 에이전트를 더욱 적극적으로 활용하고 있지만, 에이전트는 복잡한 엔지니어링 작업에 어려움을 겪고 결과물인 코드를 꼼꼼히 검토받아야 한다. 10월 한 달간 연구원 1인당 내부 도구 Codex와 Dots 등의 사용량 중앙값은 일반 API 정가 기준으로 하루 $2,400 상당의 토큰에 해당했다. 9월보다 62 percent 늘어난 수치다. 사용량이 가장 많은 상위 10 percent의 경우 하루 $23,000 상당에 달했다.

이 수치는 공개된 정가를 적용했을 때의 사용 비용을 추산한 것으로, 실제 현금 지출이나 연구원들의 실제 급여를 뜻하지는 않는다. OpenAI에 따르면 에이전트는 연구원 1인당 하루에 8시간 근무일 기준 5.7일에 해당하는 시간 동안 작동했고, 사전 학습 및 사후 학습 팀에서는 약 8일에 해당하는 시간 동안 작동했다. 사용량이 가장 많았을 때 추적 대상 연구원의 3분의 2 이상이 에이전트를 최소 4개씩 동시에 가동했다. OpenAI가 에이전트 비용과 급여 비용을 비교할 때 사용한 것은 9월 수치이며, 회사가 전체 보상의 70 to 80 percent를 차지한다고 밝힌 주식 보상은 포함하지 않았다. 에이전트 사용량은 회사 전체 연구 컴퓨팅 사용량의 2 percent였다.

반복적인 작업에서 더 뛰어난 에이전트

OpenAI의 보고에 따르면 사람의 개입 없이 2~4시간짜리 작업을 완료한 자율 에이전트의 비율은 3월 23 percent에서 10월 46 percent로 상승했다. 4~8시간짜리 작업의 보고된 성공률은 13 percent에서 35 percent로 올랐다. 다만 작업에 따라 성과 차이가 컸다. 에이전트는 학습 실행 모니터링 작업의 79 percent를 완료하고 기술 질문의 72 percent에 답했지만, 평가 또는 강화학습 환경을 구축하는 작업에서는 29 percent, 추론 및 서빙 시스템용 코드를 작성하는 작업에서는 25 percent만 성공했다.

회사는 직원들이 도구를 적극적으로 쓰고 싶어 한다고 전하면서도, 설문조사 결과가 제한적이라는 점을 강조했다. 직원 101명이 참여한 대표성 없는 내부 설문에서 응답자들은 현재의 코딩 에이전트를 3개월간 사용할 수 없게 되는 상황과 비교해, 팀 인력의 40 percent 또는 컴퓨팅 용량의 30 percent를 잃는 편을 택하겠다고 답했다. 별도로 직원 28명을 대상으로 한 간단한 설문에서는 27명이 최신 내부 모델을 경력 중반의 인간 엔지니어보다 선호했다. 이는 설문에 응한 직원들의 열의를 보여줄 뿐, 에이전트 성능을 일반적으로 평가한 결과는 아니다.

여전히 중요한 사람의 판단

OpenAI 연구원 10명과의 인터뷰에서는 지속적인 약점이 드러났다. 인터뷰에 응한 연구원들은 유망한 연구 아이디어와 좋은 코드 또는 데이터를 가려내는 ‘감각’이 에이전트에 부족하다고 말했다. 에이전트는 잘못된 가정을 하거나 불필요한 단계를 밟고, 연구진이 활용할 수 없는 코드 변경이나 데이터를 내놓을 수 있다. 연구원들은 컴퓨팅 자원이 낭비되지 않도록 면밀히 감독해야 한다고 말했다. 사후 학습 및 안전 팀은 GPT-6 Astra와 GPT-6.2 Astra의 핵심 아이디어가 사람에게서 나왔다고 밝혔고, 일부 사전 학습 연구원은 Codex가 GPT-6.2 Astra 작업 중 중요한 통찰을 얻는 데 도움을 줬다고 말했다.

OpenAI는 이 수치를 연구 가속화와 이후 AI 시스템 개발에 AI가 기여하는 ‘재귀적 자기 개선’ 가능성을 보여주는 지표로 제시한다. 그러나 회사는 현재의 결과가 선형적으로 계속 개선되리라고 볼 수는 없다고 경고한다. The Decoder는 METR이 11주간 진행한 조사에서 Anthropic의 개발 속도가 AI 활용으로 거의 두 배 빨라졌다고 추산한 사실도 언급했다. 이는 별도 기관의 추정치로, OpenAI와 직접 비교한 결과는 아니다. OpenAI는 9월 초 자체 목표였던 자동화 AI 연구 인턴을 구현했다고 밝힌 바 있으며, 수석 과학자 Jakub Pachocki는 통제와 감독의 공백을 우려했다.

왜 중요한가

AI 연구가 어떻게 이뤄지는지 관심 있는 사람들에게 OpenAI의 수치는 코딩 에이전트가 일부 반복 작업을 맡을 수 있고 연구진도 이를 활용할 수 있기를 바란다는 점을 보여준다. 하지만 복잡한 엔지니어링 작업에서의 실패와 활용하기 어려운 결과물에 대한 연구진의 설명을 고려하면, 이 데이터만으로 에이전트가 연구자의 판단을 대체하거나 연구 전 과정을 독립적으로 수행할 수 있다고 보기는 어렵다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.