OpenAI가 AI가 일상 업무를 얼마나 잘 처리하는지 평가하는 체계 ‘LifeVal’을 공개했습니다. 육아와 건강 관리, 금융, 쇼핑처럼 사람들이 개인 비서에게 맡기고 싶어 하는 일을 대상으로 합니다. 단순히 질문에 답하는 능력보다, 여러 단계를 거쳐 실제 업무를 수행하는 능력을 살펴보겠다는 취지입니다.
AI Times에 따르면 OpenAI는 지난 1년 동안 최신 모델의 개인 비서 업무 수행 점수가 약 49%에서 81%로 상승했다고 밝혔습니다. 다만 최근에는 성능 향상 속도가 다소 느려지는 경향도 나타났습니다. 이 수치는 일상 업무 평가에서의 점수이며, 모든 상황에서 AI가 업무를 성공적으로 끝낼 확률을 뜻한다고 볼 수는 없습니다.
무엇을 평가하나?
LifeVal은 미국과 여러 나라의 시간 사용 조사 자료에 3,995명을 대상으로 한 인구통계학적 설문 결과를 더해 설계됐습니다. 사람들이 개인 비서에게 가장 기대하는 생활 영역을 평가에 반영했다는 설명입니다. 공개된 내용에는 육아, 건강 관리, 금융, 쇼핑이 예시로 나옵니다.
OpenAI는 웹 브라우저 제어와 컴퓨터 사용, 외부 서비스 연결 기능을 강화해 모델의 실무 수행 능력을 높였다고 설명했습니다. 이런 기능을 활용하면 정보를 찾거나 여러 도구를 다루는 작업을 대화 안에서 진행할 수 있다는 구상입니다. 회사는 유용한 개인 비서라면 조언만 하는 데 그치지 않고 실제 일을 처리해야 한다고 밝혔습니다.
점수의 범위는 어디까지인가?
LifeVal은 AI가 생활 속 복잡한 일을 얼마나 수행하는지 추적하기 위한 평가 체계입니다. 하지만 공개된 보도 내용에는 점수를 낸 모델의 이름과 버전, 평가 설정이 나오지 않습니다. 따라서 49%와 81%를 특정 ChatGPT 버전의 성능으로 읽거나, 실제 사용자가 맡긴 모든 업무에서 같은 수준을 기대할 수 있다고 해석하기는 어렵습니다.
또한 이 수치는 OpenAI가 공개한 평가 결과입니다. 평가 문항별 결과나 다른 기관의 검증 여부는 보도 내용에 제시되지 않았습니다. 그러므로 점수 상승은 OpenAI의 평가에서 나타난 변화로 이해하는 것이 적절합니다. 이 수치만으로 다른 AI 제품과의 우열이나 실제 생활에서의 성공률을 판단할 수는 없습니다.
왜 중요한가
개인 업무를 AI에 맡기려는 이용자에게 LifeVal은 대화 능력뿐 아니라 생활 업무 수행 능력을 보려는 평가라는 점에서 참고가 됩니다. 다만 모델 버전과 평가 설정이 공개된 보도 내용에 없어, 81%를 자신이 맡길 업무의 성공 가능성으로 받아들일 수 있는지는 아직 알기 어렵습니다.
