webAI가 IBM Granite 4.2 8B를 기반으로 추가 학습한 88억 매개변수 추론 모델 TwIL-8B를 공개했다. MarkTechPost에 따르면 이 모델은 MATH-500에서 98.2점, LiveCodeBench에서 81.6점을 기록했다. 다만 비슷한 규모의 모델보다 지식 벤치마크 성적은 낮다고 매체는 전했다.
이 수치만 보면 TwIL-8B는 모든 평가 분야에서 고르게 강하다기보다 수학과 코딩 작업에서 강점을 보이는 모델이다. 하지만 점수만으로는 실제 사용자의 문제를 얼마나 잘 풀지, 특정 경쟁 모델과 동일한 시험 조건에서 비교했을 때 어떤 결과를 낼지 알 수 없다.
점수가 보여주는 것
MATH-500은 수학 벤치마크이며 LiveCodeBench는 코딩 능력을 평가한다. 보도에는 TwIL-8B의 두 평가 점수가 나와 있지만, 시험 조건이나 비교에 사용된 모델의 종류, 도구 사용 여부 등은 제시되지 않았다. 점수 산정 방식도 설명하지 않아 98.2와 81.6은 보고된 벤치마크 점수로 봐야 하며, 백분율이나 정확도를 보장하는 수치로 해석해서는 안 된다.
지식 성능 비교에 관한 정보는 더 제한적이다. 벤치마크 이름이나 점수는 공개되지 않았고, 비슷한 규모의 모델이 무엇인지도 밝혀지지 않았다. 따라서 격차가 어느 정도인지, 어떤 유형의 지식 질문을 평가했는지 파악하기 어렵다. TwIL-8B를 어디서 이용할 수 있는지, 가중치가 공개되는지, 비용은 얼마인지도 현재 공개된 정보에는 나와 있지 않다.
어떤 의미가 있나
TwIL-8B는 IBM Granite 4.2 8B를 바탕으로 만들어졌으며, 이후 추가 학습 과정을 거쳤다. 이번 공개를 통해 webAI는 두 가지 주요 과제 벤치마크에서 높은 점수를 기록한 모델을 선보이는 동시에, 지식 평가에서는 상대적으로 약한 성적을 보였다고 밝혔다. 그렇다고 비슷한 규모의 다른 모델보다 전반적으로 우수하다는 뜻은 아니다. 수학과 코딩 점수만으로 지식 성능까지 판단할 수 없고, 비교에 사용된 세부 조건도 공개되지 않았다.
왜 중요한가
수학이나 코딩 작업에 쓸 모델을 찾는 사람이라면 공개된 점수를 바탕으로 TwIL-8B를 눈여겨볼 수 있다. 하지만 이 점수가 각자의 작업에서도 좋은 성능을 낼지 보여주지는 않는다. 이용 가능 여부와 가격, 시험 조건이 공개되지 않아 실제로 사용할 수 있는지, 다른 모델과 공정하게 비교할 수 있는지도 아직 판단하기 어렵다.
