전문가 혼합, 무슨 뜻일까?

전문가 혼합(MoE)

네트워크를 여러 ‘전문가’로 나누고 단어마다 일부만 사용하는 설계. 큰 모델을 더 싸게 실행할 수 있습니다.