Perplexity AI가 pplx‑embed‑v2‑late 모델의 새 버전 2종을 발표했다. 작은 모델은 매개변수가 0.6 billion이며, 휴대전화나 IoT 기기 같은 엣지 하드웨어에서 실행하도록 설계됐다. 큰 모델은 매개변수가 9 billion이며, 검색이나 추천 시스템에 사용할 고품질 벡터 인덱스를 구축하는 데 적합하다. 두 모델 모두 MIT 라이선스로 공개돼 누구나 내려받아 자체 서버에서 호스팅할 수 있다.
모델 성능
Perplexity 자체 테스트에서 매개변수가 9 billion인 모델은 질의응답 정확도를 평가하는 표준 테스트인 MADQA 벤치마크에서 92.4%를 기록했다. 같은 모델은 마크다운 형식 텍스트 처리 능력을 측정하는 ViDoRe v3 Markdown 벤치마크에서 61.2%를 받았다. 회사는 0.6 billion 모델은 속도와 적은 메모리 사용량에 최적화했고, 9 billion 모델은 정확도에 중점을 뒀다고 밝혔다.
왜 중요한가
개발자는 이제 클라우드 서비스 없이도 가벼운 임베딩 모델을 휴대전화나 소형 기기에서 직접 실행할 수 있다. 정밀한 검색이나 추천 기능이 필요한 대규모 팀은 데이터에 대한 완전한 통제권을 유지하면서 더 높은 용량의 모델을 사용할 수 있다. 두 버전 모두 오픈소스로 공개됐기 때문이다.
