Cohere는 2026년 10월 9일 블로그 게시물에서 자사의 임베드·리랭크 모델을 실행하는 두 가지 방식을 설명했다. 여러 고객이 같은 컴퓨팅 자원을 함께 쓰는 공유형 추론과 고객 한 곳이 전용 하드웨어를 사용하는 전용 추론 중에서 선택할 수 있다. 게시물은 각 방식의 비용과 성능상 장단점을 짚었다. 이를 통해 개발자는 자신의 작업에 적합한 구성을 판단할 수 있다.
왜 중요한가
적절한 추론 방식을 선택하면 개발자는 검색 또는 추천 애플리케이션의 비용과 속도 사이에서 균형을 맞출 수 있다.