Exa는 의미 기반 검색을 위해 웹페이지를 처리하는 데 사용하는 AWS Inferentia2와 Trainium2 칩에서 문서 임베딩 시스템을 개선했다고 밝혔다. 초기 구성과 비교해 성능을 높이고 문서 100만 건당 비용을 47% 절감했다고 회사는 설명했다.
개선 작업에는 자체 어텐션 및 신경망 커널 개발과 메모리 사용 방식 변경이 포함됐다. Exa는 코사인 유사도 기준 0.999를 적용해 참조 모델과 결과를 검증했다고 밝혔다. 검색 제품이나 고객 가격에 변화가 있었는지는 보고하지 않았다.
왜 중요한가
문서 100만 건당 임베딩 비용이 낮아지면 Exa가 수십억 개 웹페이지로 구성된 색인을 유지하는 데 드는 비용도 줄어들 수 있다. 다만 회사는 고객이 가격이나 서비스 변경을 체감할지는 밝히지 않았다.