Exaは、意味検索向けにウェブページを処理するシステムをAWS Inferentia2とTrainium2チップ上で改良した。同社によると、当初の構成と比べて性能が向上し、文書100万件あたりのコストも47%改善した。
取り組みには、独自のアテンション機構やニューラルネットワークのカーネルの開発に加え、メモリー使用量の変更も含まれる。Exaは、参照モデルとのコサイン類似度が0.999以上であることを基準に出力を検証した。検索製品や顧客向け料金に変更があったとは発表していない。
なぜ重要か
文書100万件あたりの埋め込みコストが下がれば、数十億件のページからなるインデックスを維持する費用をExaは抑えられる。顧客向けの価格やサービスに変更があるかどうかは、同社は明らかにしていない。