Oossa

Exa、AWSチップで文書の埋め込みコストを47%削減

Exaによると、ソフトウェアとカーネルの改良でAWS Inferentia2とTrainium2の埋め込み処理性能が向上し、文書100万件あたりのコストを47%削減した。

短信著者: Oossa公開日: 1 分で読める

Exaは、意味検索向けにウェブページを処理するシステムをAWS Inferentia2とTrainium2チップ上で改良した。同社によると、当初の構成と比べて性能が向上し、文書100万件あたりのコストも47%改善した。

取り組みには、独自のアテンション機構やニューラルネットワークのカーネルの開発に加え、メモリー使用量の変更も含まれる。Exaは、参照モデルとのコサイン類似度が0.999以上であることを基準に出力を検証した。検索製品や顧客向け料金に変更があったとは発表していない。

なぜ重要か

文書100万件あたりの埋め込みコストが下がれば、数十億件のページからなるインデックスを維持する費用をExaは抑えられる。顧客向けの価格やサービスに変更があるかどうかは、同社は明らかにしていない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。