Exa сообщила, что улучшила систему векторизации документов на чипах AWS Inferentia2 и Trainium2. С её помощью компания подготавливает веб-страницы для семантического поиска. По данным Exa, относительно первоначальной конфигурации производительность выросла на 47%, а стоимость обработки миллиона документов снизилась на столько же.
В рамках работы компания создала собственные ядра для механизмов внимания и нейронных сетей, а также изменила способы использования памяти. Exa утверждает, что сверила результаты с эталонной моделью, применив порог косинусного сходства 0.999. Об изменениях в поисковом продукте или ценах для клиентов компания не сообщала.
Почему это важно
Снижение стоимости обработки миллиона документов может удешевить для Exa поддержку индекса, включающего миллиарды страниц. Компания не сообщила, повлияет ли это на цены или услуги для клиентов.