Oossa

Exa借助AWS芯片将文档嵌入成本降低47%

Exa称,通过改进软件和内核,其在AWS Inferentia2和Trainium2上的嵌入处理吞吐量有所提升,每百万份文档的成本降低了47%。

简讯作者: Oossa 发布日期: 1 分钟阅读

Exa称,该公司改进了运行在AWS Inferentia2和Trainium2芯片上的文档嵌入系统,用于为语义搜索处理网页。与最初的配置相比,每百万份文档的性能和成本指标均提升了47%。

这项工作包括定制注意力机制和神经网络内核,以及调整内存使用方式。Exa称,它使用0.999的余弦相似度阈值,将输出与参考模型进行验证;公司没有报告搜索产品或客户定价发生变化。

为什么重要

对Exa而言,降低每百万份文档的嵌入成本,可以减少维护包含数十亿个页面的索引所需的开支;该公司没有说明客户是否会看到价格或服务变化。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。