Exa称,该公司改进了运行在AWS Inferentia2和Trainium2芯片上的文档嵌入系统,用于为语义搜索处理网页。与最初的配置相比,每百万份文档的性能和成本指标均提升了47%。
这项工作包括定制注意力机制和神经网络内核,以及调整内存使用方式。Exa称,它使用0.999的余弦相似度阈值,将输出与参考模型进行验证;公司没有报告搜索产品或客户定价发生变化。
为什么重要
对Exa而言,降低每百万份文档的嵌入成本,可以减少维护包含数十亿个页面的索引所需的开支;该公司没有说明客户是否会看到价格或服务变化。