Oossa

Pinterest用PinGER减少输入词元,检索Pins

arXiv论文介绍了PinGER:该系统通过压缩用户历史记录和受控生成进行检索。Pinterest称,它提高了“相关Pins”的保存量。

作者: Oossa 发布日期: 2 分钟阅读

Shutter Speed · Unsplash

研究团队推出了PinGER,这是Pinterest用于“相关Pins”功能推荐的一套系统。它以生成式检索取代最近邻搜索:模型不再从商品表示中寻找相似项,而是生成商品的语义ID——一串用于识别商品的词元。

论文聚焦于早期系统面临的一项权衡:这些系统会用多个词元表示用户活动历史中的每个项目。在上下文窗口固定(即模型一次能处理的输入量有限)的情况下,与每个项目只用一个嵌入表示相比,模型能纳入的项目就会更少。PinGER的作者表示,该系统保留了生成结果的语义ID,同时压缩了输入历史记录。

PinGER如何压缩历史记录?

PinGER将语义ID词元与密集词元交错排列,后者为项目提供紧凑表示。它的注意力掩码规定,后续项目只能关注密集词元。作者称,这让模型在训练时能够从每个语义ID位置学习;推理时则可为每个项目只提供一个词元,同时计算相同的函数。这一核心改动旨在让固定长度的上下文纳入更多用户历史记录。

该系统还允许Pinterest根据不同目标调整检索。作者介绍了目标条件化输出、强化学习,以及一种用于减少生成ID中重复前缀的惩罚机制。这些设计旨在支持针对不同展示场景的目标,并让候选结果更加多样。论文摘要没有说明如何为个别用户配置这些目标。

“相关Pins”有哪些变化?

作者称,PinGER已部署在Pinterest的“相关Pins”功能中,使新鲜Pins的保存量增加了3.60%,整体保存量增加了0.62%。他们还报告称,该功能的端到端延迟降低了0.7%,并表示PinGER省去了被其取代的最近邻搜索所需的成本。这些数据来自系统作者的报告;论文摘要未说明测量时段或流量数据。

PinGER的服务架构针对宽束生成进行了设计,也就是探索大量可能的输出,并将解码限制在有效的项目标识符范围内。随后,系统会通过存储在主机上的索引解析这些候选结果。论文将紧凑输入、受控生成和服务基础设施的结合,描述为一套已在推荐产品中运行的系统,而不只是实验室测试。

为什么重要

对浏览“相关Pins”的用户来说,保存量上升的报告意味着推荐内容可能促使更多人保存Pins,而延迟变化幅度较小。论文摘要没有说明结果的测量时长,也没有说明不同用户之间是否存在差异,因此无法判断个人是否会察觉变化。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。