Исследователи представили PinGER — систему, которую Pinterest использует для подбора рекомендаций в функции Related Pins. Она заменяет поиск ближайших соседей генеративным поиском: вместо того чтобы искать наиболее похожий объект среди представлений элементов, модель генерирует его семантический ID — последовательность токенов, которая служит для идентификации.
В статье рассматривается компромисс, свойственный более ранним системам. Они используют несколько токенов для представления каждого объекта в истории активности пользователя. При фиксированном размере контекстного окна — объёме входных данных, который модель может обработать за один раз, — это означает, что модель может учесть меньше объектов, чем если бы для каждого использовался один эмбеддинг. По словам авторов PinGER, система сохраняет семантические ID для генерируемых результатов, но делает входные истории компактнее.
Как PinGER сокращает объём истории?
PinGER чередует токены семантических ID с плотными токенами, которые дают компактное представление объекта. Маска внимания позволяет последующим объектам учитывать только плотные токены. Авторы утверждают, что благодаря этому модель во время обучения учится на каждой позиции семантического ID, а при обработке запросов использует по одному токену на объект, вычисляя при этом ту же функцию. Это ключевое изменение позволяет включить в фиксированное контекстное окно больше данных об истории пользователя.
Система также позволяет Pinterest настраивать поиск под разные цели. Авторы описывают генерацию с учётом заданной цели, обучение с подкреплением и штраф, снижающий вероятность повторения начальных последовательностей в сгенерированных ID. Всё это призвано поддерживать цели, специфичные для разных разделов, и делать набор кандидатов разнообразнее. В аннотации статьи не объясняется, как эти цели задаются для отдельных пользователей.
Что изменилось в Related Pins?
По словам авторов, PinGER уже используется в Pinterest Related Pins и увеличила число сохранений новых Pins на 3.60%, а общее число сохранений — на 0.62%. Авторы также сообщают о снижении сквозной задержки в этом разделе на 0.7% и утверждают, что PinGER устранила расходы на заменённый ею поиск ближайших соседей. Эти результаты приводят авторы системы; в аннотации не указаны период измерений и объём трафика.
Система PinGER рассчитана на генерацию с широким лучом — перебор множества возможных вариантов — и ограничивает декодирование допустимыми идентификаторами объектов. Затем найденные варианты сопоставляются с помощью индекса, хранящегося на хост-машине. Авторы представляют сочетание компактных входных данных, управляемой генерации и инфраструктуры обработки как часть системы, уже работающей в рекомендательном продукте, а не просто лабораторного эксперимента.
Почему это важно
Судя по сообщаемому росту числа сохранений, рекомендации в Related Pins могут побуждать пользователей чаще сохранять Pins; при этом измеренное изменение задержки невелико. В аннотации не указано, как долго проводились измерения и различаются ли результаты для разных пользователей, поэтому по ней нельзя судить, заметит ли изменения конкретный человек.
