HyTRec розділяє довгі послідовності поведінки користувача між двома спеціалізованими механізмами уваги, дозволяючи стабільні вподобання та недавні сплески намірів працювати незалежно.

Це не дрібне коригування. Обчислювальна складність залишається лінійною за довжиною послідовності, працюючи з послідовностями, які у 10 разів довші, ніж попередні підходи могли ефективно обробляти. Але в архітектурі ховається одна загова

Зробити останні сигнали важливими

Проблема гібридної системи полягає в тому, що лінійна гілка уваги пережила тисячі взаємодій. Філія softmax пережила сотні. За гучністю сигнал лінійної гілки голосніший. Але для рекомендацій новість важливіша за обсяг. Клік із сьогоднішнього дня розповідає більше про те, чого хтось хоче, ніж клік шість місяців тому.

Якщо розглядати обидві гілки однаково, застарілі дані заглушать свіжі. Ви вирішили обчислювальну проблему, але створили проблему з чутливістю.

Рішення називається Temporal-Aware Delta Network, або TADN. Механізм робить просту річ: динамічно підвищує кількість нових поведінкових сигналів, пригнічуючи історичний шум

Уявіть собі механізм гейтингу, який запитує кожну частину послідовності: «Скільки тобі років?» Нові взаємодії мають більшу вагу. Старі взаємодії мають меншу вагу. Це не відбувається за фіксованим графіком, це засвоюється на основі даних. Мережа виявляє закономірності на кшталт: «Для цього користувача поведінкові моделі змінюються кожні кілька днів, тому взаємодії старші за тиждень мають бути зважені вдвічі сильно.»

Без TADN гібридна система давала б дедалі більш застарілі рекомендації у міру зміни вподобань користувача. Завдяки цьому система залишається чутливою до змін. Останні сигнали природно мають більший вплив на рекомендації, але мережа точно дізнається, скільки впливу має сенс для кожного користувача та типу взаємодії.

Реальні результати

Дослідники протестували HyTRec на величезних наборах даних, де реальні послідовності поведінки користувачів розтягуються до десятків тисяч взаємодій на користувача. Це не чисті академічні дані, а безлад у виробництві.

Щодо швидкості важливі результати. HyTRec підтримує лінійну складність виведення. Подвоїть довжину послідовності — і час виведення приблизно подвоюється. Вона не збільшується вчетверо, як це робить softmax. При послідовностях довжиною 10 000 ця різниця визначає, чи можете ви рекомендувати їх за 50 мілісекунд чи 5 секунд. На платформі, що обслуговує мільйони користувачів, ця різниця є межою між можливим і неможливим.