Мы уже делились лучшими постами за год в канале, но интересных статей в мире рексис гораздо больше, чем мы успели разобрать в 2024-м. Планы на 2025-й — масштабные, замедляться не думаем и вам не советуем, поэтому ловите бонусную подборку интересных статей для чтения и профессионального развития на новогодних праздниках. Кстати, полные разборы этих материалов обязательно появятся здесь в будущем — не пропустите то, что заинтересует именно вас. И с наступающими!
Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models
В статье рассматривается проблема резкого переобучения CTR-моделей в начале второй эпохи, a.k.a. one-epoch phenomenon. Его можно преодолеть с помощью нескольких трюков: снизить количество уникальных эмбеддингов или вовсе отказаться от эмбеддингов товаров, поэкспериментировать с оптимизаторами (Adam и RMSPROP оказались более склонны к эффекту), снизить LR, — однако всё это приводит к снижению пикового качества.
Diffusion-based Contrastive Learning for Sequential Recommendation
Авторы поставили под вопрос существующие методы аугментации цепочек последовательных заказов с целью генерации новых цепочек. Вместо маскирования и переупорядочивания истории пользователя предлагают использовать guided-диффузию для оценки условного распределения айтема, обусловленного на контекст. Чтобы сблизить латентное пространство диффузионки и SR-модели (в статье это SASRec), их обучают вместе end-to-end, шаря эмбеддинги айтемов.
Beyond Item Dissimilarities: Diversifying by Intent in Recommender Systems
Авторы хотят разнообразить предлагаемый пользователю контент, так как человек может иметь разные намерения, например, в зависимости от дня недели или времени: это может быть спорт, учеба, отдых и т. д. Было бы здорово учитывать намерение (intent) пользователя при генерации выдачи, а не только user-item схожесть. Для решения проблемы авторы предлагают новый фреймворк, который используется поверх рексистемы, но описывают его на идейном уровне, не уточняя, чем моделируют распределения.
Learned Ranking Function: From Short-term Behavior Predictions to Long-term User Satisfaction
Авторы статьи формулируют ранжирование как multitask slate optimization на языке траекторий пользователя. При ранжировании на вход получают m Multitask Model Scoring предиктов для каждого кандидата. Раньше их комбинировали с весами-гиперпараметрами, которые оптимизировали через Байесовскую оптимизацию. Цель — ранжировать так, чтобы повысить long term user satisfaction, то есть каждый слейт оценивается в том числе и по тому, что происходит после того, как пользователь его покинул.
Autoregressive Generation Strategies for Top-K Sequential Recommendations
Авторегрессионные рекомендации от лабы Сбера. Хотят генерировать k следующих айтемов для пользователя. Решают эту задачу через генерацию S различных пользовательских траекторий, которые потом агрегируют вместе. Ссылаются на пиннерформер и используют у себя decoder-only архитектуру. В самой статье предлагают два решения для агрегации: Reciprocal Rank Aggregation и Relevance Aggregation. В качестве декодера используют GPT-2. В разделе о генерации траекторий упоминают разные алгоритмы (жадный, beam search и temperature sampling), но используют только последний.
Your Causal Self-Attentive Recommender Hosts a Lonely Neighborhood
Статья от Джулиана МакОли пытается ответить на вопрос: что все-таки лучше, авторегрессионные подходы или автоэнкодерные и почему. Исследователи ссылаются на множество работ и хотят разобраться, насколько результаты робастны по итогу. Сравнивают BERT4Rec и SASRec в основном с их различными модификациями. Все эксперименты проведены на открытых датасетах: Beauty, Sports, Video, Yelp, MovieLens.
@RecSysChannel
Подборку подготовили