Год был щедрым на интересные recsys-статьи, а мы не ленились разбирать их. Предлагаем освежить в памяти посты, которые вы читали чаще всего. Если что-то прошло мимо, самое время наверстать!
ICML 2024 — как это было
Даниил Лещёв и Андрей Мищенко рассказали, что запомнилось на ICML 2024. Среди интересного — новая архитектура ML-моделей в рекомендациях и методы из мира LLM для улучшения LSTM-моделей. Пожалуй, самый необычный хайлайт от ребят (хотя и не из нашего домена, просто им очень понравилось) — статья об обучении роборуки осязанию и возможности различать текстуры поверхностей. Даёшь тактильные ощущения роботам!
Законы масштабирования в больших моделях последовательных рекомендаций
Scaling law добрался до рекомендаций. Артём Матвеев разобрал статью от WeChat и Tencent, где авторы проверили, как увеличение параметров моделей улучшает качество рекомендаций. (Спойлер: выяснили, что большие модели справляются лучше на сложных задачах). Детали эксперимента — в обзоре.
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
Кирилл Хрыльченко разобрал HSTU — новую архитектуру для рекомендаций, которая показывает отличные результаты в онлайн-эксперименте и обрабатывает бо́льшие истории в сравнении с прошлыми подходами. Авторы предложили отдельные модели для генерации кандидатов и ранжирования, сделали последовательности событий target-aware и отказались от софтмакса в трансформере, чтобы точнее работать с пользовательской историей.
Кластерная якорная регуляризация в рекомендательных системах
Сергей Макеев объяснил, как ресёрчеры из DeepMind решали проблему popularity bias в рекомендациях. Их метод Cluster Anchor Regularization делает так, чтобы популярные айтемы «тянули» за собой непопулярные и помогали справляться с перекосами. Новый подход протестировали на YouTube Shorts — похоже, рекомендации могут стать качественнее.
LiGNN: Graph Neural Networks at LinkedIn
Владимир Байкалов рассказал, как LinkedIn использует графы для своих рекомендаций. Эти графы связывают пользователей с вакансиями, группами и компаниями. Результат — обучение стало быстрее, а метрики рекомендаций заметно выросли.
Multi-objective Learning to Rank by Model Distillation
Airbnb придумали, как объединить дистилляцию и мультитаск-обучение, чтобы алгоритмы ранжирования стали умнее. Подход учитывает важные факторы, вроде возвратов или обращений в поддержку. Как всё устроено, разбирался Сергей Макеев.
Интересное с ACM RecSys 2024, часть 3
А ещё мы сделали серию постов о лучших статьях с конференции ACM RecSys. Самым популярным стал разбор модели Text2Tracks, которая умеет подбирать музыку по текстовому запросу. Пётр Зайдель описал, как эта модель выбирает треки, и сравнил разные способы кодирования. Первая и вторая части тоже заслуживают г̶л̶у̶б̶о̶к̶о̶г̶о лайка.
@RecSysChannel
___
Meta признана экстремистской организацией, а Facebook и Instagram запрещены на территории РФ