Конференция продолжает греметь в Сан-Диего — и в дело вступают постеры. Разные и любопытные.
Scalable In-context Ranking with Generative Models
С развитием LLM всё чаще рассказывают об успешных подходах с использованием больших текстовых моделей для ранжирования документов под запрос или пользователя. У LLM уже хорошо сложена интуиция о том, какие документы подходят для решения пользовательской задачи по её описанию. Файнтюн помогает доучить модель под нужную область на небольшом наборе данных — это простой способ получить большую рекомендательную модель.
Авторы статьи изучили аттеншн-карты и увидели, что в таких задачах LLM обычно смотрит либо на промпт/контекст, либо на токены внутри документа. Взаимодействия между разными документами практически не происходит (или происходит внутри токенов контекста). Поэтому инженеры с помощью маски на файнтюне смогли оптимизировать аттеншн до линейной сложности без потери качества, не испортив претрейн.
Corrector Sampling in Language Models
Очень простая в исполнении идея. Авторы утверждают, что увеличивают качество на сложных бенчмарках на 10%. В обычном NTP-инференсе модель всегда предсказывает следующий токен при учёте контекста. Обратного влияния не существует — если в будущем модель поймёт, что токен был неправильный, то исправить его не сможет.
В статье предлагают RPT (Resample-Previous-Tokens). Во время обучения с вероятностью q токен перемещается на k позиций вперёд. Обучив такую модель, во время инференса мы можем делать два предикта: обычный NTP и RPT (токен на позиции x от модели; показываем ей токены до и после и просим восстановить токен на позиции x). На каждой итерации модель может дописать новый токен и исправить предыдущий.
TabDPT: Scaling Tabular Foundation Models on Real Data
Авторы пробуют обучать tabular foundation model. Взяли много табличных задач, представили строку с фичами как последовательность и обучили трансформер на классические претрейн-задачи (восстановить фичу по другим, угадать таргет, ретривал на похожие строки и так далее). Утверждается, что такая модель хорошо скейлится по параметрам (качество растёт при увеличении модели) и легко адаптируется к новым задачам в few-shot-режиме без дообучения. Показывают высокие результаты на публичных лидербордах.
Интересное увидел
*компания Meta признана экстремистской, её деятельность в России запрещена.
#YaNeurIPS25
ML Underhood
