Gumbel Straight Flow: дистилляция авторегрессионных моделей в модели параллельной генерации
Сегодня разберём статью, авторы которой предлагают способ ускорения генерации текста, дистиллируя авторегрессионную модель в модель параллельной генерации.
Авторегрессионные модели показывают хорошее качество, но вынуждены генерировать токены последовательно, а это долго. Дискретная и непрерывная диффузии позволяют делать это параллельно, однако обычно требуют много шагов для уменьшения ошибок дискретизации.
Обычно авторегрессионная модель выдаёт логиты следующего токена, к которым применяется softmax, после чего происходит семплирование из категориального распределения. Но можно поступить иначе: добавить к каждому логиту независимый шум Гумбеля и взять argmax. Таким образом, отпадает необходимость делать семплирование, а полученный токен будет иметь точно такое же распределение, как и при семплировании. Важное наблюдение заключается в том, что если зафиксировать весь шум, то можно однозначно определить, каким будет сгенерированный текст.
Теперь вспомним обычный flow matching. Мы берём случайный шум (x_0) и one-hot-представление текста (x_1), после чего обучаем velocity-prediction-модель на линейной интерполяции:
x_t=(1-t)x_0+tx_1
Однако если шум и данные семплируются независимо, оптимальные траектории обученной модели обычно получаются кривыми, что вынуждает делать большое количество шагов. Это происходит из-за необходимости усреднять направления движения между разными парами. В сегодняшней статье авторы предлагают использовать связанные пары. Сам flow matching objective при этом не меняется. Меняется только способ формирования обучающих пар.
Главный теоретический результат статьи состоит в том, что линейные интерполяции, построенные по таким связанным парам шума и данных, не пересекаются при одинаковом значении времени (t<1). Авторы доказывают, что при достаточной выразительности модели оптимальное velocity-поле будет задавать прямые траектории.
Пары для обучения можно получать через полный авторегрессионный rollout. Но авторы предлагают более эффективный способ: взять готовую последовательность из датасета и семплировать шум Гумбеля из условного распределения, при котором учитель генерирует именно эту последовательность. Для этого достаточно одного teacher-forced forward pass.
Распределение Гумбеля асимметрично, а flow-архитектуры обычно рассчитаны на гауссовский шум, поэтому авторы преобразуют шум Гумбеля в стандартный гауссовский. Они доказывают, что строго возрастающие обратимые преобразования сохраняют прямолинейность оптимальных траекторий. В экспериментах переход к гауссовскому шуму улучшает результаты.
Также авторы перепараметризуют время на основе decoding error rate — вероятности несовпадения argmax промежуточного состояния с целевым токеном. В обычном flow matching ошибка резко уменьшается на небольшом участке траектории, а при Gumbel-coupling — более равномерно, поскольку шум уже содержит информацию о целевых токенах. Поэтому расписание GSF ближе к линейному, что удобно для генерации за небольшое число шагов.
Реальная GSF-FM-модель, однако, не избегает ошибки аппроксимации. В экспериментах авторов мера отклонения от прямой составляет около 0,70 против 1,82 у обычной Flow Language Model (FLM). Это заметное улучшение, но для качественной одношаговой генерации его недостаточно.
Поэтому авторы используют Flow Map Language Model (FMLM) — подход, в котором обучается не мгновенная скорость, а отображение между двумя произвольными моментами времени. Переход через промежуточную точку должен давать тот же результат, что и прямой переход. Лосс состоит из диагонального слагаемого, которое задает правильное направление движения, и недиагонального, обеспечивающего согласованность переходов.
Основные эксперименты проводятся на OpenWebText. Авторы сравнивают GSF с FMLM и Gumbel Distillation, используя generative perplexity, энтропию и Gradient Moment (GM). При одношаговой генерации GSF получает GM 0,94 и generative perplexity 114,9. Для сравнения, FMLM показывает perplexity 168,3, а воспроизведенная авторами конфигурация FMLM — 140,0.
При четырёх шагах perplexity GSF снижается до 99,7, а энтропия составляет 5,32. Однако авторегрессионный учитель имеет perplexity 46,5, поэтому разрыв по качеству остается значительным. Похожие улучшения наблюдаются на LM1B и TinyStories.
Инициализация студента весами авторегрессионной модели также полезна: при случайной инициализации perplexity увеличивается со 114,9 до 145,4. Интересно, что использование Gumbel-coupling также в недиагональном слагаемом улучшает perplexity до 108,4 и GM до 0,89, но немного снижает энтропию. Поэтому в базовом варианте авторы оставляют независимое семплирование.
Разбор подготовил❣ Илья Судаков
Душный NLP
Сегодня разберём статью, авторы которой предлагают способ ускорения генерации текста, дистиллируя авторегрессионную модель в модель параллельной генерации.
Авторегрессионные модели показывают хорошее качество, но вынуждены генерировать токены последовательно, а это долго. Дискретная и непрерывная диффузии позволяют делать это параллельно, однако обычно требуют много шагов для уменьшения ошибок дискретизации.
Обычно авторегрессионная модель выдаёт логиты следующего токена, к которым применяется softmax, после чего происходит семплирование из категориального распределения. Но можно поступить иначе: добавить к каждому логиту независимый шум Гумбеля и взять argmax. Таким образом, отпадает необходимость делать семплирование, а полученный токен будет иметь точно такое же распределение, как и при семплировании. Важное наблюдение заключается в том, что если зафиксировать весь шум, то можно однозначно определить, каким будет сгенерированный текст.
Теперь вспомним обычный flow matching. Мы берём случайный шум (x_0) и one-hot-представление текста (x_1), после чего обучаем velocity-prediction-модель на линейной интерполяции:
x_t=(1-t)x_0+tx_1
Однако если шум и данные семплируются независимо, оптимальные траектории обученной модели обычно получаются кривыми, что вынуждает делать большое количество шагов. Это происходит из-за необходимости усреднять направления движения между разными парами. В сегодняшней статье авторы предлагают использовать связанные пары. Сам flow matching objective при этом не меняется. Меняется только способ формирования обучающих пар.
Главный теоретический результат статьи состоит в том, что линейные интерполяции, построенные по таким связанным парам шума и данных, не пересекаются при одинаковом значении времени (t<1). Авторы доказывают, что при достаточной выразительности модели оптимальное velocity-поле будет задавать прямые траектории.
Пары для обучения можно получать через полный авторегрессионный rollout. Но авторы предлагают более эффективный способ: взять готовую последовательность из датасета и семплировать шум Гумбеля из условного распределения, при котором учитель генерирует именно эту последовательность. Для этого достаточно одного teacher-forced forward pass.
Распределение Гумбеля асимметрично, а flow-архитектуры обычно рассчитаны на гауссовский шум, поэтому авторы преобразуют шум Гумбеля в стандартный гауссовский. Они доказывают, что строго возрастающие обратимые преобразования сохраняют прямолинейность оптимальных траекторий. В экспериментах переход к гауссовскому шуму улучшает результаты.
Также авторы перепараметризуют время на основе decoding error rate — вероятности несовпадения argmax промежуточного состояния с целевым токеном. В обычном flow matching ошибка резко уменьшается на небольшом участке траектории, а при Gumbel-coupling — более равномерно, поскольку шум уже содержит информацию о целевых токенах. Поэтому расписание GSF ближе к линейному, что удобно для генерации за небольшое число шагов.
Реальная GSF-FM-модель, однако, не избегает ошибки аппроксимации. В экспериментах авторов мера отклонения от прямой составляет около 0,70 против 1,82 у обычной Flow Language Model (FLM). Это заметное улучшение, но для качественной одношаговой генерации его недостаточно.
Поэтому авторы используют Flow Map Language Model (FMLM) — подход, в котором обучается не мгновенная скорость, а отображение между двумя произвольными моментами времени. Переход через промежуточную точку должен давать тот же результат, что и прямой переход. Лосс состоит из диагонального слагаемого, которое задает правильное направление движения, и недиагонального, обеспечивающего согласованность переходов.
Основные эксперименты проводятся на OpenWebText. Авторы сравнивают GSF с FMLM и Gumbel Distillation, используя generative perplexity, энтропию и Gradient Moment (GM). При одношаговой генерации GSF получает GM 0,94 и generative perplexity 114,9. Для сравнения, FMLM показывает perplexity 168,3, а воспроизведенная авторами конфигурация FMLM — 140,0.
При четырёх шагах perplexity GSF снижается до 99,7, а энтропия составляет 5,32. Однако авторегрессионный учитель имеет perplexity 46,5, поэтому разрыв по качеству остается значительным. Похожие улучшения наблюдаются на LM1B и TinyStories.
Инициализация студента весами авторегрессионной модели также полезна: при случайной инициализации perplexity увеличивается со 114,9 до 145,4. Интересно, что использование Gumbel-coupling также в недиагональном слагаемом улучшает perplexity до 108,4 и GM до 0,89, но немного снижает энтропию. Поэтому в базовом варианте авторы оставляют независимое семплирование.
Разбор подготовил
Душный NLP
1 287 просмотров · 17 реакций
Открыть в Telegram · Открыть пост на сайте