В первой части разобрали архитектуру Qwen-Audio-3.0-TTS. Теперь посмотрим, как модель обучают.
1) Раздельный претрейн LM и flow matching
Начинают с рецепта CosyVoice2 и CosyVoice3: LM учится предсказывать семантические токены по тексту и контексту промпта, FM параллельно учится восстанавливать мел-спектрограмму по токенам.
2) Joint training
Теперь на вход FM подают hidden states языковой модели. Через них градиент от flow-matching loss проходит обратно в LM, и обе части обучаются совместно. При этом сохраняется cross-entropy loss на предсказание токенов.
Сначала модели обучают на широком миксе данных, чтобы согласовать работу на разных языках, голосах и стилях. Затем делают high-quality data annealing.
3) RL для языковой модели
Дальше оптимизируют LM через GRPO. В composite reward входят content consistency по ASR, штраф за выбросы по длительности, generation diversity и prosodic naturalness с учётом alignment progression и таймингов пауз. Всё это оценивают по токенам без декодирования аудио.
К GRPO добавляют DiffRO, дифференцируемый метод на основе Gumbel-Softmax. Он позволяет пропустить градиент от reward модели через предсказания токенов обратно в LM. Получается сочетание sequence-level GRPO и token-level DiffRO сигналов.
Сам RL тоже разбит на две фазы. Сначала оптимизируют общую генерацию, исключив instruction-following, fine-grained-control и диалектные примеры. Затем переходят к multi-task alignment и добавляют reward за корректность диалекта.
4) Robustness training на шумных промптах
На этом этапе LM замораживают, а FM учат работать с деградированными аудиопромптами. Для этого используют шум, реверберацию, артефакты кодеков и другие искажения. По такому референсу FM должна сгенерировать чистую речь, сохранив тембр спикера.
5) RL для flow matching
На последнем этапе оптимизируют уже сам акустический декодер через FlowTTS-GRPO.
Для сравнения, у языковой модели на каждом шаге есть распределение вероятностей следующего токена. У FM следующий шаг ODE-семплинга задаётся предсказанным velocity field. Начальный шум случайный, но после фиксации текущего состояния переход в следующее детерминирован. А для GRPO нужен probability ratio, то есть отношение плотностей одного и того же перехода под текущей и старой моделями. Поэтому ODE-семплер переводят в SDE, добавляя гауссовский шум и поправку к drift. Последняя сохраняет маргинальные распределения исходного flow в непрерывном времени, а у переходов появляется плотность, по которой можно считать log-prob и нужный ratio. SDE используют только на ранних шагах, дальше идут по ODE. Для reward используют speaker similarity, ASR intelligibility и DNSMOS.
Итого имеем улучшенную версию CosyVoice3 на стероидах: пять этапов обучения и первое место англоязычной Artificial Analysis TTS Arena в июле. Но интереснее потестировать самому в QwenCloud, насколько красивые цифры бенчмарков соответствуют реальному качеству.
Владимир Гогорян