Qwen-Audio-3.0-TTS: Freely Controllable and Highly Robust Speech Synthesis with Multi-Stage Training Paradigm [2/2]

В первой части разобрали архитектуру Qwen-Audio-3.0-TTS. Теперь посмотрим, как модель обучают.

1) Раздельный претрейн LM и flow matching

Начинают с рецепта CosyVoice2 и CosyVoice3: LM учится предсказывать семантические токены по тексту и контексту промпта, FM параллельно учится восстанавливать мел-спектрограмму по токенам.

2) Joint training

Теперь на вход FM подают hidden states языковой модели. Через них градиент от flow-matching loss проходит обратно в LM, и обе части обучаются совместно. При этом сохраняется cross-entropy loss на предсказание токенов.

Сначала модели обучают на широком миксе данных, чтобы согласовать работу на разных языках, голосах и стилях. Затем делают high-quality data annealing.

3) RL для языковой модели

Дальше оптимизируют LM через GRPO. В composite reward входят content consistency по ASR, штраф за выбросы по длительности, generation diversity и prosodic naturalness с учётом alignment progression и таймингов пауз. Всё это оценивают по токенам без декодирования аудио.

К GRPO добавляют DiffRO, дифференцируемый метод на основе Gumbel-Softmax. Он позволяет пропустить градиент от reward модели через предсказания токенов обратно в LM. Получается сочетание sequence-level GRPO и token-level DiffRO сигналов.

Сам RL тоже разбит на две фазы. Сначала оптимизируют общую генерацию, исключив instruction-following, fine-grained-control и диалектные примеры. Затем переходят к multi-task alignment и добавляют reward за корректность диалекта.

4) Robustness training на шумных промптах

На этом этапе LM замораживают, а FM учат работать с деградированными аудиопромптами. Для этого используют шум, реверберацию, артефакты кодеков и другие искажения. По такому референсу FM должна сгенерировать чистую речь, сохранив тембр спикера.

5) RL для flow matching

На последнем этапе оптимизируют уже сам акустический декодер через FlowTTS-GRPO.

Для сравнения, у языковой модели на каждом шаге есть распределение вероятностей следующего токена. У FM следующий шаг ODE-семплинга задаётся предсказанным velocity field. Начальный шум случайный, но после фиксации текущего состояния переход в следующее детерминирован. А для GRPO нужен probability ratio, то есть отношение плотностей одного и того же перехода под текущей и старой моделями. Поэтому ODE-семплер переводят в SDE, добавляя гауссовский шум и поправку к drift. Последняя сохраняет маргинальные распределения исходного flow в непрерывном времени, а у переходов появляется плотность, по которой можно считать log-prob и нужный ratio. SDE используют только на ранних шагах, дальше идут по ODE. Для reward используют speaker similarity, ASR intelligibility и DNSMOS.

Итого имеем улучшенную версию CosyVoice3 на стероидах: пять этапов обучения и первое место англоязычной Artificial Analysis TTS Arena в июле. Но интереснее потестировать самому в QwenCloud, насколько красивые цифры бенчмарков соответствуют реальному качеству.

Владимир Гогорян ❣ Специально для Speech Info