Matching Anything by Segmenting Anything
Сегодня разберём статью об элегантном симбиозе foundation-моделей и multi‑object tracking.
Главная проблема трекинга заключается в том, что размечать данные для обучения дорого. Авторы предлагают решение — полностью self‑supervised-подход, который учится ассоциировать объекты, используя только статичные неразмеченные изображения и foundation-модели. Например, SAM или Grounding DINO.
Как это работает: сначала SAM или другая foundation-модель генерирует маски всех возможных объектов для одного изображения. Может получиться до 256 proposal’ов на кадр — это даёт богатую коллекцию negative-примеров для обучения.
Из одной картинки получается две новых после применения аугментаций: рандомные аффинные преобразования, MixUp, или Large‑Scale Jittering, которые имитируют последовательные кадры видео. Поскольку известно, как двигались пиксели, после наложения масок SAM автоматически получается instance‑level correspondence. Это значит, что один и тот же объект в двух «кадрах» становится positive-примером, а соседние объекты — negative.
Далее через dynamic feature fusion для каждого proposal’а вычисляется appearance‑эмбеддинг. Обучение идёт по двум лоссам:
🔴 Контрастный лосс сближает эмбеддинги, которые относятся к одному и тому же объекту, а эмбеддинги других объектов наоборот отдаляет.
🔴 Детекционный лосс — дистилляция знаний SAM о локализации объектов — также ускоряет инференс.
В результате MASA получает компактный дискриминативный вектор для каждого найденного объекта.
В инференсе трекинг сводится к поиску ближайшего эмбеддинга среди детекций на текущем кадре — просто, быстро и без дообучения.
На бенчмарке TAO TETA метод превосходит TETer, обученный с учителем (+2% AssocA). А на BDD100K MOTS достигает IDF1 49,7%, обходя UNINEXT с доменной разметкой.
Кроме того, MASA ускоряет инференс SAM в 10 раз за счёт предсказания спарсенных боксов вместо равномерной сетки точек.
Отдельно радует объёмный качественный ablation study: авторы честно показывают,
как влияют на результат выбор аугментаций, число пропозалов, тип бэкбона и другие параметры.
Разбор подготовила❣️ Ольга Ротова
404 driver not found
Сегодня разберём статью об элегантном симбиозе foundation-моделей и multi‑object tracking.
Главная проблема трекинга заключается в том, что размечать данные для обучения дорого. Авторы предлагают решение — полностью self‑supervised-подход, который учится ассоциировать объекты, используя только статичные неразмеченные изображения и foundation-модели. Например, SAM или Grounding DINO.
Как это работает: сначала SAM или другая foundation-модель генерирует маски всех возможных объектов для одного изображения. Может получиться до 256 proposal’ов на кадр — это даёт богатую коллекцию negative-примеров для обучения.
Из одной картинки получается две новых после применения аугментаций: рандомные аффинные преобразования, MixUp, или Large‑Scale Jittering, которые имитируют последовательные кадры видео. Поскольку известно, как двигались пиксели, после наложения масок SAM автоматически получается instance‑level correspondence. Это значит, что один и тот же объект в двух «кадрах» становится positive-примером, а соседние объекты — negative.
Далее через dynamic feature fusion для каждого proposal’а вычисляется appearance‑эмбеддинг. Обучение идёт по двум лоссам:
В результате MASA получает компактный дискриминативный вектор для каждого найденного объекта.
В инференсе трекинг сводится к поиску ближайшего эмбеддинга среди детекций на текущем кадре — просто, быстро и без дообучения.
На бенчмарке TAO TETA метод превосходит TETer, обученный с учителем (+2% AssocA). А на BDD100K MOTS достигает IDF1 49,7%, обходя UNINEXT с доменной разметкой.
Кроме того, MASA ускоряет инференс SAM в 10 раз за счёт предсказания спарсенных боксов вместо равномерной сетки точек.
Отдельно радует объёмный качественный ablation study: авторы честно показывают,
как влияют на результат выбор аугментаций, число пропозалов, тип бэкбона и другие параметры.
Разбор подготовила
404 driver not found
416 просмотров · 17 реакций
Открыть в Telegram · Открыть пост на сайте