DetZero: Rethinking Offboard 3D Object Detection with Long-term Sequential Point CloudsАвторы этой
статьи утверждают, что их алгоритм работает лучше, чем ручная разметка, если оценивать по методике
3DAL от Waymo. Знакомьтесь, DetZero — фреймворк для офлайн-детекции и трекинга на основе длинных последовательностей лидарных точек (до 200 кадров), который занимает первое место на лидербордах
WOD 3D Detection и
WOD 3D Tracking.
В основе фреймворка — двухпроходный алгоритм. Общий пайплайн работы с данными выглядит так:
🔴 Мультикадровый детектор получает на вход N кадров с облаками точек.
🔴 Первый проход: офлайн-трекер генерирует точные и полные треки объектов с помощью модификации
CenterPoint. В DetZero учитывают плотность точек и используют не один, а пять соседних кадров. А ещё — добавили TTA и ансамбль однотипных моделей.
🔴 Второй проход: пообъектное рассмотрение треков. Для треков каждого объекта готовят собственные последовательности лидарных точек — используют только те точки, которые заметаются боксами трека. Боксы немного расширяют, чтобы замести окрестность побольше.
🔴 Треки улучшают с помощью трёх одновременных действий: уточнение геометрических размеров объекта, сглаживание траектории движения и перерасчёт уверенности.
🔴 Все треки собирают в единую картинку и превращают в лейблы. Точки, связанные с объектом, переводят в систему координат bounding box. После этого происходит geometry (GRM), position (PRM) и confidence (CRM) уточнение при помощи обучаемых моделей на основе
PointNet.В 2023 году DetZero занял первое место в рейтинге обнаружения 3D-объектов от Waymo с производительностью обнаружения 85,15 mAPH.
Рассмотреть алгоритм в деталях можно на схеме, попробовать — на
Github авторов.
Разбор подготовил
❣️ Александр Пономарчук
404 driver not found
