yolov7 and DeepSort解读&智能多媒体通信及其产业化技术课设

Posted on Edited on In

一切的一切都要从一个课设说起

target

多目标跟踪算法研究

（1）原始数据：原始数据为一段路端或车端的视频序列，视频序列中包括多个车辆目标和行人目标。

（2）功能描述：可利用现有的跟踪算法，对该视频图像序列的车辆进行跟踪，输出并显示每帧目标在图像中的位置信息（左上角坐标和右下角坐标）、类别（目标是行人还是车辆）和对应的ID号。

（3）编程语言：Matlab， C/C++，或Python。

（4）难度：难

（5）环境：CPU或GPU

参考和对比文献：Wojke N, Bewley A, Paulus D. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE International Conference on Image Processing (ICIP). IEEE, 2017: 3645-3649.

solution

直接github上找个colab跑一下就行了，但但但但但是，害是要去了解一下原理滴

这里copy一下答辩的ppt（没错

PPT

Why YOLOv7？

image-20230516161700072

YOLOv7 同时在速度和正确率上超过了所有已知的目标检测器。

与性能最好的 SWIN-L Cascade-Mask R-CNN模型相比，YOLOv7 以显著提高的速度（快 509%）实现了 2% 的准确度提升

image-20230516161718506

YOLOv7 在速度和准确率方面通杀了YOLOR、YOLOX、Scaled-YOLOv4、YOLOv5等目标检测算法。

Why Deep Sort？

image-20230516161745723

Deep SORT算法是对SORT的多目标追踪算法的扩展，它利用appearance信息来提高追踪性能，尤其是在目标被遮挡时。实验结果表明，该算法扩展可以将身份切换数量减少45%，并在高帧率下实现了总体竞争性能。

Deep Sort原理

Deep Sort的步骤

1.检测器得到 t 时间的 detection bbox，更新track set

2.经过卡尔曼滤波器预测 t + 1 时的prediction bbox

3.检测器得到 t + 1的detection

4.使用匈牙利算法配对 t + 1的detection和prediction的bbox，更新track set

总结为：

1.目标检测器

2.追踪

3.匹配

追踪的原理

image-20230516161920777

匹配的原理

image-20230516161932207

image-20230516161941982

匹配级联

image-20230516161951627