目标检测最新创新点： EMS-YOLO：首个用于目标检测的直接训练脉冲神经网络

桃扇骨 2024-02-19 11:55 20阅读 0赞

EMS-YOLO：第一个用于目标检测的深度直接训练脉冲神经网络，首次使用代理梯度训练深度 SNN 进行检测，并设计全脉冲残差块EMS-ResNet，代码刚刚开源！单位：国科大, 西安交大, 清华, 北大, 华为

脉冲神经网络 (SNN) 是受大脑启发的节能模型，可对时空动态信息进行编码。最近，直接训练的深度 SNN 在以很少的时间步长实现分类任务的高性能方面取得了巨大成功。然而，如何为目标检测的回归任务设计直接训练的 SNN 仍然是一个具有挑战性的问题。为了解决这个问题，我们提出了 EMS-YOLO，一种用于目标检测的新型直接训练 SNN 框架，这是第一个使用代理梯度训练深度 SNN 进行目标检测而不是 ANN-SNN 转换策略的尝试。 具体来说，我们设计了一个全脉冲残差块EMS-ResNet，它可以有效地以低功耗扩展直接训练的SNN的深度。 此外，我们从理论上分析并证明了EMS-ResNet可以避免梯度消失或爆炸。 结果表明，我们的方法以极少的时间步长（仅 4 个时间步长）优于最先进的 ANN-SNN 转换方法（至少 500 个时间步长）。 结果表明，我们的模型可以在基于框架的 COCO 数据集和基于事件的 Gen1 数据集上实现与具有相同架构的 ANN 相当的性能，同时消耗 5.83 倍的能量。

![在这里插入图片描述][e529030418154a358a0f0e71a98818a9.png]  
![在这里插入图片描述][847c50e974e8457db2397b7110b08397.png]  
![在这里插入图片描述][ecbee5cc36cf44b890f06d09d9b2c63a.png]  
![在这里插入图片描述][ab5553a36bf84ba6aedfd4cadd6a65d2.png]  
![在这里插入图片描述][2ebdaba0430a45f5894b9168255158f6.png]  
![在这里插入图片描述][f0adeb8cdbfa4cc8a1b62e40e5efd6f8.png]  
![在这里插入图片描述][d240d34d3a2144d59ff57b4522ad2da4.png]  
论文地址：https://openaccess.thecvf.com/content/ICCV2023/html/Su\_Deep\_Directly-Trained\_Spiking\_Neural\_Networks\_for\_Object\_Detection\_ICCV\_2023\_paper.html

代码地址：https://github.com/BICLab/EMS-YOLO

更多论文创新点加微信群：Lh1141755859

公众号：CV算法小屋

[e529030418154a358a0f0e71a98818a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a10befffd3c74e9ca939af270927d8a9.png
[847c50e974e8457db2397b7110b08397.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/1af0e85373a74668b1915305e532104d.png
[ecbee5cc36cf44b890f06d09d9b2c63a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/a601d19a0b43488190e51024254eab15.png
[ab5553a36bf84ba6aedfd4cadd6a65d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/9a8d0a28862843bf835d18378ee8ec35.png
[2ebdaba0430a45f5894b9168255158f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/58b9034bd63a418ca6c53abaeb403d0e.png
[f0adeb8cdbfa4cc8a1b62e40e5efd6f8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/da363782802e45219ae8e66dbab2f0db.png
[d240d34d3a2144d59ff57b4522ad2da4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/664c644128554196bec3957ead5e33ab.png