腾讯优图开源视频动作检测算法DBG，打破两项世界纪录

àì夳堔傛蜴生んèń 2023-07-14 08:24 23阅读 0赞

腾讯优图实验室提出一种新的视频动作检测算法DBG已经开源,该算法在全球两大权威视频动作数据集ActivityNet-1.3和THUMOS14上均取得了第一。

任务介绍

视频动作检测技术是精彩视频集锦、视频字幕生成、动作识别等任务的基础，随着互联网的飞速发展，在产业界中得到越来越广泛地应用。视频动作检测算法需要在给出视频中找到动作发生的位置（起点和终点）和置信度。如下图所示，我们需要在一段体育视频场景中，找到“跳高”这个动作发生的起点时刻和终点时刻。

![format_png][]

算法设计

与现有的视频动作检测算法相比，DBG算法有3点创新：

（1）提出一种快速的、端到端的稠密边界动作生成器(Dense Boundary Generator，DBG)。该生成器能够对所有的动作提名（proposal）估计出稠密的边界置信度图。

（2）引入额外的时序上的动作分类损失函数来监督动作概率特征，该特征能够有利于回归动作的完整度。

（3）设计一种高效的动作提名特征生成层，该层能够有效捕获动作的全局特征，便于后面的分类和回归模块。

算法的整体框架主要包括三个部分：视频特征抽取（Video Representation），稠密边界动作检测器（DBG），后处理（Post-processing）。

![format_png 1][]

（DBG算法框架图 ）

评测结果

从评估结果来看，DBG无论在召回率还是耗时上都优于现有其他开源算法。其中，ActivityNet1.3数据集分为Validation和Test两个评估集，DBG单模型（表中Ours）在Validation和Test的两种评估模式上均取得了Top 1，通过使用多种特征提取网络和多尺度特征等策略，DBG算法的融合结果是73.05%，达到ActivityNet榜单的第一名。

![format_png 2][]

![format_png 3][]

目前THUMOS14数据集测试集标注已经公开，通过将DBG与现有的开源方法进行对比，DBG在不同指标下的召回率均有显著提升。

![format_png 4][]

此外，DBG算法的耗时要明显少于BSN和BMN等其他经典方法。

![format_png 5][]

据悉，该算法投稿的论文《FastLearning of Temporal Action Proposal via Dense Boundary Generator》已被国际人工智能顶级会议AAAI2020接收（https://arxiv.org/pdf/1911.04127.pdf）。

业务落地

随着互联网时代发展，视频内容越来越多，预计到2021年，80%左右的互联网流量将会来自于视频。视频内容的爆发也催生了对动作检测算法的巨大需求。互联网场景视频内容的多样性对技术提出了很多的挑战，如视频场景复杂、动作长度差异较大、边界模糊、相机运动带来背景变化等。针对这些挑战，优图DBG动作检测算法应运而生，在实际业务中取得了很好的精度与速度的提升。

目前，动作检测技术已经应用于公司内外的多个业务中，覆盖教育、社交、娱乐、视频等多个场景。以社交娱乐场景为例，短视频APP用户拍摄上传一段原始视频后，基于DBG算法的功能接口，可实现对视频中“跳舞”动作的检测和识别并智能剪辑，帮助用户自动生成更加专业的短视频。

持续开源

自2017年，腾讯开始加快对外开源节奏，主要覆盖AI、云、游戏、安全、小程序等相关领域，其中计算机视觉技术的开源也是其重要一环。2019年至今优图已有人脸检测、属性等5项技术开源。腾讯将不断研究和探索，通过开源更多新技术为产业发展提供助力。

**ActionDetection-DBG开源啦！**

https://github.com/Tencent/ActionDetection-DBG

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source/DBG

（登录后才能访问公开项目）

![format_png 6][]

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

![format_png 7][]

[format_png]: /images/20230529/4bbc35e4ef4d4dfeaac1df5bf79d4ee5.png
[format_png 1]: /images/20230529/48ceb52fd90840e0a6683f8f6dbbcc8b.png
[format_png 2]: /images/20230529/47c71699d4cf4858a510957b8c798ca8.png
[format_png 3]: /images/20230529/8f5d51c42f9c4af8a32f202401c8c158.png
[format_png 4]: /images/20230529/772f5407619d4ca1a0a5d7c7cc5b6798.png
[format_png 5]: /images/20230529/992a89c3dbf1437f9a06656d0f88ab4e.png
[format_png 6]: /images/20230529/28e6f44f926541fd81b3b542f17b4a75.png
[format_png 7]: /images/20230529/bea5879263c0414d9e6541cbe5e5459d.png