足球篮球花样滑冰乒乓球四大运动的动作识别通用方案开源了

Posted 2022-02-10 百度大脑

北京冬奥会即将开幕，全民健身如火如荼。2020年夏季奥运会有46项体育项目，2022年冬奥会有15项体育项目，丰富的项目涉及的姿势标准也各有区别。运动员如何科学地进行体育锻炼、准确矫正健身动作？教练员如何借助技术提供更智能化的训练和战术分析？体育视频行业如何高效定位精彩片段，分享更多精彩运动瞬间？“AI+体育”正在交出答卷。

目前，AI 在体育场景上的应用主要集中在动作类型的准确识别及定位上，技术存在如下挑战：

**1、体育运动行为复杂度高：**体育项目类间方差小、类内方差大，隐蔽性高，当前针对人体动作识别的解决方案在体育类数据集上难以奏效。

**2、长视频处理困难：**在复杂动作难度基础上，如何从冗长含大量背景信息未经处理的原视频中准确定位并识别短时间内发生的人体动作，也备受业界关注。

PaddleVideo 开源了一套通用的体育类动作识别方案，该方案不仅能准确识别出动作的类型，而且能精确定位出该动作发生的起止时间。这套方案已经在线上业务中得到了充分验证。PaddleVideo 目前已开源其中的足球运动识别算法 FootballAction、篮球运动识别算法 BasketballAction、乒乓球动作识别算法和花样滑冰动作识别算法，其中篮球和足球使用同一套框架。将动作识别出来后，可以方便的实现下游任务，如：动作识别分析、智能评分、智能剪辑、赛事解析等。

⭐项目链接 ⭐

https://github.com/PaddlePaddle/PaddleVideo

PaddleVideo 所有源码及教程均已开源，欢迎大家使用，Star 鼓励~

足球/篮球动作识别

FootballAction 基于比赛视频构建数据集，每一条视频时长约40分钟，共包含8个动作类别，分别为：背景、进球、角球、任意球、黄牌、红牌、换人、界外球。方案分为三个组成部分：特征抽取、时序提名生成、动作分类及后处理模块。模型的动作识别准确率达到94%，F1-score 达到82%。

BasketballAction 整体解决方案与 FootballAction 类似，共包含7个动作类别，分别为：背景、进球-三分球、进球-两分球、进球-扣篮、罚球、跳球。准确率超过90%，F1-score 达到80.14%

乒乓球动作识别与定位

以往为了向运动员提供针对性的技战术分析数据，需要反复查看历史视频，统计分析每个球得失分的原因、每一板使用了什么技术，成功率又是多少。这是一项费时费力、非常辛苦的工作。为此，飞桨联合北京大学构建了基于 500G 以上的比赛视频的标准训练数据集，标签涵盖发球、拉、摆短等8个大类动作。PaddleVideo 开源了包括 Video Swin Transformer 在内的乒乓球动作识别模型和基于 BMN 的动作定位模型。

基于 Video Swin Transformer 的乒乓球动作识别模型，目前动作识别准确率达到了74%以上。

Video Swin Transformer 特点

基于百度自研的 BMN 在乒乓球挥拍动作定位模型上，对比主流动作定位数据集 SOTA 效果，ActivityNet1.3 – 67.10%， THUMOS14- 43.54%，目前 AUC 精度在验证集上可达72.33%。

花样滑冰动作识别

花样滑冰因其优雅的舞姿，备受年轻人喜爱。但由于舞蹈动作的专业性，非专业选手很难判断运动员们具体的舞蹈动作类型。相较于其他竞技体育，花样滑冰的运动轨迹复杂性强、速度快、类别多，这对识别任务来说是极大的挑战。

2021年飞桨联合中国计算机学会（CCF）举办了第九届 CCF 大数据与计算智能大赛，其中花样滑冰动作识别大赛吸引了300家高校与200家企业超过3800人参赛，冠军方案比基线方案精度提升了12个点，比赛 Top3 方案已经开源。

我们使用基于关节点的行为识别对动作进行识别。花样滑冰锦标赛数据集由专业人员对动作进行标注。对输入视频，首先将其帧率统一，然后使用姿态估计算法提取关节点数据，最后将关节点数据输入时空图卷积网络 ST-GCN 模型中进行动作分类，可以实现30种动作的分类。

算法性能强劲

应用案例丰富

PaddleVideo 期待大家使用与反馈：

https://github.com/PaddlePaddle/PaddleVideo