百度×科赛 PaddlePaddle AI 大赛开赛啦

Posted 2021-04-01 科赛Kesci

2017年12月28日，百度 PaddlePaddle AI 大赛正式开赛了！

在上篇中曾提到，PaddlePaddle AI 大赛“希望参赛选手使用PaddlePaddle深度学习框架、利用BROAD数据集、利用K-Lab，着手解决一些行业中的真实问题，从而让AI真正应用于行业、服务于行业。”

本次大赛，我们将目光放在这样一个行业——电视综艺。

在电视综艺的拍摄录制过程中，往往会有十几、二十多台摄像机同时拍摄，比方每两台或更多摄像机多机位跟拍一位艺人。而往往一次拍摄的时间较长，所以会产生大量的视频素材，因此通常在后期过程中，剪辑工作非常辛苦且枯燥。

一般这些视频素材会经历两个剪辑过程——先对所有的视频素材进行初剪，去掉明显不可用的镜头，之后再精剪。但不论在哪步，都需要导演和剪辑师们在剪辑的过程中时刻判断哪些是需要留下的、甚至未来会产生良好观众效果的镜头。固然他们会在这方面的判断上很有经验，但当素材的量很大时，或当需要在同一个时刻的几个镜头中作抉择时，如果这时有个声音可以给他们提供一些小小建议的话，那会不会对他们有所帮助呢？

因此我们设想，如果能通过算法，在素材导入的阶段就对素材进行自动标记，标记出那些将来会有一定概率成为观众眼中的“精彩片段”的时间段，那或许不仅可以成为初剪的参考、提高剪辑的效率，而且，往往毕竟每位导演都会结合脚本与自己的考量、经验来决定留下的镜头，因此这些标记出的“潜力精彩片段”或许也能作为导演从观众角度考量的参考之一，这样的话，在后期过程中便预知了“观众反馈”，从而甚至可以保障整个后期的效率与质量。

电视综艺的工作者们如此辛苦，AI是不是可以让他们轻松一些，睡得更充足些呢？

之所以现在这样的AI助力变为了可能，因为百度的BROAD数据集为我们提供了很棒的素材——1500个来自爱奇艺的电视综艺视频，总共约1200个小时，且视频已都直接转换为了视频帧的图片特征序列，但也都提供了观看链接；其中每个视频都被仔细地标注了“精彩片段”的时间戳，标记出了共18000段、约750小时的“精彩片段”——这是全球首创的公开精彩片段标注数据集。[1]

有了这样的数据，前面的设想便成为了一个深度学习问题——通过学习长视频的图像等信息（即视频帧的图片特征序列），检测其中精彩片段的位置，从而训练检测模型，从而可实现：给定任意一个新的长视频（如视频素材），输出其中精彩片段的时间戳。

但是，若要真正实现直接在素材中标记出“潜力精彩片段”的话，还得一步步来。我们这次先从“在已成片的综艺视频中标记出精彩片段”开始吧。即，我们希望选手们通过训练学习视频帧的图片特征序列得到的模型，对于给定任意一个新的长视频（还未被标注过精彩片段的电视综艺视频），大约时长30分钟到2小时，输出其中精彩片段的时间戳，其中精彩片段指精准切分出一段节目或情节的短视频，长约1到5分钟。

但对于深度学习问题来说，虽然百度的那篇研究报告中提到，随着训练数据的增多，深度学习模型的准确率会有可预期的提高。[2] 但数据量的越来越多往往会导致需要越来越长的训练时间，因此在这次大赛中我们也想做一些这方面的尝试，看若仅利用一小部分的数据，在一个不那么长的单次训练时间内，是否有可能得到一个比较准确的模型。

比赛阶段

本次大赛分为两个阶段。

第一比赛阶段

2017年12月28日0:00:00--2018年2月4日23:59:59

此阶段中，K-Lab使用百度云计算优化型CPU，4核8GB内存。K-Lab单次运行时长为3小时。

训练

使用已抽取的约10%的视频数据训练集（共124个视频），学习视频帧的图片特征序列数据，在K-Lab中训练精彩片段检测模型。

验证

使用验证集的数据与开放的测评脚本K-Lab，评价训练好的模型在验证集视频上的预测结果。

输出结果

对测试集中的视频使用训练好的模型，得出预测结果，通过K-Lab上传结果到测评系统得到评价分数。

2018年1月14日23:59:59，第一比赛阶段中期截止，分数排名第一的队伍获得鼓励奖。

2018年1月15日0:00:00起，用户通过K-Lab上传结果的同时也需上传K-Lab notebook报告。

2018年2月4日23:59:59，第一比赛阶段截止，且报名截止。选拔使用了PaddlePaddle训练模型且上传了K-Lab notebook报告的队伍中，分数前50名的队伍晋级到第二比赛阶段。

第二比赛阶段

2018年2月9日0:00:00--2018年3月15日23:59:59

此阶段中，K-Lab的配置为GPU（百度免费提供的英伟达深度学习开发卡，CPU：6核40g），单次运行时长为3小时。选手无需任何申请或安装，直接打开K-Lab在其中使用即可。

训练

选手必须使用PaddlePaddle训练模型，使用全量视频数据训练集（共1262个视频），学习视频帧的图片特征序列数据，在K-Lab中训练精彩片段检测模型。

验证

使用验证集的所有数据与开放的测评脚本K-Lab，评价训练好的模型在验证集视频上的预测结果。

输出结果

对测试集中的所有视频使用训练好的模型，得出预测结果，通过K-Lab上传结果与K-Lab notebook报告到测评系统得到评价分数。

2018年2月25日23:59:59，第二比赛阶段中期截止，分数排名第一的队伍获得鼓励奖。

2018年3月15日23:59:59，第二比赛阶段截止，百度专家对分数排名前10名的队伍评审K-Lab notebook报告，得出一名一等奖（5万人民币），2名二等奖（各2万人民币），3名三等奖（各3千人民币）。

关于数据、测评、提交等更多详细说明，请点击「阅读原文」或扫描大赛海报二维码转到PaddlePaddle AI 大赛主页！

我们诚邀身处世界各地的你来报名参赛！不论是学者、人工智能从业者、本科生，还是科研机构、创业团队、学生社团，请都参与进来。希望这次大赛不仅能汇聚到最优秀的AI人才、解决重要的问题，也能为学生提供一次难得的学习机会，体验着手新题、难题的过程，对自己的实践技术、理论基础也可以查漏补缺。

我们想让AI与你更近一些，不仅百度AI在越来越懂你，也希望真正有难度有挑战的AI问题能让更多高手的你来参与解决、或让正在学习的你来参与体验，更希望，AI能应用在更多行业、服务于每个你。

推荐阅读：

Reference

[1]

[2] https://arxiv.org/abs/1712.00409

PaddlePaddle

百度深度学习平台PaddlePaddle——是大规模并行分布式深度学习框架，易学易用、高效灵活，支持海量图像识别分类、机器翻译和自动驾驶等多个领域的业务需求,现已全面开源。

PaddlePaddle的性能表现及产品优势：

• 可伸缩性：支持多种集群框架：MPI，Kubernetes，支持GPU集群资源动态分配。(Paddle官方支持Kubernetes)

• 高效性：速度快，RNN比主流深度学习框架快1~2倍、显存占用更小 高效的多显卡环形通信与高效的多机PServer通信。支持数十亿参数的超大规模稀疏训练

• 易用性：RNN 采用无padding计算，seq2seq 模型通过非常简单的配置，可以直接训练和生成 Tensorflow的多显卡多机训练需要使用者自定义如何通信，PaddlePaddle单机代码和多机多卡代码完全一致，无痛从单机训练透明伸展到大规模集群训练

• 支持MKL-DNN：Intel 7月加入开源贡献，PaddlePaddle成为第一个官方支持MKL-DNN的深度学习框架

PaddlePaddle的发展历程/迭代信息：

• 2013年成立并开始服务百度内多项核心业务

• 2016年9月宣布开源

• 2017年2月PaddlePaddle on Kubernetes 发布，是首个支持Kubernetes的深度学习平台

• 2017年3月New API PaddlePaddle V2发布，大幅精简了PaddlePaddle的代码量

• 2017年5月PaddlePaddle Cloud 正式发布

• 2017年7月PaddlePaddle Cloud & 国家工程实验室共同建立深度学习技术及应用国家工程实验室 （dlnel.org）

• 2017年11月发布新一代深度学习框架Paddle Paddle Fluid、新一代弹性深度学习框架PaddlePaddle EDL ( elastic deep learning )

科赛 Kesci

科赛是个聚合数据人才和行业问题的在线开放创新平台，现已有数万名专业数据科学家与AI人才加入。

通过为30余家互联网、金融等主流企业客户（如平安、联通、华为、携程、拍拍贷等）提供在算法、(数据/AI)创新应用、新型人才招募上的解决方案，持续吸引优质人才在科赛平台上在线设计并提交5000余份数据算法应用、数据产品创新方案等，鼓励开源了1000余个主流算法模块、5000G真实生产级数据集资源。

基于科赛打造的开放创新平台模式，帮助极大降低企业AI创新成本、加速应用落地，同时更好赋能AI人才进行创新与学习，在实践中更新知识体系、迭代技术能力，满足未来各个行业对数据人才、AI人才的需求。

为了提高数据工作者的工作效率，科赛团队于今年推出了国内首款在线数据工作平台K-Lab。秒级启动，零安装、零维护，集成了Python、R两种主流语言生态的丰富功能，已内置了100多种各语言主流数据分析、机器学习、深度学习工具包，如Numpy, Pandas, Tensorflow, Theano与PaddlePaddle，等等。轻松调用，一键部署环境、标准化代码，还配以强大的云计算资源，能为商业智能、数据分析、机器学习、深度学习等主流分析模块在云端的运行计算提供支撑。因此用户可直接加载科赛上的任意数据，立即开始不论数据分析还是深度学习，可极大提高学习与工作效率。

现在，不仅PaddlePaddle可在K-Lab中直接调用，数百GB的BROAD数据集也可在K-Lab中直接挂载，在本次AI大赛的第二比赛阶段中，选手在K-Lab将可直接使用来自英伟达深度学习开发卡的GPU算力。

 

极客学院

极客学院是目前国内领先的IT职业教育平台，有IT技术课程近3000门，13000多个课时。极客学院与百度合作，推出国内首个开源框架PaddlePaddle完整培训课程！集合了百度的搜索、图像识别等多领域的技术方向。

看到这里 不妨打开浏览器 输入kesci.com

报名大赛   All In AI

科赛Kesci.com是聚合数据人才和行业问题的在线社区。打造的K-Lab在线数据分析协作平台，为数据工作者的学习与工作带来全新的体验。

戳「阅读原文」，抢占AI赛道