深度学习系列一起来参加百度 PaddlePaddle AI 大赛吧!
Posted Python爱好者社区
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习系列一起来参加百度 PaddlePaddle AI 大赛吧!相关的知识,希望对你有一定的参考价值。
点击上图,立即开启AI急速修炼
擅长用通俗易懂的方式讲解深度学习和机器学习算法,熟悉Tensorflow,PaddlePaddle等深度学习框架,负责过多个机器学习落地项目,如垃圾评论自动过滤,用户分级精准营销,分布式深度学习平台搭建等,都取了的不错的效果。
博客专栏:https://www.cnblogs.com/charlotte77/
前文传送门:
写这个系列写了两个月了,对paddlepaddle的使用越来越熟悉,不过一直没找到合适的应用场景。最近百度搞了个AI大赛,据说有四个赛题,现在是第一个----综艺节目精彩片段预测 ,大家可以去检测一下最近的学习成果啊!还有丰厚的奖金10W元软妹币哦!
这是啥比赛?
看比赛的要求,是希望参赛选手使用PaddlePaddle深度学习框架、利用BROAD数据集、利用K-Lab,着手解决行业中的真实问题,从而让AI真正应用于行业、真正服务于行业。本次大赛,我们将目光放在电视综艺行业,希望选手们利用BROAD中全球首创的公开精彩片段标注数据集,帮助电视综艺的后期剪辑工作者们在给定的任一段长视频中识别出“精彩片段”——想为剪辑师们的辛苦工作给予些小小的辅助,别再连续熬夜啦
详细的赛题背景请戳这里!
https://www.kesci.com/apps/home/competition/5a41bca63bf3464aab731a31/content/2
数据集是啥?
在11月百度世界大会 AI 技术与平台论坛上,百度3D视觉首席科学家杨睿刚就宣布推出了百度 AI 公开数据集计划——BROAD(Baidu Research Open-Access Dataset),并宣布首批室外场景理解、视频精彩片段、阅读理解3个数据集即日起对公众公开。
这些数据或是首次发布的,或是目前国际同类型公开数据集中最大的:
室外场景理解数据集是世界范围内第一个带像素级语义标签的室外3D图像数据,来源于百度自动驾驶事业部。该数据集试图将感知能力从物体级感知升级到像素级感知,进而了解图片中所有像素的属性和来源,目标实现更精准、安全的自动驾驶。
视频精彩片段数据集主要来源于爱奇艺。视频类型为综艺节目,目前囊括近1500个长视频,视频总时长约1200小时,还从中手动收取出18000个精彩小视频,同时能够提供视频帧的图片特征序列,是全球首创的公开精彩片段标注数据集。
百度阅读理解数据集 DuReader是迄今为止规模最大的中文公开领域阅读理解数据集。数据集基于真实应用需求,所有问题都来源于百度搜索用户的真实问题,文档来自全网真实采样的网页文档和百度知道 UGC 文档,答案基于问题与文档由人工撰写生成。数据集标注了问题类型、实体和观点等丰富信息,弥补了现有主流数据集对于观点类问题覆盖不足的问题。首批发布的阅读理解数据集包含20万问题、100万文档及42万人工撰写的优质答案,并提供开源基线系统。DuReader 将为阅读理解技术研究提供有力支撑,希望加速相关技术和应用的发展。
在这个比赛中,我们用的是第二个:视频精彩片段数据集。戳这里(http://ai.baidu.com/broad/download)可以下载!不过文件太大了,训练集有97G,验证和测试各有8,8G,在本机上做明显不太现实,所以kesci直接提供了数据集,在指定路径下就可以看到啦。我们可以直接运用Kesci的平台K-Lab来进行模型训练~大家可以在这里(https://www.kesci.com/apps/home/competition/5a41bca63bf3464aab731a31/content/9)看一下提供的视频样例和数据集的说明~
一个小tips:大家一定要先报名,再创建比赛项目才能查看数据集哦!不然看不到!亲身经历,略坑 - - 而且一定得用PaddlePaddle,会检测你有没有用的 - -
如何报名?
在Kesci官网注册,然后报名,就可以啦!提交结果的时候要以团队的名义提交哦!团队可以是一个人,也可以组队,大家可以在比赛的qq群里拉人组队哦!(见比赛介绍)(https://www.kesci.com/apps/home/competition/5a41bca63bf3464aab731a31/content)
赛题、日程与奖项
本次大赛分为两个阶段。
第一比赛阶段:2017年12月28日0:00:00--2018年2月4日23:59:59
此阶段中,K-Lab使用百度云计算优化型CPU,4核8GB内存。K-Lab单次运行时长为3小时。
任务:
训练:使用已抽取的约10%的视频数据训练集(共124个视频),学习视频帧的图片特征序列数据,在K-Lab中训练精彩片段检测模型。
验证:使用验证集的数据与开放的测评脚本K-Lab,评价训练好的模型在验证集视频上的预测结果。
输出结果:对测试集中的视频使用训练好的模型,得出预测结果,通过K-Lab上传结果到测评系统得到评价分数。
2018年1月14日23:59:59,第一比赛阶段中期截止,分数排名第一的队伍获得鼓励奖。
2018年1月15日0:00:00起,用户通过K-Lab上传结果的同时也需上传K-Lab notebook报告。
2018年2月4日23:59:59,第一比赛阶段截止,且报名截止。选拔使用了PaddlePaddle训练模型且上传了K-Lab notebook报告的队伍中,分数前50名的队伍晋级到第二比赛阶段。
第二比赛阶段:2018年2月9日0:00:00--2018年3月15日23:59:59
此阶段中,K-Lab的配置为GPU(百度免费提供的英伟达深度学习开发卡,CPU:6核40GB),单次运行时长为3小时。选手无需任何申请或安装,直接打开K-Lab在其中使用即可。
任务:
训练:选手必须使用PaddlePaddle训练模型,使用全量视频数据训练集(共1262个视频),学习视频帧的图片特征序列数据,在K-Lab中训练精彩片段检测模型。
验证:使用验证集的所有数据与开放的测评脚本K-Lab,评价训练好的模型在验证集视频上的预测结果。
输出结果:对测试集中的所有视频使用训练好的模型,得出预测结果,通过K-Lab上传结果与K-Lab notebook报告到测评系统得到评价分数。
2018年2月25日23:59:59,第二比赛阶段中期截止,分数排名第一的队伍获得鼓励奖。
2018年3月15日23:59:59,第二比赛阶段截止,百度专家对分数排名前10名的队伍评审K-Lab notebook报告,评选出一名一等奖(5万人民币),2名二等奖(各2万人民币),3名三等奖(各3千人民币)。
写在最后
其实刚看到这个题目的时候觉得有点难,因为这个属于比较新的领域,时序视频检测这个方向大家可以多搜搜论文,看看别人怎么实现的,先试着用最简单的方法做一下。不太建议完全不懂机器学习的人报名,小白可以先参加一些基础的练练手,如果对机器学习和深度学习有些了解的可以报名试试看。目前排名第一的大神已经开放了随机测试的视频,大家可以先用这个代码跑一下,看看提交的格式是啥样的。不管怎么说,重在参与啦~我也报名啦,大家一起来玩啊~而且看到有好几个大佬也参赛了,大家参与一下,体验一下就好哈哈。后续还有nlp、安防领域的,可以这次先练练手,后面的也参加挑战一下^_^!
想从零开始学人工智能?
下图扫码了解本文作者胡老师的系列课程吧!
限时优惠6.18折!
点击“
阅读原文
”,人工智能行业需要你!
以上是关于深度学习系列一起来参加百度 PaddlePaddle AI 大赛吧!的主要内容,如果未能解决你的问题,请参考以下文章
百度NLP深度学习悉数亮相NeurIPS 2019,一系列年度突破大放异彩
深度学习和目标检测系列教程 20-300:OpenCV与图像处理:霍夫变换技术实现直线检测