五月 | 大学生爬虫技术比赛震撼来袭

Posted 2021-04-30 学生工作助理中心

听说这个五月份，

乐点要开始搞大事情了

大学生爬虫比赛要在广州召开了，

真的吗？真的吗？

绝对真实，你没看错

想要实操前沿技术？

想要获取奖杯证书？

想要得到丰厚奖金？

大学生爬虫技术比赛震撼来袭

大奖时刻为你准备着

赛事简介  

爬虫是对海量的分散的互联网数据进行采集的行为，是搜索引擎系统的基础。政府有效的利用互联网的信息，能发现舆论倾向，建立征信体系，发现犯罪行为等。

参考思路

爬取国内外新闻资讯等；

爬取金融咨询或金融类数据等；

爬取搜狗或微信内容，比如使用关键字：大学 、比赛爬取关于这方面的推文；

直接爬取汽车之家二手车，房天下，招聘网等流量大的网站具备有价值的信息，比如用户，商品信息；

电商网站是个体户及企业进行网上销售的平台。电商网站中的数据具有重要的价值，能体现经济发展趋势，居民消费水平等对电商网站的高效的采集、并且能自动的（尽量减少人工的）提取网页中的数据，是具有价值和挑战性的。

比赛细则

参赛对象：广东金融学院+大学城高校学生（参赛人数一个队伍1-3人，其他高校亦欢迎报名）

报名时间：即日起至5月14日23:00

比赛时间：5.15--6.10（比赛期间亦可报名）

   

报名方式：

    1、登录“十步芳草”APP/小程序，报名参加;

    3、队长报名即可。

功能性需求

--爬虫策略

--URL去重算法

对URL进行去重，已经下载过的，没有进行数据更新的，不再进行下载。去重算法应考虑内存的问题，内存越小越优。

--数据要求

爬到的数据要能导出或保存，对每条记录的来源必须标明来自哪个url

加分项

可个性化配置爬虫控制参数的（加2分）

通过软件技术爬取广东有交公积金的人群数据（加4分）

通过软件技术爬取在银行做过贷款的人群数据（加4分）

金融需求数据是最有直接变现价值的数据，比如通过软件技术爬取有贷款需求的人群数据（加5分）

能将爬取的数据价值展现出来的（加5分）

带有反爬虫机制技巧的（加5分）

使用分布式爬虫技术的系统（加10分）

空白

其他限制条件

 

输入

开发环境：.net  eclipse或其他IDE

开发语言：Java或Python vb.net C#

服务器操作系统：windows或linux

（可使用云服务系统比如八爪鱼等）

哈哈

提交作品要求

白

1

 

--测试环境

可使用云服务、或者本地搭建

--结果评估

需要算法设计文档，并演示，保证代码能够正常运行

--提交材料

发送源代码、设计文档（说明设计思路）、使用说明或演示视频至邮箱：[e-mail]（文件名要求：高校全名+作者姓名+联系方式）

评分规则

最终爬取数量----10%,

爬取技术----40%,

爬虫技术设计思路----15%,

爬虫软件功能----25%，

爬虫创意----10%

（创意指的是选型数据的意义）

奖品设置

一等奖（1名） 

1000RMB + 奖杯1个

二等奖（1名）

200RMB  

三等奖（3名）

100RMB  

 

前10名均分发奖状

还没完呢

最佳吃鸡奖（1名）

吃鸡大奖等着你

官方咨询群

赶紧扫码进群

拿走丰厚奖金

群满或过期请添加

VX:13413429695

进行拉群

官方承诺

源代码版权属于原作者所有，比赛组织方和评委不得侵权，乐点创意工作室作为主办方，对此次爬虫大赛中所涉及到的规则、以及奖项、奖金说明等具有最终解释权。

背后金主了解一下

前海粤荣华金融服务（深圳）有限公司

(向左滑动)

粤荣华集团五周年庆典

师资力量

有没有想过成为设计师，

过一下2天赚10k的日子？

(向左滑动)

重量级项目

（点击图片了解详情）

你是否想过要成为一个健身教练？

(向左滑动)

师资力量

师资力量

读

者

福

利

你是否曾经想过未来要成为一个设计师？亦或是成为一个健身教练？但却十分迷茫找不到路径，没关系，扫描上方二维码，乐点助你一臂之力！

再次感谢

粤荣华金服

天琥互联网学院

黑格力斯健身学院

对本次活动的大力支持！

---

主办方：乐点创意工作室