做科研也需要爬虫技术吗？当然！

Posted 2021-04-30 量化研究方法

网络爬虫是个啥东东？

网络爬虫（又被称为网页蜘蛛、网络机器人，也被称为网页追逐者），是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。网络爬虫就像一只被放到互联网上的聪明蜘蛛，不知疲倦地根据一定规则逐条爬取需要的数据。说白了，它就是一种让你从互联网获得数据的一种方式，尤其是针对海量数据。如果我们说在大数据时代，“得数据者得天下”，那么，我们可以进而说，“得爬虫者得数据”。

真的有人在用爬虫写论文吗？

学长有很多好友，都是人文社科方面的研究者，他们经常抱怨，现在想做个研究，数据太难找了。花钱做调查吧，没有时间和精力，更重要的是没有钱。去政府部门要吧，推三阻四，吃闭门羹是常事。有的时候空有一个好选题，却只能束之高阁，无法落地。当然，人文社科领域也有很多现成的调查数据，像什么CGSS、CFPS等，这些数据虽然好，但未必适合自己的研究领域，往往只能削足适履，将就进行研究，好不可惜！然而，在你犹豫彷徨痛苦的时候，很多人已经尝到了网络爬虫的好处，频频发表论文。

 

在知网上用关键词“网络爬虫”查论文，发现利用网络爬虫发表的文章在逐年增多，内容更是覆盖了新闻传媒、图书情报、经济管理、金融财政、投资证券、教育学、社会学、医学等多个学科。以下是一些具体的案例：

看了之后才知道，原来网络爬虫还可以这么用，原来这么多学科都在用！学术中国已经连续举办两次网络爬虫特训营，帮助很多人文社科领域零基础的学员学会了网络爬虫工具，在科研的道路上如虎添翼。

 

今年暑期，课程再升级！我们将联合业内知名的雪晴数据网，举办第三届网络爬虫特训营。

 

问题来了，作为文科僧小白，我能学会网络爬虫吗？

当然可以。我们的课程专门面向非计算机专业的学员，其实每次都有对编程一无所知的小白来参加我们的课程，他们甚至对电脑的很多知识都不甚了解，经过两三天的课程，不但跟下来了，还很有收获。对Python有一点认识的朋友相信一定可以得心应手，针对完全没有碰过python的新手，报名之后我们会推荐您Python的基础在线课程进行课前的练习。

截图已征得学员的允许，为保护学员隐私，头像和昵称都做了处理

我们打算请谁来讲？

陈堰平，雪晴数据网创始人，北京理工大学大数据创新学习中心业界导师，微软认证解决方案专家（MCSE，数据管理与分析方向），微软最有价值专家（MVP，数据平台方向）。曾先后任新华社指数中心技术总监、SupStat Analytics中国区首席技术官。在统计咨询、数据挖掘、开发数据驱动的商业解决方案等领域有十年的经验，曾为人保财险、国家统计局、微软、惠普、野村综研、德勤咨询、联想、丰田、招商银行、花旗银行、东方航空、中国移动、中国电信、中国联通等机构做过数据科学方面的咨询和培训。擅长讲解R语言和Python数据挖掘、网络爬虫、机器学习以及人工智能等课程。

网上有很多爬虫课程，为什么要选雪晴数据网？

市场上真的有各种爬虫课程，各有各的特色及优点，有的还是免费的，这里我们不比较各自的不同，就说说我们有什么优点吧：

 

优秀的讲师团队：我们的讲师不但有多年的工作经验，也有丰富的教学经验，不但技术过硬，也善于用通俗的语言讲解复杂的知识点，更有耐心为学员解答学习过程中的问题。每次课程我们都会反复研究，花大量时间准备课程材料，力求用最适合的案例和方式为学员讲解。

陈堰平老师在2017年微软技术暨生态大会发表演讲

陈堰平老师出席2017年微软最有价值专家秋季峰会并做分享

陈堰平老师出席全国高校大数据系列课程高级研修班并演讲

案例教学的方法：从多年的教学实践中，我们发现，用传统以知识点讲解为主线，案例为辅的方式，效果并不好。学员反映，听了后面忘前面，学了一堆东西却不知道怎么用。经过多次尝试，我们摒弃了这种教学方式，将网站分为不同的类型，针对不同的网站类型安排相应的案例讲解。采用以案例为主线，在案例中讲解知识点的方法，在一个案例中串联多个知识点，利用遗忘曲线的原理，我们用多个案例重现数据分析的流程，学员自然会举一反三了。

 

从学员需求中选择案例：在具体的方法上，我们紧贴学员需求，学员需要什么，我们就讲什么。我们教的是如何使用数据分析技术，并不是教你怎么写代码，不是培养码农。所以我们选择的案例，都是有现实的代表性商业意义或者科研价值的。我们也欢迎学员提出自己的研究需求和网站，让学员的需求和实操无缝对接。在讲解过程中，不但告诉你代码怎么写，还会教你怎么解决问题，为什么要这么做。

 

 

对课程品质的坚持：我们在不同场合讲解过课程的内容，不断调整打磨课程，即使是相近的主题，我们也会对课程内容和案例进行升级，挑选出最适合市场趋势和不同用户需求的案例和技术来讲解。

本次课程主要讲什么？

我们也欢迎学员提供您感兴趣的研究网站，作为课堂案例进行演示和实操。

详情介绍

时间：2018年7月31日-8月2日

地点：天津（详细地点另行通知）

招生人数：70人

适合人群：适合人文社会科学领域希望采用网络数据做研究，而又没有办法获取相关数据的研究者。尤其适合经济学、财政金融、新闻传播学、社会学、公共管理、政治学等学科。

价格：2500元/人；5人及以上团报2200元/人（费用包含报名费、资料费、证书费等，学员食宿及往返交通费用自理）

报名方式

1、扫描下方二维码直接报名

▲长按上方二维码报名

2、对公转账：（请转款前与主办方确认是否还有名额，确认后进行转款，在摘要中注明姓名和联系方式）

企业开户名称：北京思高乐教育科技有限公司

开户行：招商银行股份有限公司北京双榆树支行

银行卡号：110918346010101

咨询方式

张老师：手机或微信：15501101763；

注意事项

1、报名截止日期：2018年7月27日17:00（具体截止日期根据实际招生而定，人员招满，将会立即关闭报名通道）。

2、如您报名后有事不能参加，请在报名之后的10-15天之内办理退费，并将收取6%的手续费！2018年7月24日17:00之后不再接受退费！

3、本次会议可提供增值税普通发票，如需开具，请在购买时点开“是否开发票”项，并根据自己单位财务部门要求填写抬头和类目信息（一旦开具不能重开），信息填写完整的老师可现场领取发票和会议通知，报名网络直播的学员发票通过快递邮寄领取。

4、请学员自带笔记本电脑，自行安装Python软件。