六月分享主题：爬虫

Posted 2022-01-01 pig66

猪哥最早接触Python语言就是从爬虫开始的，因为当时公司需要开发一个这样的功能：解析用户收到的购票短信，然后分析短信提取有效信息，最后建立闹钟提醒用户。举个例子：小明买了两张晚上12点的电影票打算和女朋友一起去看电影。在收到购票短信后，我们会使用nlp分词分类，然后再匹配之前爬取到的近期所有上映电影名称，最后提取出电影播放时间、电影名称、影院名称和地点等重要信息，自动设置一个提前的闹钟，这样就避免小明同学因为睡过头而误了好事。

一、爬虫过时了吗

之前在群里看见有人说：现在很多网站都有了反爬虫技术，所以爬虫没什么好学的了，等这类唱衰爬虫的话。但是在猪哥看来，爬虫是Python最重要的一个应用之一，为什么这么说？

1. 世界上没有一个网站，能做到完美地反爬虫
2. 大数据时代爬虫是获取数据的一个重要途径
3. 数据分析、机器学习等也许都会用到爬虫来获取数据样本

二、学习路线

所以说爬虫是作为Python程序员必备的一项技能，那本期猪哥就带大家来一起从零开始学习爬虫这项技能。猪哥希望通过一两个月时间能为大家系统的讲解爬虫，让大家有个全面的认知和学习。

以下是我整理的学习路径，后面的文章会根据这个学习路径来写。

基本的思路就是：爬虫是什么？怎么爬？爬到怎么提取有效信息？如何保存有效信息？有没有封装好的框架？

三、反馈

大家对上面的学习曲线有任何建议或意见都可以直接在下方留言，希望我们共同制定一个比较正确完整的路线，毕竟一个人的思想肯定是不够完善与正确。

鼓励大家去发现我的错误、提出自己想法，互相帮助，共同进步！

?