听说你想学习爬虫？送你一本葵花宝典！不用自宫！高效的学习路径

Posted 2020-11-20 fcxwz

 

 

 

 

3.爬取优质的资源：图片、文本、视频

爬取知乎钓鱼贴图片网站，获得福利图片。

爬取微信公众号文章，分析新媒体内容运营策略。

 

1.了解爬虫的基本原理及过程

2.Requests+Xpath 实现通用爬虫套路

3.了解非结构化数据的存储

4.学习scrapy，搭建工程化爬虫

5.学习数据库知识，应对大规模数据存储与提取

6.掌握各种技巧，应对特殊网站的反爬措施

7.分布式爬虫，实现大规模并发采集，提升效率

 

 

这个过程中你还需要了解一些Python的基础知识：

文件读写操作：用来读取参数、保存爬下来的内容

list(列表)、dict(字典)：用来序列化爬取的数据

条件判断(if/else)：解决爬虫中的判断是否执行

循环和迭代(for ……while)：用来循环爬虫步骤

 

4、学习 scrapy，搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。

scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。

学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。

 

 

7、分布式爬虫，实现大规模并发采集

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面我们说过了，用于做基本的页面爬取，MongoDB 用于存储爬取的数据，Redis 则用来存储要爬取的网页队列，也就是任务队列。

所以有些东西看起来很吓人，但其实分解开来，也不过如此。当你能够写分布式的爬虫的时候，那么你可以去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

你看，这一条学习路径下来，你已然可以成为老司机了，非常的顺畅。所以在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆瓣、小猪这种简单的入手），直接开始就好。

因为爬虫这种技术，既不需要你系统地精通一门语言，也不需要多么高深的数据库技术，高效的姿势就是从实际的项目中去学习这些零散的知识点，你能保证每次学到的都是最需要的那部分。

当然唯一麻烦的是，在具体的问题中，如何找到具体需要的那部分学习资源、如何筛选和甄别，是很多初学者面临的一个大问题。

进群：125240963   即可获取数十本电子书哦！追你早日成为一名爬虫工程师！