爬虫篇 | 高级爬虫:Scrapy爬虫框架的安装

Posted 2021-04-25 Python绿色通道

戳上面的蓝字关注我们哦！

今天讲讲Scrapy ，必须掌握的爬虫框架。

1. 介绍Scrapy,以及安装Scrapy

2. Scrapy初级使用

3. Scrapy 高级使用

4. Scrapy 爬虫实战

为什么要学习Scrapy

Scrapy是一个爬虫框架，通过这个爬虫框架，我们能很快的构建出一个强大的爬虫工具!  一般大型爬虫服务都会使用Scrapy 进行爬虫，我们甚至在这个框架基础上进行一些修改，来定制自己的爬虫框架!

Scrapy学前准备

• 前期的基础,Python基础

• Python抓取数据的三种方式:Re, Xpath,Bs4

• 保存数据：数据库，本地

安装Scrapy

首先说明一下，这个网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 需要的一些资源都已经无效了，这也导致网上大部分安装Scrapy的方法都失效了

接下来说一下我是怎么安装的:

win环境安装,这里我是用 Python 3.6.4 32位版本 这个一定要注意对应版本，防止出错

2. 安装pyOpenSSL ：pip install pyOpenSSL

3. 安装lxml：使用pip install lxml

4. 安装Scrapy ：使用pip install Scrapy

重来来了

我是在安装第四步的时候出现了Twisted安装失败，提示需要VS C++ 14 ,miscrosoft build tool   打开这个网站下载vs 2017 生成工具.

https://www.visualstudio.com/zh-hans/downloads/?rr=http%3A%2F%2Flandinghub.visualstudio.com%2Fvisual-cpp-build-tools

下载完成后，双击下载的文件，然后会提示勾选

然后就是漫长的下载vs build tools工具了. 我大概花了一个小时时间来安装吧，最后把这个vs 2017 build tools工具安装完毕后，提示重启，我重启完后，再打开cmd 然后输入 pip install Scrapy 运行，最后提示安装成功，终于搞定了!

如果你觉得文章还不错，请大家点赞分享下。你的肯定是我最大的鼓励和支持。

【完】
如果觉得有料，来个在看，让朋友知道你越来越优秀了

说句题外话，有不少人想加我微信，看我朋友圈的每日分享，我姑且放出来，但名额有限，先来先得。 我的朋友圈不止有技术分享，更有我的日常感悟，还有我个人商业思维观点 速速扫码添加！

扫码添加，备注:公号铁粉

推荐阅读

喜欢就在看