Scrapy安装方法

Posted 2020-10-03 chandb

Scrapy安装在Python2.7环境下

1、配置环境变量：

2、安装基础软件 4个（64位系统）

安装twisted:

C:\\Users\\Administrator>pip  install  -i  https://pypi.doubanio.com/simple/  --trusted-host pypi.doubanio.com twisted==13.1.0

twisted版本不能太高，装最新17版的会无故报错，很无语！

3、安装scrapy

C:\\Users\\Administrator>pip  install  -i  https://pypi.doubanio.com/simple/  --trusted-host pypi.doubanio.com Scrapy

验证：C:\\Users\\Administrator>Scrapy

图示标识安装成功！

4、查看scrapy组件信息：

命令行：scrapy version -v

基础命令：输入的格式 scrapy+命令

help：scrapy的基本命令，用于查看帮助信息。

version：查看版本信息，可见-v参数查看各组件的版本信息；

startproject name:用于新建一个工程

genspider name :新建一个爬虫

list:列出工程中都有那些spider

view: +url 查看也页面源码在浏览器中显示的样子

parse:+url 解析页面的指定函数

shell：+url 一个非常有用的命令，可用于调试数据、检测xpath、查看页面源码，等等。

runspider:运行自包含的爬虫

bench:执行一个基准测试；可用来检测scrapy是否安装成功；

 

另外一种快捷安装方法：

安装anaconda数据挖掘平台

进入anaconda 下载需要的对应Python版本和操作系统的anaconda

安装好后，进入它的shell环境

输入命令：conda install -c sprapinghub scrapy

进入对应的Python版本环境中，

import scrapy，可看到scrapy安装成功！