linux下scrapy环境搭建

Posted 2020-06-23 JamesPei的博客

最近使用scrapy做数据挖掘，使用scrapy定时抓取数据并存入MongoDB，本文记录环境搭建过程以作备忘

OS:ubuntu 14.04  python:2.7.6 scrapy:1.0.5 DB:MongoDB 3

　　ubuntu14.04内置python2.7，因此python及pip安装不再赘述。

　　一.安装scrapy

    　　pip install Scrapy  由于scrapy相关依赖较多，因此在安装过程中可能遇到如下问题：

     １．ImportError: No module named w3

  　　　　解决：pip install w3li　　

　　２．ImportError: No module named twisted

　　　　解决：pip install twisted
　　３．ImportError: No module named lxml.html
　　　　解决：pip install lxml
　　４．error: libxml/xmlversion.h: No such file or directory
　　　　解决：apt-get install libxml2-dev libxslt-dev  
　　　　　　　apt-get install python-lxml
　　５．ImportError: No module named cssselect
　　　　解决：pip install cssselect
　　６．ImportError: No module named OpenSSL
　　　　解决：pip install pyOpenSSL 
　　以上基本涵盖安装过程中可能出现的依赖问题，如有遗漏待发现后补充
　　
　　使用scrapy --version 如显示出版本信息则安装成功

 

　　二：MongoDB安装及权限设置

　　　　１.MongoDB安装

　　　　要将爬虫爬取的对象存入MongoDB首先安装MongoDB,，可以直接使用apt-get安装，详情见http://docs.mongoing.com/manual-zh/tutorial/install-mongodb-on-ubuntu.html，也可以从MongoDB官网下载安装包。我使用的方式是从官网直接下载最新安装包。

　　下载完后解压，是一个.gz文件，直接用tar命令解压即可，注意不要使用gunzip命令。接着将解压之后的包移到制定目录下（例如我放到了/usr/local/mongodb文件夹下），配置环境变量export PATH=<mongodb-install-directory>/bin:$PATH

　　　　注意：MongoDB的数据存储在/data/db目录下，这个目录需要手动创建(EX. /usr/local/mongodb/data/db)

      　　接着进入bin目录下执行./mongod，即可启动MongoDB了，在浏览器中输入localhost:27017或localhost:28017，如果有内容则说明启动成功。接着执行./mongo命令，就进入了mongo shell控制台，然后就可以操作mongo了。

　　　　２．权限管理

　　　　mongo默认没有设置权限，所以只要可以接入的用户都可以访问并且执行任何操作，因此要设置权限。一个需要注意的地方是mongo3和mongo2的权限设置颇有不同，相互之间不能照搬。这里仅说明mongo3的设置方法。

　　　　１）首先使用不验证方式(不要加 --auth)启动mongo: ./mongod

            2）进入mongo shell 控制台，先执行show dbs，可以发现只有一个local数据库，这时要创建一个admin数据库:

　　　　　　　use admin

　　　　　　　db.createUser(

　　　　　　　　　　{user: "root",

　　　　　　　　　　  pwd: "1234",

                     　　　roles: [ { role: "userAdminAnyDatabase", db: "admin" } ]

　　　　　　　　　　})

　　　　  注意：roles中的db是必须设置的

　　　　３）执行show users，如果看到有了刚才新建的用户则说明创建用户成功

　　　　４）关闭mongo:use admin　　db.shutdownserver()

           ５）使用验证模式启动mongo: ./mongod --auth

           ６）再次进入mongo shell 控制台，切换到admin数据库，此时需要授权才能执行其它操作：db.auth("root","1234")完成授权，若显示１则授权成功，由于此用户root只有管理用户的权限，因此如果用该用户执行查询操作（如show collections）会显示拒绝执行

　　　　７）接着创建一个新用户，创建用户只能在其相应的数据库中建立。例如要建立一个在数据库pms中拥有读写权限的用户：

　　　　　　　use pms

　　　　　　　db.createUser( 

　　　　　　　　　　{   user: "zhangsan",   

　　　　　　　　　　　　pwd: "1234",  

　　　　　　　　　　　　roles: [ { role: "readWrite", db: "pms" } ]

　　　　　　　　　　 })

　　　　　　　然后可以切换到admin数据库查看所有用户，可以发现已经有新建的这个用户了　　

　　　　８）然后切回pms数据库验证一下，use pms ，然后授权db.auth("zhangsan","1234")，执行show collectionsm，可以发现pms库中的所有collections就展示出来了

 

　　　　以上就是mongo的用户权限管理。详情参考官方文档http://docs.mongoing.com/manual-zh/core/authentication-mechanisms.html

　　　　３．设置守护进程

　　　　　通过./mongo开启了mongo后会发现一旦关闭窗口mongo的进程就被杀死了，所以要设置mongo为守护进程

　　　　　只要执行sudo ./mongod --fork --logpath ./mongodb.log 即可，注意：一旦设置了--fork 则必须同时设置日志路径（--logpath）

 

　　三：写爬虫
　　　　接下来根据自身要求写爬虫。详情参考官方文档即可http://doc.scrapy.org/en/0.14/intro/tutorial.html，在此不再赘述。
　　　　至于爬虫与MongoDB对接只需更改pipline.py即可。详情参考官方文档http://doc.scrapy.org/en/1.0/topics/item-pipeline.html
　　　　需要注意的是pymongo的版本问题，不知是否由于MongoDB2与MongoDB3差别不小所以对应的pymongo版本也不尽相同，因此注意安装的pymongo版本尽量与数据库版本相匹配。
　　　　由于我写的爬虫都是单一爬虫，每个爬虫固定爬取一个站点，因此写了一个shell脚本一次执行所有爬虫，同时也方便之后执行的定时任务，注意脚本要放在用scrapy startproject建立的项目的首层文件夹下（如果已经通过脚本设置了路径就不需要了）
　　　　
　　四:设置定时任务
　　　　之后将爬虫设置为定时任务，定于每天早上8:00定时抓取。

　　　　使用linux的crontab功能做定时任务,执行crontab -e进入编辑模式，在最下方加上０　８　*　*　*　你要执行的命令　即可（表示每天８点定时执行你设定的命令）

　　　　如果要将执行结果写入某文件可以如此编辑:　

　　　　0 8 * * * 你要执行的命令>你想把执行结果写入的文件　2>&1　(EX. 0 8 * * * /home/ubuntu/test>/home/ubuntu/log.txt 2>&1 表示每天早上８点执行home/ubuntu/test脚本并将执行结果写入/home/ubuntu/log.txt文件)

　　　　注意：使用定时执行的脚本中如果使用到非系统本身的命令建议使用绝对路径以避免出错以及其它不必要的麻烦。

　

　　以上就是scrapy环境搭建，对接mongo并设置定时任务的步骤。

 

相关参考：

MongoDB官方手册：http://docs.mongoing.com/manual-zh/contents.html

scrapy官方文档：http://doc.scrapy.org/en/1.0/index.html