1.环境准备
前置环境部署
在开始部署前,我们需要做一些前置准备 。
yum 更新
等待时间较长
安装开发编译工具
安装依赖库
升级pip
2.
部署 mariadb
由于 CentOS 7 中 mysql 数据库已从默认的程序列表中移除,我们使用 mariadb 代替。
安装 mariadb
启动 mariadb 服务
设置 root 密码
默认的root用户密码为空,你可以使用以下命令来创建 root 用户的密码:
检查是否安装成功
3.部署redis
下载、解压安装包
下载安装包
解压安装包
移动解压包到 /usr/local 内
编译安装
设置 redis 配置
设置配置文件路径
修改 /etc/redis/redis.conf 文件的 daemonize
配置项为如下:
启动 redis 服务
4.
部署 pyspider
安装依赖
安装 pyspider
配置 pyspider
然后 /etc/pyspider
目录下创建 pyspider.conf.json,参考下面的内容。
其中 mysql 配置中的 root
为您 mysql 的用户名, root:
后面的为您刚设置的密码。
webui
配置中的 username 及 password 为您访问 WebUI 时候需要的用户名,你也可以不设置用户名密码,直接将 need-auth
设为 false
即可。
启动服务
如果一切正常,现在访问 http://IP:5000,您应该可以看到 pyspider dashboard 的首页了。
服务能够正常启动后,我们需要让它能够在后台运行,您可以通过以下命令让服务在后台运行
此时您可以访问 http://IP:5000 使用您的爬虫来搜集数据了,具体 pyspider 爬虫脚本的编写及使用教程可以参考 网上资料。