Ubuntu16.04Scrapy爬虫定时任务

Posted 2020-10-31 想54256

1、书写shell脚本

#!/bin/sh

# 爬虫的目录
cd /home/x5456/SinaSpider
# scrapy要使用绝对路径（不知道的话用which scrapy命令获取）
/home/x5456/.local/bin/scrapy crawl sina（爬虫名）

2、使用crontab -e命令去编辑定时任务（第一次会让你选择使用的编辑器，最好选nano；如果选错了使用select-editor 命令重新选一下）

在下面填一行

41 16 * * * /home/x5456/SinaSpider/sinastart.sh　　# 每天16点41分执行一次这个脚本

3、重启定时任务的服务（好像不重启也行）

sudo service cron restart