Ubuntu中Crontab定时执行python文件（可用于定时爬虫）

Posted 2023-01-31

1. Crontab定时命令介绍

• Crontab定时命令编写和定时脚本执行步骤如下图：
• (Crontab Ubuntu下面才有，Windows系统没有)

2. python脚本定时执行步骤

3. Crontab实例演示，定时执行hello.py文件

- 案例演示定时执行一个py文件
    - 爬虫执行也可以用python main.py，将爬虫执行写在main.py里面
    - 爬虫执行也可以使用scrapy crawl xxx
    - 爬虫也可以直接执行xxx_spider.py 主爬虫文件，py文件里面加入执行爬虫的代码
- 先安装emacs命令工具(用于创建编辑文件)
    - sudo apt-get install emacs
- /home/felix下面先新建一个crontab_test文件夹，然后切换到该文件夹下、

• hello.py文件定时执行步骤：

• 1 创建hello.py文件，命令: emacs hello.py ，编写代码如下图
• 2 创建test.sh 执行文件，执行命令具体如下图

• emacs test.sh 创建文件，编写命令
• chmod +x test.sh sh脚本添加可执行权限，ls查看添加权限后颜色由白色变为橙色

• 3 执行，test.sh，然后查看run.log中结果

• 执行一次查看一次，run.log中保存执行的结果
• rm 命令，移除文件
• clear 清空终端
• pwd 查看当前文件夹路径

• 4 添加crontab定时命令：

• crontab -e 查看定时器

• 第一次使用时候，需要选择编辑器，数字1-5，一般选择1(后面执行该命令直接进入编辑器)，然后确定
• 进入到定时器编辑器，然后再文件末尾开始编辑定时命令
• 一行就是一个定时命令，上面的文字都是说明文档，#注释了不用管它
• 每分钟执行一次test.sh脚本，路径都要写完整的绝对路径，执行结果输出在run.log中
• 输入完成后使用ctrl + X 离开，确认保存Y,此时定时器已经在后台开始执行了，起始\\是去掉转义
  * * * * * /home/felix/crontab_test/test.sh >> /home/felix/crontab_test/run.log 2>&1

• crontab -l 查看当前的定时任务，就是将当前的定时器文件的内容展示出来，参考下图

• 每隔一段时间查看结果，cat run.log 查看run.log中执行的结果，内容越来越多
  

• 关闭定时器：crontab -e 进入编辑器，注释掉最后一行注释代码或者直接删除，退出保存。