scrapy运行姿势scrapy.cmdline.execute

Posted 2020-12-20 hightech

 

scrapy的cmdline命令

1.启动爬虫的命令为：scrapy crawl (爬虫名）

2.还可以通过以下方式来启动爬虫

　　方法一：创建一个.py文件（这里的爬虫文件名可以自己定义，例：myspider.py）

# -*- coding:utf-8 -*-
from scrapy import cmdline
# 方式一：注意execute的参数类型为一个列表
cmdline.execute(‘scrapy crawl spidername‘.split())
# 方式二:注意execute的参数类型为一个列表
cmdline.execute([‘scrapy‘, ‘crawl‘, ‘spidername‘])

　　方法二：在终端通过 python myspider.py 也可以执行该文件。（一定要进入该目录再运行，否则提示project未启动）

runnings.py最后提一下吧，其实就是一个在python中运行cmd的命令

from scrapy import cmdline
# 方式一：注意execute的参数类型为一个列表
cmdline.execute(‘scrapy crawl spidername‘.split())