scrapy 项目流程
Posted zenan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy 项目流程相关的知识，希望对你有一定的参考价值。
1.创建虚拟环境
virtualenv scrapyEnv pip install scrapy requests pywin32 selenium
2.创建scrapy项目
scrapy startproject ArticleSpider
3.创建spider
scrapy genspider -t crawl spidername 域名
scrapy genspider spidername 域名
4.脚本运行spider
在scrapy项目主目录下新建main.py文件写入下述代码，既可通过脚本运行。
from scrapy.cmdline import execute
import sys
import os
# sys.path.append("C:\Users\CZN\PycharmProjects\ArticleSpider")可行
# print(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(os.getcwd())#获得ArticleSpider项目所在路径
# execute(["scrapy","crawl","jobbole"])##scrapy crawl jobbole
5.编写spider、item、pipeline、middlewares
以上是关于scrapy 项目流程的主要内容，如果未能解决你的问题，请参考以下文章