Django项目中运行Scrapy项目

Posted c-pyday

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Django项目中运行Scrapy项目相关的知识,希望对你有一定的参考价值。

说明:

  在django项目中,通过一个按钮运行scrapy项目,首先要有独立的scrapy项目和独立的django项目。

 

1.先看目录

 技术图片

 

 2.配置

  在scrapy settings.py中配置django交互环境(在前几行添加)

       技术图片

  在自己创建的两个文件scrapy.cfg添加

  技术图片

 

 

   

  在自己创建的两个文件scrapy_main.py添加(启动scrapy爬虫的命令)

       技术图片

 

3.检测在django路径下是否能执行scrapy crawl ***_spider

技术图片

 

     只可以运行成功的。

 

4.在django view中使用(如点击一个按钮,执行这个view)

技术图片

 

 

参考博客:https://laoyur.com/archives/180

 

 

  

 

以上是关于Django项目中运行Scrapy项目的主要内容,如果未能解决你的问题,请参考以下文章

使用django项目和Scrapy的virtualenv

jdango+scrapy结合使用并爬取数据入库

爬虫例子及知识点(scrapy知识点)

爬虫框架Scrapy与Web框架Django结合

2018.2最新-Scrapy+elasticSearch+Django打造搜索引擎

Django