python3下scrapy爬虫(第十一卷:scrapy数据存储进mongodb)

Posted 我爱在伊甸园吃苹果

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3下scrapy爬虫(第十一卷:scrapy数据存储进mongodb)相关的知识,希望对你有一定的参考价值。

说起python爬虫数据存储就不得不说到mongodb,现在我们来试一下scrapy操作mongodb

首先开启mongodb

mongod --dbpath=D:\\mongodb\\db

开启服务后就可以进行使用,

还是接着上一卷在上进行修改:

来看下结果:

看到没有爬虫的完善就像个公式,不断嵌套

 

以上是关于python3下scrapy爬虫(第十一卷:scrapy数据存储进mongodb)的主要内容,如果未能解决你的问题,请参考以下文章

python3下scrapy爬虫(第十四卷:scrapy+scrapy_redis+scrapyd打造分布式爬虫之执行)

python3下scrapy爬虫(第十三卷:scrapy+scrapy_redis+scrapyd打造分布式爬虫之配置)

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页)

python3下scrapy爬虫(第九卷:scrapy数据存储进JSON文件)

五十一 Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目

win7中python3.4下安装scrapy爬虫框架(亲测可用)