python3下scrapy爬虫(第十一卷:scrapy数据存储进mongodb)
Posted 我爱在伊甸园吃苹果
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3下scrapy爬虫(第十一卷:scrapy数据存储进mongodb)相关的知识,希望对你有一定的参考价值。
说起python爬虫数据存储就不得不说到mongodb,现在我们来试一下scrapy操作mongodb
首先开启mongodb
mongod --dbpath=D:\\mongodb\\db
开启服务后就可以进行使用,
还是接着上一卷在上进行修改:
来看下结果:
看到没有爬虫的完善就像个公式,不断嵌套
以上是关于python3下scrapy爬虫(第十一卷:scrapy数据存储进mongodb)的主要内容,如果未能解决你的问题,请参考以下文章
python3下scrapy爬虫(第十四卷:scrapy+scrapy_redis+scrapyd打造分布式爬虫之执行)
python3下scrapy爬虫(第十三卷:scrapy+scrapy_redis+scrapyd打造分布式爬虫之配置)
python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页)
python3下scrapy爬虫(第九卷:scrapy数据存储进JSON文件)