要搞scrapy-redis的话，分布那么多VPS怎么管理
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了要搞scrapy-redis的话，分布那么多VPS怎么管理相关的知识，希望对你有一定的参考价值。
scrapy是一个通用的爬虫框架，其功能比较完善，可以帮你迅速的写一个简单爬虫，并且跑起来。scrapy-redis是为了更方便地实现scrapy分布式爬取，而提供了一些以redis为基础的组件（注意，scrapy-redis只是一些组件，而不是一个完整的框架）。你可以这么认为，scrapy是一工厂，能够出产你要的spider。而scrapy-redis是其他厂商为了帮助scrapy工厂更好的实现某些功能而制造了一些设备，用于替换scrapy工厂的原设备。 参考技术A 天似穹庐,笼盖四野.以上是关于要搞scrapy-redis的话，分布那么多VPS怎么管理的主要内容，如果未能解决你的问题，请参考以下文章