Python 和 Scrapy 爬虫框架部署
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python 和 Scrapy 爬虫框架部署相关的知识，希望对你有一定的参考价值。
Scrapy 是采用Python 开发的一个快速可扩展的抓取WEB 站点内容的爬虫框架。
安装依赖
yum install gcc gcc-c++ openssl mysql mysql-server libffi* libxml* libxml2 libxml2-dev libxslt libxslt-dev libxslt1-dev
框架插件：
Python2.7 以上
pip
zope.interface
Twisted
w3lib
mysql-python
six
setuptools
lxml
scrapy
本文出自 “logs” 博客，请务必保留此出处http://51log.blog.51cto.com/6076767/1922987
以上是关于Python 和 Scrapy 爬虫框架部署的主要内容，如果未能解决你的问题，请参考以下文章