Python开发爬虫常用库
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python开发爬虫常用库相关的知识，希望对你有一定的参考价值。
urllib
urllib2
Beautiful Soup
http://www.crummy.com/software/BeautifulSoup/
lxml
http://lxml.de
HTQL
http://htql.net/
Scrapy
http://scrapy.org/
Mechanize
http://wwwsearch.sourceforge.net/mechanize/
PyQuery
http://pythonhosted.org/pyquery/index.html
requests
http://docs.python-requests.org/en/latest/
selenium
http://selenium-python.readthedocs.org/en/latest/
补上
httplib
httplib2
再补充一个
Ghost.py
https://github.com/jeanphix/Ghost.py
再加上一个多线程或多进程+队列
代理访问。
以上是关于Python开发爬虫常用库的主要内容，如果未能解决你的问题，请参考以下文章