python爬虫常用的库
Posted Python有话说
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬虫常用的库相关的知识，希望对你有一定的参考价值。
1，请求：requests
requests.get(url, headers)
requests.post(url, data=data, files=files)
urllib模块:
Python2
import urllib2
response = urllib2.urlopen(‘http://www.baidu.com‘);
Python3
import urllib.request
response =urllib.request.urlopen(‘http://www.baidu.com‘);
2，解析：
lxml (解析网页)
from lxml import etree
# 获取请求网页数据
html = etree.HTML(text)
3，存储：
mongodb数据库
mysql数据库
redis数据库
4，工具：
selenium自动化工具
5，框架：
scrapy和scrapy-redis
以上是关于python爬虫常用的库的主要内容，如果未能解决你的问题，请参考以下文章