爬虫常用库的安装

Posted trp

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫常用库的安装相关的知识,希望对你有一定的参考价值。

 

请求库

解析库

存储库

工具库

 

 请求库

urlib re  python内置库

Requests   pip3 install requests  #pip2,pip-conda都是可以选择的

selenium  pip3 install selenium

 

chromedriver 

下载页面:https://sites.google.com/a/chromium.org/chromedriver/

下载解压后,将解压文件放入python\\scripts目录下

测试

 python下输入:

from selenium import webdriver
driver = webdriver.Chrome()

 

顺利打开了网页

driver.get(\'https://www.python.org\')  就能打开python官网

 

phantomjs  静默浏览器  无界面浏览器

下载页:http://phantomjs.org/download.html

下载后解压,找个地方存放,进入bin目录,将该目录路径放入系统环境变量下。

进入交互控制台

python下输入

from selenium import webdriver
driver = webdriver.PhantomJS()

driver.get(\'https://www.python.org\')
driver.page_source

 

 

网页解析库

lxml      pip3 install lxml

BeautifulSoup   pip3 install beautifulsoup4

pyquery     pip3 install pyquery

  语法同Jquery,pyquery文档 https://pythonhosted.org/pyquery/

 

 

 存储库

pymysql   pip3 install pymysql 

pymongo  pip3 install pymongo

redis  pip3 install redis

 

工具库

flask  web服务,代理设置  pip3 install flask

  flask文档http://docs.jinkan.org/docs/flask/

django  pip3 install django

jupyter  pip3 install jupyter

 

以上是关于爬虫常用库的安装的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫入门

关于爬虫中几个常用库的使用方法总结

requests(爬虫常用)库的使用

Python3网络爬虫实战-12部署相关库的安装:DockerScrapyd

Python爬虫--- 1.1请求库的安装与使用

Python爬虫Requests库的安装