Python 爬虫

Posted 2020-09-29

1.用Requests爬去你想要的爬取的网站

1 2 3 4

import requests   r = requests.get(‘https://www.baidu.com‘) print r.text # 打印网站源代码

注意：使用Requests前需要安装Requests库，安装方法，命令行输入：

1	pip install requests

2. 用Beautiful Soup解析网站源代码

安装：

1	pip install beautifulsoup4

解析：

1 2 3 4 5 6 7 8

from bs4 import BeautifulSoup # 引用BeautifulSoup库 import requests               # 引用Requests库   r = requests.get(‘https://www.baidu.com‘) html = r.text                 # 获取网站源代码 soup = BeautifulSoup(html)    #创建 beautifulsoup 对象 print soup.a                  # 获取网页的链接 （a标签） # ...

PS：

Requests库的具体用法，见 http://docs.python-requests.org/zh_CN/latest/

BeautifulSoup库的具体用法，见 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/