beautifulsoup库简单抓取网页--获取所有链接例子
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了beautifulsoup库简单抓取网页--获取所有链接例子相关的知识，希望对你有一定的参考价值。
简介：
通过BeautifulSoup 的 find_all方法，找出所有a标签中的href属性中包含http的内容，这就是我们要找的网页的一级链接（ 这里不做深度遍历链接）
并返回符合上述条件的a标签的href属性的内容，这就是我们要找的某个网页的所带有的一级链接
#!/opt/yrd_soft/bin/python
import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup
url = ‘http://www.baidu.com‘
#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
#print type(link)
print link.get(‘href‘)本文出自 “linux与网络那些事” 博客，请务必保留此出处http://khaozi.blog.51cto.com/952782/1793072
以上是关于beautifulsoup库简单抓取网页--获取所有链接例子的主要内容，如果未能解决你的问题，请参考以下文章