python BeautifulSoup获取 网页链接的文字内容

Posted 2020-07-30

这里和 获取链接略有不同，不是得到链接到url，而是获取每个链接的文字内容

#!/opt/yrd_soft/bin/python

import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup

url = ‘http://www.baidu.com‘

#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link  in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
    print link.get_text()

本文出自 “linux与网络那些事” 博客，请务必保留此出处http://khaozi.blog.51cto.com/952782/1793077