BeautifulSoup抓取列表页锚文本

Posted 2020-07-18

素闻BeautifulSoup提取效率低，艾玛，第一印象果然是很要命的，反正比Re 和 Lxml 是要慢的，不过就无奈Re的正则折腾来折腾去，没写出来，Lxml 的 Xpath 又用得不好。

不过就这三个模版来看，BeautifulSoup的表现还是不错的，够简单，顺便测试了一下时间，抓10个列表页花不了1分钟，当然我是菜鸟，没事不会纠结终结速度。

核心就是这部分，用 Find_all 和 Find 都搞了半天不成功，最后用CSS提取搞定，也怪我太着急。

用Find比较麻烦，一层层的Class找，多次索引效率肯定不能保证

用Urllib2 或者 Pycurl 抓都可以

key_list = open(‘title.txt‘,‘a+‘)
for page in xrange(0,101):　　＃要抓的列表数量
    url = ‘http://www.xxx.net/wangwen/list_205_%s.html‘ % page
    soup = bs(gethtml(url,headers),"lxml")
    for i in soup.select(‘.thread_list a‘):　　＃这句是核心，CSS组合查找，找到.thread_list 下的 a 标签
        i = i.text.encode(‘utf-8‘)　　＃提取a标签内的文笔内容，也就是锚文本 <a href="http://aaa.com">我是锚文本</a> 此时代码编译为utf-8
        key_list.write(i + ‘\n‘)
        print i,ctime()　　#装B的写了ctime看时间，其实没啥米鸟用
        time.sleep(3)

key_list.close()

import pycurl,StringIO,json,time,re,sys
from time import ctime
from lxml import etree
from bs4 import BeautifulSoup as bs

reload(sys)
sys.setdefaultencoding(‘utf-8‘)　　#设定系统默认编码，Windows设置gbk呗，没这句容易出错