Forward团队-爬虫豆瓣top250项目-模块开发过程
Posted 2015035107136张良
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Forward团队-爬虫豆瓣top250项目-模块开发过程相关的知识,希望对你有一定的参考价值。
项目托管平台地址:https://github.com/xyhcq/top250
我负责将爬取到的信息写入到文件中。
首先,先打开一个文件
# 打开文件 f=open("top250.txt","w")
然后在别的队员写的能够爬取出信息的代码上,加入将信息写入文件的的代码
def getData(html): # 分析代码信息,提取数据 soup = BeautifulSoup(html, "html.parser") # 找到第一个class属性值为grid_view的ol标签 movieList=soup.find(‘ol‘,attrs={‘class‘:‘grid_view‘}) # 找到所有的li标签 for movieLi in movieList.find_all(‘li‘): # 找到第一个class属性值为hd的div标签 movieHd=movieLi.find(‘div‘,attrs={‘class‘:‘hd‘}) # 找到第一个class属性值为title的span标签 #也可使用.string方法 # 获取电影名字 movieName=movieHd.find(‘span‘,attrs={‘class‘:‘title‘}).getText() print movieName f.write(‘电影名:‘+movieName.encode(‘utf-8‘)+‘ ‘) # 获取电影链接 movieUrl=movieHd.find(‘a class="" href="‘) print movieUrl # 写入文件 f.write(‘链接:‘+str(movieUrl)+‘ ‘) # 获取电影导演/演员 movieBd = movieLi.find(‘div‘, attrs={‘class‘: ‘bd‘}) movieSF=movieBd.find(‘p‘,attrs={‘class‘:‘‘}).getText() print movieSF # 写入文件 f.write(‘Staff:‘+movieSF.encode(‘utf-8‘)+‘ ‘) # 获取电影的评分 movieScore=movieLi.find(‘span‘,attrs={‘class‘:‘rating_num‘}).getText() print movieScore # 写入文件 f.write(‘评分:‘+movieScore.encode(‘utf-8‘)+‘ ‘) #获取电影的评论数 movieEval=movieLi.find(‘div‘,attrs={‘class‘:‘star‘}) movieEvalNum=re.findall(r‘\d+‘,str(movieEval))[-1] print movieEvalNum f.write(‘评论数:‘+movieEvalNum.encode(‘utf-8‘)+‘ ‘) # 获取电影短评 movieQuote = movieLi.find(‘span‘, attrs={‘class‘: ‘inq‘}) # 有的电影没有短评,为防止报错,加次 if(movieQuote): print movieQuote.getText() # 写入文件 f.write(‘短评:‘+movieQuote.getText().encode(‘utf-8‘)+‘\n‘) else: # 写入文件 f.write(‘短评:‘+"这个电影没有短评"+‘\n‘)
最后还要注意,写入完成后如果不闭文件会导致文件写入不全。
# 关闭文件,否则容易写入不全 f.close()