Forward团队-爬虫豆瓣top250项目-模块开发过程

Posted 2020-10-12 2015035107136张良

项目托管平台地址:https://github.com/xyhcq/top250 

开发模块功能: 写入文件功能

开发时间:3小时

实现将爬取到的信息写入到文件中的功能

实现过程：

# 打开文件
f=open("top250.txt","w")

在别的队员写的代码基础上，加入功能代码

def getData(html):
    # 分析代码信息，提取数据
    soup = BeautifulSoup(html, "html.parser")

    # 找到第一个class属性值为grid_view的ol标签
    movieList=soup.find(‘ol‘,attrs={‘class‘:‘grid_view‘})


    # 找到所有的li标签
    for movieLi in movieList.find_all(‘li‘):    
        # 找到第一个class属性值为hd的div标签
        movieHd=movieLi.find(‘div‘,attrs={‘class‘:‘hd‘})
        # 找到第一个class属性值为title的span标签 #也可使用.string方法

        # 获取电影名字
        movieName=movieHd.find(‘span‘,attrs={‘class‘:‘title‘}).getText()
        print movieName
        f.write(‘电影名:‘+movieName.encode(‘utf-8‘)+‘    ‘)


        # 获取电影链接
        movieUrl=movieHd.find(‘a class="" href="‘)
        print movieUrl
        # 写入文件
        f.write(‘链接:‘+str(movieUrl)+‘    ‘)


        # 获取电影导演/演员
        movieBd = movieLi.find(‘div‘, attrs={‘class‘: ‘bd‘})
        movieSF=movieBd.find(‘p‘,attrs={‘class‘:‘‘}).getText()
        print movieSF
        # 写入文件
        f.write(‘Staff:‘+movieSF.encode(‘utf-8‘)+‘    ‘)


        # 获取电影的评分
        movieScore=movieLi.find(‘span‘,attrs={‘class‘:‘rating_num‘}).getText()
        print movieScore
        # 写入文件
        f.write(‘评分:‘+movieScore.encode(‘utf-8‘)+‘    ‘)


        #获取电影的评论数
        movieEval=movieLi.find(‘div‘,attrs={‘class‘:‘star‘})
        movieEvalNum=re.findall(r‘\d+‘,str(movieEval))[-1]
        print movieEvalNum
        f.write(‘评论数:‘+movieEvalNum.encode(‘utf-8‘)+‘    ‘)


        # 获取电影短评
        movieQuote = movieLi.find(‘span‘, attrs={‘class‘: ‘inq‘})
        # 有的电影没有短评，为防止报错，加次
        if(movieQuote):
            print movieQuote.getText()
            # 写入文件
            f.write(‘短评:‘+movieQuote.getText().encode(‘utf-8‘)+‘\n‘)
        else:
            # 写入文件
            f.write(‘短评:‘+"这个电影没有短评"+‘\n‘)

最后

# 关闭文件，否则容易写入不全    
f.close()

遇到的问题：

刚开始写入文件时会报错，错误提示是不能写入，后来发现文件编码不支持ascii，转换了一下编码 .encode(‘utf-8‘) 就正常了