python爬取豆瓣电影图片并生成评分柱状图

Posted 2021-08-29 彭祥.

博主在学习python爬虫后，实现了一个爬取豆瓣电影评分并形成柱状图，并下载电影海报，实现效果如图所示

python爬取电影信息需要按此步骤
模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
首先需要分析获取数据的url

此时打开其headers
访问这个url

https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0

网上都是分析其起始页的方式循环访问，这种方式较为麻烦，我们可以修改其每页条数

至此，访问的url便获取成功了

接下来便是编写代码来访问了

def get_data():
    url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=330&page_start=0'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
    }
    json_data = requests.get(url,headers = headers)
    print(json_data.content)
    print(json_data.text)
    data = json_data.text
    json_data = json.loads(data)#将数据转化为字典
    subjects = json_data['subjects']
    result = []
    for movie in subjects:
        row = {
            'movie_rate': movie['rate'],
            'movie_name': movie['title'],
            'movie_url' : movie['url'],
            'movie_img': movie['cover']
        }
        result.append(row)
    return result

调用获取数据，进行图片下载，图片命名为电影名称.jpg

data=get_data()
for x in data[0:20]:
    r = requests.get(x['movie_img'])
    with open('./images/'+x['movie_name']+'.jpg', 'wb') as f:#with是处理异常
        f.write(r.content)

引入刚刚的test模块，使用pyechart来进行数据视图显示

from pyecharts import Bar
import test
data=test.get_data()
columns=[]
data1=[]
for x in data[0:14]:#数据太多，只截取14条即可
	columns.append(x['movie_name'])
	data1.append(x['movie_rate'])
print(columns)
bar = Bar("柱状图", "影片评分")
bar.add('评分',columns, data1,is_stack=True)
bar.render()#默认生成render.html

至此，我们通过python爬取的数据的过程便完成了，通过我们爬取的数据我们可以做数据分析，或者将数据信息保存到我们的数据库，文件中供我们使用。