献给吃货们的爱♡ -- 大众点评美食数据分析
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了献给吃货们的爱♡ -- 大众点评美食数据分析相关的知识,希望对你有一定的参考价值。
参考技术A 怎么样打开你的味蕾没有?为了分析美味和美食,我用Python抓取大众点评上海地区餐厅数据进行了分析,诚意满满献给吃货。
数据抓取过程详见文章 《大众点评数据爬取》 。文章中没有特别说明的话,评分是指口味、环境、服务这3项的平均分。
选取高评论商户(评论数量在19K以上),再按口味、环境、服务顺序排序结果
米其林三星餐厅 L\'ATELIER de Joël Robuchon 落户上海,在外滩18号,人均消费1435元,评分 9.07
海底捞(浦建路店)服务得分是9.3,其他是9.2。点评上服务最高分也是9.4分,是这两家:
湖北菜,挑战版辣的跳,据说吃完这道菜可以上英雄榜。
不全面不完整
1)面 -- 寻找一碗好面
2)生煎 -- 地道上海传统风味小吃
好啦,写到这,我也饿了。如果还有没有写到的,欢迎资深吃货来补充纠正。留言评论你吃过的最满意的餐厅,最令你心心念念的美食。
Python爬虫实战,Scrapy实战,大众点评爬虫
前言
爬一波大众点评上美食板块的数据,顺便再把爬到的数据做一波可视化分析
开发工具
Python版本:3.6.4
相关模块:
scrapy模块;
requests模块;
fontTools模块;
pyecharts模块;
以及一些python自带的模块。
环境搭建
安装python并添加到环境变量,pip安装需要的相关模块即可。
数据爬取
首先,我们新建一个名为大众点评的scrapy项目:
scrapy startproject dazhongdianping
效果如下:
然后去大众点评踩个点吧,这里以杭州为例:
http://www.dianping.com/hangzhou/ch10
显然,我们想爬取的数据如下图红框所示:
在items.py里定义一下这些数据类型:
\'\'\'定义要爬取的数据\'\'\'
class DazhongdianpingItem(scrapy.Item):
# 店名
shopname = scrapy.Field()
# 点评数量
num_comments = scrapy.Field()
# 人均价格
avg_price = scrapy.Field()
# 美食类型
food_type = scrapy.Field()
# 所在商区
business_district_name = scrapy.Field()
# 具体位置
location = scrapy.Field()
# 口味评分
taste_score = scrapy.Field()
# 环境评分
environment_score = scrapy.Field()
# 服务评分
serve_score = scrapy.Field()
然后利用正则表达式来提取网页中我们想要的数据(字体反爬我就不讲了,知乎随便搜一下,就好多相关的文章T_T。只要下载对应的字体文件,然后找到对应的映射关系就ok啦):
# 提取我们想要的数据
all_infos = re.findall(r\'<li class="" >(.*?)<div class="operate J_operate Hide">\', response.text, re.S|re.M)
for info in all_infos:
item = DazhongdianpingItem()
# --店名
item[\'shopname\'] = re.findall(r\'<h4>(.*?)<\\/h4>\', info, re.S|re.M)[0]
# --点评数量
try:
num_comments = re.findall(r\'LXAnalytics\\(\\\'moduleClick\\\', \\\'shopreview\\\'\\).*?>(.*?)<\\/b>\', info, re.S|re.M)[0]
num_comments = \'\'.join(re.findall(r\'>(.*?)<\', num_comments, re.S|re.M))
for k, v in shopnum_crack_dict.items():
num_comments = num_comments.replace(k, str(v))
item[\'num_comments\'] = num_comments
except:
item[\'num_comments\'] = \'null\'
# --人均价格
try:
avg_price = re.findall(r\'<b>¥(.*?)<\\/b>\', info, re.S|re.M)[0]
avg_price = \'\'.join(re.findall(r\'>(.*?)<\', avg_price, re.S|re.M))
for k, v in shopnum_crack_dict.items():
avg_price = avg_price.replace(k, str(v))
item[\'avg_price\'] = avg_price
except:
item[\'avg_price\'] = \'null\'
# --美食类型
food_type = re.findall(r\'<a.*?data-click-name="shop_tag_cate_click".*?>(.*?)<\\/span>\', info, re.S|re.M)[0]
food_type = \'\'.join(re.findall(r\'>(.*?)<\', food_type, re.S|re.M))
for k, v in tagname_crack_dict.items():
food_type = food_type.replace(k, str(v))
item[\'food_type\'] = food_type
# --所在商区
business_district_name = re.findall(r\'<a.*?data-click-name="shop_tag_region_click".*?>(.*?)<\\/span>\', info, re.S|re.M)[0]
business_district_name = \'\'.join(re.findall(r\'>(.*?)<\', business_district_name, re.S|re.M))
for k, v in tagname_crack_dict.items():
business_district_name = business_district_name.replace(k, str(v))
item[\'business_district_name\'] = business_district_name
# --具体位置
location = re.findall(r\'<span class="addr">(.*?)<\\/span>\', info, re.S|re.M)[0]
location = \'\'.join(re.findall(r\'>(.*?)<\', location, re.S|re.M))
for k, v in address_crack_dict.items():
location = location.replace(k, str(v))
item[\'location\'] = location
# --口味评分
try:
taste_score = re.findall(r\'口味<b>(.*?)<\\/b>\', info, re.S|re.M)[0]
taste_score = \'\'.join(re.findall(r\'>(.*?)<\', taste_score, re.S|re.M))
for k, v in shopnum_crack_dict.items():
taste_score = taste_score.replace(k, str(v))
item[\'taste_score\'] = taste_score
except:
item[\'taste_score\'] = \'null\'
# --环境评分
try:
environment_score = re.findall(r\'环境<b>(.*?)<\\/b>\', info, re.S|re.M)[0]
environment_score = \'\'.join(re.findall(r\'>(.*?)<\', environment_score, re.S|re.M))
for k, v in shopnum_crack_dict.items():
environment_score = environment_score.replace(k, str(v))
item[\'environment_score\'] = environment_score
except:
item[\'environment_score\'] = \'null\'
# --服务评分
try:
serve_score = re.findall(r\'服务<b>(.*?)<\\/b>\', info, re.S|re.M)[0]
serve_score = \'\'.join(re.findall(r\'>(.*?)<\', serve_score, re.S|re.M))
for k, v in shopnum_crack_dict.items():
serve_score = serve_score.replace(k, str(v))
item[\'serve_score\'] = serve_score
except:
item[\'serve_score\'] = \'null\'
# --yield
yield item
最后在终端运行如下命令就可以爬取我们想要的数据啦:
scrapy crawl dazhongdianping -o infos.json -t json
文章到这里就结束了,感谢你的观看,关注我每天分享Python爬虫实战系列,下篇文章分享中国地震台网爬虫。
为了感谢读者们,我想把我最近收藏的一些编程干货分享给大家,回馈每一个读者,希望能帮到你们。
干货主要有:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
All done~完整源代码+干货详见个人简介或者私信获取相关文件。。
以上是关于献给吃货们的爱♡ -- 大众点评美食数据分析的主要内容,如果未能解决你的问题,请参考以下文章