采集大众点评美团等数据进行大数据挖掘
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了采集大众点评美团等数据进行大数据挖掘相关的知识,希望对你有一定的参考价值。
当你有了一只美丽的爬虫后你可以做很多有意思的事情,比如爬虫爬到了很多餐饮数据后就可以做餐饮地区活跃度分析了,这些分析指标是很有意义的,特别是对准备开店的人。
首先要将数据从大众点评、美团或其他网站数据采集下来,方式可以从美食产品入口,然后找到餐饮公司信息,然后找到地址,地区等信息。采集的时候要做好防重策略,这样可以节省很多时间,还有就是不要并发太大,以免影响正常的业务。将采集到的数据写入数据库,以备后用。
有了这些数据就可以对餐饮公司的分布做统计分析了,能很容易统计出某个城市餐饮公司的地区分布情况,当然你可以找一个好看的数据显示图表进行展示。
只做这些就过于简单了,如果得到餐饮分布的变化情况呢,爬虫另一个技能,增量采集,这个需要后台进行定时做数据的增量采集,所谓的变化就是在时间轴移动过程中,Y轴的变动情况,有了增量数据,这个也很容易了。
另一个需要关注的是哪些餐饮公司比较活跃,生意比较好,一次类推哪些分类的生意比较好,从另一个角度上来说就是这个地区的人更喜欢那些餐饮类型,甚至于不同的季节餐饮喜好的变化等等。
在这上面有很多事情可以做,有点意思。
转载请注明出处 数荟集(专业数据提供) http://www.shuhuiji.com/detail.jsp?id=9
以上是关于采集大众点评美团等数据进行大数据挖掘的主要内容,如果未能解决你的问题,请参考以下文章