28.分析采集美团网站信息-3

Posted 2021-01-24 lvjing

 

今天又捋一下思路，在兼职，也没时间去坐下来仔细思考分析问题：

1.首先获取分类，比如先获取美食，再划分其分类，分类里有火锅、蛋糕、小吃快餐等等后面都显示了共有多少个搜索结果。

2.获取完分类id也知道了其总的结果个数，然后再配置请求data参数里的offset，其offset每次加载15条数据，可以根据获取的总个数n去算一共m页，再做循环请求m次。

3.没请求一次数据就会获取15条数据，是json格式的数据。

4.获取到请求的数据，再提取数据中的两个重要参数，poiid和ctpoi。
5.请求拼接url，进入详情页面。
如下所示：
https://meishi.meituan.com/i/poi/98254777?ct_poi=311181748887990495663158755820426747567_a98254777_c0_e9203518743247516983

这里想要继续深度采集的话，比如，查看全部评价，则就需要再深一个层次。

其实自己也想尝试一下手机端去采集试一下的，可以试着看看情况。

值得注意的是这边也是被检测到异常了：