25.爬取去哪儿网的商品数据-2

Posted 2021-01-21 lvjing

 

需要注意的问题：

1.首先要获取dep和query参数。
2.分析请求的url地址变化，获取routeCount参数。

我配置代码出现的问题：

1.url拼接问题，网站拒绝访问，模拟请求参数设置user-agent和cookie
2.获取routeCount参数会报异常，因为有的url返回的数据中无这个参数信息。
异常如下：

正常如下：

只有获取了routeCount参数，才能接下来获取所有url的内容信息。