关于 拼接 url 连接 参数的问题(爬虫)。
Posted 墨者杨恒
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于 拼接 url 连接 参数的问题(爬虫)。相关的知识,希望对你有一定的参考价值。
比如这里 我找的 后台请求的json的链接:
第一页:
第二页:
对URL 进行了 ENCode, 通过 Decode 发现 后面的参数 实际是:
第一页:
http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api
?appkey=1.0&ttid=android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:30:23&sid=&imei=1.0&v=2.0&sign=64c5ec32720f97401aa502a74f41500b&data={"limit":"20","start":"0"}&api=api.system.basket.adjustlist&imsi=1.0
第二页:
http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api
?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"20"}&api=api.system.basket.adjustlist&imsi=1.0
(如果不进行encode 把这个 链接 放在火狐 里, 火狐 会自动encode的)
可以很明显 看到 分页的参数 在 连接中,那就 访问第三页 吧 ,后面的参数 改成:
http://www.igoldenbeta.com:8080/cn-jsfund-server-mobile/bkt/api?appkey=1.0&ttid=Android_unknown_unknown_unknown_xxxx_1.4.0.0003_v10&t=2015-07-10 13:31:19&sid=&imei=1.0&v=2.0&sign=203b7bf0fbc687c7d06d1d485b1a01da&data={"limit":"20","start":"40"}&api=api.system.basket.adjustlist&imsi=1.0
40开始,取20条 ,就是 第三页吧,哎,不行。。。
经过比对 发现 其他的参数 都是一样的,只有sign=203b7bf0fbc687c7d06d1d485b1a01da 不同,
好像 如果是同一sign 的时候,分页参数 是不允许 修改的;可是 往后面的 分页 的 这个参数值 我也不知道啊
以上是关于关于 拼接 url 连接 参数的问题(爬虫)。的主要内容,如果未能解决你的问题,请参考以下文章