大三上寒假15天--第14天

Posted 2021-03-10 my---world

今天依旧学习了webmagic爬虫，发现昨天爬取的网址不对，内容也不对，重新找了一个网址爬取，重新整理了思路，发现这个网址，分为三种类型的链接，建议，咨询和一个什么记不清了，需要先判断类型，然后才能分配Id，然后加入url队列。

这个网址的一大难点，就是分页是一个POST传值，然后动态的修改了网页内容，所以今天重新学习了，通过POST获取内容，收益匪浅，忙活了一天，忘记写博客了，很晚了所以就写这么多吧。

另外附上学习的网址，讲的很好

关键代码为：

Request request = new Request("");

request.setMethod(HttpConstant.Method.POST);

request.setRequestBody(HttpRequestBody.json("{‘id‘:1}","utf-8"));
————————————————
版权声明：本文为CSDN博主「简单.」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_42244754/article/details/81566590