scrapy如何获取动态数据的下一页url？

Posted 2023-03-04

<a href="javascript:__doPostBack('MoreInfoList1$Pager','1')" title="转到第1页">

<script type="text/javascript">
//<![CDATA[
var theForm = document.forms['Form2'];
if (!theForm)
theForm = document.Form2;

function __doPostBack(eventTarget, eventArgument)
if (!theForm.onsubmit || (theForm.onsubmit() != false))
theForm.__EVENTTARGET.value = eventTarget;
theForm.__EVENTARGUMENT.value = eventArgument;
theForm.submit();


//]]>
</script>
常规网站是这样的获取的：
next_page = response.xpath('//a[contains(., "下一页")]/@href').get()

参考技术A 用浏览器打开网页，按F12键打开调试界面。点击下一页，然后跟踪请求的发送，找到对应的请求接口， 参考技术B

把网址贴出来我试试看，这个需要调试才能出结果（scrapy做post处理难处理多，最终还是想办法怎么做post提交才行）