java爬虫爬取.net页面传值viewstate怎么处理???为啥爬取的一直是首页数据,不能翻页??

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了java爬虫爬取.net页面传值viewstate怎么处理???为啥爬取的一直是首页数据,不能翻页??相关的知识,希望对你有一定的参考价值。

你要注意翻页时候的url如果翻页上面的页码是不是会改变 那你只请求第一页当然返回的只是第一页的数据你要变动url地址再次查询得到数据啊追问

翻页的时候URL不变,貌似是.net的viewstate封装了参数,还有base64编码之类的,我也不太懂这个

参考技术A 楼主怎么解决这个问题的?

C# viewstate

Viewstate 处理不是form中可以传值的标签 进行传值.
可以禁用元素的viewstate 也可以禁用页面的
Enableviewstate=”false”;(在配置区域写)
内网系统,互联网后台可以尽情的用viewstate
EnableViewState="false" //禁用viewstate
Response.Write("Label1的?值μ是?:" + Label1.Text + "<br/>"); //第二次输出label
Label1.Text = "100";
Response.Write("Label1的?值μ是?:" + Label1.Text + "<br/>");//第二次输出100

每个控件都有EnableViewState属性

以上是关于java爬虫爬取.net页面传值viewstate怎么处理???为啥爬取的一直是首页数据,不能翻页??的主要内容,如果未能解决你的问题,请参考以下文章

C# viewstate

java的简单网络爬虫(爬取花瓣网的图片)

如何用JAVA爬取AJAX加载后的页面

Java用JSoup组件提取asp.net webform开发网页的viewstate相关相关参数

pyton简单网络爬虫,aspx网站中form使用到了__VIEWSTATE__EVENTVALIDATIONcookie来验证的提交

10asp.net==============VIEWSTATE和Cookis