Java 基于jsoup jar包的网络爬虫之登录原理

Posted haojieli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Java 基于jsoup jar包的网络爬虫之登录原理相关的知识,希望对你有一定的参考价值。

直奔主题:

本篇文章是给有jsoup抓包基础的人看的......

今天小编给大家写一篇对于jsoup抓包时需要输入验证码的解决方法之一。大神就绕道,嘿嘿~

任何抓包的基础都是基于Http协议来进行这个抓包行为的,那么,在我们遇到验证码的时候怎么办呢?别着急,继续看

遇到需要验证码的这种情况怎么办:

  例如我们要访问www.xxxxx.com这个网站需要你输入验证码,步骤如下:

1)首先我们二话不说,先访问一下www.xxxxx.com这个网址,目的是什么?

a.获取到cookies

b.为我们下一步获取验证码做好准备

c.利用jsoup对www.xxxxx.com的第一次访问获取到的cookie来进行我们第二次的访问。

2)我们第一次访问完毕后进行第二次访问要做些什么呢?

a.利用jsoup带着cookie去访问www.xxxxx.com/img/verifyCode.gif这个地址获取验证码

b.将获取到的验证码存入到本地(一般获取到的是二进制形式的)

c.利用jsoup带着cookie到www.xxxxx.com/img/verifyCode.gif获取到的验证码我们是不是可以登录了呢?

3)第三次访问我们带入帐号+密码+验证码去登录 重要的是不要把cookie忘带了

a.第三次访问www.xxxx.com/login.html?username=haojieli&password=123456&verifyCode=1234 在后面跟上cookie的值

解析:

重点是cookie ,cookie是会话的首要条件,cookie就相当于你要打电话,你输入的电话要和对方的电话号码对得上才能通上话,所以后面获取验证码和登录都必须带上cookie,这是你访问对方服务器的时候识别你的标准。

反之:你到服务器获取验证码时候的cookie为123456789 ,而你登录的时候的cookie是888888888 ,你打的电话都不是同一个电话 ,接电话的肯定不是同一个人,所以,访问的时候注意保持cookie的一致!

博文到此结束,感谢您的观看,希望对各位读者有所帮助,如果有什么意见以及建议请在评论留言......

======祝各位读者生活愉快======

 

以上是关于Java 基于jsoup jar包的网络爬虫之登录原理的主要内容,如果未能解决你的问题,请参考以下文章

网络爬虫之JSOUP

Java爬虫之HttpClient与Jsoup详解

java爬虫---爬虫+基于接口的网络爬虫

java jsoup 爬虫 怎么防止重复爬取

初识Java爬虫之Jsoup,提供参考代码

Java培训教程之使用Jsoup实现简单的爬虫技术