使用Jsoup获取网页内容超时设置

Posted 锋齐叶落

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Jsoup获取网页内容超时设置相关的知识,希望对你有一定的参考价值。

使用Jsoup获取网页内容超时设置

最近使用Jsoup来抓取网页,并对网页进行解析,发现很好用。在抓取过程中遇到一个问题,有些页面总是报Timeout异常,开始想是不是被抓取网站对IP进行了限制,后来发现用HttpClient可以获取到内容。

原来我最开始使用Jsoup.connect(url).get();方法获取网页内容,这种方式使用的是默认超时时间3秒。

原来Jsoup是可以设置超时的,修改成如下就可以了:

Jsoup.connect(url).timeout(30000).get(); // 30S

 

以上是关于使用Jsoup获取网页内容超时设置的主要内容,如果未能解决你的问题,请参考以下文章

使用Jsoup和htmlunit爬取动态网页

JSoup——用Java解析html网页内容

jsoup抓取页面源码的问题、源码被隐藏、

关于java获取网页内容

使用jsoup抓取和解析网页数据

jsoup抓取网页内容