数据爬取

Posted 2020-12-10 wyppaa

爬虫的具备条件

 

jdbc：操作数据库。

 

ehcache(redis)：重复url判断。

 

log4j：日志记录。

 

httpclient：发送http请求。

 

jsoup：解析返回的网页内容。

 

Maven的使用：

 

（1）log4j 的使用；

 

 1. 使用 Maven 下载 log4j 的 Jar 包

 

 2. 在 src 目录下创建 log4j.properties 文本文件，并做相关配置（关于每个配置的具体含义，读者可参考博文 《详细的 Log4j 使用教程》）:

 

（2）对象的创建；

 

 创建需要的对象

 

（3）集合的使用；

 

封装所得的数据

 

（4）正则表达式的使用；

 

 解析数据

 

（5）HTTP 状态码；

 

当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求