爬虫与反爬虫与反反爬虫简介

Posted 2021-01-10 lyq-biu

一.基本概念简介

　　1.爬虫：

　　　　　　自动获取网站数据的程序，关键是批量的获取。

　　2.反爬虫：

　　　　　　使用技术手段防止爬虫程序的方法。

　　3.误伤：

　　　　　　反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用。（如局域网【学校，网吧等】可能用的是同一个ip，如果有人写了一个爬虫，把ip封了，可能损失很多用户。还有可能ip动态分配，重启路由器ip很有可能切换，而被禁的ip有可能在其他用户那儿。）

　　4.拦截：

　　　　　　成功拦截爬虫，一般拦截率越高，误伤率越高。

二.反爬虫的目的

　　1.初级爬虫：

　　　　　　简单暴力，不管服务器压力，容易弄垮网站。

　　2.数据保护：

　　　　　　保护数据不被窃取。

　　3.失控爬虫：

　　　　　　由于某些情况忘记或无法关闭的爬虫。

　　4.商业竞争对手：

　　　　　　行业间竞争窃取数据。

三.爬虫与反爬虫对抗过程