爬虫是个好东西

Posted dyfblog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫是个好东西相关的知识,希望对你有一定的参考价值。

爬虫是个好东西,一直都是。

只是,“好”的定义却在发生着变化。

 

(以下纯属个人意见,不喜勿喷)

爬虫的简单定义,就是使用程序自动从网站中获取信息。

获取信息做什么?这就因人而异了。

有人用来做搜索引擎,一般情况下是造福人类。

有人用来做数据分析,有时候是兴趣、有时候是手段。

有人用来做DDOS,一般情况下是满怀恶意的。

 

从技术上看,爬虫仅仅是个工具。技术无罪,不存在善恶之分,善恶仅存人心。

若人心不古,则。。我也不知道会发生啥。

 

但对爬虫来说,则慢慢的出现了反对的声音。

有robots协议,用道德进行防御,一般没啥用。

有iptables,用ip去拒绝,一般有用,但容易误伤。

有cookie、js、css、captcha,各显神通,拉开了爬虫的梯队。

 

 

 

以上是关于爬虫是个好东西的主要内容,如果未能解决你的问题,请参考以下文章

nodemon是个好东西

BitSet 是个好东西

逻辑是个好东西

2019-11-30工作是个好东西

脚本是个好东西

脚本是个好东西