只因程序员写了一段爬虫，公司200人被端，是种什么体验？

Posted 2023-01-18 退休的龙叔

​只因程序员写了一段爬虫，公司200人被端是种什么体验，很多人的第一反应可能都是不可能，作为程序员谁还没写过几段爬虫，不过这次可不是乱编的。

事情的起因是这样，某一个知名互联网公司，突然发现公司的服务器连续几天压力倍增，导致公司内部系统崩溃不能访问。

经过技术人员反向侦查，发现了一家以出售简历数据库为主业务的大数据公司，经过领导商议后决定报案，然后涉事公司全体上下200多人无差别被送到看守所了解情况。

调查后发现原来是涉事公司程序员将爬虫的线程数，由原来比较小的值调到一个比较大的值。导致服务器带不动宕机了。

最后确认公司 36 人被捕，其中大部分是程序员，涉事公司高管多为百度出身，创始人成予曾经是百度第一任产品部负责人、联合创始人沈毅曾经是百度电子商务事业部技术总监和百度爱乐活技术副总裁。

我私藏了很多技术干货，移步至CSDN社区自取

事实上，巧达已经不是第一次用爬虫干这种事了。

根据巧达的一个前员工爆料称，巧达在智联、猎聘 等网站上，建立了上千个企业账户，每天访问 智联、猎聘的网站次数百万次，都是机器在模拟人工操作。

这位员工称，他去年离开巧达之前，巧达依然在用爬虫手段获取简历。

巧达科技在某平台发布的招聘

《网络安全法》中明确规定，网络产品、服务具有收集用户信息功能的，其提供者应当向用户明示并取得同意。未经被收集者同意，不得向他人提供个人信息。

最后说一下，虽然Python爬虫很容易出事，但是大家也不要被打击学习的积极度，因为技术本身是不违法的，就好像一把水果刀，如果用来削苹果削梨没有任何问题，但是用来伤人就是凶器，就要被列入物证list。

你有用爬虫爬取过数据吗？记得线程别设的太大，服务器可能会扛不住，服务器扛不住你可能就会进去踩缝纫机。