网络爬虫到底违法吗？转行做爬虫可行吗？

Posted 2022-06-21 朝阳区靓仔_James

网络爬虫(Web Spider)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。它可以通过程序设计来获取指定网页中的指定信息，如百度贴吧的帖子信息，新闻网站的新闻文章等等。获取到的数据多用于大数据分析场景，因此编写网络爬虫是从事大数据分析行业的必备技能之一。

•爬虫到底违法吗?

1.非爬虫方向的技术转行做爬虫是否可行？

可行，而且有一定的基础会很容易上手，至于深入的部分就看自己了。

2.非技术转行做爬虫是否可行？

可行，但我认为较难，因为爬虫做深了以后是需要你了解各种相关领域知识的，而你现在对这些领域的东西一无所知，甚至可能连编程都还不知道怎么开始，起点会比有基础的人低很多。

3.爬虫工作日常如何？加班多不多？

这个得看公司的，有些公司搞得都是些天天更新反爬的平台（比如工商信息相关的），那基本就是得一直盯着看会不会出问题，一不小心就会要加班。

4.爬虫对于学生党的用处体现在哪些地方？

这个问题看个人，因为爬虫技术可用的地方太多了，没法一个一个地都拿出来说。比如你想搞个自动签到的工具，这其实本质上就是爬虫；比如你想搞个自动回复设定内容的机器人，这其实本质上也是爬虫。

5.学到什么程度才能入职爬虫工程师？

我觉得首先发请求不用说了吧？抓包工具的使用也不用说了吧？熟练掌握XPath、正则表达式这种解析工具也是基本的，然后JSON之类的传输格式至少要了解过长啥样吧，再就是JS逆向总得会一点吧（从只改变量名函数名混淆级别的代码中找出加密参数生成部分的程度）。差不多会这些以后，再自己做几个项目，应聘个初级爬虫工程师没啥问题。

6.如何成为一名优秀的爬虫工程师？

垂直爬虫做到后面本质上就是逆向，你需要有良好的逆向思维方式，并且对一些安全领域的骚东西也有一定的了解，这样你才能游刃有余地处理高难度的反爬。

7.学爬虫的学习路线？

上面的入职水平了解一下？然后就是可以关注一下我的公众号「小周码字」（猪哥强力推荐）学习进阶内容，网上其他的教程绝对没有讲得这么细的。

8.大约学习并从事爬虫几年才可以达到一个不错的高度？

这个问题也很看个人，我觉得主要看有没有需求逼迫成长吧。之前招人的时候，很多三年经验的也就比入门水平稍微好一点，他们在工作时遇到的难点几乎全是依靠自动化测试工具解决的，对逆向水平毫无增长。所以建议还是多依靠逆向手段去解决问题，成长速度会很快。

9.薪资方面如何，在几年内可以达到15K？

同上，标15K及以上的招聘JD还是挺多的，看看招聘需求就知道大概到什么程度了。

10.面试爬虫哪些技能点是加分项？

丰富且有深度的逆向经验、熟悉通信协议底层实现、做过骚东西等各种，但主要还是逆向经验。

11.作为一名爬虫工程师，对该岗位的前景如何看待？

未来主要内容在APP上的平台应该会越来越多，难度也会越来越高，所以对于爬虫工程师的逆向水平要求会越来越高，只会简单逆向甚至不会逆向的人找工作会越来越难。

12.爬虫和数据挖掘是一样的吗？

不一样，爬虫只是将数据取回来，具体怎么分析才是数据挖掘的事情。

13.爬虫是否和黑客差不多？

差很多，与上个问题类似，只不过“黑客”这个词太宽泛了，黑客也是有具体方向的。

14.千奇百怪的验证码只能对接打码平台吗？有啥其他办法？

自己破呗，逆向+机器学习。

15.现在有用pyppeteer吗？还是一直是selenium？

都不用，因为效率太低了。

16.如何爬xx平台？

涉及法律问题，这种针对某个平台的东西是不能细说的。

17.爬虫违法吗？如何避免过线导致的违法？怎么规避法律风险？

算是擦边球吧，其实你即使遵守规则去爬别人的网站，只要人家想搞你，还是可以让你做的事情变成违法的。所以建议不要做太过分的事情，毕竟狗急了也会跳墙。

还有就是不要为一些明显是做灰黑产的人/公司写代码，一旦他们出事了，你也会被牵连。

知乎上之前那个很火的被抓了的人，从回答内容中来看其实就是做打码平台的那个微凉，他这一个平台据说赚了至少千万，主要应该是提供给做黑产的人使用了，这种情况下被抓是迟早的事。最好的避免违法的办法就是明显觉得不太好的事情就不要去碰，基本就不会有啥问题。

18.如何有目的地爬取到真正想要的数据？

让需要数据的人提需求，如果你自己就是那个需要数据的人，那就去做市场调研，看看你需要的数据在哪里能找到。

19.反爬虫最先进的技术是什么？最有效的技术是什么？

最先进的技术其实就是使用在PC平台上已经玩烂的各种反破解技术将行为监测点（设备指纹、用户操作等）隐藏起来，然后传给服务端做行为识别，如果操作非人类或者缺少某些东西就触发风控。

最有效的技术其实不是技术而是方法，这个方法就是账号收费，将你的数据变成需要花多少钱才能看到这样子的，就能做到啥高端技术都不用上、轻松提高爬虫方的获取数据成本的效果，当然这也需要结合良好的产品设计，否则普通用户的体验会很差。

20.请问在xx领域有哪些应用？

这个应该是对应领域的人自己思考一下自己拿到那些公开数据究竟可以做什么。

21.需要大量账号的平台成本过高该怎么办？

人家就是依靠这种方式来提高你成本的，你如果觉得成本过高要么放弃要么换一条路线获取数据。

22.法律意识

爬虫本身就是打法律的擦边球，所以作为技术人我们更应该守住底线，向灰黑色产业说不。

关于爬虫技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、Python练习题

检查学习结果。

七、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

开发者涨薪指南 48位大咖的思考法则、工作方式、逻辑体系