写给大数据初级开发者或准备转行大数据的人

Posted 2021-07-29 涤生手记

        中国的IT行业因为有人口福利，所以但凡有个细分领域可以互联网+的，搞个应用服务，能有个日活10w+都可以活的很好了，当然像抖音那种现象级的APP日活过亿的，早已赚的盆满钵满。中国的IT行业的蓬勃发展，蛋糕之大，让所有IT行业从业者的收入总体处于行业前列，可比拟的只有金融行业——一个不创造财富，只分配财富的行业。

1.为什么很多人进入IT/大数据行业？

        工作这些年，参与和负责的面试人数在百人以上，也算见识过形形色色的面试者，有初出校园的大学生，有深入行业多年的佼佼者，有某个领域的专家人物；见识过计算机相关专业的人很不专业，也有跨行自学大数据的转型成功的优秀人员。因为IT行业的诱人薪水，面试过很多甚至名校毕业的人转行大数据，比如有中科院材料学硕士转行大数据，也有中科大本硕物理学自学IT的，更有浙大传播学，山大机械专业等优秀学子加入我们这个行业。

       为什么那么多优秀的实体行业的人加入IT行业？兴趣之外，更多的是收入使然吧。一个简单例子，之前和我聊了一个多小时的一个大哥，中科院材料学硕士，毕业几年北京薪水20k，但是这个收入对于IT行业来说，这个背景，这个工龄，真心不高。有时候我们怀揣理想，但是也要脚踏实地，老婆孩子热炕头——这就是他转行自学IT,自学大数据的原因。有时候我在想，一个大国，非实体的行业的过渡发展，繁荣的背后也许并不一定是件好事。是否大哥在材料学的投入对国家的产出也许比IT行业更大，但是对个人来说，也许IT行业的工作更加衣食无忧。

       IT行业收入很可观，大数据在行业的收入更加可观。在一线城市，北上广深，一般工作3年以上20k+，5年以上30k+，优秀的人才需要的时间更短。我有同事，88年，年薪100万+。虽然大数据行业的薪水很高，但是优秀的人才很少。每天Boss收到十几份简历，却招聘不到合适的人。我们能在这个行业拿到高薪，不是因为我们牛逼，而是因为我们站在了风口上，因为我们这个行业处在上升的空间，如是而已。

2.给大数据从业者一点个人建议

      这是一个主观的，个人意见，也许你认为是狂犬吠日的，也可以说是夏虫不可语冰，都可。老子曰：上士闻道，勤而行之；中士闻道，若存若亡；下士闻道大笑之，不笑不足以为道。

2.1从面试官的角度

         经常面试，也会经常收到猎头，人事，或者Boss上的简历帅选，有些简历上写的从linux,hadoop,hive,hbase,spark,scala,hbase,kafka,flume,hue,oozie,impala,flink各个组件使用，各个项目的穿插，这种一般面试多的人看一眼都知道是培训机构刚出来的 ，或者刚转行的小白。恨不得告诉别人自己熟悉各个组件的生产应用，熟练掌握各种调优。但实际是十个面下来至少九个半是小白吧，甚至都没有搞过大数据开发。

        因为很简单，大数据培训机构的老师绝大部分都是一直做培训的，啥热学啥，很多自己都没有搞过大数据的开发，教你也是入门，demo，远达不到企业成熟开发的要求，而且培训没啥重点，也不清楚大厂是如何搞的开发。包括大数据性能优化，如果你没有经历过性能瓶颈，所谓的调优学习都是扯淡。但是如果你入门，培训机构的视频很适合你，效果比你自学好很多，最起码带你入门，某宝有，如何有大佬指点更好。

       这里我并不是鄙视培训机构出来的人，反而我在招聘中更注重一个人的学习能力的考察，主动自我提高的驱动型。技术在不断地更新迭代，优秀的人才总是那些不断自我怀疑，自我学习的人。甚至有些培训机构几个月出来的人，比工作好几年的人都优秀。大学老师说：毕业只是开始，而不是结束。那些愿意自我学习，自我改变的人，才值得我们尊重，当然他们也会在转型时走很多弯路，坎坷之路。

        为什么前面我说可以一眼识别出小白的简历，因为千篇一律。实际工作中，对于大厂而言，每个人负责的，专业的也就是那么几个模块，比如大数据开发，分为离线和实时，离线用的主要就是是SQL类，Spark这块，数仓建模；实时主要是flink，kafka,sparkt streaming，hbase等。如果是PAAS大数据平台,大厂每个人也就负责那一两个组件的维护，开发，更新等。如果是运维，每个人负责的面更加具体化，监控的，主机的，甚至各个组件都有专门的人负责开发。比如我之前所在的大厂，Hive组件，Spark组件，Kafaka组件等都是分别好几个人单独维护开发。对于小公司来说，也不至于一个人全栈，如果是全栈，那只能说那个公司数据的规模小到只需要会个demo即可满足。

       我们招聘过Hbase开发的同学，有个大哥让我印象深刻，简历只写了Hbase相关的开发，优化，甚至社区提交的Commit。其实他背景很普通，大专，8年，但是却收割了很多大厂，360，百度，陌陌，京东。职位的薪水很高，很高。这就叫术业要有专攻。大数据开发不是要你对所有的组件的熟练使用，而是要精通，深入某一两个组件的生产应用就可以超出别人很多。招聘最怕的就是万精油。

2.2大数据初级人员的建议

       后台总是不断有同学私信问我，想转行大数据行业，该如何学习，或者选择哪个方向？虽然我想一一解答，但是不是一两句话能说清楚，心有余而力不足，有时会加微信语音聊几句，有时候也会因为工作忙也会忘记回复。

2.2.1 选择自己的方向，二选一

     前面我说了，每个人的精力有限，能力有限，术业有专攻。所以就整个大数据行业来说，你不需要懂所有，最起码前期不需要，也很难做到。所以首先选择一个方向

大数据行业你是想做大数据开发还是大数据运维？

      大数据开发更偏向于业务层面，一般会做从数据接入，到数据加工，数据存储，到最后数据输出整个流程，基于业务层面加工。这个也分为实时和离线吧。实时会实时数据接入，kafka/flume、spark streaming/flink等，流式数据可能最后入数仓，给离线同学开发，也可能存放hbase等，做实时查询使用，这里不具体深入。离线一般数据存放在数仓后，数据建模，hive、spark，tez等做数据建模，数据加工，最后数据输出等。

     大数据运维，一般看公司大小吧，一般就是组件层面，集群搭建（这个小概率，一遍公司集群都搭建好了），集群运维，组件优化，性能调优，监控，自动化运维等，当然小公司还牵扯到PAAS平台的搭建，比如调度，探查，数据资产建设等。大公司一般会更加细化不同部门处理。

    从实际招聘来看，优秀的大数据运维比大数据开发更加难招聘，薪水也更高，工作更好找。当然大数据运维的人数远比开发少，一个偏后台纯技术，一个偏业务，技术应用。看个人喜好，我个人觉得开源apache hadoop集群的运维人员比开发有前途，cdh相对比较简单。

 2.2.2 选择方向后，如何干？

      所以学习转行之前，可以先选择方向，比如做选择大数据开发，搞离线开发，那就把离线开发这块玩透彻，底层原理，精通性能优化，数仓建模，可以不管不会flink,kafka，sparkstreaming，flume等。照样   可以拿高薪，因为技术人员需要的是专业性，而不是多样性。 选择其他方向依次类比。

     对于初级入门者，工作五年以内的，如果有机会进大厂，一定进大厂，要学习下见识下什么叫做牛逼的架构，什么叫做成熟的框架，规范，先进的技术，看一堆牛逼的人搞出来的牛逼的东西。先学会看别人如何玩，再学会如何提高自己。所以这也是为什么很多大厂出来的人去小公司都会觉得其技术搞的垃圾，其实相比确实很一般，我也层深有体会。这也是小公司做到一定规模为啥喜欢招聘大公司出来的优秀人才去升级改造一个道理。

       暂时写到这儿吧，有空在更新..........

       后续的更新来了  初级者与转行者，大数据如何学习最高效，简历该如何优化？

        最后的，最后............