资深大数据专家？？？

Posted 2020-07-20

    最近朋友圈里许多的人在为公司招"资深大数据"的人才，不禁思考，什么样的人才是资深的大数据专家？也许这个题目有点大，那就再落地一点，什么样的人才能帮我的公司带入到大数据的领域，并为我的公司盈利？

技术角度

    先从技术角度来说，资深大数据专家首先要有相关的代码能力，要能够搭建Hadoop,Spark,Yarn这样的架构，要知道在这样的架构里要用什么语言来满足自己的业务发展。

    然后又要懂得数据挖掘及数据可视化，同时，也要掌握前端的所有技术（LVS,CDN,负载均衡....）及相应的语言选择，有人说，大数据时代，要对R，Python,Scala都可以知道并明白它们的常用函数及相关的语法格式。

    同时，你也要对相关的算法有一定的了解，经常用到的有决策树，Apriori,K-NN,K-MEAN等等的算法，当你开始使用这些算法的时候，一定要了解它的原理。这样，至少在你后期的算法优化的过程帮助你提高你的效能。

    好了，从上面的三个角度来说。看一看我们身边是否有这样的人。答案显而易见，没有！又或者有，都是在BAT这样的大公司，一个新兴的小公司如何去招到这样资深的大数据人才，很难！因为，在你懂得Hadoop之后，业务要有较快的反应，此时你又要考虑Spark,随着实时性的发展，你势必又要学习Storm.这一方面的人才不可能技术非常专一，相反，他的技术感知，或者说相应的学习能力才更为重要!

    所以，从技术角度来说，资深大数据人才，不仅仅是一项技术很好，而是一个技术综合能力及学习能力很强的人。

业务角度

    最近听了两个论坛，一个是IBM的，一个是R语言大会。感触非常深，IBM在大数据领域可谓是引领了概念与潮流。上来他的本专业博士就说到，现在国内的大数据公司70%以上都跟大数据没什么关系！这是现实，我自己所从事的行来所从事的数据分析也仅限于TXT，EXCEL这类的原文本分析，非结构化的数据在传统行业很少。

    大数据做的最好的行业可能就是广告行业，打开手机，你的朋友圈，PC，PAD。至少广告是会随着你的平台而至死追随你的。而广告，金融，医疗这三个行业，为什么大数据会最先落地，不是因为他们这个行业技术成熟度高或是什么，更为重要的可能就是这三个行业比较有钱吧！这是在R语言大会上李舰（至于说他是谁，相信用R做过文本分析的人可能知道，是写RWordseg包的那位）说的。

    如何去理解你的业务，这一点可能是摆在大数据人才面前最为重要的问题。你的技术再强，算法再精确，没有对业务的详细了解是不可能做出很有成效的结果。有人又说到，大数据是互联网行业，我们对传统行业又不了解，而且也没有积累，如何能够快速掌握了解一个行业，进而对相关的数据有一个更深入的了解。

    在这里，我个人比较欣赏猎头的做法，当你想了解一个行业的时候，你不是去看书，而是去招人！我相信，在与人沟通的过程中，你会了解到更多的信息。混论坛也是一个比较好的选择，因为在论坛上，你能够看到这个行业的方方面面。对你了解业务尤其重要。

    培训业务思维，还有一个最简单的办法就是多和你们公司的销售聊聊！

    综上所述，我所理解的资深大数据人才，重点还是在于对业务的理解，说的落地一点就是对你所采集下来的TXT，EXCEL数据里关键的几个指标的把控。你要知道某一个指标数过大或过小意味着什么？如何让这些指标为你产生价值跟利益！然后才是相关技术的学习，技术这一块，个人建议多懂一些，当要用时，再深化细节里边的内容。

    举一个例子，为什么在人才市场里，算法工程师要比代码工程师价格高，因为搞算法的人必须要会代码，同时要能明白算法的内在逻辑。这一点是在自己学习过程中才体会到的，当你逻辑清楚之会的代码实现就相对简单一些了。

    架构，这一点对资深大数据工程师来说，是必须要有的能力。要能够对传统行业搭建起最好的架构并能够运行，同时也要兼顾到后期的可扩展。还有一点，就是你要跟你的领导讲明白。

    业务能力，落地一点就是能够什么时侯收回成本并实现盈利！记得我的数据挖掘老师说过，对于传统行业做数据分析与挖掘，你要能够在3－6的时间里让客户见到效益。否则你的数据挖掘就没有意义！

    好了，以上就是我所理解的资深大数据的概念。希望在大数据这个风口，自己能够少点浮躁，多点踏实，把技术学好，把业务理解透彻。谦卑着努力，加油！

    

本文出自 “数据挖掘与可视化” 博客，转载请与作者联系！