六年一轮回：大数据改变的，不仅仅是我的专业！

Posted 2021-04-26 与数据同行

这是傅一平的第299篇原创

个人微信：fuyipingmnb

原创文章即将300篇，今天乘着中秋就写一篇自己近六年的大数据工作体会吧，建议你一定要看一看。

“很多人30岁就死了，80岁才埋葬。 ”

李笑来说六年就是一世，刚读的时候没有感觉，等到自己转型做大数据的第六个年头，却觉得有些道理，可以这么理解这句话，当你习惯于靠惯性工作或生活的时候，那的确只有一世，但如果你总是在改变，那每一天都可以是一世。

最近马云辞任阿里主席，提到“希望换个江湖，后会有期”，其实也在说这个事，只有变化才有意义，不折腾活着没意思。

但变化不是你想有就有的，很少有人能像马云那样，能基于拥有的资源去创造变化，大多数时候逼你做出改变的都来自于外部压力，好比笔者从传统的BI转型做大数据，主要是时代发展和公司转型的要求，自己没有能力跳出既有的框框去做一些新的东西。

今天就来谈谈转型大数据工作后，自己做出了哪些改变，专业的变化是必须的，但我觉得专业之外的东西更为重要，希望我的经历和思考于你有启示。

1、环境

笔者自进入公司就一直做取数报表工作，后来做一些专题分析、数据仓库、营销管理、标签库等的项目，大概有10年时间，虽然涵盖的面比较广，但除了对于运营商数据的理解、报表取数方面有所擅长，其他都没到专家的水平，可以聊聊，但没啥广度和深度。

为什么？

因为传统BI这个领域有点特殊，虽然也有所谓的需求沟通，但从专业的角度讲，你只要对于后端的数据结构和常规的指标口径理解的比较清楚，基本上就能胜任了，比如如果没有人提点你，你大概不会理解业务流程对于做数据的重要意义。

我以前反复的提过，IT部门是企业的后端，而做传统BI的是IT部门的后端，也就是后端的后端，现在定位有没变化不好说，但在我那个时候就是这样，导致的后果是看问题的视野会比较窄，既不知道发展的方向，也不知道数据如何运营，让数据创造出更多的价值乃至变现更是没影的事。

但那时到集团写经分规范，我们却还经常自嘲： “经分的春天何时才能到来啊？ ”，多少有点怀才不遇的感觉，其实完全不是那么一回事，但领导不会满意你只做报表取数，这是做数据颠扑不磨的真理。

有一个事情印象特别深刻，记得团队做了一个四网协同的BI分析专题，领导说策划下如何推广，然后我就写了个公文要求一线使用就算完事了，结局大家都懂的。

为什么会这样？

因为自己的格局问题，完全不知道一线是怎么回事，不知道运营为何物？

不知道自己不知道是很可怕的事。

那么怎么脱离这个困境？

说哪天突然开窍了基本是天方夜谭，屁股大多时候决定了脑袋，除非有特殊的事情发生。

特殊的事情果然发生了，2013年大数据的春风刮到了运营商，因为运营商管道拥有海量的数据，大家觉得其在客户资产、财务资产、通讯资产之外，还拥有信息资产这个金矿，在这个领域可以有所作为。

当时自己写过一个PPT，来说明运营商数据资产的价值，大家来看一看其中的一页。

正如孙子兵法所说，“天时地利人和”对于启动做一个事情是非常关键的，很多人换了一个环境突然发生了巨大的变化，大多是环境使然吧。

但新的环境能给予你一些以前没有的资源和机会，如果我还能充分发挥主观能动性，那的确可以做出更多的改变，这叫顺势而为。

有人说你们做大数据做的不错啊，其实跟我的能力没啥关系。

2、使命

读书20年，当时的梦想就是考上大学，读上博士，但如果放长到30年，40年，其实很多时候会觉得梦想或使命是非常虚的，大家一听汪峰提这个问题就发笑，可能人家的经历你不懂，但汪峰应该是认真的。

触发我思考未来的，是环境的变化，数据上，原来以为的成品油很快发现最多是原油，商务上，要赚取一块钱都是那么艰难，产品上，完全是一穷二白，以为可用的标签库其实也不行，突然发现我们这些数据对于社会来讲没有多少价值，辜负了大数据这个名头。

同时接触到更多的人和事后，发现自己在很多方面是达不到那个层次的，年龄的增长让我明白自己不再像年轻人一样有无限的可能。

总是会从年少轻狂回归到理性的现实，很多事情都能想得开，但看到跳广场舞的大妈，想着也没啥爱好（其实啥都不会），就会纠结这个问题： 这不是我退休后想要的生活 。

然后就是去寻找答案，自己运气很好，从《得到》里找到了一个，即创造贡献感： 个人在未来应该拥有一些差异化的价值，这样自己的付出才更有意义。

这也算是对马斯洛需求层次理论的自我诠释，虽然没法跟比尔盖茨、马云比贡献，但贡献感上没有鄙视链。

但我的差异化价值在哪里？

显然现在没有，退休了以后总不可能去跟人家讲报表取数吧，而大数据既然是趋势，而转型又给了我实践的机会，也许再花20多年时间，我可以拥有对别人更有价值的东西。

这个东西不会由于你退休而变得失去价值，甚至可以通过写作记录下来。 我们这个社会那么多聪明人，那么多好的经验，那么多灵光一现，如果不即时记录下来那就太可惜了，很多名人都会出书，也是基于这个道理吧。

这个使命驱动我开了这个微信公众号： 与数据同行 ，没有坚持一说，就是觉得要去做，你会发现我写得关于数据的东西更侧重管理和思想，而不是硬技术，就是觉得诸如程序语言诸如此类的东西更新迭代的速度有点快。

3、专业

有了使命感，专业学习的驱动力问题就解决了，但对于传统BI转型做大数据的人来讲，专业上的挑战却是巨大的，而对于做技术管理的人来讲，学习的内涵就更广泛了。

首先，是关于大数据方向的研究。

2013年转型大数据后，自己在业务上啥都不清楚，就是摸着石头过河，那个时候每天干的活，就是思考方向，撰写PPT，以下是我规划的目录和一个目录里的内容，大家不要见笑。

记得有次去参加新加坡一个技术交流会议，在那边2个礼拜，基本上就写了2个礼拜的PPT（前面已经写了一个月了），回来后BOSS看了第一页PPT就直接被打回了，就这么跌跌撞撞写了一年多。

收获就是通过大量的资料搜集和梳理，还是能摸到一些门道，在大数据整合和变现上找到了一些出口，PPT虽然有时候不太地道，但的确是一种很好的思考和说服工具，前期还专门写了个关于PPT的文章： ，这是自己的血和泪总结出来的。

如果自己不转型做大数据，光看书要获得一些大数据的专业见解其实很难，必须在那个实际场景里，你才会获得更多的洞见。

有时候你会觉得自己很厉害，做出了不少贡献，那是因为你首先很幸运的在这样的一个企业平台上，但并不表示你比别人更努力或更有天赋。

其次，是大数据相关技术的理解。

其实自己以前的专业是偏重传统的数据管理，对于数据采集/建模/应用（报表取数等等）/元数据/数据质量有较好的理解，有次公司老大要求去汇报大数据技术，真让我写的时候发现完全不行，诸如hadoop/MPP/流处理/CAP/Shared-Nothing架构/newsql/nosql等等大数据技术平台的原理，我真的是一知半解。

后来有了大师（我们的大数据架构师）的协助才搞定。 老板是理工科出生，技术和方向都问的很细，这个时候，你才发现自己几斤几量，真是弱爆了。

大家都知道，将一个非常技术化的东西用业务化的语言表达出来是很困难的，但作为一个技术管理者，你得要有这个功力。

虽然后来我们的大数据平台建立了起来，甚至在当时处于行业的领先地位，自己还写了一些大数据平台架构类的文章，比如 、等等，但对于平台技术的理解还是很浅的。

传统BI换个马甲说成大数据其实没用，就好比我以前经历的尴尬一样，你得有真功夫、新功夫，我还特意写了一些文章，比如 、来说明这个道理。

最后，是关于大数据运营的突破。

笔者不止一次的提到，大数据平台建完才是大数据运营的真正起点，从前端来讲，要在数据产品上进行创新突破获得收入，比如我们的神灯产品体系，这在以前是难以想象的； 从中台来讲，要打造业务化、开放化、服务化的数据中台来为前端赋能，对于这个笔者有大量的实践和思考，写得文章也很多了； 从后端来讲，要做好大数据的资产管理，确保“书同文，车同轨”，诸如此类等等。

4、认知

有个词叫做元认知，就是能够审视自己的认知是否正确，我特别提两个点： 关于专业能力和做人谦卑的认识，它们改变了我很多看法，虽然有时做不到，事后我也大概知道自己的问题在哪里。

其中涉及的大脑决策机制、生物学原理、神经学原理、心理学原理、杏仁核、前额叶、海马体、丹尼尔·卡尼曼等等我也很清楚，但知行合一的确很难，这是一个自我修行的过程。

第一个是关于专业能力的认识。

《原则》、《好好学习》这些书再加上自己的实践验证，都让我确信自己以前在认知上的一些问题，还曾经写过一篇文章专门讲这个体会：

“我们所谓的专业，比如市场营销、法律、政治、历史、文学、IT，抑或其中的数据挖掘师，其实只是人为制造的分类标签罢了，但是，这个世界并不是按照你划分的标签在各个专业之内单独运行的。 一个市场营销的问题，背后往往涉及法律、政治、历史和文化的因素，可是我们所谓的专业，并不管这些： 你学好4P（产品、价格、渠道、促销）、市场细分等概念，就可以毕业了，这种认识，会极大地阻碍我们学习真正应该学的知识。 ”

究其原因就是我们对于专业理解上的一个误区，比如对于通识能力的漠视，导致高分低能这种职场上的问题比比皆是，奈飞文化有一句话很经典： “我们只招成年人！ ”

最近2年，自己每年在《得到》上花的学习时长超过800小时，就是觉得《得到》给了我一个学习通识知识的指南，由于长时间盯着手机屏幕，眼镜度数飙升200度，直到有一天到电影院看不清楚字幕才察觉到，开会也总是希望坐前面的位置，因为已经看不清投影上的文字了。

第二个是关于做人谦卑的认识。

“谦卑”在英文世界被越拔越高，已经到了精英人士最值得拥有的美德中排名第一的位置。 谦卑是承认自己的认识和能力是有限的，承认自己会犯错误，所以保持开放的头脑，能听得进去别人的意见，能随时调整方向。

真正的谦卑不是故作姿态，其实是理性的思考的必然，你会注意到地球在宇宙中、生命在自然界、人在生物界、你在人群中，都不特殊。

你当然很重要，但是别人也重要。 有这样的谦卑态度，人的情绪就会特别稳定，就不会进退失据。 据说通过回忆自己在高中时候的尴尬时刻 —并且意识到每个人都有这样的时刻 —然后一笑了之，能培养这种谦卑意识。

在几年前，我在别人眼里肯定是个爱争论、好面子的对象，其实争论本身没有问题，但很多争论是由于极高的自尊、浅薄的认识所致，而这些对于解决问题没有帮助，经常发现自己就成了自己最不喜欢的那种人。

每每看到很多领导儒雅、处事不惊的样子，我是很佩服的，因为只有在平静中才能接收到更多的信息，特别是对于大数据，你首先要承认自己的无知才能吸纳更多。

但人的本性好顽固，我给你讲个自己最近的事情，小区实施垃圾分类了，妻提醒我以后早上吃完苹果的核要留在桌上，不要扔进垃圾袋，但我还是习惯性的连续扔了三次，直到妻的暴怒和自我的反省才逐步改进。 现 在习惯完全改变了， 说明虽然大脑很顽固，但还是具有可朔性，只要你重复反省的次数足够多 。

自己一方面在实践中去领会，比如沟通中尽量换位思考，现在气急了会自己缓一下，另一方面就是不停的去读《得到》的专栏《精英日课》，因为里面讲谦卑的内容很多，还有就是买很多的管理类、心理类书籍来看。

第三个是关于思考习惯的认识。

决策支持是搞数据的人经常提得名词，但理性决策的前提就是能够深度思考，权衡利弊，但拥有思考习惯的人并不是很多。 回忆自己以前做报表取数，就好比拉磨的驴子一样不停重复，但鲜有思考。

而做大数据创新完全不一样，前面没有路，只能自己趟出来，思考能力绝对是最重要的。

无论是选择将“位置+内容”作为数据中台能力的突破点，还是“百万标签”、“行业知识库”、“精准定位”等模型的研发，或是“”、“搭台唱戏”、“建模大赛”等运营活动，亦或“合弄制”、“OKR”、“日报”等管理提升举措，都是深度思考的结果，在特定的场景下，大多时候没人能告诉你怎么做 。

最近我们有一个新的主管上任，他最大的进步就是比以前更会思考了，有一天他就跟我讲，现在自己不开车了，就坐班车，坐班车有一个好处，就是可以有系统的思考时间，我觉得非常好。

另外一位我佩服的同事的就是给他安排的工作总能超出预期，比我想得更深，信息量更多，非深度思考者不可能做到。

笔者写作的一个原因就是希望能养成一种强制性的思考习惯，因为在写作中对于一个问题的认识会更深入，更能触类旁通，对我来讲，进入心流不是事。

一定程度上讲，我如果一个事情办不好，主要原因是自己的能力不够（经验也是能力），智力有限，而不是没有时间或者分心。

5、管理

最后，再谈谈管理，作为一名技术管理者，专业能力再强，如果不懂管理，也就是个光杆司令，我需要通过管理激发团队成员的善意，否则就没法进步。

如果你有机会去做一些大数据的创新性工作，团队还不大，那么最近几年我在管理上的一些实践可以供你参考，但对于大多数靠流程驱动就能完美运作的公司来讲，我的经验就毫无价值了。

第一个是考核的问题。

我写过一篇OKR的文章，大家可以看看，我的一个很大体会就是：

“对于创新业务来讲，没人能定明确的指标，只能定目标，预计完成的指标只是个参考，否则大家以后都kpi导向，这样就坏事了。 okr完成的比例在70%左右倒说明当时定的不错，我更看重的是过程中体现的创新和发展，比如是不是比以前有进步，每周跟踪指标是为了有个监控和抓手，发现问题可以及时调整。 ”

“比如收入，如果是按部就班的实现，很难得到最佳，因为要么是指标定的不合理，要么就是运气，如果你的某个创新导致了收入提升，即使完不成既定的指标，都可能获得更多认可，比如告警及时率，这个月高了你得告诉我原因，到底是你的努力还是正常波动，但别拿偶然当业绩。”

第二个是组织的问题。

我尝试的是合弄制，合弄制是从《得到》了解到的，然后看了阿里也是这么搞的，的确是一种创新性的组织形态。 比如以前的一支数据团队人数不少，干的事情多而杂，虽然有分工，但有能力的人往往沉在下面，没有试错的机会，这会扼杀创新，也不利于人员成长。

做大数据这两年也越来越意识到人才的重要性，传统企业搞大数据有优势也有劣势，但大多人员离职不是薪资问题，而是发展空间问题，我怎么让团队成员有获得感，甚至因人设岗，人尽其才呢？

这是每个传统企业搞创新需要重点思考的问题。

很多东西得靠设计，合弄制是一种。 因此这两年适当打破了科室的界限，成立了9个小团队，让其各自在一个专业领域去攻坚，这不仅仅是要解决一个业务问题，也要解决人员发展的问题。 比如从产品组和数据组抽人成立位置洞察组，独立的进行位置类模型和产品的研发。

到目前为止，我认为这种组织方式适应了业务发展的需要，有不少人脱颖而出，虽然谈不上有什么成绩，但这种组织设计相对以往更能激发员工的动力和协作力。

第三个是沟通的问题。

自己写过一篇文章 ，谈了创新型团队扁平化管理的重要性。

互联网公司值得我们学习的，不仅仅是技术，透明化、扁平化绝对是重要的一条。Google在《重新定义团队》提了很多了，对冲基金公司桥水创始人瑞·达利欧在《原则》一书中提到了“极度求真和极度透明”，李开复在微软亚洲研究院提倡的“白板文化”激荡和迸发了多少创意，也许只有经历过才能知道开放透明的价值。

无论是我强制要求成员写日报、每周的OKR跟踪、还是组织技术研讨会，分享会都在尝试解决这个问题，希望能达成“五指成拳，力出一孔”的效果，因为没了数据灵魂的产品不会有差异化竞争力，没了运营的数据和产品就会成为一堆摆设，而这都需要多方专业的人紧密的协同。

做大数据的第六年马上就要过去了，我也将迎来下一个轮回，相信很多人跟我一样，在转型做大数据中会面临着很多变化，希望大家都能找到解决办法，与大家共勉！

如果你觉得有点用，欢迎推荐和转发，如果你有独到的见解和意见，欢迎到我的知识星球进行探讨。

完

作者：傅一平 （微信号：fuyipingmnb）

我的历史文章（点击链接即可阅读）

一、个人成长

二、数据中台

三、数据挖掘

四、人工智能

五、数据平台

六、数据产品

七、数据变现

八、数据分析

九、报表取数

十、资产管理

十一、数据运营

十二、数据安全

十三、数据思维

十四、读书笔记

十五、杂七杂八