数据工作本质：从业务中来，到业务中去

Posted 2020-09-06

引言：数据工作就组成结构和流程来说还是比较简单的，因为这个工作本来就很年轻，分工还没有很细。总体来讲，我把数据工作看成相互连接的三部分：取数、理数、用数，这是一个闭环。用数的需求会驱动取数工作，并对取数工作提出具体操作性要求。
《数源思维》一书正是以此本质为核心内容，提出了一套简便实用的方法来实现对数据工作价值的把控。

取数

　　取数工作解决的是数据源的问题，具体来讲是由下面的一系列工作组成：

[1]设计并实现产品中取数的方法和规则
[2]产品运行过程中，实时的或周期性的从产品端获取数据。
[3]传输、接收、校验数据
[4]格式化归档存储数据。

　　经过取数工作后，就形成了由业务运行产生的原始数据。原始数据是极其丰富的，有很多种分类方法，而从用户的观点来看可以大致分为两种。一种是用户意识到的主动提供的，如注册数据，发表的文字等；另一种是用户不容易意识到的被动提供的，如上网IP地址，操作动作（像PC上的鼠标移动，手机上的滑动）。

　　之所以用这个数据工作者不常用的维度来分类原始数据是想提醒产品经理在产品设计时也需要一点数据思维。能采用第二种方式得到数据，就不用第一种方式去麻烦用户。

理数

　　整理数据。这一步并不是必须的，尤其对初创企业来说，直接用原始数据是更经常的事。一方面因为初创时期的业务重点还不在于数据问题，另一方面也因为一些原始数据是结构化的，直接入数据库的，已经能用，比如用户注册数据。但随着数据的丰富和业务重点的变化，理数就变得越来越重要，因为大部分原始数据是无法直接用于分析和再产品化的，比如IP地址，比如文字。

　　理数标志性的工作就是对原始数据进行多层抽取、归纳、抽象的数据仓库建设。如果说取数是从用户中来，用数是到业务中去，那理数就是两者的桥梁，是将来自用户的数据原料转换为可供研究、分析或形成数据产品使用的数据零部件、半成品。这其中就会涉及数据挖掘工作。比如上面提到的IP地址，其本身并不能被直接使用，所以一般就会根据一个IP地址数据库将IP转换为地区名称。这就是将一个原始技术数据转为一个有意义的业务信息。

　　理数阶段的数据挖掘与用数阶段的数据挖掘并没有严格的区分，一般认为这个阶段的主要任务是将需求更普遍，应用更广泛的信息从原始数据中挖掘出来以减轻后面用数的工作量。比如像用户性别、年龄等基本属性的挖掘。尽管大部分互联网产品都会让用户填写这些字段，但用户填的叫原始数据。如果你直接使用原始数据，看上去是跳过了理数工作，但实际你是启用了一个理数的规则或模型，只不过输入和输出是一样的。这个模型的开发和应用成本为0，但机会成本是多少就要自己判断了。

　　当数据库、数据仓库准备好了零部件、半成品后，数据工作就要进入最眼花缭乱的用数阶段了。

用数

　　使用数据有2个方向，一是为企业内部工作提供决策支持，二是直接为用户提供独立数据产品或数据支持下的产品新功能。

　　说到决策支持可能最先想到的是BI。狭义的传统BI主要使用企业运行产生的内部数据，然后做些表单，柱状、条形、折线等各式样的图，比较无聊的。现代互联网化的决策支持，因为数据源的不同而变得有趣的多得多。

　　比如我们曾经给公司人力资源部的招聘提供过一个产品，就是根据招聘要求利用微博数据精准寻找候选人。当然找人只是第一步，评估人才能力，行为习惯，行业薪资水平等等数据工作都能发挥作用。甚至可以收集多方数据来做员工流失预警。所以互联网数据基础上的决策支持是可以支持到企业方方面面的工作，比如在互联网公司中，决策支持类的数据应用就会有：

1. 产品优化决策

　　产品经理最主要的工作就是抓到用户需求点，然后设计出产品/服务来满足它。虽然说需求点的发现往往是经验性的定性的工作，但数据工作依然可以在两方面给予优化决策：

　　一是，给出市场中主流用户或某一分类用户的总体偏好和习惯，帮助产品经理加深对用户的理解。比如哪类用户在什么场景下喜欢听音频，在什么场景下喜欢看文字，在什么场景下打开视频的可能更高等等。这对于产品经理选择用户群的需求切入点至关重要。

　　二是，评估可能的市场规模和增长曲线。

　　新产品或新功能上线后，产品经理需要数据反馈来判断用户对自己设计的接受度。尽管PV、DAU等总体性指标是能反应用户对新产品/功能的态度，但因为是总体性的指标，它们的变化包含了太多的因素，比如推广力度、运营活动等等。所以要更精确的看产品，一般更好的选择是回访率、使用时长、频次、退出/跳出、转化等用户个体性指标的变化来衡量用户反馈。

　　除了事后的监测，有时还会使用AB测试来检验不同设计的效果，以便提前获知用户偏好，降低新产品/功能的市场风险。这里就会涉及到与取数工作的配合，AB测试进行部署时要根据需要选择一定条件的两组类似用户推送测试内容，在用户不知情的情况下看实际效果。

2. 运营支持

　　互联网产品的运营工作主要包括用户运营、内容运营、活动运营和客户服务。在每一块上数据工作都能给予基础性的支持。

　　比如用户促活当中有一个重要工作就是防流失。这里就会碰到一个流失判断标准的问题。多长时间不来算流失？这个课题研究的关注点实际不是流失的那群用户，因为你从他们身上是取不出流失时点信息的，我们的关注点在那些很长时间没有来，但最终在自然状态（注：没有召回和活动影响）下又回来的非流失用户。从这群用户身上我们才能发现一个用户最多经历多长时间的沉寂后还有可能回来了，反过来长于这个时间就可以判断流失。在实际研究中，你会发现有用户在半年甚至更长时间后还会回来，这些从经验上来说肯定不是自然状态下回流的。于是判断是否自然状态又成为新问题，解决这个问题的一个数据来源是访问来源。

　　当然算出流失标准时间界限对防流失来说并没有什么直接的作用，这个标准实际的用途是筛出流失研究样本，通过样本数据来得出流失预警模型，通过用户还活跃时的行为变化来预测他们流失的概率，进而提供给用户运营来做下一步工作的决策。

3. 市场推广反作弊

　　反作弊与作弊是一个工作对，基本上是处在道高一尺魔高一丈不断相互学习相互克制的状态中。所以随着作弊方法的不断更新，反作弊和识别虚假用户的方法也累计了很多种。大部分的方法都是基于人工或机器学习经验建立起的判别模型。这些方法判别效率高，实施成本低，使用广泛，但也有致命缺点。因为这些方法都属于有监督的方式，形成的经验来自历史数据，如果渠道作弊方法不变，这些反作弊识别手段就会保持较高的有效性。但问题是当你识别渠道作弊并且拒绝为其付费时，渠道立刻就知道你存在针对当前作弊方法的识别手段，他们就会进行作弊升级。同时他们还会要求你拿出他们作弊的证据，如果你告之了他们，就意味着你透露了识别方法，他们就能更容易的绕过你原有的反作弊方法，实现魔高一丈。最后你必须要想出无监督的方法来实现反作弊。

　　此外，销售、人力、战略决策等等都会是数据应用的舞台。

　　而除了作为配角的决策支持外，数据应用也有当主角的时候。比如百度搜索风云榜，微博热词等等数据产品。还有更常见的是在数据工作的直接支持下呈现给用户的“猜你喜欢”“相关商品”这些数据类产品。

　　从上面对数据工作的介绍中不知你是否体会到了数据工作“从业务中来，回业务中去”的本质或者说根本存在价值。如果你不是一个仅满足于完成数据内部技术处理工作的从业者，那你必须要对这个本质有清晰的认识。

　　《数源思维》一书将会是很好的选择，点此链接可在博文视点官网查看此书。
　　　　　　　　　　　　　　　　　　　　　
　　想及时获得更多精彩文章，可在微信中搜索“博文视点”或者扫描下方二维码并关注。

　　　　　　　　　　　　　　　　　　　　　　　

本文出自 “博文视点官方博客” 博客，请务必保留此出处http://bvbroadview.blog.51cto.com/3227029/1911030