大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？（转载）
Posted 述而不做
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？（转载）相关的知识，希望对你有一定的参考价值。
大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？
编者按：本文作者为桑文锋，Sensors Data创始人&CEO，前百度大数据部技术经理。2005毕业于浙江大学计算机系，2007年加入百度并负责组建并带领团队，从零实现了百度用户日志的大数据平台。2015年4月从百度离职创业，目前做一款针对互联网创业公司的数据分析产品Sensors Analytics（神策分析），致立于通过大数据技术助力客户成为数据驱动的公司。
一、大数据思维
在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。
那么大数据思维是怎么回事？我们来看两个例子：
【案例1：输入法】
首先,我们来看一下输入法的例子.我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔.那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。
到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。
在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。
比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。
二、数据驱动
对于数据驱动这一点，可能有些人从没有看数的习惯到了看数的习惯那是一大进步，是不是能看几个数这就叫数据驱动了呢？这还远远不够，这里来说一下什么是数据驱动？或者现有的创业公司在进行数据驱动这件事情上存在的一些问题。
一种情况大家在公司里面有一个数据工程师，他的工作职责就是跑数据。
不管是市场也好，产品也好，运营也好，老板也好，大家都会有各种各样的数据需求，但都会提给他。然而，这个资源也是有限的，他的工作时间也是有限的，只能一个一个需求去处理，他本身工作很忙，大家提的需求之后可能并不会马上就处理，可能需要等待一段时间。即使处理了这个需求，一方面他可能数据准备的不全，他需要去采集一些数据，或做一些升级，他要把数据拿过来。拿过来之后又在这个数据上进行一些分析，这个过程本身可能两三天时间就过去了，如果加上等待的时间更长。
对于有些人来说，这个等待周期太长，整个时机可能就错过了。比如，你重要的就是考察一个节日或者一个开学这样一个时间点，然后想搞一些运营相关的事情，这个时机可能就错过去了，许多人等不到了，有些同学可能就干脆还是拍脑袋，就不等待这个数据了。这个过程其实就是说效率是非常低的，并不是说拿不到这个数据，而是说效率低的情况下我们错过了很多机会。
对于还有一些公司来说，之前可能连个数都没有，现在有了一个仪表盘，有了仪表盘可以看到公司上个季度、昨天总体的这些数据，还是很不错的。
对老板来说肯定还是比较高兴，但是，对于市场、运营这些同学来说可能就还不够。
比如，我们发现某一天的用户量跌了20%，这个时候肯定不能放着不管，需要查一查这个问题出在哪。这个时候，只看一个宏观的数那是远远不够的，我们一般要对这个数据进行切分，按地域、按渠道，按不同的方式去追查，看到底是哪少了，是整体少了，还是某一个特殊的渠道独特的地方它这个数据少了，这个时候单单靠一个仪表盘是不够的。
理想状态的数据驱动应该是怎么样的？就是一个自助式的数据分析，让业务人员每一个人都能自己去进行数据分析，掌握这个数据。
前面我讲到一个模式，我们源头是一堆杂乱的数据，中间有一个工程师用来跑这个数据，然后右边是接各种业务同学提了需求，然后排队等待被处理，这种方式效率是非常低的。理想状态来说，我们现象大数据源本身整好，整全整细了，中间提供强大的分析工具，让每一个业务员都能直接进行操作，大家并发的去做一些业务上的数据需求，这个效率就要高非常多。
三、数据处理的流程
大数据分析这件事用一种非技术的角度来看的话，就可以分成金字塔，自底向上的是三个部分，第一个部分是数据采集，第二个部分是数据建模，第三个部分是数据分析，我们来分别看一下。
【数据采集】
首先来说一下数据采集，我在百度干了有七年是数据相关的事情。我最大的心得——数据这个事情如果想要更好，最重要的就是数据源，数据源这个整好了之后，后面的事情都很轻松。
用一个好的查询引擎、一个慢的查询引擎无非是时间上可能消耗不大一样，但是数据源如果是差的话，后面用再复杂的算法可能都解决不了这个问题，可能都是很难得到正确的结论。
我觉得好的数据处理流程有两个基本的原则，一个是全，一个是细。
● 全：就是说我们要拿多种数据源，不能说只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。另外，大数据里面讲的是全量，而不是抽样。不能说只抽了某些省的数据，然后就开始说全国是怎么样。可能有些省非常特殊，比如新疆、西藏这些地方它客户端跟内地可能有很大差异的。
● 细：其实就是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。比如：像where、who、how这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的这个维度，而不是说开始的时候也围着需求。根据这个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，又要采集新的数据，这个时候整个迭代周期就会慢很多，效率就会差很多，尽量从源头抓的数据去做好采集。
【数据建模】
有了数据之后，就要对数据进行加工，不能把原始的数据直接报告给上面的业务分析人员，它可能本身是杂乱的，没有经过很好的逻辑的。
这里就牵扯到数据建框，首先，提一个概念就是数据模型。许多人可能对数据模型这个词产生一种畏惧感，觉得模型这个东西是什么高深的东西，很复杂，但其实这个事情非常简单。
我春节期间在家干过一件事情，我自己家里面家谱在文革的时候被烧教了，后来家里的长辈说一定要把家谱这些东西给存档一下，因为我会电脑，就帮着用电脑去理了一下这些家族的数据这些关系，整个族谱这个信息。
我们现实是一个个的人，家谱里面的人，通过一个树型的结构，还有它们之间数据关系，就能把现实实体的东西用几个简单图给表示出来，这里就是一个数据模型。
数据模型就是对现实世界的一个抽象化的数据的表示。我们这些创业公司经常是这么一个情况，我们现在这种业务，一般前端做一个请求，然后对请求经过处理，再更新到数据库里面去，数据库里面建了一系列的数据表，数据表之间都是很多的依赖关系。
比如，就像我图片里面展示的这样，这些表一个业务项发展差不多一年以上它可能就牵扯到几十张甚至上百张数据表，然后把这个表直接提供给业务分析人员去使用，理解起来难度是非常大的。
这个数据模型是用于满足你正常的业务运转，为产品正常的运行而建的一个数据模型。但是，它并不是一个针对分析人员使用的模型。如果，非要把它用于数据分析那就带来了很多问题。比如：它理解起来非常麻烦。
另外，数据分析很依赖表之间的这种格子，比如：某一天我们为了提升性能，对某一表进行了拆分，或者加了字段、删了某个字短，这个调整都会影响到你分析的逻辑。
这里，最好要针对分析的需求对数据重新进行解码，它内容可能是一致的，但是我们的组织方式改变了一下。就拿用户行为这块数据来说，就可以对它进行一个抽象，然后重新把它作为一个判断表。
用户在产品上进行的一系列的操作，比如浏览一个商品，然后谁浏览的，什么时间浏览的，他用的什么操作系统，用的什么浏览器版本，还有他这个操作看了什么商品，这个商品的一些属性是什么，这个东西都给它进行了一个很好的抽象。这种抽样的很大的好处很容易理解，看过去一眼就知道这表是什么，对分析来说也更加方便。
在数据分析方，特别是针对用户行为分析方面，目前比较有效的一个模型就是多维数据模型，在线分析处理这个模型，它里面有这个关键的概念，一个是维度，一个是指标。
维度比如城市，然后北京、上海这些一个维度，维度西面一些属性，然后操作系统，还有ios、安卓这些就是一些维度，然后维度里面的属性。
通过维度交叉，就可以看一些指标问题，比如用户量、销售额，这些就是指标。比如，通过这个模型就可以看来自北京，使用IOS的，他们的整体销售额是怎么样的。
这里只是举了两个维度，可能还有很多个维度。总之，通过维度组合就可以看一些指标的数，大家可以回忆一下，大家常用的这些业务的数据分析需求是不是许多都能通过这种简单的模式给抽样出来。
四、数据分析方法
接下来看一下互联网产品采用的数据分析方法。
对于互联网产品常用的用户消费分析来说，有四种：
（1） 第一种是多维事件的分析，分析维度之间的组合、关系。
（2）第二种是漏斗分析，对于电商、订单相关的这种行为的产品来说非常重要，要看不同的渠道转化这些东西。
（3）第三种留存分析，用户来了之后我们希望他不断的来，不断的进行购买，这就是留存。
（4）第四种回访，回访是留存的一种特别的形式，可以看他一段时间内访问的频次，或者访问的时间段的情况
【方法1：多维事件分析法】
首先来看多维事件的分析，这块常见的运营、产品改进这种效果分析。其实，大部分情况都是能用多维事件分析，然后对它进行一个数据上的统计。
1. 【三个关键概念】
这里面其实就是由三个关键的概念，一个就是事件，一个是维度，一个是指标组成。
l 事件就是说任何一个互联网产品，都可以把它抽象成一系列事件，比如针对电商产品来说，可抽象到提交、订单、注册、收到商品一系列事件用户行为。
l 每一个事件里面都包括一系列属性。比如，他用操作系统版本是否连wifi；比如，订单相关的运费，订单总价这些东西，或者用户的一些职能属性，这些就是一系列维度。
l 基于这些维度看一些指标的情况。比如，对于提交订单来说，可能是他总提交订单的次数做成一个指标，提交订单的人数是一个指标，平均的人均次数这也是一个指标；订单的总和、总价这些也是一个指标，运费这也是一个指标，统计一个数后就能把它抽样成一个指标。
2. 【多维分析的价值】
来看一个例子，看看多维分析它的价值。
比如，对于订单支付这个事件来说，针对整个总的成交额这条曲线，按照时间的曲线会发现它一路在下跌。但下跌的时候，不能眼睁睁的看着它，一定要分析原因。
怎么分析这个原因呢？常用的方式就是对维度进行一个拆解，可以按照某些维度进行拆分，比如我们按照地域，或者按照渠道，或者按照其他一些方式去拆开，按照年龄段、按照性别去拆开，看这些数据到底是不是整体在下跌，还是说某一类数据在下跌。
这是一个假想的例子——按照支付方式进行拆开之后，支付方式有三种，有用支付宝、阿里PAY，或者用微信支付，或者用银行看内的支付这三种方式。
通过数据可以看到支付宝、银行支付基本上是一个沉稳的一个状态。但是，如果看微信支付，会发现从最开始最多，一路下跌到非常少，通过这个分析就知道微信这种支付方式，肯定存在某些问题。
比如：是不是升级了这个接口或者微信本身出了什么问题，导致了它量下降下去了？
【方法2：漏斗分析】
漏斗分析会看，因为数据，一个用户从做第一步操作到后面每一步操作，可能是一个杂的过程。
比如，一批用户先浏览了你的首页，浏览首页之后可能一部分人就直接跑了，还有一部分人可能去点击到一个商品里面去，点击到商品可能又有很多人跑了，接下来可能有一部分人就真的购买了，这其实就是一个漏斗。
通过这个漏斗，就能分析一步步的转化情况，然后每一步都有流失，可以分析不同的渠道其转化情况如何。比如，打广告的时候发现来自百度的用户漏斗转化效果好，就可能在广告投放上就在百度上多投一些。
【方法3：留存分析】
比如，搞一个地推活动，然后来了一批注册用户，接下来看它的关键行为上面操作的特征，比如当天它有操作，第二天有多少人会关键操作，第N天有多少操作，这就是看它留下来这个情况。
【方法4：回访分析】
回访就是看进行某个行为的一些中度特征，如对于购买黄金这个行为来说，在一周之内至少有一天购买黄金的人有多少人，至少有两天的有多少人，至少有7天的有多少人，或者说购买多少次数这么一个分布，就是回访回购这方面的分析。
上面说的四种分析结合起来去使用，对一个产品的数据支撑、数据驱动的这种深度就要比只是看一个宏观的访问量或者活跃用户数就要深入很多。
五、运营分析实践
下面结合个人在运营和分析方面的实践，给大家分享一下。
【案例1：UGC产品】
首先，来看UGC产品的数据分析的例子。可能会分析它的访问量是多少，新增用户数是多少，获得用户数多少，发帖量、减少量。
诸如贴吧、百度知道，还有知乎都属于这一类的产品。对于这样一个产品，会有很多数据指标，可以从某一个角度去观察这个产品的情况。那么，问题就来了——这么多的指标，到底要关注什么？不同的阶段应该关注什么指标？这里，就牵扯到一个本身指标的处理，还有关键指标的问题。
【案例2：流失用户召回】
这种形式可能对其他产品就很有效，但是对我们这个产品来说，因为我们这是一个相对来说目标比较明确并且比较小众一点的差别，所以这个投放的效果可能就没那么明显。
在今年元旦的时候，因为之前申请试用我们那个产品已经有很多人，但是这里面有一万人我们给他发了帐号他也并没有回来，我们过年给大家拜拜年，然后去汇报一下进展看能不能把他们捞过来一部分。
这是元旦的时候我们产品的整体用户情况，到了元旦为止，9月25号发布差不多两三个月时间，那个时候差不多有1490个人申请试用了我们这个产品。但是，真正试用的有724个，差不多有一半，另外一半就跑了，就流失了。
我们就想把这部分人抽出来给他们进行一个招回活动，这里面流失用户我们就可以把列表导出来，这是我们自己的产品就有这样的功能。有人可能疑惑我们怎么拿到用户的这些信息呢？
这些不至于添加，因为我们申请试用的时候就让他填一下姓名、联系方式，还有他的公司这些信息。对于填邮箱的我们就给发邮件的，对于发手机号的我们就给他发短信，我们分析这两种渠道带来的效果。
先说总体，总体我们发了716个人，这里面比前面少了一点，我把一些不靠谱的这些信息人工给它干掉了。接下来，看看真正有35个人去体验了这个产品，然后35个人里面有4个人申请接入数据。
因为我们在产品上面做了一个小的改进，在测试环境上面，对于那些测试环境本身是一些数据他玩一玩，玩了可能感兴趣之后就会试一下自己的真实数据。这个时候，我们上来有一个链接引导他们去申请接入自己的数据，走到这一步之后就更可能转化成我们的正式客户。
这两种方式转化效果我们其实也很关心，招回的效果怎么样，我们看下面用红框表示出来，邮件发了394封。最终有32个人真正过来试用了，电话手机号322封，跟邮件差不多，但只有3个过来，也就是说两种效果差了8倍。
这其实也提醒大家，短信这种方式可能许多人看短信的比较少。当然，另一方面跟我们自己产品特征有关系，我们这个产品是一个PC上用起来更方便的一个产品。许多人可能在手机上看到这个链接也不方便点开，点开之后输入帐号也麻烦一点。所以，导致这个效果比较差。
以上是关于大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？（转载）的主要内容，如果未能解决你的问题，请参考以下文章