解码阿里数据：对外数据产品也浮出水面

Posted 2020-08-21

解码阿里数据：对外数据产品也浮出水面

2014-05-21 

大数据时代，阿里巴巴[微博]集团是最有资本进行烂漫遥想的公司之一，阿里数据平台事业部的服务器上，攒下了超过100PB已“清洗”的数据。

　　马云[微博]曾在2012年公开宣称，“平台、数据、金融”是阿里集团和阿里小微集团未来的指导路线。在此前后，战略布局已经渐次展开：

　　2010年，推出重整的搜索业务“一淘”，2011年收购数据属性公司CNZZ，近期又接连收购友盟、入股新浪微博和高德，抢占数据源；在物流领域，阿里由天猫[微博]主导建设了与各大配送公司对接的“天网体系”，最近牵头成立智能骨干物流网络“菜鸟科技”，构建物流信息数据平台。

　　阿里数据十年铸剑，如今只是起手开了个局。

　　十年进化

　　从报表到分析工具、flash，阿里的数据产品越来越没“数据味”。

　　从2003年淘宝起步开始，阿里集团数据平台事业部负责人“七公”(本名汪海)就一直在与数据打交道，他的经历勾勒出了这家数据巨人的演变轨迹。

　　阿里系最早的数据工作自2003年起步，出于业务需求的驱动，起初非常粗糙，无非数据库、IT系统，随后开始统计分析行业的基础指标，比如PV、UV等，当时的淘宝数据部门只有数名员工。

　　在数据的童蒙时代，淘宝“依葫芦画瓢”，学习当时最大的对手——易趣，当时eBay[微博]、亚马逊[微博]都已成立成熟的BI部门。恰是与易趣的竞争，推动了阿里的数据应用。据淘宝内部人回忆，易趣曾强势通过排他协议垄断了门户广告资源，迫使阿里将广告投放转向中小网站联盟，由此催生了广告投放精准化分析需求，淘宝的数据团队开始积累流量数据的分析经验。

　　2004-2005年，淘宝逆转易趣，业务量激增，品类快速扩张，数据量随之跃升。淘宝开始意识到，不能再靠拍脑袋做经营决策了，需要实时观察掌握用户量和交易量的变化，进行精准分析。

　　2005年，淘宝成立商业智能部门，成为当时淘宝技术研发部门负责人姜鹏的直属部门。这一年，阿里拥有了第一款严格意义上的数据产品——“淘数据”，这是一份经营数据的报表，为各业务公司、部门提供经营报表的检索生成工具。同年，阿里切入搜索、广告业务——两项业务均带有天然的数据属性，成为阿里大数据运营的开端。七公说，由此阿里对数据和应用场景的理解越来越清晰，目的性更明确——搜索帮助消费者更快找到商品，广告则让商家获得更高的ROI(投资回报率)。

　　2009年，阿里数据开始进入产品化时代。“淘数据”从一个内部报表系统跃升为内部数据统称。2009年4月和12月，商业智能团队又分别开发出可预警的“KPI系统”、服务于业务部门的“数据门户”。

　　阿里的对外数据产品也浮出水面。脱胎于“雅虎统计”的工具“量子恒道”，为外部商户提供统计分析工具，用于跟踪自有店铺流量、点击、购买等数据的变化。

　　与数据产品的大裂变同步，2009年，阿里的数据技术架构，开始大变革。此前一年加入阿里出任首席架构师的王坚，一手主导了阿里架构从Oracle商用系统向Hadoop开源平台的迁移。相比IBM[微博]、Oracle等商用系统，Hadoop平台的优点是成本低廉，且架构可扩展性极强，全球互联网企业的大规模计算体系多使用该平台。

　　同年，王坚成立阿里集团研究院，将集团内各公司自行搭建的Hadoop集群统一，开发出“云梯1”系统，以实现全集团所有数据的打通、整合的管理和共享。

　　这一系列变革之后，阿里最高层提出了“数据开放”。2010年初，淘宝推出“数据魔方”，第一次向市场开放了全局市场数据，这款付费产品成为了大中型商户追捧的数据利器。产品研发发端于阿里数据平台团队对客户的走访。当时，宝洁公司提出，希望了解行业数据，以帮助其经营决策。数据团队的员工提出，与其case by case解决，不如直接产品化，阿里数据的价值出来了！

　　此后，阿里内部数据产品的开发进入井喷状态。淘宝数据部门开发出“活动直播间”，帮助买家更好地参与促销运营。2011年上半年，“卖家云图”、“页面点击”接连出现。

　　2011年，现任阿里数据委员会负责人的车品觉加盟支付宝[微博]，发现阿里数据产品线存在短板：高层一端数据过多，关联性不强，难以快速进行全局诊断；一线运营一端总抱怨数据不够，数据间壁垒重重，没有进行整合。

　　于是，车品觉研发了两款产品，一款名为“观星台”，是一个高度可视化的仪表盘，选择最关键的数据在几秒内展示全局运营状况；另一款叫“地动仪”，可以看到用户投诉最多的功能有哪些，甚至可以获取最原始的客服电话录音。随后，车品觉进入淘宝，又开发了两款产品“黄金(1290.70,-3.90,-0.30%)策”和 “无量神针”。七公领导的另一支数据团队也开发了一系列产品，如 “淘宝指数”，以及2012年“双11”期间推出的“淘宝时光机”。

　　一家互联网公司数据挖掘业务的负责人评论，从“数据门户”到“数据魔方”，再到“淘宝指数”、“淘宝时光机”，阿里的数据产品从报表到数据工具，再到可视化图片甚至一组flash，看上去越来越没有“数据味”，但是，其对消费场景和行为的洞察却越来越深了。

 

　　高速公路与跑车

　　数据时科学的，数据的取舍、分析维度的选择更像是艺术。

　　2012年，阿里集团一系列架构调整，重构了阿里数据“达芬奇密码盘”的排序。

　　阿里云拆分，独立运行；阿里系的数据库和大规模运算资源整合为“数据平台事业部”，由阿里集团CEO陆兆禧亲自掌管；同时成立虚拟组织“集团数据委员会”，车品觉出任首任会长。

　　王坚领导的阿里云是“密码盘”中的最底层架构，提供基础的运算平台。譬如，阿里自行研发的“云梯2”体系，即建立在阿里云“飞天”架构之上；在此之上，则是七公领导的数据平台事业部，运营阿里集团共享的数据库，各业务公司产生的数据经清洗之后就存储在该事业部的服务器上；再往上即车品觉带领的淘宝网[微博]商业智能部门，他们使用数据进行分析。同时，“数据委员会”的成员们分属阿里各业务公司，他们利用七公团队的工作成果进行再分析。

　　可以这样理解三层架构：阿里云是IasS(基础设施即服务)，阿里数据平台事业部是PaaS(平台即服务)，而车品觉的团队则是SaaS(软件即服务)。

　　阿里集团内的数据大多都经过这样的旅程——用户在淘宝上的一个收藏动作，首先在淘宝网的前端服务器上产生一条日志，日志随后被传送到七公团队的服务器上存储，期间经过清洗过程，最后被编入数据库，与其他数据一同被储存在分主题的数据集市。当数据委员会的分析师们进行数据挖掘时，就可能被采用。

　　目前，数据业务平台已整合了阿里集团的全部数据。此外，阿里小微集团中创新金融事业部(即阿里金融)的数据也与该平台直接相连。

　　IBM咨询经理陈琪说，大数据概念存在两层结构。一层是人们热议的、不乏科幻感的分析预测能力；另一层则是处理大规模、高并发、高关联性甚至是低价值密度数据的运算能力。

　　车品觉做的是前者，而七公维护的是后者。

　　车品觉评论说，七公团队在修建高速公路，而他的团队则在高速路上驾驶跑车，“建高速公路是一个漫长的工程，需要巨大的投入、耐心以及细致。”七公告诉《21CBR》，其服务器上保有的历史数据已超过100PB，且都已经过“清洗”。

　　“清洗”被两人反复提及，它保障数据的质量，直接关乎大数据运营的准确性。那么，如何清洗数据？首先得让数据“对得上、产生关联”。互联网行业发展迅速且难于规划，通常不断试错、快速迭代，不同部门、业务之间的数据往往难于打通，不少公司各业务甚至连用户cookie、日志格式都不同。阿里或许是幸运的，从2004年起，整个淘宝系的日志格式就已统一。

　　这仅仅是开始，数据处理的链条极长，任何一个环节出错都会影响后端。车品觉说，数据污染往往有两个原因——采集错误、数据口径不同。前者往往来自于部门协作脱节，如前端业务部门的开发人员改变了页面功能但未及时通知数据部门，那么，相关用户行为产生的数据定义就已失真；后者则更易理解，譬如有的电商公司统计“转化率”只统计用户点击购买，有的公司则进一步考虑点击后是否付费、是否退款。

　　数据委员会的工作就是要统一集团的统计口径和统计方法，制定关于质量和安全的范式，其成员来自各个业务公司，由车品觉主持规范工作。2013年，他将数据质量和数据安全视为最重要的课题，设置了对应的两个小组。“数据是科学的，清洗过程中的取舍、分析时维度的选择则要靠分析师的修为，这部分不那么科学，更像是艺术。”车品觉说。

　　其实，参与阿里大数据战略的团队还有很多，如“共享平台事业部”旗下的搜索团队，担负着为集团各部门“清洗”非结构化数据的任务；数据平台事业部下有一支20多人的数据产品部团队，运营着“数据魔方”、“淘宝指数”、“淘宝时光机”等向外开放的数据产品；各业务公司的分析师也都负责各自业务的数据清洗工作。

 

　　数据的觉醒

　　大数据概念不再是“忽悠”，正当“亮剑”时。

　　车品觉很推崇数据界前辈提出的一段“六字真言”：“对比、细分、溯源”。他认为还要加上一项“趋势”，这是由传统BI领域跃入“大数据时代”的关键一步。人们憧憬的大数据方法论，要求推测未来、洞悉全局、引导决策的能力。

　　不久前，车品觉曾在一次非正式交流中说，大数据概念目前看来仍是“忽悠”。接受《21CBR》采访时，他特意更正，“忽悠”是指现在的基础，大数据的前提拥有足够的数据、关联性，并具备相对应的运算能力和分析能力。最近几周，他一直在跟BI团队开会，提出要重新定义BI，“今天的BI以后未必好用，并不完全适合未来的数据世界。”

　　阿里集团整体正以数据作为行动新方向。

　　早在2011年，时任阿里集团首席人力官、支付宝CEO彭蕾(现任阿里小微集团CEO)就提醒车品觉，要尝试从“数据化运营”转向“运营数据”。

　　马云谋划的是，庞大数据平台作为信息流的精华部门，与物流、现金流结合，构建闭合且不断外扩的生态体系，除提供内部数据决策支撑之外，甚至可以形成数据的交易平台。阿里数据的分量已不容小视，淘宝系交易额已超过万亿元，其庞大生态中可以实时捕捉经济运行的脉动，阿里研究院每个月会接到好几波各级政府索要数据的要求。近期，不少政府官员前来向车品觉咨询大数据在公共行政管理的应用。

　　宏大愿景之下，阿里数据团队态势严峻。数据团队应该是CEO直属的战略级团队，如今，车品觉坦言，CEO、管理层的注视让他们感到压力日增。“马云知道数据要耐心养”，但是，高层已频频问及数据业务落地状况， “不能再只是讲故事了，我们到时候必须亮剑了”。

　　现在，车品觉的团队正加强挖掘内部数据的力度，为数据分析、预判提供更多可靠的参考维度。最近，团队的研究广度已从淘宝系延展到整个阿里系，并已开始考虑向阿里系外部提供数据工具。车品觉让数据产生商业价值的意愿空前强烈，他正积极搜寻机会，希望为合作伙伴提供足以指导决策的数据方案——2013年以前，数据产品提供的多是诊断辅助，现在开始引导决策。

　　这一计划已有成果出现。杨滔，车品觉团队中的一位数据科学家，他牵头为“聚划算”设计了一套数据工具，预测商品能否成为“爆款”。这款产品参考60多个变量，能输出商品是否爆款、最终销量、库存等数个关键预判数据，可直接作为商品能否参与活动的判断标准。据了解，该产品目前预测的准确度已达到80%以上。

　　杨滔正琢磨着参考更多维度的变量，将系统应用范围拓展到线上、线下的通用产品，以帮助综合零售企业整体预测实体店和在线渠道的销售和库存状况，直接作用于经营决策。杨滔还在开发一款产品，带有浓烈的“人机对话学习”色彩，通过研究淘宝购物推荐达人的行为，分析其规律，进而改进淘宝系统的推荐工具，提高个性化推荐的能力。

　　整个阿里系业务中，最为炫目的是阿里金融的小贷业务，这是大数据应用的典型案例，阿里金融数据团队设计的模型综合了信用记录、成交数额等结构化数据，以及用户评论等非结构化数据，加上外部搜集的用电量、银行信贷等数据，可就放贷与否、放贷额度精准决策，其贷款不良率仅为0.78%。

　　目前，阿里数据分析团队主要使用阿里内部的数据——仅仅这些他们还远没有完全挖掘，然而，车品觉认为，数据产品只有用更多维度进行综合关联比照，才能掌握更为真实的商业动向。阿里的数据支撑团队又一次提前开始“修路”——准备更多维度的外部数据。据透露，七公的团队已开始接入高德等关联公司的信息。

　　车品觉说，阿里目前已到了大数据的海边，是在国内互联网行业“做得最狠的”，“如果阿里做不出来，中国在大数据应用的进程可能会减速”。