数据产品经理10大基础技能读懂数据仓库

Posted 2021-04-24 AI逆潮增长

一般产品经理需要懂到数据库，但数据产品经理不仅要懂得数据库还要懂到数据仓库！

本篇讲解产品经理为什么要懂数据仓库？数据产品经理如何构建数据仓库？构建数据仓库以后如何利用数据仓库赋能产品业务？最后讲解数据仓库产品的未来是什么样子？

一、为什么要懂数据仓库？

产品经理都知道做出能用的小程序几千几万块都可以做出来，做个能用的APP几万几十万也可以做出来，但是一个能用的数据仓库产品或者有点商务智能的数据仓库产品则至少要花费千万级。

动则花费数千万的数据仓库产品，它有什么作用呢？

最简单的数据仓库是用于存储和报告数据的系统。数据通常源自多个系统，然后将其移入数据仓库以进行长期存储和分析。该存储的结构使得组织内的许多部门或部门的用户可以根据他们的需要访问和分析数据。

数据仓库产品功能结构图如下：

从上图可见，数据仓库包含来自许多操作源的数据有APP应用的数据，也有Oracle的数据。经过数仓以后的结构它可用于分析数据，例如制作用户画像标签，推荐系统等。数据仓库不仅是分析工具，同时支持跨多个部门的用户的决策和报告。也是档案，包含未在操作系统中维护的历史数据。

小结：产品经理为啥要懂数据仓库呢？

其一,因为需要我们产品经历设计的用户画像产品，推荐系统产品，自助报表产品，及其他可视化产品可以通过数据仓库产品和模型更方便的读取。

其二，随着数据量从GB到TB再到PB甚至到EB、ZB的增大，如果不构建稳定干净能够快速可以利用的数据仓库，对任何企业来说都是资产的损失。

其三，也许以后所以的产品经理都会成为数据产品经理，而对数据产品经理来说其核心技能是主导设计更加优秀的数据仓库产品。

二、数据产品经理构建数据仓库产品的步骤是什么？

笔者LineLian总结从0到1构建数据仓库模型产品为以下3步。

第一步：定位数仓需求

本处笔者以构建买菜类产品的数据仓库为例概述以点带面分析数据仓库的产品业务需求。随着永辉买菜、叮咚买菜、盒马先生、多点生鲜、美团/饿了么买菜等对生鲜电商的冲击，想突出买菜生鲜类产品的竞争生存线，谁能拥有用户的数据，更懂用户的数据，更快速的为用户送达所需要的鲜菜品，谁家的产品就能占领用户心智。

故此决定构建以用户购买订单为核心主题的数据仓库先行建立起来，日后再逐步丰富数据仓库的主题库。

对先构建的订单主题数据仓库需求的各个功能拆解如下图：

对于卖菜生鲜类数仓需求来说，需要支持提供用户商品的需求的提早预判，及关联商品的实时推荐，配送人员的实时调度，物流的实时配送，支持用户的洞察用户画像，以及报表展示和各种决策支持。为便于理解，先从上图以订单为主题的数据仓库构建开始数仓需求分析。

小结：生鲜买菜类产品的数据仓库用户订单需求分析如下：

用户购买生鲜蔬菜而的通常日期是什么？

用户买菜的时间段是什么？

什么样类别的菜品销售最好？

哪类菜品的销量，销售额大？

什么样的用户倾向购买什么样的菜品？

菜品的购买与客户的地理位置有什么关系？

什么供应商的菜品用户更喜欢？

对于供应商，销售靠前的10种生鲜菜品是什么？

交易用，菜品订单的状态是什么样的？

第二步：多维数仓建模

我们都知道，一条用户访问的信息，可以看做一条日志数据，这条数据包含用户的访问路线，比如是从网址来，还是从第三方渠道跳转过来。还可以看出下单后选择的支付方式是银行卡还是支付宝微信等。

那么为了及时的向用户推荐商品实现订单销量的增加，我们采用什么样的模型呢？笔者经常用户的构建数仓产品的模型是多维建模的方式。

从上一步的用户订单需求分析，再此建立用户的订单多层次维度模型如下图所示：

小结：构建数仓多维模型时，鉴于数仓是个复杂的产品，里面需要涉及多个事实表和共享维表，同时维表中的某个属性指向另外的维度。因此采用星型模型或者雪花模型来显示一个事实表与多张维表的清晰对应关系。

第三步：数仓数据预处理模型

这一步是仓库中集成了几乎企业所有的可以获取到的数据以用于数据分析和决策支持。这些进入到数据仓库中的数据一般有三种，结构化数据、半结构数据和非结构化数据，它们经过转化后以某种形式统一的存储在数据仓库中，即需要ETL。

那么对于半结构化数据和非结构化数据，我们需要再数仓构建过程中准备好适合的算法模型来处理存入数仓之前的数据。

例如构建识别URL的算法模型：

首先：数据预处理，从原始日志中提取数据信息存储到日志表中，计算当天页面停留的时间，设算法如下：先计算访问页面的顺序，访问的时刻，最终结算出页面的停留时间基数值。

其次：要计算每个页面的停留时间，根据不同的URL类型计算影响因子，设计一套算法模型。最终算出接近现实的页面会话内容。

小结：在构建数据仓库的概略3步中，产品经理核心是输出需求分析内容，和构建以需求业务为主题的具体分析及对应的维度。

三、如何利用数仓赋能产品业务?

数仓几乎用于企业的所有数据，譬如销售数据、用户数据、页面浏览数据等，想以数仓来驱动业务发展，从而实现增长，才仅仅是搭建了第一步，剩下的是如何利用这些数据。

利用数据，就要引入数据分析的概念，数据分析就是对数仓积累多年的海量数据，进行挖掘分析，找出数据之间隐藏的关系以及逻辑，并以分析结论制定相应合理的决策，从而促进产品业务的增长。

那要怎样进行数据分析？如果要进行数据分析。

数据分析的工作一般流程有六个，分别是业务需求理解，数据对应业务理解，数据准备，建模，评估，部署。这就是数据分析工作的流程。当然，数据分析对数据质量的要求非常高，而且对数据的理解也必须深刻。所以说，要想理解数据就需要很长时间。而数据仓库的优点就是能够高效、快速地进行数据理解和处理，所以说利用数据仓库进行数据分析无疑能够给我们产品经理的工作带来很大便利。

利用数仓做数据分析的产品步骤是如下：

第一数据分析要求理解数据背后对应的每条业务主题，数据仓库本身是面向主题的，例如上文中我们以用户订单为主题构建数据仓库。所以其自身与业务结合就相对紧密和完善，更方便数据产品经理基于数据理解业务。需要做的就是拿到业务或者运营需求，理解数据仓库的模型，进而就理解了数据对应的业务。

第二数据分析要求有较高的数据质量，很难想象没有准确的源数据质量的话，例如，用户的手机号是错的，那么再好的推荐模型也将无法发挥作用，数据仓库的数据是经过ETL层层从不同的数据库里进行清洗转换过的稳定的数据，以及对脏数据的清洗，这就为数据分析的数据质量做了较好的保障。

第三高效的跨系统数据查询，数仓的数据经过ETL过程后流入数据仓库，当不同系统数据整合到数据仓库之后，能够解决两个问题，第一就是跨系统数据收集问题，第二就就是跨系统关联问题。

第四构建数据仓库产品的功能时，也已经搭建了数据分析的算法和模型，例如上文中的对非结构数据的算法模型。

四、数据仓库产品的未来是什么样子？

再美好的事物不学习，不迭代也会落伍，而数据仓库相反，数据仓库一直在发展之中，其前世今生历程如下图：

故此笔者LineLian根据多年产品经理和处理数据分析的实践经历发现，未来的数据仓库基础上一定能够长出数据平台和智能数据中台，具体数据平台怎么搭建和智能数据中台怎么搭建，下次再撰写。

总结：本篇通过讲解最贵的产品之一数据仓库的重要性，然后分析拆解数据仓库的搭建流程，最后讲解如何利用数据仓库。期待与你交流。