大数据329：商业智能BI三层结构：数据报表数据分析数据挖掘

Posted 2021-04-20 数据分析与数据可视化

       经过几年的积累，大部分中大型的企事业单位已经建立了比较完善的CRM、ERP、OA等基础信息化系统。这些系统的统一特点都是:通过业务人员或者用户的操作，最终对数据库进行增加、修改、删除等操作。上述系统可统一称为OLTP(Online Transaction Process，在线事务处理)，指的就是系统运行了一段时间以后，必然帮助企事业单位收集大量的历史数据。但是，在数据库中分散、独立存在的大量数据对于业务人员来说，只是一些无法看懂的天书。业务人员所需要的是信息，是他们能够看懂、理解并从中受益的抽象信息。此时，如何把数据转化为信息，使得业务人员(包括管理者)能够充分掌握、利用这些信息，并且辅助决策，就是商业智能主要解决的问题。

       如何把数据库中存在的数据转变为业务人员需要的信息？大部分的答案是报表系统。简单说，报表系统已经可以称作是BI了，它是BI的低端实现。 现在国外的企业，大部分已经进入了中端BI，叫做数据分析。有一些企业已经开始进入高端BI，叫做数据挖掘。而我国的企业，目前大部分还停留在报表阶段。

数据报表不可取代

传统的报表系统技术上已经相当成熟，大家熟悉的Excel、水晶报表、Reporting Service等都已经被广泛使用。但是，随着数据的增多，需求的提高，传统报表系统面临的挑战也越来越多。

1. 数据太多，信息太少

密密麻麻的表格堆砌了大量数据，到底有多少业务人员仔细看每一个数据？到底这些数据代表了什么信息、什么趋势？级别越高的领导，越需要简明的信息。如果我是董事长，我可能只需要一句话：目前我们的情况是好、中还是差？

2. 难以交互分析、了解各种组合

定制好的报表过于死板。例如，我们可以在一张表中列出不同地区、不同产品的销量，另一张表中列出不同地区、不同年龄段顾客的销量。但是，这两张表无法回答诸如“华北地区中青年顾客购买数码相机类型产品的情况”等问题。业务问题经常需要多个角度的交互分析。

3. 难以挖掘出潜在的规则

报表系统列出的往往是表面上的数据信息，但是海量数据深处潜在含有哪些规则呢？什么客户对我们价值最大，产品之间相互关联的程度如何？越是深层的规则，对于决策支持的价值越大，但是，也越难挖掘出来。

4. 难以追溯历史，数据形成孤岛

业务系统很多，数据存在于不同地方。太旧的数据（例如一年前的数据）往往被业务系统备份出去，导致宏观分析、长期历史分析难度很大。 因此，随着时代的发展，传统报表系统已经不能满足日益增长的业务需求了，企业期待着新的技术。

数据分析和数据挖掘的时代正在来临。值得注意的是，数据分析和数据挖掘系统的目的是带给我们更多的决策支持价值，并不是取代数据报表。报表系统依然有其不可取代的优势，并且将会长期与数据分析、挖掘系统一起并存下去。

数据挖掘看穿你的需求

广义上说，任何从数据库中挖掘信息的过程都叫做数据挖掘。从这点看来，数据挖掘就是BI。但从技术术语上说，数据挖掘（Data Mining）特指的是：源数据经过清洗和转换等成为适合于挖掘的数据集。数据挖掘在这种具有固定形式的数据集上完成知识的提炼，最后以合适的知识模式用于进一步分析决策工作。从这种狭义的观点上，我们可以定义：数据挖掘是从特定形式的数据集中提炼知识的过程

。数据挖掘往往针对特定的数据、特定的问题，选择一种或者多种挖掘算法，找到数据下面隐藏的规律，这些规律往往被用来预测、支持决策。

关联销售案例：

美国的超市有这样的系统：当你采购了一车商品结账时，售货员小姐扫描完了你的产品后，计算机上会显示出一些信息，然后售货员会友好地问你：我们有一种一次性纸杯正在促销，位于F6货架上，您要购买吗？

这句话决不是一般的促销。因为计算机系统早就算好了，如果你的购物车中有餐巾纸、大瓶可乐和沙拉，则86%的可能性你要买一次性纸杯。结果是，你说，啊，谢谢你，我刚才一直没找到纸杯。 这不是什么神奇的科学算命，而是利用数据挖掘中的关联规则算法实现的系统。

每天，新的销售数据会进入挖掘模型，与过去N天的历史数据一起，被挖掘模型处理，得到当前最有价值的关联规则。同样的算法，分析网上书店的销售业绩，计算机可以发现产品之间的关联以及关联的强弱。

数据报表、数据分析、数据挖掘是BI的三个层面。我们相信未来几年的趋势是：越来越多的企业在数据报表的基础上，会进入数据分析与数据挖掘的领域。商业智能所带来的决策支持功能，会给我们带来越来越明显的效益。

来源：数据分析网  感谢原作无私分享。