大数据系列之-DT时代下的商业智能
Posted 方德信基金
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据系列之-DT时代下的商业智能相关的知识，希望对你有一定的参考价值。
撰稿：李思行 审核：周强
BI（Business Intelligence）即商业智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。BI又可以看作是数据和业务相结合的产物，即“BI=数据+业务”，所以数据和业务两者缺一不可，而让这两者进行运作的就是BI软件引擎，也就是借助计算机帮助我们更好更快地通过数据了解业务，通过业务发现价值数据，循环相生。尤其是在目前DT时代(Data Technology, 数据处理技术,由马云在演讲中提出,其原文“人类正从IT时代走向DT时代”)的背景下, 以数据驱动业务，再到以数据驱动增长，最终以数据驱动未来已然是必然趋势。
在数据架构中BI处于前端分析的位置，其核心作用是对获取数据的多维度分析、数据的切片、数据的上钻和下钻、Cube（数据立方体）等。通过ETL（Extraction-Transformation-Loading，中文名称为数据提取、转换和加载）数据抽取、转化形成一个完整的数据仓库、然后对数据仓库的数据进行抽取，而后是商业智能的前端分析和展示。而大数据更体现为一种信息资产，它是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力。简单而言，大数据更偏重于发现、预测并印证的过程。
图: 大数据分析软件SmartBI界面
起源
BI的起源可以追溯到20世纪60年代到80年代中叶流行的“决策支持系统”（Decision support systems，简称DSS）。这一系统通过应用计算机模型来辅助制定决策和编制规划。伴随着DSS的应用，到80年代晚期，数据仓库、高级管理信息系统,联机分析处理（Online analytical Processing，简称OLAP）和商业智能（Business Intelligence，BI）的概念开始逐步兴起。1989年Howard Dresner首次提出了“商业智能”的概念，并将其视为一类由数据仓库、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的，以“辅助企业制定决策”为目的的技术和应用。他的这一说法在20世纪90年代末期开始广泛地传播。
综合目前业界对商业智能的定义，笔者认为，商业智能是一种整合各类数据，应用大数据、云计算、ETL、OLAP、机器学习以及可视化等技术，为目标组织提供数字化的决策支持，发掘目标组织潜在增长空间的综合解决方案。以产业角度来看，商业智能是指与商业智能解决方案相关的产品和服务所组成的业态的总称，绝不仅仅等价于数据可视化工具。从概念上看，商业智能与大数据存在一定重叠，但彼此间并不能严格的划分“包含-被包含”关系。本质上，“大数据”更侧重于分析技术的多样化和高效，“商业智能”侧重于应用大数据技术来提供更完备的解决方案，其中既包含了数据收集、分析和展示等过程。从具体产品来看，很多大数据企业往往将商业智能解决方案作为自己的主营业务之一。所以，大数据兴起的同时也为商业智能技术带来了革新，采用老旧技术的老式商业智能厂商若想在DT时代获得新的发展机会必将紧跟潮流，以大数据新技术对自身产品进行更新。
图:BI-Pilot的架构图
与大数据的关系
除了在概念上与大数据有所区别外，从其他角度来分析商业智能也与大数据存在不少区别。在商业智能实施的关键点上，包括数据来源、技术、以及最终应用上均有所不同。
一、数据来源
首先来看数据来源，通常来说大数据的数据来源不仅包括内部数据同时也包括外部数据，这就导致收集的数据会包括音频、视频、图像在内的非结构化数据，或是半结构化数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。这类数据是不能直接使用的，需要通过大数据管理的方式以及相关的工具进行数据整合，然后用BI的方法进行分析挖掘处理。
而单看BI本身的话，其数据更多的是内部数据，传统的BI都是收集或抓取是来自企业自身数据库的结构化数据进行分析，而没有接入外部数据。如制造业企业自身的数据，包括厂房生产数据，财务数据，销售数据等。
从数据来源可以看出，在DT时代BI不是大数据也不属于大数据，但却依赖大数据的技术进行数据整合，而单看大数据本身的话其也没有分析挖掘的功能，可以看作是功能上的互补。对于终端用户来说，其实施BI的最终目的是为了可以更好的对数据进行分享和使用。
二、技术
从技术方面来看，传统BI的ETL、数据仓库、OLAP、可视化报表技术，都处于淘汰的边缘，因为解决不了海量数据（包括结构化与非结构化）的处理问题，BI的很多功能都可以被对应的大数据组件所替代。目前更多的做法是以大数据组件的形式对BI整体进行升级，从而打造“新型”BI，为目标用户解决传统BI所不能触及的问题。
而大数据的数据处理，涉及很多新的技术，不同的应用场景需要不同的大数据处理方法，需要有人专门进行研究和探索，可见大数据对于BI人员的技能要求有所提高。新型BI在具体落地实施时仍需要具备大数据相关知识的技术人员才能最终落地。
三、应用
在最终的应用层面上，BI涉及的应用科学包括：终端用户查询和报告工具、数据挖掘软件、数据仓库产品。主流的传统商业智能工具包括BO（Business Objects， SAP公司收购的产品）、COGNOS（IBM Cognos Analytics，IBM的BI产品）。一些新型的BI工具如Tableau、Qlikview在目前市场也被广泛应用。
而大数据的应用几乎涉及到社会生活的方方面面，如医疗行业、金融行业、体育行业、安全执法、城市改善等等。当然，大数据所涵盖的领域不止这些，未来还会有许多新的行业和领域利用大数据的应用进行规划和发展。
BI更倾向于决策，对事实描述更多是基于群体共性，帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题；大数据则内涵更广，倾向于刻画个体，更多的在于个性化的决策。
商业智能产业的历史演进
从发展阶段来看，商业智能产业的演进大致经历了三个阶段：传统阶段，大数据阶段和智能阶段。
传统阶段：企业数字化的基础，实现企业内部数据整合，为内部管理使用；
大数据阶段：可实现企业与市场数据整合，应用范围拓展到外部市场；
智能阶段：数据量进一步扩大，拓展到行业及环境数据，并借助人工智能相关技术进行分析应用。
前两个阶段间的转变，主要体现为所分析数据的多元化。大数据时代的商业智能系统，不仅涉及传统阶段的结构化数据，还拓展涵盖了半结构化数据、非结构化数据和流数据，从而提供了更全面的分析结果。后两个阶段间的转变则主要体现为在开发思路上对客户真实需求的回归。现代的商业智能更加强调敏捷分析，以及探索式分析和实时分析技术，它通过提供高度弹性的交互操作界面和自服务数据准备，由于更简单易于操作的界面使得普通人员也可以简单培训后使用，这就将分析和洞察的权利从传统的IT部门移交给一线的业务人员，减少了大量的沟通成本。
而从更细一步看，阶段的发展使得BI的数据来源、采集和分析都产生了变化，数据来源从企业内部数据发展到外部市场数据，最后把环境数据也纳入其中。采集方式从最原始的人工采集到运营商采集，SDK开放接口采集，到更领先的传感器、大环境数据采集。分析方法也随着阶段的推演进行升级，由原来的数据整理到结构化清洗，到数学模型及统计模型分析，再到机器学习，自动推理，甚至最终实现自然语言处理。
传统阶段 |
大数据阶段 |
智能阶段 |
|
数据源 |
企业内部数据 |
企业内部数据 外部市场数据 |
企业内部数据 外部市场数据 环境数据 |
采集方式 |
人工采集 |
人工采集 运营商采集 SDK采集 |
传感器 大环境数据获取技术 |
分析方法 |
数据整理（无分析） |
结构化清洗 数学模型和统计模型分析 |
机器学习 自动推理 自然语言处理 |
市场应用 |
根据CNNIC数据， 仅有40%企业拥有 信息化系统 |
发展中，普及程度低于传统阶段 |
起步阶段 |
商业智能的服务模式
从服务类型、服务特点以及服务价值来看，传统BI、大数据BI、智能BI分别在不同的时间点解决了不同的问题。
传统BI：仅抓取内部数据,更多的是针对单一企业内部各流程提供数字化管理服务，其价值主要是代替一部分繁琐的统计工作,提升有限的工作效率,可以看成是企业实现数字化的基础。其服务内容主要是企业内部的生产、运营、客户管理等，一般是通过信息管理系统进行实现。
大数据BI：同时抓取内部数据和外部数据,更多的是通过技术手段处理企业和市场数据，利用数据挖掘等方法从内外部进行数据处理、分析，并提供各种解决方案服务，最终为企业提供决策依据。其服务内容除了传统BI所拥有的功能外，增加了行业/企业/用户数据监测、咨询服务及平台式的数据库和应用服务等。这些功能主要通过大数据相关技术，如监测、大数据平台、解决方案、垂直应用来实现的。
智能BI：数据来源更广，通过整合企业、市场、环境数据，利用人工智能技术提供整合式系统服务,例如智能化决策系统或提供基于交叉或垂直行业的精细化服务。其特点包括数据更加立体，服务内容真正智能化；同时也可替代人工，为决策提供智能化辅助功能。其服务进一步细分和拓展，出现技术平台、并在交叉和垂直化领域提供专项服务，同时出现基于人工智能技术的虚拟服务及智能决策。
图：艾瑞咨询2016年中国商业智能市场研究报告
市场发展及趋势
传统、大数据、智能虽然是BI的计划阶段，但目前仍未达到后者完全取代前者的情况，传统BI厂商仍具有自己的市场空间。整个市场内，不同的企业处于不同的发展阶段，有些企业在创立之处就已将信息化作为发展投入的一部分，而有些企业发展到中后期仍未部署任何信息管理系统。所以从企业和市场的角度来考量，传统、大数据、智能三个阶段的数据服务在现在和未来都将保持并行发展的一个状态。
图：艾瑞咨询2016年中国商业智能市场研究报告
市场容量
根据艾瑞咨询的预测，结合商业智能三个阶段服务商的发展状况，预计2018年商业智能服务整体规模将达到 247亿元 。
国际及国内BI厂商情况
国外厂商：
根据2017年Gartner（Gartner为世界上第一家信息技术研究和分析的公司，其研究报告具有一定影响力）全球商业智能和分析平台评估报告，对于国外厂商的行业地位，通过下面的图表可以很容易解读。
此图表的X轴和Y轴分别为前瞻性（Completeness of Vision）和执行能力（Ability to Execute）。前者衡量该厂商提供产品底层技术基础的能力、市场领导能力、创新能力、外部投资等， 后者衡量产品的易用程度和价格、服务的完善程度和技术支持能力、管理团队的经验和能力等。
从图中可以看出，Tableau、PowerBI（Microsoft旗下产品）、Qlikview依旧处于领导地位。前瞻性上PowerBI较高，执行能力上Tableau较高。总体上是个三分天下的态势，以Tableau、PowerBI为首，Qlikview紧随其后。但遗憾的是，Gartner的统计图表里并没有中国厂商，无法对国内厂商做一个最直观的评价和对比，这也许是Gartner出于某些原因不待见中国的BI厂商，也有可能是Gartner认为中国的厂商并没有达到与行业大咖们抗衡的能力。
国内厂商：
根据2017年《中国大数据企业排行榜》V3.0报告中可知，从数据准备、数据交易、基础服务、行业应用、领域应用、人际交互、挖掘分析等10个大类对国内大数据企业进行了全方位的评估。以下是关于传统BI和敏捷BI的排名情况：
（敏捷BI排名截图）
传统BI和敏捷BI的区分，更多的是从技术上去衡量，在这里暂且可以把敏捷BI看成是传统BI的技术加强版本，敏捷BI可以通过更低的成本、更短的上线周期，快速让企业洞察到数据的含义和价值。从《排行榜》中可以看到，国内厂商中传统BI排名第一的是亿信华辰，在敏捷BI里第一名是北京永洪科技。
亿信华辰，在《排行榜》的传统BI领域排名第一。企业在商业智能领域深耕已有有十余年，有着相当丰富的经验以及各个行业的成功案例，其核心产品BI@Report出类拔萃，曾多次荣获国内较佳BI奖。多年来为超过3000个国家政府和企业提供过商业智能解决方案，并号称拥有100%的项目成功率。
永洪科技，也就是永洪BI的厂商，在《排行榜》的敏捷BI领域排名第一。近几年活跃于国内各大商业智能和大数据论坛、沙龙，加上其海归管理团队的噱头，吸引了不少资本方的注意，名气也越来越大。其也是国内较早的提出“敏捷”概念的厂商，对推动国内自助式BI的发展功不可没。2016年永洪科技获得由腾讯领投的2亿元C轮融资，在国内市场，永洪科技已经得到了广泛的认可：拥有了500多家合作伙伴，2000多家企业客户，数十万个付费用户，涵盖了新经济和产业经济的各行各业。
总结及看法
从BI的历史发展看，国外的BI发展早于国内近10年之久，所以目前中国厂商在全球排名中尚未获得一席之地也确实可以理解。 但如同中国近年来所展现的强劲发势趋势一样，中国BI发展也会经历一个突飞猛进，从量变最终转向质变的过程。 首先是功能方面，国产厂商在功能上与国外厂商差距已经越来越小，在目前这个技术越来越趋向于同质化的时代功能优势已经日趋减弱，反而给了国产厂商弯道超车的机遇。而且，在本土化的战场上，国内厂商具备更多优势，优秀的国产BI都是以国内企业的实际情况作为模型进行正向开发，而非简单的山寨国际大厂的产品，其在定制化，整合化的需求上更贴合国内企业的真实情况，而对于国际大厂，其产品虽然已形成产品化，但BI的最终落地仍需百分百的贴合企业的实际情况，在产品定制化及最终实施上国际大厂甚至需花费更多的时间来进行匹配。
如果仅就国内BI厂商来看的话，在客户积累和行业经验上，以永洪科技为代表的新兴BI、创新型BI厂商离行业龙头亿信华辰的差距还较大，需要资本的扶持，同事也需要市场的洗礼。但是从目前市场大环境来看，除了国家政策较为利好之外，市场的客户本身也在逐渐“进化”，越来越多的企业重视数据化管理，尤其是大型企业，已经把数据信息化管理列入必选列表。由此可见，BI作为大数据的商业智能决策分析工具，目前已经逐步被越来越多的企业所接受。而对于国内能否诞生Tableau、PowerBI这类的国际巨头BI厂商，笔者认为绣球已经抛出，国内良好的市场环境，利好的政策以及巨大的市场容量都是培育国产巨头的肥沃土壤，在不久的将来，“中国智造”必将走遍全球。
以上是关于大数据系列之-DT时代下的商业智能的主要内容，如果未能解决你的问题，请参考以下文章
上财MBA百年校庆特色Workshop系列二商业智能（Power BI）技术 ——大数据时代企业管理的必备工具
大数据时代：基于微软案例数据库数据挖掘知识点总结（Microsoft 线性回归分析算法）