专题丨企业级大数据应用顶层架构设计探索

Posted 2021-04-10 信息通信技术与政策

作者简介

陶 磊：中国电信股份有限公司北京研究院工程师，主要从事大数据、管理会计等方面的研究工作。

刘秀新：中国电信股份有限公司北京研究院运营与价值管理研究所副所长，高级经济师，博士，主要从事价值管理、数据建模等方面的研究工作。

论文引用格式：

陶磊，刘秀新. 企业级大数据应用顶层架构设计探索[J]. 信息通信技术与政策, 2020(4):31-35.

企业级大数据应用顶层架构设计探索

陶磊　刘秀新

（中国电信股份有限公司北京研究院，北京 102209）

摘要：随着大数据时代的来临，善于利用这些庞大的数据信息，将为企业带来巨大的经济效益和发展空间，因此很多企业都投入大量精力在大数据的应用建设中。探索建立一个企业级大数据应用框架，帮助企业按照一个清晰的目标和路径进行大数据应用建设，进而从自身的数据中获得更高层次的敏捷性、洞察力及价值。

关键词：大数据；应用；顶层架构

1　引言

大数据时代正在改变所有企业。与过去相比，企业面临更多的数据、更为迅速的行业更迭。企业需要借助数据的力量把握瞬息万变的市场变化，以数据为核心要素驱动商业模式和产品服务的创新，敏捷地响应市场的需求。全球知名软件及咨询公司ThoughtWorks总结了企业对数据利用的3个发展阶段[1] ：响应运营，被动式满足当前运营需求，实现数据初级分析利用；响应业务，把数据变成一种基础服务，业务可以选择性的使用基础服务；创造业务，把数据变成个性化服务，可以组合产生新的业务场景。

目前，大部分企业现有的大数据应用可实现响应运营，或初步达到“数据即服务”的响应业务模式，需向数据创造业务阶段迈进。这也对企业的大数据应用提出了新的要求，即全面（数据应用体系覆盖全域业务的运营全过程与管理重点）、快速（通过大数据技术和能力，快速构建相关应用）、准确（业务场景化导向，应用成果精准、有效）。

现有企业大数据应用存在“烟囱式”开发、大数据应用整体架构不明晰等问题，很难实现全面、快速、准确的大数据应用，阻碍企业迈进数据创造业务阶段。本文探索搭建一个企业级大数据应用顶层框架，在解决这些问题的基础上，帮助企业按照一定的原则，制定符合自身企业特征与发展的大数据应用架构，借助数据力量实现数据驱动转型，从而在各个层面做出高效且正确的决策与行动。

2　企业级大数据应用建设面临的问题

2.1　烟囱式开发不利于企业发展

当今很多企业的大数据应用在建设中存在“烟囱式”开发模式，即企业不同业务部门提出业务需求，信息中心部门进行独立开发，在某种程度上每个新应用的上线都预示着一座新的烟囱的建立，导致企业内部烟囱林立。其实，对于“烟囱式”开发带来的弊端，在十几年前就已有人提出，此种建设方式对企业主要有三大弊端[2]：一是重复功能建设和维护带来重复投资，大量大数据应用和数据分析能力在重复建设和维护，给企业带来成本和资源的浪费；二是打通“烟囱式”系统交互的集成和协作成本高昂，随着企业业务的发展，要打通这些“烟囱式”系统间的连接成本十分高昂，涉及大量的协作和开发成本；三是不利于业务的沉淀和持续发展，这个弊端对企业的伤害最大，采用“烟囱式”方式建设的大数据应用无法满足业务的快速响应，更难以实现业务的创新，无法实现随着企业业务的发展与时俱进地提供快速高效的数据价值挖掘。

2.2　缺少清晰的企业大数据应用建设目标和路径

很多企业在大数据应用建设过程中，存在缺少统一的路线图、长远的规划等问题，导致大数据应用从需求分析、工作展开到应用成果都十分分散，没有统一的统筹管理，重复建设或无法及时支撑业务需求。

3　企业级大数据应用建设方向及优秀实践

国内外专家对于数据驱动的未来进行了很多探索，提出了感知型企业、智慧企业等数据驱动型企业建设蓝图，这些未来企业的特征和要求为构建企业级大数据应用顶层架构指明了方向。例如，华为、阿里巴巴等标杆企业的优秀实践，也提供了宝贵的实践经验。

3.1　企业级大数据应用建设方向

3.1.1　感知型企业

Teradata公司首席运营官在2017年提出了感知型企业的感念[3]。感知型企业，是指企业像人一样具有对环境的自我感知力，还能进行自动化分析，并自主形成商业决策能力。感知型企业包括五大基础特质。

（1）主动性：感知下一个机会的信号或预警下一次危机的小趋势。

（2）无障碍：企业作为单一的组织存在，不会受到数据孤岛的阻碍或影响。

（3）自动化：聆听数据，并进行实时决策，无须太多人工干预。

（4）可扩展性：适合任何规模的企业，帮助它们利用任意数据做出业务决策。

（5）可演进性：通过原生的、自然的智能实现决策的演进。

感知型企业的演进分为5个阶段，即敏捷数据平台、行为数据平台、协同思维平台、分析应用平台和自主决策平台5个平台的建设。

3.1.2　智慧企业

中国企业联合会联合知名企业、高等院校和服务机构编写了《智慧企业指引(2018)》[4]。智慧企业是新一代人工智能技术深度融入企业而形成的新型企业范式，为企业充分利用大数据资源，挖掘内部应用能力提出新要求，为企业数据应用能力顶层规划提供指导。

（1）数据赋能：智慧企业的本质特征。数据在自动化设备、信息化系统与人之间自由有序流动，并通过数据—知识—智慧实现数据资源为企业赋能。

（2）人机协同：智慧企业的主要运行特征。人将与各类智能机器系统在认知学习、分析决策、知识交流、自主执行等方面实现深度交互迭代，共同提升企业整体智慧能力。

（3）最优配置：智慧企业运行的主要目标。通过数字化、智能化技术的广泛应用，企业将全面、准确地掌握内外部的大数据信息，并通过智慧化的分析、决策、执行体系，对企业资源配置进行持续动态调优。

（4）自主演进：智慧企业追求的最高目标。通过大数据驱动的持续学习、纠错和演进迭代，实现企业智慧能力的持续提升，从而帮助企业能够随着内外环境的变化和目标调整而自主寻优，动态调整业务、组织和资源配置，实现企业持续成长。

3.2　标杆企业实践

3.2.1　华为

华为公司强调用大平台炮火支撑前线指战员，要求内部IT做到能力模块化和微服务化，使能公司实现数字化转型和大平台下的精兵作战，在研发、销服、供应等业务领域率先实现ROADS体验（实时、按需服务、在线、自助、社交化连接）。

3.2.2　阿里巴巴

阿里巴巴将集团20多个核心业务中公共的、通用的业务以服务的形式沉淀到共享业务事业部，整个集团的核心业务能力均建立在这样一套共享服务体系之上（见图1）。共享服务体系从会员、商品、交易、支付四大中心开始建设，支撑1688、淘宝、聚划算、闲鱼及全集团超过2000个应用。

图1　阿里巴巴共享业务事业部的价值定位

从华为和阿里巴巴的案例中可以看出，国内标杆企业已经意识到“烟囱式”开发不利于企业发展，并进行了能力模块化、共享业务事业部等多种成功尝试，为进行企业级大数据应用顶层架构设计提供了宝贵的实践经验。

4　企业级大数据应用顶层架构设计原则及方案

　　未来的企业级大数据应用应更加贴近业务、贴近使用者，真正成为企业培育业务创新的土壤，为企业全面发挥大数据威力做好能力及人才储备。因此，大数据应用顶层架构应具备应用可快速灵活迭代，能力可沉淀、复用的特征。

一是借鉴SOA理论，沉淀能力层，支撑上层应用。SOA，即面向服务的架构，是一种粗粒度、松耦合服务架构，也是目前业界被验证的真正赋予企业业务快速响应和创新的科学架构。SOA理念最核心的价值是，松耦合的服务带来业务的复用，通过服务的编排助力业务的快速响应和创新。SOA具有标准化、松耦合、模块化、可自由组合的特征。为解决目前存在的“烟囱式”开发等问题，参考华为、阿里巴巴等企业的做法，借鉴SOA理念，在大数据应用顶层架构设计时，沉淀具有松耦合、模块化特点的能力层，提供可复用的多种能力，最终高效支撑上层应用。

二是应用层应更贴近业务，贴近应用使用用户，赋予业务人员智能化的分析工具。大数据应用平台应通过在不同复杂度的多个层次上呈现数据信息，并提供给不同的使用角色，实现不同类型的用户叠加到同一份数据上，让不同的用户在所熟悉的场景下使用数据，为不同类型的用户提供个性化的数据服务，更好地发挥数据价值。因此，可按照数据信息的复杂度，将大数据应用分为不同级别，提供给不同需求与能力的用户。

综上，本文提出了企业级大数据应用顶层设计的三大原则及设计方案。

4.1　企业级大数据应用顶层设计原则

4.1.1　“薄”应用层+“厚”能力层

（1）“薄”应用层：贴近大数据平台使用者、贴近业务、贴近部门、灵活多变，提供个性化的、高时效性、高可用性的大数据应用。

（2）“厚”能力层：更注重资源整合、能力沉淀，采用模块化、松耦合的方式，为前台提供数据、能力的支持。

4.1.2　个性化的数据服务

为不同的业务需求、不同类型的用户提供个性化服务，让不同的用户在各自熟悉的场景下使用数据（见图2）。

图2　个性化的数据服务

（1）应用平台：覆盖某项生产经营活动全流程的大数据智慧决策平台，可实现全流程的数据监控分析、预测决策及实施反馈，支持普通用户更便捷地进行数据探索试验和自助决策服务。

（2）应用单元：规范化的可视化视图，展现大数据分析应用结果。

（3）应用宽表：大数据分析应用数据宽表，支持用户进行个性化、自定义的深入分析。

（4）能力层：支持数据科学家从原始的、原子化的数据着手进行复杂深入的分析挖掘。

4.1.3　3个维度逐步建设

从能力维、业务维、颗粒度3 个角度逐步完善健全大数据应用体系，帮助企业明晰大数据应用建设的目标与路径（见图3）。

图3　3 个维度逐步建设

（1）能力维：衡量企业智能化水平的维度，包括全面感知、分析预判、科学决策与自我演进4个渐次递升的阶段。

（2）业务维：覆盖企业价值链的若干个业务维度，覆盖企业创造价值的全部活动。

（3）颗粒度：不同业务维度的细分程度，例如运营商企业客户可以分为政企客户、公众客户，还可按行业细分政企客户，颗粒度越细，分析越精准。

4.2　大数据应用顶层架构设计方案

企业级大数据应用顶层架构设计方案，可为所有计划在大数据浪潮中借助数据分析能力进行数字化转型的企业提供参考。大数据应用顶层架构设计方案采用能力层+应用层双层结构,通过沉淀“3个中心”打造“四大能力”，提供“3个层级多个维度”的应用服务。

4.2.1　应用层设计：提供3个层级多个维度的应用服务

大数据应用顶层架构的应用层按照“贴近业务、贴近用户”的原则，设计了3个层级多个维度，实现个性化、高时效性、高可用性的大数据应用。

（1）借鉴波特价值链理论，以企业价值链为脉络，搭建多维度的应用层服务体系

波特价值链理论把企业内外价值增加的活动分为基本活动和支持性活动，所有这些活动都可以用一个价值链来表明；企业与企业的竞争，是整个价值链的竞争，整个价值链的综合竞争力决定企业的竞争力。

在进行企业大数据应用层维度设计的时候，可参考波特价值链理论，解析企业价值链架构，将应用层分为不同维度，将所有资源、活动、服务与战略目标紧密结合，搭建一个简明清晰、贴近业务的大数据应用层架构（注：不同企业的价值链差距较大，应用层维度仅为示意，企业应根据自身情况设计一个完整、清晰、贴近业务的维度)。

（2）应用宽表、应用单元、应用平台3个层级为不同类型用户提供熟悉场景的数据服务

应用宽表、应用单元、应用平台3个层级是逐步递进支撑的关系，应用单元运用应用宽表中的数据进行某一具体需求下的数据分析及结果展现，应用平台集成某项生产经营活动全流程上的应用单元。这3个层级共同组成了支撑不同类型、不同场景的企业大数据应用。以运营商为例，网络数据为应用宽表层、网络投资需求评估、网络现状分析等构成了应用单元层，这些网络投资建设相关的应用单元共同组成了网络投资建设平台。

4.2.2　能力层设计：沉淀“3个中心”与打造“四大能力”

大数据应用顶层架构的能力层按照注重资源整合、能力沉淀的原则，沉淀“3个中心”，打造“四大能力”，高效支撑上层应用。

（1）建设3个能力中心

• 算法沉淀中心：积累大量先进的人工智能、大数据等算法，形成大数据应用底层能力。

• 全域能力中心：企业大数据分析必备的模型库、标签库、指标库、可视化工具库等能力集成中心。

• 能力萃取中心：在全域能力中心的基础上，按照四大能力分类，萃取不同能力，实现四大能力的积累和沉淀。

（2）萃取四大能力

四大能力指的是全面感知、分析预判、科学决策与自我演进4个渐次递升的能力，只有夯实了全面感知这一基础能力，才能通过能力逐步提升，实现分析预判、科学决策甚至自我演进。

• 全面感知能力：大数据分析平台的基础，全面、准确、快速、高效地获取数据，实现全面感知。感知既包括企业内部运行情况，也包括外部市场竞争、宏观经济等外部数据。

• 分析预判能力：在全面感知的基础上，实现对企业生产经营管理全过程的实时分析预判。

• 科学决策能力：通过人机交互的企业大数据系统做出科学决策，并通过自动执行系统完成决策指令的精准执行。

• 自我演进能力：智慧能力的最高等级，也是数据驱动型企业建设的最终目标，标志着企业作为一个复杂组织体能够根据内外环境变化自调整、自优化、自适应和自成长。

5　结束语

企业级大数据应用体系建设是一个综合性课题，目前国内没有统一的框架标准，所做的尝试也相对比较分散，缺乏体系化。本文在已有成果及经验基础上，探索建立一个企业级大数据应用框架，帮助企业制定符合自身企业特征与发展的大数据应用架构。由于大数据应用建设涉及的部门多、业务流程复杂、系统改造工作量很大，很难实现一步到位，建议在制定符合企业实际情况的大数据应用框架基础上，分步推进、分类实施、专项建设，最终建立一个完善的大数据应用体系，激活数据资产动能、实现大数据价值。

参考文献

[1] Sai ,Mandapaty . 转型与平台战略[M]. 张力文, 译. 浙江:浙江出版集团数字传媒有限公司, 2018: 28-39.

[2] 钟华. 企业IT架构转型之道-阿里巴巴中台战略思想与架构实战[M]. 北京:机械工业出版社, 2017: 8-18.

[3] Oliver Ratzesberger, Mohanbir Sawhney . 感知型企业[M]. 蔡强, 余勇, 译 . 北京:人民邮电出版社, 2018:1-10.

[4] 中国企业联合会. 智慧企业指引[R]. 成都:中国企业联合会智慧企业推进委员会, 2018.

[5] ThoughtWorks. ThoughtWorks数字平台战略[M]. 苏野, 译 . 浙江:浙江出版集团数字传媒有限公司, 2017:1-10.

Exploration on the top-level architecture design of enterprise-class big data application

TAO Lei, LIU Xiuxin

(China Telecom Beijing Research Institute, Beijing 102209, China)

Abstract: With the advent of the era of big data, highly-efficient use of data technology might lead to considerable economic benefits and development opportunities. Therefore, many enterprises have devoted a large amount of efforts into the construction of big data applications system. This paper explores the establishment of an enterprise-level big data application framework so that enterprise could build big data architecture with a clear goal and path, furthermore, a higher level of agility, insight and value from their own data will be obtained as a result.

Key words: big data; application; top-level architecture

本文刊于《信息通信技术与政策》2020年第4期

主办：中国信息通信研究院

《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、 国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用 的高端学术交流平台。

点亮“在看”