数字时代下的大数据管理

Posted 2021-04-26 房BI

Adobo和Econsultancy联合发布的《2020年数字化转型趋势报告》显示，从中国大数据市场发展趋势来看，2023年中国大数据市场将达到224.9亿美元的规模，未来五年GAGR复合增长率为23.5%。2019年的大数据的硬件、软件和服务的占比分别是45.2%、32.2%、22.6%，到2023年基本上会达到各占1/3的理想比例。

（整理自网络，侵删，中国大数据市场规模和行业发展比例）

大数据时代已然来临，智能制造与工业互联网融合的本质正是数据驱动下的创新生产模式和商业模式，大数据贯穿于产品市场需求获取、产品研发、生产制造、设备运行、市场服务直至报废回收的产品全生命周期过程，甚至包括产品本身的智能化方面。

了解大数据

大数据是数据分析的前沿技术，其最核心的价值就是在于对于海量数据进行存储、分析，进而达成综合成本最优的目标。

未来，数据可能成为最大的交易商品，数据量大不是“大数据”，大数据的特点概括为4个“V”：第一，数据体量巨大（Volume）；第二，数据类型繁多（Varity）；第三，处理速度快（Velocity）；第四，价值密度低（Value）。大数据的价值是通过数据共享、交叉复用后获取最大化的数据价值。

大数据管理和数据战略

未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将成为智能制造、工业互联网落地的助力器，同时，大数据也将催生一个新的产业大数据应用及服务产业。

因此，大数据管理平台非常重要，数据分析和应用将发生四种转变：

●  第一，从统计分析向预测分析转变；

●  第二，从单领域、结构化数据向多学科跨领域转变；

●  第三，从被动分析向主动预测转变；

●  第四，从非实时阶段性向实时持续处理转变。

智能制造和工业互联网对应着中国制造业转型和变革的内循环和外循环，可以理解为智能制造重点在于制造过程本身的精益与智能，工业互联网着力于企业全价值链的提升，但有效的结合智能制造和工业互联网的内外循环时需要数据的互联互通，即具有“互操作性”，形成企业数据资产的全价值链管理，这是信息时代大数据管理的核心价值，即源自企业运营回馈企业运营，平台赋能，服务优化，形成数据资产的“数字孪生”。

为有效的实现数据资产的数字孪生，达到“平台即实现、数据即服务”的状态，需要对大数据管理进行变革，要从用户的需求和市场的变化出发，与用户就大数据管理的内容进行有效而充分的沟通，通过与用户的共同互动来定义战略，包括路径、流程、改进目标、相应的管理组织能力和与之适应的落地技术架构。

数据战略制定考虑的核心点：

 第一，企业的业务目标是生产盈利，无论在生产过程、运营过程、管理过程对于数据需求必须贴合工艺和实际需要；

 第二，企业智能制造的核心目的是提质增效，通过智能制造 来实现“工序牵引、场景驱动、数据核心”，达成制造智能化、生产少人化、管理精益化的效果；

 第三，为确保数据管理满足业务目标需求，需要一个更加轻量化、可移植、有弹性、自主可控、自我管理的数据湖实现数据承载和数据治理；

 第四，数据资产管理的有效性和可测量性，需要一个云-边-端的基于 SOA 架构的数据平台的技术架构，实现数据资产的有效管理和度量。基于数据引擎的数据平台，结合行业应用和互联网数据思维，形成可赋能、可推广、定制化的应用。

数据湖架构与大数据生命周期

数据湖已经成为企业应用大数据的重要工具，它可以容纳大量原始数据存储库和处理系统，有一个中心化的存储，所有的数据以它本来的形式集中存储，是一种经济有效地存储所有数据的方式。它可以更好地支撑数据预测分析、跨领域分析、主动分析、实时分析，以及多元化、结构化数据分析，可以加速数据到价值的实现过程，提升应用能力和业务增值能力。 

传统的数据IDC模式面临挑战有：

 第一，数据仓库模式导致的烟囱式建设与数据需跨业务线广泛和不同协议接口的连接之间的挑战；

 第二，传统数据库不能应对数据的增长，数据 ETL、数据建模工作的响应速度与数据反哺业务迭代创新之间的挑战；

 第三，数据赋能与业务场景探索脱节的挑战。

大数据管理说到底还是为企业服务，数据管理从两个视角：

●  第一，从企业应用系统的视角来看，系统间的数据整合及维护费用达到最小化，提高跨系统间数据存贮和共享的效率；

●  第二，从企业数据资产管理的角度来看，对整个数据生命周期中数据进行处理、存贮、转换、整合，以及支持这些策略、模型、流程。

从而提出基于从数据全生命周期的全空间坐标，从数据的业务流程、数据的用户体验、数据的增值服务三个维度来考量数据生命周期的管理空间。

 第一，业务流程维度，实现了对大数据平台的数据全生命周期、全流程的数据治理，主要包括数据资产管理、元数据管理、数据开发流程管理、数据质量管理、数据安全共享管理。

 第二，数字经济下的用户体验维度，实现了基于元数据全方位画像的数据资产管理，数据全生命周期的管理与监控，全流程记录的追本溯源，全景式的资产可视化，以及提供了数据资产全场景视图，满足了不同用户的应用场景的需求，既有全局规划的管理者，也有细节定义的使用者，还有加工、运维的开发者，进而提供多层次的图形化展示，满足应用场景的图形查询和辅助分析，对工业数据质量进行建模或者模型学习，可实时预警数据质量问题。

 第三，基于数据产品生命周期的增值服务端的维度，提供了经济有效的方式来存储组织的所有数据，低延迟实时数据处理，支持基于内容的检索，可横向线性扩展，内置支持各种并行化数据分析算法，构建工业边界安全，传输通信安全和边缘计算终端安全的防护体系，支持工业数据标准度量指标库和分布式计算组件，并支持大规模数据纠错等服务。

结语

以目前的实践和探索来看，有四种模式可以应用于大数据管理下，结合用户体验的数据增值服务的商业模式：基于传统数据系统集成模式的项目模式、基于软件订阅模式的服务收费模式、基于用户体验的服务分享模式、基于共享未来成长的生态协作模式。

无论哪一种模式都必须围绕数据赋能和价值的角度，必须从用户的需求和符合现场工艺需求的角度来考量，而数字孪生的核心正在于此。

工业4.0 时代的到来，大数据管理是技术+管理+治理的过程，是从烟囱式的IT架构， 真正走向以数据为核心，数据资产管理的全新理念和实践过程。数字经济时代，大数据管理不仅仅是数据存储架构的变革，更是大数据思维方式的转变升级。用好数据是企业数字化转型的关键，基于IOT架构的“边缘+数据+应用”模式是大数据管理，更是数字增值服务的新趋势。

没有捷径，也不是老旧系统的补丁，更不是原来不同层级系统的集合，面对新的时代，从数据出发，以价值为导向，来自企业回归企业，唯天下之至诚能胜天下之至伪，唯天下之至拙能胜天下之至巧。  

--往期精彩回顾--

听说一键三连的人都开单了!