大数据运营之孕育小结局：凡事预则立，不预则废

Posted 2021-03-07

【文摘自：李福东《大数据运营》第3章内容回顾?，了解更多请关注微信公号：李福东频道】

编者按

“孕育”意味着埋下一颗希望的种子，要想让这个“种子”满足预期要求，必须从全局和长远考虑，对于设计大数据服务这颗高科技“种子”，还应当具备正确的思维方式，具备面向服务、面向过程、全生命周期、数据即资产的观念，将大数据作为服务或者产品来对待，以价值创造为衡量大数据服务的原则，整合企业内部及社会数据，充分挖掘大数据的潜力。

文章正文

不同于面向操作的事务型应用，大数据服务更多地是一个探索发现的过程，对于已经发现规律并模型化的大数据服务，可以构建数据模型并嵌入到事务型应用的过程环节中，比如银行对于个人客户的授信服务，可以构建授信模型，通过收集个人客户相关数据计算客户风险敞口，实现客户贷款过程中的快速授信。

在很多情况下，大数据服务是一个探索发现的过程，即通过不断的尝试，发现数据之间的规律。因此对于大数据服务，应当采取快速迭代、螺旋上升的开发模式，通过不断调整和优化数据模型和算法，达到大数据掘金的目的。

大数据服务是先有“数”后有“求”，因此应当首先对大数据的潜在能力进行分析。比如当你具备移动用户上网记录大数据后，参考移动用户上网记录大数据的元数据，发现移动用户上网记录中包含用户数据（终端、号码、IP等）、应用数据（域名、IP等）以及网络数据（位置区、小区、网络类型、流量、时长、经纬度等），从而确定借助通信大数据，可以具备“再现”移动用户的上网行为的能力。

对于“求”，可以分析一下可能有哪些需求。还是以移动用户上网记录大数据为例，网络规划设计是对网络建设进行决策，那么我们的需求就是如何完成无线网络的规划设计，比如在哪里建设，在哪里需要扩容，建设或者扩容的规模有多大等。有了移动用户上网记录大数据，就可以基于用户价值和应用价值完成无线网络的规划设计。

大数据服务架构设计是通过制定大数据服务参考框架，厘清大数据服务在不同阶段、不同层次上的关注点以及这些关注点之间的关系。

大数据服务模型设计关注面向操作和面向主题的数据模型设计，通过数据模型的构建，解决大数据承载、数据分析以及数据展现问题。

如果说数据是大数据服务构建的基础，那么数据模型则是大数据服务实现的载体，数据模型的设计对于大数据服务至关重要。通过分析大数据服务从操作型数据模型到分析型数据模型的渐进过程，能够清晰地看到数据模型从操作环境到分析环境发展变化，加深对数据模型的认识。

大数据服务容量设计则是关注如何规划和监控大数据服务基础设施资源需求，以最佳成本效益的方式完成大数据基础设施能力的设计。

数据通常要经过采集、存储、整合、分析、展示、归档、销毁的过程。从大数据的价值角度看，那些活性高，频繁使用的数据，通常具有较长的生命周期，反之，那些很少被使用的数据，尽管由于法律法规要求需要保留较长的时间，但是其应当“离休”，迁移到“非活动”区域。

从成本角度看，应当综合大数据活性、价值、法律法规要求等对数据进行分级存储，实现成本效益的最大化。比如，经常使用的数据放在价格高但是访问速度快的缓存、内存、磁盘中，而对于那些偶尔访问的数据放在廉价的磁盘、光盘等存储介质中，对于访问频率极低甚至很长一段时间（比如3年）没有访问的数据，应转移到价格更低的磁带介质中。

通过对大数据活性、价值、法律法规的观察，将数据存储到不同的存储介质上，即提高了数据访问的效率，也降低了大数据存储成本。对于那些已经确定不用的或者按照存储要求到期的数据，通过审批机制进行数据销毁。

大数据服务过程设计的目的是保证大数据服务能够得到有效的管理。大数据服务过程设计主要包括大数据服务目录管理、容量管理、供应商管理以及安全管理四个方面。

目录管理过程保证大数据服务能够得到最大程度的共享和使用，消除企业内部大数据服务能力交叉和重叠的现象，企业在形成大数据服务之前，需要查看是否已经具备类似的大数据服务，尽量重用现有大数据服务。

容量管理过程保证大数据服务拥有足够的、最佳成本效益的基础设施资源，包括存储空间、计算能力以及网络传输带宽。企业可以基于大数据访问活跃度、法律法规要求等完成数据的迁移、归档、销毁等任务。

供应商管理过程用于保证数据源的质量和及时性。大数据时代，组织势必会引入多个供应商的数据，供应商提供数据的质量和及时性关乎到组织的数据分析能力，企业应当建立对供应商数据质量的评价方法和制度，保证数据的准确性。供应商提供数据的及时性对组织大数据服务生产效率影响很大，同样是需要保障的重要因素。

安全管理过程保证大数据的合规性，组织的大数据往往是个人和组织在生产生活中留下的“痕迹”，因此组织对隐私侵犯和商业秘密侵犯的分析和管理，成为大数据服务“开放”或者“封闭”的重要依据，组织可以通过匿名、审批、统计数据提供等方式规避隐私侵犯和商业秘密侵犯问题。

大数据服务组织设计在大数据服务的构建过程中起到非常重要的作用。由于大数据服务通常是在探索中发现的，因此要求大数据服务设计人员具有问题领域很强的专业背景甚至多行业知识背景。

按照专业化分工和关注点分离的原则，大数据服务设计阶段主要考虑两种角色：大数据服务业务分析师和大数据服务系统架构师。

大数据服务业务分析师主要关注专业领域分析模型的构建，这个角色要求具有很强的行业知识，能够根据组织决策需求进行建模，能够使用数据建模和数据分析软件和工具完成分析模型的构建、优化、展现工作。

大数据服务系统架构师关注大数据服务基础设施的架构，包括存储架构、计算架构以及网络架构，保证大数据服务具有可用的基础设施资源，负责监控数据的活动情况，根据大数据服务需求进行数据迁移或者增加大数据服务基础设施资源，满足大数据分析的性能需求和存储空间需求。

作者简介

李福东，资深大数据和信息化专家，培训师，《大数据运营》著作者，现为北京某高科技公司CEO，拥有20年电信、金融、互联网等跨行业工作经验，长期致力于企业架构、大数据、人工智能、区块链、虚拟现实、数字化转型等创新与实践。

了解更多最新干货，请加入本文作者知识星球（数智萤火虫），您将至少获得：

1、问题解答。72小时内答复数字科技相关问题。

2、精品文章。每周至少分享一篇原创精编长文。

3、精华PPT。最新培训、公开课PPT干货分享。

4、精美礼物。赠送小礼品、红包、作者签名书。