浅谈传统企业的大数据平台如何上云

Posted 2021-11-24 明哥的IT随笔

大家好，我是明哥！

今天我们来看下，传统企业的大数据平台如何上云，一点感悟，欢迎大家交流。

1. 趋势介绍与阐述：大数据和云计算进一步深度融合, 拥抱云计算走向云原生化

首先我们来解读下“大数据和云计算进一步深度融合, 拥抱云计算走向云原生化”：

• 云原生（Cloud Native）理念，本质上是一套“利用云计算技术为用户降本增效”的最佳实践与方法论；

• 大数据拥抱云计算走向云原生化，其驱动力来自于以下四个方面：

  • 一是各个具体的大数据组件都在主动改变自身架构，积极“云化”以适应云部署环境（在底层技术架构上，为适应云部署环境，大数据更加青睐存储计算分离的架构，在存储层也融合了文件系统和对象存储且更加青睐云友好的对象存储）；

  • 二是各个传统大数据供应商已经转向依托云来提供自己的产品和服务；

  • 三是各个云计算厂商在不断推出各种云上托管的基于大数据的服务，以加强自己的市场竞争力；

  • 四是应用方的大数据平台很多也有主动上云的需求；

• 各个行业和各家公司的发展阶段不同，融合本地数据中心和云环境的进度也不同，但在部署架构上，基于混合云和多云模式，融合公有云私有云与非云模式，来构建企业整体的IT基础设施，必将是大势所趋。

2 大数据跟云计算的融合现状和趋势

大数据跟云计算的融合现状和趋势如下：

• 很多云计算头部厂商，比如AWS、阿里和华为等，都提供了云上托管的Hadoop和NoSQL数据库等大数据解决方案; 很多传统的大数据供应商，如 elastic, cloudera, databricks，confluent等，也在公有云上推出了自己的大数据解决方案；

• 很多初创企业和中小企业选择了公有云上托管的大数据解决方案，来搭建和部署自己的应用系统，以快速面向市场推出产品提供服务；

• 也有很多规模较大的公司，出于云端的数据安全和隐私保护，出于大规模租用公有云的成本考量，出于多个业务系统之间数据跨区域移动的成本等考量，没有使用公有云，而是自行搭建私有云；

• 从长远整体上看，大数据云计算是越来越深度融合的，大数据朝着深度挖掘用户价值、注重数据时效性、强调边缘计算、非结构化协同处理等方向发展，对云计算底座的要求也越来越高。

3 机构大数据平台建设建议

1. 企业需要意识到，业务系统的上云不是一蹴而就的，也不是单向的一帆风顺的：

• 这里涉及到新开发的业务系统的主动上云（由于是采用云原生技术栈新开发的业务系统，其上云相对顺畅些）;

• 也包括历史遗留系统的迁移上云（单个遗留系统的改造迁移和上云，视乎复杂程度，往往需要一年多甚至更长的时间周期）;

• 有时也会有从云端部署回退到私有云或数据中心的情形（上云后系统不顺畅，IT人员不适应等，也有会退的场景）。

1. 企业业务系统上云的最终目标，出于各种考量（有业务系统高可用的考量，也有不被云厂商绑定即 vendor-lockin的考量，也有生态系统合作伙伴即经济因素等多种考量），部署架构不会是单一的某个公有云，而是多个公有云和私有云的混合部署形态;

2. 所以企业需要制定从上到下的整体的云化整合方案，梳理所有的业务系统，根据其业务关键性的不同，数据时效要求的不同，以及安全与隐私考量的不同等多种因素，分阶段有步骤地，迁移部分业务系统到公有云或私有云上，基于混合云和多云模式，融合公有云私有云与非云模式，来构建企业整体的IT基础设施。

！关注不迷路~ 各种福利、资源定期分享！欢迎小伙伴们关注公众号！

！欢迎小伙伴们添加明哥微信，备注“加群交流”，拉你加入ABC技术交流群！

IT明哥