FusionInsight，一个融合的大数据平台

Posted 2022-03-26 little-li

随着物联网技术和应用的普及，以运营商、互联网以及实体经济行业为代表的企业产生了越来越多的数据，大数据的发展越来越蓬勃。

 

从2007年开始，大数据应用成为很多企业的需求，2012年兴起并产生了大数据平台，使用者主要是程序员；2013年到2017年间，数据逐渐增多，大数据平台变成了融合大数据平台，使用者从程序员变成数据管理员和数据分析师；从2018年开始，大数据进入企业数据智能新阶段，普通的工程师也能轻松应用。

 

当数据越来越多，需求也越来越高，环境越来越复杂，分析处理的方式也多种多样，这对平台有了更高的要求。

 

华为FusionInsight就是迎合着这种趋势来开发的一个混合负载的、开放的、统一大数据平台。

从HD、MPP DB到AI、数据智慧，

FusionInsight平台满足四大场景需求

 

华为FusionInsight平台围绕大数据提供了系列产品，最主要的是与Hadoop兼容的开源平台FusionInsight HD、MPP DB平台、数据挖掘和人工智能的平台以及数据智慧的平台。其中，FusionInsight HD是一个融合的大数据平台，满足各种用户需求同时混合负载、开放应用。

 

在企业当中，大数据平台的主体是Hadoop平台，其业务场景主要有离线处理、实时流处理、交互查询或数据集市和实时检索。这四个场景都是随着大数据的发展逐步出现的。

针对离线处理场景，FusionInsight HD由如下组件来实现：HDFS负责存储所有数据；Yarn负责调度在离线平台上运行的所有任务，从数据加工、数据挖掘到数据分析；Mapreduce和Hive专门处理离线的具体任务，其中Mapreduce处理非SQL类、Hive处理SQL类，对应的有另外叫离线处理引擎的两个组件——Spark和Spark SQL，作用与Mapreduce和Hive相同。借助上述组件，再加上数据采集组件（FusionInsight HD也提供了很多功能和组件），即可完成离线处理。

交互查询场景通常需要在三秒内实现。FusionInsight HD的Elk提供交互查询的引擎是存储和查询一体的组件，类似于Hadoop的组件但是功能更强。数据的采集可以用华为提供的工具，也可以用第三方的工具。

流处理场景核心的要求就是快，所以也叫实时流处理，一般用时在4到5秒之内。FusionInsight HD满足流处理方案主要是三个组件，Kafka接受数据做缓存，流处理的引擎——Spark Streaming与Fhink（前者速度相对较慢，但是成本偏低，后者成本稍高，但速度更快），Redis主要处理流处理之后的结果数据。

实时检索场景常见于运营商、银行、公安等行业，性能要求高，并发大，其查询条件比较简单且相对固定。用华为FusionInsight HD来实现，主要是Hbase和Solr/ESX，两个组件的组合可以满足低时延、高并发并且查询条件相对固定的检索。

不论是合作伙伴还是客户，都可以在FusionInsight HD平台上轻松地开发出满足四个业务场景的应用。

FusionInsight HD组件中的6大特色

 

FusionInsight HD有鲜明的特色。

01

统一的SQL接口

华为统一的SQL接口，可以支持各种组件进行统一查询，而不需要把数据从一个组件迁移到另一个组件。

02

FusionInsight SparkSQL

SparkSQL概念并非华为提出，但华为为社区做出了很多贡献，自己的产品能力更强，例如华为主导向Spark SQL贡献的CPU优化器，使得稳定性和高性能比社区的开源的SQL更强。

03

完全自研的SQL引擎Elk

让华为的SQL引擎更接近数据库甚至超过数据库，用户能够得到跟数据库一样甚至超过数据库交互体验效果。

04

Apach

 CarbonData是华为主导的一个社区开展项目，参与者有国内众多互联网公司和大型企业，也有国外IT企业，其特点是对上层的应用无感知，提升了数据分析、数据查询的性能。

05

多级租户管理功能

FusionInsight提供的多级租户管理功能来匹配企业的组织架构，也就是说，可以有这种公司级的租户和管理员，有部门级的综合管理员，还有子部门租户和管理员，在给用户设置权限、设置资源配合有更方便的对应。

06

对异构设备支持。

FusionInsight提供了对异构设备支持，既支持高低配的设备在同一个大集群里，又支持开发应用可以指定某些应用运行在不同的机器上。

除此之外，华为FusionInsight还具备资源的灵活配置、多租户的能力、分级存储、超大集群、滚动升级、异构磁盘集群热点数据均衡、Flink流数据引擎、可视化的集群管理与运维、可信产品、可信开发流程等十大优势，是一个帮助用户以最低的成本解决最复杂问题的可信平台。

用户实践与启迪

 

中国60%的TOP 10金融、保险、银行，全球Top50运营商中的25%都用了华为的大数据平台；中国的平安城市建设有30%的客户选择了华为。华为在全球的项目、合作伙伴相当可观。

迄今为止，FusionInsight HD已经交付了700多个项目，产生了300多个合作伙伴和客户；这些项目覆盖到金融、公共安全、交通、政务、电信、电力、石油等各个行业。选择FusionInsight HD作为大数据的承载平台和处理平台，可以尽可能地将大数据价值发挥到极致。

---------------------
原文：https://blog.csdn.net/cqacry2798/article/details/86624672