FusionInsight概述

Posted 阿甘兄_

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FusionInsight概述相关的知识,希望对你有一定的参考价值。


文章目录

01 引言

最近可能会用到华为的​​FusionInsight​​产品,所以预先了解下。

02 FusionInsight概述

​FusionInsight​​官网地址:​​https://e.huawei.com/cn/solutions/cloud-computing/big-data​

2.1 数据湖

在了解​​FusionInsight​​之前,需要知道什么是数据湖。

数据湖:是一个集中式存储库,允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析 , 从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。
FusionInsight概述_数据仓库

数据仓库与数据湖的对比:

特性

数据仓库

数据湖

数据

来自事务系统、运营数据库和业务线应用程序的关系数据

来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系数据

Schema

设计在数据仓库实施之前(写入型 Schema)

写入在分析时(读取型 Schema)

性价比

更快查询结果会带来较高存储成本

更快查询结果只需较低存储成本

数据质量

可作为重要事实依据的高度监管数据

任何可以或无法进行监管的数据(例如原始数据)

用户

业务分析师

数据科学家、数据开发人员和业务分析师(使用监管数据)

分析

批处理报告、BI 和可视化

机器学习、预测分析、数据发现和分析

数据湖的价值能够在更短的时间内从更多来源利用更多数据,并使用户能够以不同方式协同处理和分析数据,从而做出更好、更快的决策

2.2 FusionInsight为何物?

FusionInsight概述_结构化_02

总结​FusionInsight​​本质是一个分布式数据处理系统,是在​​Hadoop​​集群上又封装了一层,类似于开源的​​CDH​​,​​HDP​​等大数据平台

​FusionInsight​​​数据湖解决方案(下面是​​官网​​贴出来的):

  • 作用:政务数据治理和一网通办,金融实时风控,运营商​​BOM​​三域融合,大企业智慧园区、智慧城轨、智慧机场等。支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数仓集市、数据接入治理、图计算等海量数据分析场景,加速释放数据价值,助力政企客户实现一企一湖、一城一湖!
  • 内容:​​MRS​​​云原生数据湖、​​DWS​​​云数据仓库、​​DGC​​​数据湖治理中心、​​ GES​​图引擎等云服务。

2.3 FusionInsight架构

​Fusion Insight​​有4个子产品和1个操作运维系统:

  • Fusion Insight HD(大数据处理环境):使用的数据库是Hive和HBase
  • Fusion Insight MPPDB(并行处理关系型数据库):没有明确使用什么数据库,SQL是PostgreSql-FDW提供的,数据存储使用的HDFS
  • Fusion Insight Miner(数据分析平台):基于Fusion Insight HD
  • Fusion Insight Farmer(应用容器)
  • Fusion Insight Manager(操作运维系统)

FusionInsight概述_结构化_03

FusionInsight概述_结构化_04

​FusionInsight​​​学习路线图,以下贴图来自:​​https://www.zhihu.com/question/33570348​​​FusionInsight概述_数据挖掘_05

03 文末

​FusionInsight​​​的介绍到此为止了,其实该产品也没有看出什么亮点,实际就是​​Hadoop​​​的包装,​​文档​​又不给下载,无法更进一步的去介绍了,本文完!

以上是关于FusionInsight概述的主要内容,如果未能解决你的问题,请参考以下文章

央行数字货币蓄势待发,政企产业资本纷纷入局

华为云FusionInsight连续三次获得第一,加速释放数据要素价值

HDFS 细粒度锁优化,FusionInsight MRS有妙招

Kafka(华为FusionInsight )操作命令

FusionInsight怎么帮「宇宙行」建一个好的「云数据平台」?

FusionInsight LibrA与ODI 12c的完美结合