庞晓曦：基于Hadoop和HBase的大数据存储实践

Posted 2021-04-19 海量大数据分析平台官方号

“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。

存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点，才能满足具备大数据特征的业务应用需求。

在海量大数据研习社第12次活动大数据存储技术专场上，来自海量信息技术有限公司的高级工程师庞晓曦介绍了海量大数据情报服务平台在存储架构选择方面的经验与看法。

同所有的大数据企业一样，海量大数据情报服务平台在建设初期也遇到过原有存储系统频繁出现文件丢失和损坏、多个挖掘任务并行时，无法进行优先级调整、检索一条数据很困难等问题。选择Hadoop+HBase作为存储解决方案，可以满足海量大数据情报服务平台PB级数据存储，并能够支撑每天千万级记录，数百GB的数据写入，对数据的备份和自动迁移也有好处。

庞晓曦还详细介绍了HDFS分布式存储系统的设计目标、设计原则、主要组件及功能等内容， 以及HBase逻辑架构、系统架构、数据表模型和Hadoop生态系统中其他工具的使用情景，并对Hadoop 2.0发展现状进行了点评。

获取讲师演讲完整PPT 请关注“海量大数据实践”回复“814海量”