华为云大数据MapReduce服务，让有远见的人先用起来

Posted 2021-04-19 51CTO技术栈

我们用四年多的时间做了一个作业。

这份作业的题目就是：如何让企业真正利用大数据全栈技术，开始盈利？

而不是——

组建一个“大数据部门”或买了某款大数据产品，便认为站在了最前沿最猛烈的风口。吹着啤酒自嗨，生怕错过了这波革命浪潮的同时，心里却默想“大数据到底怎么实操落地？” 

解决这个问题的关键，在于效率。大数据本就是为了效率而生的产物。

一个有价值的项目必须是服务提供商与企业双方效率都得以提升，它才有长期盈利的可能。用这个标准来衡量当前的大数据市场——服务商虽然把产品卖出去了，赚了钱。企业却没能真正解决实际问题，后者是因为头脑一热才加入大数据浪潮的。

原先搭机房的人现在开始摆平接口问题；原先买硬件的人现在准备购买运算节点；原先突发分析任务导致的业务宕机现在依旧没改观。

云上的数据库，一定要比自行搭建的数据库提供出更好的解决方案，才有价值。而这完全依赖于底层积累以及持续构建的技术体系，硬实力决定了产品的实战可用性，重要的不是水上的冰雕（宣传）多精致，而是冰山水下（技术）的那90%支撑。许多企业在等一个技术突破，解决效率和价格的问题。

很自豪的说，华为云EI·MapReduce可以。

华为聚集国内外顶尖的大数据专家，从2002年开始研究，已具备15年的技术积累，开源贡献亚洲第一。华为大数据在电信运营商、金融、公安等市场成功应用项目1000+。MapReduce服务成功融入华为在企业市场多年的大数据成功应用经验，并结合华为云计算和存储优势，为客户提供专业的云上数据专属服务。

我们通过阅读MapReduce（以下简称MRS）帮助文档终于帮大家打听到一些干货。

MRS版本带来了如下特性：

开源开放

MRS提供了企业级一站式大数据服务，包含了业界主流的大数据开源技术(Hadoop,Spark,HBase,Kafka,CarbonData，Storm等)。

弹性伸缩

MRS提供弹性伸缩能力，可以自动在业务繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需使用，尽可能的帮助客户降低使用成本，聚焦核心业务。

集群缩容

MRS新支持了集群缩容功能。用户可以根据业务需要简单的缩减Core节点或者Task节点，达到缩容的目的。MRS通过后台一系列算法智能的选择当前最合适的节点进行缩容，更好的实现用户的诉求。

TaskNode

支持创建TaskNode节点，只作为计算节点，不存放持久化的数据，是实现弹性伸缩的基础。在MRS服务只作为计算资源的场景下，使用TaskNode节点可以节省成本，并可以更加方便快捷地对集群节点进行扩缩容，满足用户对集群计算能力随时增减的需求。

多磁盘挂载

支持创建集群时非Master节点配置多磁盘，能够将集群中相应服务（如HDFS、Kafka等）的数据目录分散到多块磁盘上去，以满足服务对磁盘读写速度和集群的存储能力的要求，从而提升集群的运行效率，给予用户更好的使用体验。

HBase升级到1.3.1版本

支持开源Hbase 1.3.1版本，包括RegionReplicas、Date based tiered compaction、Multi WAL、REST API等新特性，在离线数据的实时读取、按时间戳批量查询等场景下性能有了较大的提升，支持使用REST对HBASE进行业务操作。

4U8G低规格集群

MRS版本新发布了低配置集群。用户在对内存、CPU资源需求较低的场景时，可以创建低配置集群，使用低配置集群能大大降低使用MRS的成本，按需付费最高节省60%，包年包月最高节省58%。

创建集群的效率提升

MRS 版本新优化了MRS集群的创建逻辑，使整个集群创建耗时减少为原来的一半，用户体验更好。

Maven仓库

MRS 版本支持Maven仓库，开发人员可以直接在公网上下载到MRS组件的jar包来进行二次开发，大大提高了开发人员开发项目的自动化构建能力。使用指导请参见：  http://support.huaweicloud.com/devg-mrs/mrs_06_0002.html。

SMN

MRS支持实时地主动给用户发送短信和邮件，来通知集群变更结果以及大数据平台的告警信息，如：HDFS、Hive、Yarn等服务不可用，节点故障等。让用户及时感知风险，降低损失。

包周期集群扩容

当您购买了MRS包周期集群后，在订购的周期之内，您的业务增长超过预期时，就会出现超出包周期订单规模外的扩容诉求,MRS服务支持包周期集群扩容能力，做到了在轻松帮助您完成扩容的前提下，让您继续享受着包周期的优惠。

您只需要在您业务需要的时候，打开MRS服务页面，点两下鼠标，便可扩容出您需要的节点数。整个扩容过程无需后台人工介入，只需几分钟，即可完美解决您遇到的日益上涨的业务数据压力。

自定义引导操作

MRS提供标准的云上弹性大数据集群，目前可安装部署包括hadoop、spark等9种大数据组件，提供包括接入、实时计算、缓存、存储、批量计算的数据全生命周期服务。MRS在和客户的交流中发现，标准的大数据集群不能满足所有客户需求，有些客户需要安装自身业务所需的软件工具或运行环境，有些用户根据自身业务对大数据组件包做了修改，有些用户需要其他MRS还未支持的大数据组件。因此，MRS提供了自定义引导操作，用户可以以此为入口灵活配置自己的集群，通过引导操作用户可以自动化地完成：

•修改操作系统运行参数

•安装gradle、maven等工具软件

•对MRS已有大数据组件软件包做修改

•安装和运行MRS还未支持的大数据组件

引导操作是指启动集群组件前（或后）在指定的节点上执行脚本。您可以通过引导操作来完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。

10月10日-12日在上海举行的华为全联接大会上，您将有机会全面接触华为云EI·MapReduce解决方案，体验MRS带来的全兴使用感受。快来点击华为官网售票页面，开启未来通道吧！

更多精彩，点击“阅读原文”