深耕换来突破，大数据MapReduce最新版本出炉，尝鲜！
Posted 华为云产品与解决方案
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深耕换来突破，大数据MapReduce最新版本出炉，尝鲜！相关的知识，希望对你有一定的参考价值。
经过数十位技术工程师，以及本小编的辛苦劳作，MapReduce服务重磅推出新版本1.8.1，无论是在集群安全性、易用性、灵活性，还是在组件的功能性都变得更加强大！下面由小编来简单地对比一下：
MapReduce服务不愧是华为云重点打造的服务，它基于华为历经行业数万节点成功使用经验，在云上打造的企业级Hadoop大数据平台服务。一键部署、灵活弹性伸缩，包含了Hadoop、Spark、HBase、Kafka、Storm、Hive等丰富内核组件，帮助用户在云上轻松完成高可靠、高安全、低成本、一站式大数据平台的搭建。
读到这里是不是很想知道MRS1.8.1到底有什么详细的更新呢？且听小编一一道来。
在金融、公安、政府等项目中，由于数据的敏感性，对大数据的存储、清洗、处理过程中需要更高的隔离性与安全。因此，需要建立一个隔离度高、满足企业自身行业更强监管的专属云服务。
业务上云痛点铁三角
专属云服务（Dedicated Cloud）是在公有云上隔离出来的专属计算和存储资源池，租户可以在其中申请专用物理服务器来构建自己的计算和存储资源池，并使用高度可靠的隔离网络。专属云用户部署的云主机（ECS）和物理机（BMS）将分布在用户自己的专属资源池中，并且可在管理控制台管理资源，查看计算资源使用情况，就像私有云一样灵活使用专属云。
专属云服务客户价值
专属云大数据是将大数据集群服务与专属云服务进行结合的一种综合性服务，在专属云内用户独占物理设备、独享计算和存储资源，使用专属云内的资源搭建大数据服务。
-
便捷
访问MRS Manager步骤减少至2步，简化添加安全组规则，获取公网IP等步骤，便捷性提升四倍以上，用户用起来更方便。
功能更全面
MRS绑定的弹性公网IP的特性为用户提供的六大功能，如下图所示，不仅能够针对性的解决用户的痛点，也把用户体验提至最佳。
Kafka是一个使用广泛的分布式消息队列，MRS在1.8.1版本中Kafka升级到了1.1.0，主要有以下几个特性的更新：
1
关于存储的一些优化。对于Kafka集群来说存储太昂贵并且容错性不高，最好的办法应该是使用JBOD，并且设置replication factor为4，与RAID-10比较，冗余度没变，提高了系统可用性。此优化针对JBOD，允许Broker下的单个磁盘故障后Broker依然可以运行，提供在单个Broker内和多个Broker之间的多个磁盘之间的数据移动。
2
部分配置可以做到不用重启进程即可动态更新。
3
Kafka Streams API的优化。Kafka Streams是Apache Kafka从0.10版本引入的一个新特性，它提供了对存储于Kafka内的数据进行流式处理和分析的功能，它是一个客户端类库，相比Storm、Flink等流式处理框架，易于开发和理解，编程简单。
4
支持基于delegation token的认证，可以在不给Kerberos过大的压力的情况下支持更多的客户端。
Kafka从1.x版本开始，开始朝着从以分布式消息队列为己任到分布式消息队列和流处理平台方向发力。MRS作为一站式的大数据处理平台，快速更新Kafka版本，结合华为c3ne规格的虚拟机，利用其超大的网络带宽，可以充分发挥Kafka的性能。
Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。MRS在1.8.1版本中Storm升级到了1.2.1，这是一个常规维护版本，其中包含许多重要的错误修复，可以提高 Storm 的性能，稳定性和容错能力。
MRS资源锁通过对大数据集群中的ECS、EVS等资源进行加锁，在集群使用期间，防止用户在ECS页面的误操作而产生可能影响集群功能的后果，比如删除虚拟机、重装操作系统、切换操作系统、变更虚拟机规格等，来保证我们大数据集群的稳定可靠运行。
MRS资源锁默默地为您保驾护航，用户不需要做任何额外操作。当我们创建大数据集群时，MRS资源锁就会相应加上；当我们终止大数据集群时，MRS资源锁就会相应释放。
在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩功能已经支持根据集群负载对集群进行弹性伸缩。此外，如果数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，MRS新特性资源计划将派上用场。
资源计划也可以理解为定时弹性伸缩，可以单独使用，也可以与按负载弹性伸缩叠加使用。
具体使用方法可以参见：
https://bbs.huaweicloud.com/forum/thread-12598-1-1.html。
对于弹性伸缩来说，一些特定的业务场景，可以自动化实现根据节点数量的变化对资源分配或业务逻辑进行更改。
MRS支持的自定义弹性伸缩自动化脚本的解决方案，预定义了一些与扩缩容的类型、节点数等相关几个参数，包括扩缩容节点数、扩缩容类型、节点ip，触发规则名。
客户可以将自动化脚本存储在MRS集群虚拟机或OBS上，也可以传递自定义参数（多个参数中间用空格隔开），直接填写在参数配置框中传递给脚本。
自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。
通过上述的介绍，相信大家已经大致了解MRS新版本带来的新特性。为了让大家能第一时间体验到新特性，MRS服务再发福利，免费为个人赠送包月的大数据分析集群套餐，不花一分钱就能体验云上的MRS大数据平台。
赶快扫描下方二维码，申请免费包月的大数据集群（已经参与过上次免费领取活动的童鞋不能再次参与哦）。
扫描二维码，领取大数据集群
点击阅读原文，了解MRS 详情！
以上是关于深耕换来突破，大数据MapReduce最新版本出炉，尝鲜！的主要内容，如果未能解决你的问题，请参考以下文章
8大行业场景！最新 Apache Flink 行业案例集火热出炉