如何低成本高效率搭建Hadoop/Spark大数据处理平台

Posted _夜枫

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何低成本高效率搭建Hadoop/Spark大数据处理平台相关的知识,希望对你有一定的参考价值。

原文链接

随着人们逐渐认识到 “大数据”的价值,互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台,成为影响大数据创新效率的关键。

技术分享

为了让用户以最简便地方式享用阿里云全球资源,在云端构建敏捷弹性、高可靠和高性价比的大数据平台,近日,阿里云在成都云栖大会上发布了一款Hadoop/Spark场景专用的ECS存储优化型实例D1规格族,单实例提供最高56核CPU,224GB内存,168TB本地盘容量,5GB/S总吞吐,PPS达120万+。这对Hadoop/Spark技术爱好者来说是个非常大的福音,用户可以轻松在D1上搭建大数据存储与计算分析平台,尤其是互联网、金融、电商、政企等对大数据需求旺盛的行业。
据悉,在云端建设大数据平台的建设周期仅需“数分钟”,比传统模式下缩短95%以上;项目建设成本从一次性重资产投入,变为轻资产分期使用,初期建设成本降低80%以上。
不妨一起来看看,相比传统的Hadoop/Spark场景解决方案,D1都有哪些优势:

?按需部署和弹性灵活

传统大数据平台有几个通病:建设周期过长,扩容不便,因此一般都会适当放大大数据建设规模,造成早期资源闲置浪费,也埋下了后期资源不足的隐患,影响业务发展。云计算很早就解决了弹性建设的问题,我们可以按需进行大数据平台建设,并伴随业务的增长而快速弹性伸缩,企业可以做到按需支付成本。
此外,Hadoop/Spark大数据生态系统中组件众多,每种组件对硬件资源的要求不同,而传统大数据平台建设中,往往很难兼顾资源需求上的差异。D1和其他独享型规格族提供了不同的配置,可以为每个Hadoop/Spark组件节点“量体裁衣”来选择实例,最大限度避免资源浪费。

技术分享

当遇到临时性突发的大数据分析需求时,借助阿里云大数据平台的规模和分析能力,可以快速获得需要的结果,当任务完成后,又能立即释放资源,节省成本。

?性价比

阿里云D1实例采用独享计算架构+本地存储设计,CPU的计算性能在实例间是独享的,这种设计能有效保障大数据计算能力的稳定性。配备高性能企业级6TB SATA硬盘,D1单实例的存储吞吐能力可以达到最大5GB/s,有效缩短HDFS文件读取和写入时间。基于阿里云SDN和网络加速技术,D1在10GE组网环境下,最大可提供20Gbps网络带宽,可满足大数据分析节点间数据交互需求,例如MapReduce计算框架下Shuffle过程等,缩短分析任务整体运行时间。
最重要的一点是,阿里云在D1上做了非常大的交付创新,支持包月、包年的预付费支付模式,同时也支持按小时付费的使用模型,真正做到即开即用,按量付费,没有运维,钱不浪费,云本身的弹性优势就很明显,加上业务上的优化,确实加分不少。

?可靠性


技术分享

这次云栖大会,阿里云还推出了一个ECS独有的部署集(Deployment Set)机制,可以保证用户采用D1实例构建大数据平台时,在任何规模下都可以充分将实例按业务可靠性要求,在阿里云数据中心中,进行机架、交换机、可用区等级别容灾保护。同时,还可以充分享用阿里云全球高效、稳定的机房和网络基础设施,大大降低客户建设复杂度和成本。这在传统模式下是很难做到,既能做到全局的安全性又能做到局部的弹性伸缩,或许,这就是云的终极形态吧。
总之还是非常推荐这款D1实例的,中大型企业对大数据处理平台的稳定性、性价比、部署周期都有比较强的要求的可以考虑一下。

原文链接

















以上是关于如何低成本高效率搭建Hadoop/Spark大数据处理平台的主要内容,如果未能解决你的问题,请参考以下文章

微信小程序商城如何搭建,低成本+高效率运营!

大数据学习系列之六 ----- Hadoop+Spark环境搭建

大数据分析Hadoop + Spark 10分钟搭建Hadoop(伪分布式 )+ Spark(Local模式)环境

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集

走进大数据 | hadoop spark环境搭建及idea scala maven集成开发spark任务