如何低成本高效率搭建Hadoop/Spark大数据处理平台

Posted 2020-09-21 _夜枫

原文链接

随着人们逐渐认识到 “大数据”的价值，互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台，成为影响大数据创新效率的关键。



为了让用户以最简便地方式享用阿里云全球资源，在云端构建敏捷弹性、高可靠和高性价比的大数据平台，近日，阿里云在成都云栖大会上发布了一款Hadoop/Spark场景专用的ECS存储优化型实例D1规格族，单实例提供最高56核CPU，224GB内存，168TB本地盘容量，5GB/S总吞吐，PPS达120万+。这对Hadoop/Spark技术爱好者来说是个非常大的福音，用户可以轻松在D1上搭建大数据存储与计算分析平台，尤其是互联网、金融、电商、政企等对大数据需求旺盛的行业。
据悉，在云端建设大数据平台的建设周期仅需“数分钟”，比传统模式下缩短95%以上；项目建设成本从一次性重资产投入，变为轻资产分期使用，初期建设成本降低80%以上。
不妨一起来看看，相比传统的Hadoop/Spark场景解决方案，D1都有哪些优势：

?按需部署和弹性灵活

传统大数据平台有几个通病：建设周期过长，扩容不便，因此一般都会适当放大大数据建设规模，造成早期资源闲置浪费，也埋下了后期资源不足的隐患，影响业务发展。云计算很早就解决了弹性建设的问题，我们可以按需进行大数据平台建设，并伴随业务的增长而快速弹性伸缩，企业可以做到按需支付成本。
此外，Hadoop/Spark大数据生态系统中组件众多，每种组件对硬件资源的要求不同，而传统大数据平台建设中，往往很难兼顾资源需求上的差异。D1和其他独享型规格族提供了不同的配置，可以为每个Hadoop/Spark组件节点“量体裁衣”来选择实例，最大限度避免资源浪费。



当遇到临时性突发的大数据分析需求时，借助阿里云大数据平台的规模和分析能力，可以快速获得需要的结果，当任务完成后，又能立即释放资源，节省成本。

?性价比

阿里云D1实例采用独享计算架构+本地存储设计，CPU的计算性能在实例间是独享的，这种设计能有效保障大数据计算能力的稳定性。配备高性能企业级6TB SATA硬盘，D1单实例的存储吞吐能力可以达到最大5GB/s，有效缩短HDFS文件读取和写入时间。基于阿里云SDN和网络加速技术，D1在10GE组网环境下，最大可提供20Gbps网络带宽，可满足大数据分析节点间数据交互需求，例如MapReduce计算框架下Shuffle过程等，缩短分析任务整体运行时间。
最重要的一点是，阿里云在D1上做了非常大的交付创新，支持包月、包年的预付费支付模式，同时也支持按小时付费的使用模型，真正做到即开即用，按量付费，没有运维，钱不浪费，云本身的弹性优势就很明显，加上业务上的优化，确实加分不少。

?可靠性

这次云栖大会，阿里云还推出了一个ECS独有的部署集（Deployment Set）机制，可以保证用户采用D1实例构建大数据平台时，在任何规模下都可以充分将实例按业务可靠性要求，在阿里云数据中心中，进行机架、交换机、可用区等级别容灾保护。同时，还可以充分享用阿里云全球高效、稳定的机房和网络基础设施，大大降低客户建设复杂度和成本。这在传统模式下是很难做到，既能做到全局的安全性又能做到局部的弹性伸缩，或许，这就是云的终极形态吧。
总之还是非常推荐这款D1实例的，中大型企业对大数据处理平台的稳定性、性价比、部署周期都有比较强的要求的可以考虑一下。

原文链接