一小时内完成百万计算任务？

Posted 2021-01-09 fastone

公有云技术日益成熟和稳定，各种服务越来越完善，逐渐被各行业的客户所接受。越来越多的专业计算的客户也开始将目光转向公有云来解决算力不足的问题。想要充分的利用云的优势，高效的完成计算任务，需要从应用优化到底层架构适配一套端到端的解决方案。本期速石科技产品总监张先军将与大家分享速石专业计算云平台如何从各个层面帮助客户多快好省的完成计算任务的。

张先军：速石科技产品总监，超过12年的IT行业经验，曾在EMC，HP， 华为3com任职，熟悉虚拟化和云计算技术，专注于企业级IT产品定义和解决方案设计。

首先先来介绍一下某客户分享的一个他们常用的计算任务。这个任务输入有数个大小从几百MB到GB的规模的文件，在计算过程中，文件会被转换和切割，最终会形成百万级别的计算任务。客户已经对该计算任务做了一些优化，如多进程并行化的改造。这样的计算规模，在本地的一台高配的机器上，运行100万个计算任务需要50天左右的时间。这还要祈祷中间千万不要出现断电什么意外情况。客户提供了一个约1万计算任务的测试文件，在某公有云上启动了一台和本地配置相似的实例，实测用了约11小时。这些任务都属于计算密集型应用，任务运行起来CPU的占有率都在95%以上。在我们做测试的云上起这样的实例大约需要18元一小时。这样算下去，如果算50天的话，也是一笔不小的成本。所以，客户的需求很明显，如何将本地的算力无缝扩展到云，利用云端的超大资源池优势，又快又省的完成计算？

Fastone Compiler

速石Fastone compiler框架，它能自动分析各个任务间的依赖关系，将当前传统应用转换成云原生应用的工作流，转换过程可快速完成。经过了Fastone compiler的转换，计算任务就可以被充分的并行化，集群化，充分利用云端超大规模计算资源池的优势了。

Fastone Virtual Cloud

那么怎么在云端建立超大规模资源池呢，用什么云，用哪个云，这些由Fastone Virtual Cloud来搞定。它自动整合本地和云端资源成统一资源池，多云支持，自动按需在云端启动计算任务所需的超大规模资源池。为了让应用能无缝的在本地和云之间流动，我们使用了容器来封装应用。

成本

再来看看成本，主流云厂商有类似的AWS spot instance的技术，让用户可以以很低的价格使用本来很贵的实例。如果使用的人很多，云厂商资源不足或者有人出价更高等情况，这些运行实例可能会被强行中断。本来要跑50天呢，说断就断的话，谁敢用啊。所以速石专业计算云平台使用机器学习算法自动预测spot instance的供需及价格情况，自动调整和迁移受影响的任务和资源，用户再也不用担心spot被抢了。

速石专业计算平台融合以上各种技术，对用户完全透明。对专业用户来说，通过计算平台运行任务只需要：传应用，传数据，提交任务。然后就可以坐等结果了。速石专业计算平台的设计理念是：屏蔽底层复杂的IT细节，让专业的人专注于专业的事。

最后让我们来看看结果，本次测试通过速石专业的计算平台执行一万个计算任务，同时，为了测试的扩展性，我们通过策略指定了运行任务的CPU Core数。下图是最终的结果。从图中可以看出，经过优化后，成本降低的同时，计算时间大大下降，计算效率随着系统算力的上升而线性上升。以540 core的运行结果为例。最终的运算时间是45分钟，效率约提升了14倍。让我们来算一下成本，当时的spot实例的价格稳定维持在4.26元左右，计算成本约为：4.26 x 15 x 45 / 60 = 48元（注：忽略了少量的存储及其它成本）。计算一下没有改造过的计算成本：11 x 18.141 = 200元。成本下降了76%。按照这样的线性扩展能力，百万级别的任务计算在一小时内完成也不是不可能了。

看到这里，您是否初步了解了速石专业计算平台强大的功能了呢。有关该产品的更多详细信息，请关注速石微信公众号。

? end ?

公众号ID：Fastone_tech

网址：http://www.fastonetech.com/