专访腾讯云沙开波:从无到有,打造全球领先调度系统︱大咖访谈录

Posted 腾讯云

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了专访腾讯云沙开波:从无到有,打造全球领先调度系统︱大咖访谈录相关的知识,希望对你有一定的参考价值。

说到程序员,很多人脑海中会想到什么?是一群身着格子衬衣、背着双肩包的“码农”?

从今天开始,我们带你认识一群不同的程序员。

他们是来自腾讯云背后的技术大咖。他们热爱技术,用“匠人”精神在工作中不断闯关升级。让我们在新栏目“大咖访谈录”里一起分享他们的故事和经历吧。



“以前每个周末都去跑跑步、打打球,现在回家就是接接小孩,随着年龄的增长,很多爱好都丢了。”


沙开波——腾讯云计算产品总监,从一名基础架构组的程序员,到如今的计算产品总监,这已是他在腾讯的第9个年头。


在腾讯云内部,他是著名的大规模调度系统VStation的技术负责人,同事们喜欢称他“老沙”。


VStation是腾讯云自主研发的革命性虚拟化平台,承载了CVM 后台整体集群管理与系统调度。VStation为腾讯云 CVM 业务的爆发式增长提供了坚实的技术基础,目前,单集群可以调度10万台计算机。


时间回到2009年,初入腾讯的沙开波,就职于腾讯B2(Business2)研发部的基础架构组,也就是大家熟知的QQ空间、QQ会员、Q钻等业务基础架构组。沙开波表示:“2009年5月份来到腾讯,那个时候还没有腾讯云这个业务。”


“我还是比较偏技术的,自己对技术这块也比较感兴趣,当一个技术难点被解决后,成就感会瞬间爆表,我觉得每个做技术的应该都有这样的感觉。”


从2009年对云尝试,到2011年正式投入,再到2013年正式开放,最后到今天的成果,沙开波是腾讯云成长的见证人,而伴随腾讯云逐渐走向成熟,沙开波也逐渐从技术走向了管理。


他的角色发生了改变,将更大的精力放在业务规划、整体技术架构以及人才梯队建设等上面。“虽然现在已经很少写代码,但是我并不担心淘汰或者落伍,最起码,现在同事问我一些技术层面问题,我还能解决,”老沙笑着说。


1

5千节点是一道坎

10万节点的技术难度可想而知


从技术转向管理,沙开波并不认为这是他技术人生的转折点。然而,当一个“吹毛求疵”的“技术宅”走上管理岗,会擦出什么样的火花?腾讯云分布式调度系统VStation的成绩足以说明。


 “我们研究了国内外主要的大规模调度系统,不要说单集群10万,就是几千节点,一般的调度系统都很容易出现问题。”

 

大家熟悉的OpenStack项目就是如此。要管理10万级别的计算机这样大规模的调度系统,国内外没有任何已有的系统和资料可以参考。对于腾讯云来说,只有从零开始,而且要做就做到最好。

 

技术上,5千节点是一道大的门槛, 业界知名的Google、Amazon云平台都遇到过大规模停机的事情,很多问题你是无法预料到的。只有经历大规模部署,有些问题才会出现,所以背后的技术难度可想而知。


“从开始决定做这个系统之后,我们就从各个技术小组抽调了10来个人,联合攻坚。前后1-2个月时间,就把系统做出来了,这个系统背后的每一条代码都是我们自己从无到有开发出来的。”沙开波介绍说。


“我的个性是这样的,只要有一个事情放在那个地方没有解决的话,就会白天想、晚上想。”按照沙开波的描述,出身技术的他本身就是一个技术狂,或者说是工作狂。通常情况下,一个任务布置下来,两个星期交付都没有问题,但沙开波却一定要尽可能两天把它做出来,然后留更多的时间去完善。


2

“我们的目标是5秒创建虚拟机” 


腾讯云分布式调度系统VStation通过消息压缩、镜像缓存、快照回滚等系列优化实践,实现了生产吞吐率从数百台 /分钟到数万台 /分钟、平均创建时间由 300秒下降到 30秒以下的惊人蜕变。


在谈到VStation升级问题时,沙开波非常兴奋,并表示腾讯云内部的目标“希望虚拟机在5秒到10秒之间就可以创建出来,并希望通过软硬结合的方式,降低虚拟化带来性能损耗的问题。”


从30秒降到10秒以内,对于技术来说又是一次质的飞跃。沙开波深知,这个计划如果完成,对于整个腾讯云技术来说,将是又一次洗礼,但是这个没有退路。


创建速度快,意味着用户体验更好。站在用户的立场,如果能够快速的帮助企业创建出来,这不仅仅是时间的问题,更多的是对用户业务上的帮助。“我们在团队里一直强调,我们做弹性计算,首先计算要能弹,能快速地去交付给用户,如果创建一个机器需要几分钟,一个小时才能拿到的话,这不叫云计算!”


关于创建速度的问题,沙开波直言不讳:“从目前来看,我们的创建速度非常有竞争力,即便和国内外更早布局云计算的公有云厂商对比,我们也有足够的自信。”


另外,云计算最开始考虑的是如何把计算或网络跟物理机解耦,其中虚拟化技术起到了关键的作用。但不可否认,云变成一个基础设施的时候,虚拟化虽占尽优势,但却增加了性能上的损耗,其中包括网络、存储等等。


而在采访中,沙开波也表示这也是腾讯云所关注的问题。“我们正在做一些软硬结合的工作,来降低虚拟化带来性能损耗的问题,不论是网络还是存储,我们最终目标还是弹性的计算,希望用户可以按需获得媲美物理计算资源的弹性云计算资源。”


3

用户是最好的“裁判员”,“靠近”才能明晰方向


在沙开波的眼中,用户才是最好的“裁判员”,所有的技术升级和突破,归根结底就是要让技术普惠化,让技术为人所用。


不可否认的一条市场定律,“需求才是生产力”。或许正是沙开波想法的诠释。据了解,腾讯云产品的优先级是基于客户的需求来的,很多产品和技术都是来自于客户实际的想法以及真实的诉求。


沙开波也正在带领团队走近用户。“今年从上到下希望离用户更近一点,也多跟客户去聊,了解客户的诉求和需求”。他透露这是2018年重点要去改变的方向。


正如沙开波口中“裁判员”的说法,一个产品团队产品做得好和不好,客户的评价往往是最中肯、实用的。在谈及工作中遇到的问题、以及如何解决问题的时候,沙开波描述了他们解决问题的思路。


“先去帮助客户去解决问题,虚心接受客户的吐槽,之后再优化产品。”


以这样的工作理念,沙开波在腾讯已经走过了9年的时间。目前,在沙开波眼中腾讯云还在不断“闯关升级”,但可以肯定的是,未来在千万个具备匠人精神的“沙开波”努力下,腾讯云将会更茁壮,为用户带来更多的价值。

以上是关于专访腾讯云沙开波:从无到有,打造全球领先调度系统︱大咖访谈录的主要内容,如果未能解决你的问题,请参考以下文章

如何打造一个成熟的开源项目团队?PingCAP联合创始人黄东旭专访纪要

腾讯云要逆天,一个人也能开发复杂的网络游戏,深圳腾讯云沙龙发来的报到!

腾讯云发布三大独家功能:弹性网卡广播&组播专线NAT网关(内附媒体专访)

钻老板携手阿里云,打造行业安全领先珠宝SAAS新零售系统!

盘古开源确立技术领先优势,打造全球先进芯片研发企业

聚焦数字时代发展新引擎 THOMAS托马斯打造全球领先屏幕经济体系