专访黄炳琪：腾讯云存储用技术扛住数十亿用户负载 ︱大咖访谈录

Posted 2021-04-28 腾讯云

今天“大咖访谈录”邀请到的是腾讯云存储总监、技术负责人——黄炳琪。

他加入鹅厂10年，与腾讯云一起成长，是个“技术的独立思考者”。他负责的鹅厂最底层的数据存储平台，承载着数十亿用户负载，多年来从未发生过一起数据丢失事件。

在他看来，存储是技术含量非常高的一个领域，是云计算背后的无名英雄。拥有超高颜值的他专注于技术，甘愿做无名英雄背后的支撑者。

●

人物小档案：

姓名：黄炳琪

职位：腾讯云存储总监、技术负责人

特点：颜值超高，堪称码农界“黄晓明”

说到腾讯云存储，就不得不提COS腾讯分布式存储系统。

今天，我们要访谈的对象就是这庞大数据存储背后的操盘手、腾讯云存储总监、技术负责人——黄炳琪。

从开始加入腾讯到现在已经十年，十年之中，黄炳琪一直是个技术的“独立思考”者，在从腾讯开放平台走向云的过程中，他也和腾讯云一起不断成长。

“我们COS系统承载数十亿用户负载，并且多年来从没发生过一起数据丢失事件，靠的不是某一项黑科技，而是在跟业务慢慢磨合过程中，形成了强大的技术沉淀和积累。并且我们非常幸运的是有机会去检验和完善自己的技术。这点是我觉得其他竞品很难去模仿或者超越的地方。”黄炳琪表示。

腾讯云存储的独门“必杀技”

腾讯云COS自2015年正式开放以来，用户对于云存储的需求也在不断变化。这几年，云端积聚大量的视频和图片，相应对视频转码、图片缩放、裁剪等需求也随之而来。 

 

有鉴于此，腾讯云及时推出万象优图和视频处理服务，可支持丰富的图片和视频处理功能，如图片压缩编辑及智能裁剪，视频多转码格式及水印设置等。

人脸检索

另外，鉴黄服务当属COS的独门“必杀技”，腾讯每天要接收数亿张图片，而这些图片作为庞大的资源库支撑着鉴黄服务高达99.9%的精准度，最大程度确保安全。

图片鉴黄

谈及背后的技术难度，黄炳琪表示：“其实所有的技术问题，从本质上来说都可以解决,关键是在时间、成本、需求、技术之间做好的权衡”。

技术含量极高，存储是云计算“皇冠上的明珠”

谈及存储，黄炳琪表示：“存储不像其他技术那么花哨，但它绝对是技术含量非常高的一个领域”。

如黄炳琪所说，存储才是整个云的核心，如同盖房子时的“地基”。如今，云计算、大数据乃至人工智能很多复杂性的业务实现，底层都需要存储这一项技术强有力的保障。

“存储是云计算背后的无名英雄”，黄炳琪表示。

在云计算早期发展的过程中，人们更注重的是 “计算”、“流量” 等无状态类型的服务，当人们把比较容易摘到的“果实”摘完之后，巨大的存储市场才显露出来。这时大家才发现，云计算，作为一项相对灵活的技术，对于业务来说，所有的流量可以切走，计算可以迁移，但是存储一旦选择之后，很少再会“挪动”，否则会对业务产生非常大的影响。

奉献开源，颠覆想象的腾讯云存储黑科技

回到前文，腾讯云不靠黑科技，不代表没有黑科技，恰恰相反，基于对存储重要性的认知，腾讯存储“黑科技”探索之路从12年前就已经开始。

首先，腾讯云颠覆了原来操作系统中用户态和内核态传统的概念，平时我们用的Linux操作系统内核很难承担大流量高并发场景，主要原因是传统内核架构在中断、内存拷贝，上下文切换、进程调度时会产生大量的额外性能损耗，腾讯云重新定义了用户空间和操作系统上空间的概念，把所有的代码全部运行到用户空间，不再经过内核空间，这样就会让计算集中在局部空间，从而不会产生额外的消耗。值得一提的是，腾讯云也早已经将这项黑科技F-Stack开源。

另外，在操作系统底层彻底抛弃传统的文件系统，直接面对裸盘，在硬盘上重新组织自己的数据，重新设计自己的调度算法，减少存储过程中，由于传统文件系统带来的额外性能消耗和空间浪费。

走出舒适区，腾讯云存储未来要去“融合”

谈及未来规划，黄炳琪首先想到的是“融合”，他认为，只有云存储和传统存储能够形成一个非常好的融合，才能更好的支撑更多场景的落地。

“我们需要走出原来支撑互联网存储的舒适区，不能抱着去颠覆某个行业或者颠覆一个技术、一个产品的心态，而要更多的去学习和了解传统行业，去融合、去助力、去普惠！”

目前，云计算给全行业带来的影响已经不言而喻，然而不得不承认，在某些行业、场景与云的融合还将进一步升级，腾讯云通过调整最基础的存储战略方向，使云架构的存储和传统存储架构之间更好的融合，或将使云对金融、政务、运输等行业的支撑更加完美。