数据中台走向云原生

Posted 2021-05-17 奇点云

2020年9月16日，云原生数据平台厂商Snowflake在纽交所上市，仅两分钟就触发熔断，涨幅一度高达166%，完成了史上规模最大的软件IPO。

700亿美元市值如何复制？谁将是中国的Snowflake？许多问题抛向大洋此岸。伴随着Cloud Data Platform（云数据平台）首次被写入招股书，“云原生”（Cloud Native）这个走了快10年的技术概念强势回归数智赛道视野，成为国内炙手可热的概念。

 

在距离Snowflake美国总部9896公里之外的杭州，同样是2020年9月，一家专注于视频创作工具与服务的互联网企业（暂称它为X公司）向它的数据中台服务商提出了一个难题：

“我们服务多个国家和地区的用户。能不能在保证多个国家和地区实现数据生产和合规隔离的同时，实现账号权限、数据审计和安全策略的全局管理？”

01

出海企业的跨云挑战

X公司推出的APP在海内外非常受欢迎。旗下产品矩阵登陆全球200多个国家及地区，产品支持10余种语言，下载量超10亿。如今，X公司在全球的用户订阅数仍在不断增长。

这也意味着，数据在不断增长，在各个地区各种IaaS上的成本在不断增长——出于地域和法规的要求，他们必须在多个国家和地区的多种IaaS上分别独立部署，以达到数据生产和合规隔离的要求，例如，在印度部署1个workspace在孟买AWS上，在北美部署1个workspace在微软的Azure上，在中国部署1个workspace在阿里云上……

在分头管理了8年后，X 公司选 择直面问题，去找一种解决方案。

 

这个解决方案需要满足：

1. 实现跨云部署。 X公司的业务部署在海内外的不同云平台，需要一套适用于不同云平台的数仓系统。

2. 提高跨云及不同地区的协作与管控效率。 研发总部位于国内，正式提供服务的环境则覆盖全球，这其中涉及多个环境和服务的管理。需要在符合国家地区间商业数据与地域管制的要求下，有一套账号体系来对所有地域进行统一管控，提高协作效率。

3. 减少存算开销。 伴随着业务爆发，数据增长速度极快。而现有的云服务器计算资源与存储资源未作区分，亟待借助新技术来控制存算成本。

 

奇点云接了这一招。

架构重塑，更充分地享受云的“利好”：重点拆分系统中的计算与存储，用分布式的远程存储方案来替代本地存储，从而让容器的调度不再受限于存储资源所在的位置，降低存储成本——存储成本降至原来的1/3以下。

同时，依托DataSimba（云原生数据中台产品），实现分级多域部署和跨云跨平台部署：用户、权限及配置统一在主域上修改，从域即可自动同步最新数据；X公司可以在不同的地区采用不同的云厂商进行部署，避免商业因素、地域因素、单一云厂商因素等对其数据能力建设的影响；单个域资源独立，但多个域之间使用统一的权限和账号体系，运维和管理人员就无需在不同平台间切换使用，工作效率大大提升。

“本质上，X公司需要一个和它站在一起的服务商。”奇点云高级技术专家地雷说，“AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云……每一家都有自己云原生技术，以吸引客户搬上自己的云。但技术接口的中立性和跨平台性往往被有意无意忽略了。”只有云原生数据中台才能满足X公司的需求——通过“跨云多域”支持其数据与应用的跨云治理和迁移，且系统架构体系设计得更开放、更安全、更容易集成，真正成为云上“原住民”。

02

业务驱动数据中台走向云原生

去年9月，Snowflake在业界掀起“暴风雪”，“云原生”成为buzzword。而云原生数据中台在X公司们的实践又恰恰证明了，这不只是一场概念出圈的狂欢。

我们可以在其中窥见“数据中台必将走向云原生”的端倪：

1. 数据中台存储海量数据，且作业高吞吐高并发，对存算分离的各项指标要求明显高于其他领域的应用；

2. 大数据集群规模大进程多，天然需要微服务治理和其他智能运维技术；

3. 客户对数据安全、数据确权极其关注，加上toB的分级多域数据治理场景非常复杂，产生了对跨平台技术、数据安全技术、合规数据合作技术的强烈需求。

 

对象体系、容器化编排、存算分离、CI/CD（持续集成持续交付）、跨云多域数据治理、元数据管理等云原生技术属性 ，渐渐描绘出了DT时代企业应对大数据浪潮的答案。

这也正是奇点云对“云原生数据中台”的理解。

阿里巴巴首个数仓建立者、阿里云数加平台（现阿里数据中台Dataworks）创始人、奇点云创始人兼CEO行在介绍，相比常规的“云原生”定义，“奇点云的云原生”多强调了几个因素：对象体系、跨云多域、自主可控。

他谈到，奇点云是标准的乙方数据智能技术供应商，服务于泛零售、金融、政府、运营商等行业，所以有动力做这两件事：

1. 尽可能优化架构，降低数据应用在IaaS上的计算、存储成本；

2. 实现跨云数据治理，因此客户在云平台的选择上可以更加从容、更加独立。

总而言之， 和客户站在一起。

 

同样是20多年数据老兵的地雷亦有同感，他说：“云原生这个东西在我们技术人的概念里，很多要素二十年前就有了，十几年前就已经成为互联网技术团队的标配。例如，2007年Google已向Linux内核社区贡献cgroup补丁；2008年腾讯阿里招收计算机方向校招面试题里就有CI/CD的问题；2013年我在阿里云ODPS团队时，ODPS的调度器和执行器已加上了cgroup能力。”

“但为什么现在我们在提‘云原生数据中台’，我们强调云原生数据中台的实践，它的背后是业务驱动的技术升级。”

如何站在技术与商业的交叉点上，支撑企业建立数智能力？

云原生是追赶风口or业务驱动？云原生又是谁的“云原生”？

数据中台将走向怎样的未来？

关于云原生数据中台的更多思考，围绕数据技术的更多讨论，将在今年5月20日“StartDT Day数据技术大会”上展开。

本届大会以“应云而生，原力觉醒”为主题，投资人、技术专家和开发者伙伴们将在会上解读技术，畅谈趋势；新一代云原生数据中台和数据产品新升级也将在现场重磅发布；以业务价值为导向，用技术拓展商业的边界，企业代表和行业专家们还将带来多个领域的创新实践。

面对数据爆炸的世界，我们希望找到与之友好交往的方式。

期待与你一起，共同拥抱数智时代。

推荐阅读

STARTDT

点击“阅读原文” 报名参会