数据中台：FastData云原生数据智能平台

Posted 2023-04-04 Freedom3568

未来企业业务都是智能化的，且都是基于数据的。根据IDC白皮书《数据时代2025》预测，2025年全球的数据总量将会升至175ZB，且超过25%的数据将成为实时数据，规模化数据智能时代即将到来。

企业数据平台的建设将成为数据价值呈现的关键因素，从而推动全行业探索新一代实时数据智能平台，并基于云原生技术的中立性大幅度提升企业一线部门的数据应用效能。

滴普科技自主研发的FastData，核心愿景是打造低成本、高性能、易使用的一站式云原生数据平台底座，帮助企业从BI到AI实现数据驱动业务的数字化转型。

本文是关于新一代云原生数据智能平台FastData的开篇，接下来，我们会用8个专题详细介绍FastData的相关能力，每周推送一篇，帮助大家进一步了解FastData的细节和场景。

FastData的核心设计理念：低成本、高性能、易使用

FastData通过一站式数据智能服务能力，解决企业技术架构和数据架构固有的成本问题和复杂问题，加强业务与技术团队更高效的协作和创新。

即便忽略人工智能规模化应用的挑战，大数据平台的建设也是企业的一件大事情：数据处理过程中将部署大规模数量的机器，与此同时，使用Hadoop等技术组件的选型对企业技术人员的能力要求都是巨大的挑战。

回归本质，企业

数据中台走向云原生

2020年9月16日，云原生数据平台厂商Snowflake在纽交所上市，仅两分钟就触发熔断，涨幅一度高达166%，完成了史上规模最大的软件IPO。

700亿美元市值如何复制？谁将是中国的Snowflake？许多问题抛向大洋此岸。伴随着Cloud Data Platform（云数据平台）首次被写入招股书，“云原生”（Cloud Native）这个走了快10年的技术概念强势回归数智赛道视野，成为国内炙手可热的概念。

 

在距离Snowflake美国总部9896公里之外的杭州，同样是2020年9月，一家专注于视频创作工具与服务的互联网企业（暂称它为X公司）向它的数据中台服务商提出了一个难题：

“我们服务多个国家和地区的用户。能不能在保证多个国家和地区实现数据生产和合规隔离的同时，实现账号权限、数据审计和安全策略的全局管理？”

01

出海企业的跨云挑战

X公司推出的APP在海内外非常受欢迎。旗下产品矩阵登陆全球200多个国家及地区，产品支持10余种语言，下载量超10亿。如今，X公司在全球的用户订阅数仍在不断增长。

这也意味着，数据在不断增长，在各个地区各种IaaS上的成本在不断增长——出于地域和法规的要求，他们必须在多个国家和地区的多种IaaS上分别独立部署，以达到数据生产和合规隔离的要求，例如，在印度部署1个workspace在孟买AWS上，在北美部署1个workspace在微软的Azure上，在中国部署1个workspace在阿里云上……

在分头管理了8年后，X 公司选 择直面问题，去找一种解决方案。

 

这个解决方案需要满足：

1. 实现跨云部署。 X公司的业务部署在海内外的不同云平台，需要一套适用于不同云平台的数仓系统。

2. 提高跨云及不同地区的协作与管控效率。 研发总部位于国内，正式提供服务的环境则覆盖全球，这其中涉及多个环境和服务的管理。需要在符合国家地区间商业数据与地域管制的要求下，有一套账号体系来对所有地域进行统一管控，提高协作效率。

3. 减少存算开销。 伴随着业务爆发，数据增长速度极快。而现有的云服务器计算资源与存储资源未作区分，亟待借助新技术来控制存算成本。

 

奇点云接了这一招。

架构重塑，更充分地享受云的“利好”：重点拆分系统中的计算与存储，用分布式的远程存储方案来替代本地存储，从而让容器的调度不再受限于存储资源所在的位置，降低存储成本——存储成本降至原来的1/3以下。

同时，依托DataSimba（云原生数据中台产品），实现分级多域部署和跨云跨平台部署：用户、权限及配置统一在主域上修改，从域即可自动同步最新数据；X公司可以在不同的地区采用不同的云厂商进行部署，避免商业因素、地域因素、单一云厂商因素等对其数据能力建设的影响；单个域资源独立，但多个域之间使用统一的权限和账号体系，运维和管理人员就无需在不同平台间切换使用，工作效率大大提升。

“本质上，X公司需要一个和它站在一起的服务商。”奇点云高级技术专家地雷说，“AWS、阿里云、微软云、腾讯云、华为云、京东云、Google云……每一家都有自己云原生技术，以吸引客户搬上自己的云。但技术接口的中立性和跨平台性往往被有意无意忽略了。”只有云原生数据中台才能满足X公司的需求——通过“跨云多域”支持其数据与应用的跨云治理和迁移，且系统架构体系设计得更开放、更安全、更容易集成，真正成为云上“原住民”。

02

业务驱动数据中台走向云原生

去年9月，Snowflake在业界掀起“暴风雪”，“云原生”成为buzzword。而云原生数据中台在X公司们的实践又恰恰证明了，这不只是一场概念出圈的狂欢。

我们可以在其中窥见“数据中台必将走向云原生”的端倪：

1. 数据中台存储海量数据，且作业高吞吐高并发，对存算分离的各项指标要求明显高于其他领域的应用；

2. 大数据集群规模大进程多，天然需要微服务治理和其他智能运维技术；

3. 客户对数据安全、数据确权极其关注，加上toB的分级多域数据治理场景非常复杂，产生了对跨平台技术、数据安全技术、合规数据合作技术的强烈需求。

 

对象体系、容器化编排、存算分离、CI/CD（持续集成持续交付）、跨云多域数据治理、元数据管理等云原生技术属性 ，渐渐描绘出了DT时代企业应对大数据浪潮的答案。

这也正是奇点云对“云原生数据中台”的理解。

阿里巴巴首个数仓建立者、阿里云数加平台（现阿里数据中台Dataworks）创始人、奇点云创始人兼CEO行在介绍，相比常规的“云原生”定义，“奇点云的云原生”多强调了几个因素：对象体系、跨云多域、自主可控。

他谈到，奇点云是标准的乙方数据智能技术供应商，服务于泛零售、金融、政府、运营商等行业，所以有动力做这两件事：

1. 尽可能优化架构，降低数据应用在IaaS上的计算、存储成本；

2. 实现跨云数据治理，因此客户在云平台的选择上可以更加从容、更加独立。

总而言之， 和客户站在一起。

 

同样是20多年数据老兵的地雷亦有同感，他说：“云原生这个东西在我们技术人的概念里，很多要素二十年前就有了，十几年前就已经成为互联网技术团队的标配。例如，2007年Google已向Linux内核社区贡献cgroup补丁；2008年腾讯阿里招收计算机方向校招面试题里就有CI/CD的问题；2013年我在阿里云ODPS团队时，ODPS的调度器和执行器已加上了cgroup能力。”

“但为什么现在我们在提‘云原生数据中台’，我们强调云原生数据中台的实践，它的背后是业务驱动的技术升级。”

如何站在技术与商业的交叉点上，支撑企业建立数智能力？

云原生是追赶风口or业务驱动？云原生又是谁的“云原生”？

数据中台将走向怎样的未来？

关于云原生数据中台的更多思考，围绕数据技术的更多讨论，将在今年5月20日“StartDT Day数据技术大会”上展开。

本届大会以“应云而生，原力觉醒”为主题，投资人、技术专家和开发者伙伴们将在会上解读技术，畅谈趋势；新一代云原生数据中台和数据产品新升级也将在现场重磅发布；以业务价值为导向，用技术拓展商业的边界，企业代表和行业专家们还将带来多个领域的创新实践。

面对数据爆炸的世界，我们希望找到与之友好交往的方式。

期待与你一起，共同拥抱数智时代。

推荐阅读

STARTDT

点击“阅读原文” 报名参会