2021年数据中台行业十大关键词

Posted 2022-02-22 zhisheng_blog

导读：回顾2021年，由于技术变革、行业理念创新以及政策风向的变化，在数据中台领域兴起了许多热门概念。

我们盘点了过去一年中数据中台行业十大热门关键词，包括了云原生、隐私计算这类热门技术；国产化信创、PBC这类市场趋势；还有轻量级数据中台、CDP等热门业务方向。这些概念在丰富现有模式的同时，也为未来行业发展带来了新的启示。

01 隐私计算

闫树，中国信通院云计算与大数据与区块链部副主任

一句话点评

安全是基础保障，性能决定了是否可用。

相关背景

2021年9月1日，我国第一部有关数据安全的专门法律《中华人民共和国数据安全法》正式施行，成为数据安全保障和数字经济发展领域的重要基石。

《数据安全法》明确指出：发展与安全并重，在强调数据安全的基础上鼓励数据应用和流通，同时鼓励相关技术的研究与应用。

隐私计算作为能够兼顾数据应用与安全保护的关键技术，成为行业关注焦点。据有关数据统计，2021年，隐私计算产品增长迅速，产业爆发正在成为现实。

目前在大数据领域，隐私计算的应用主要是嵌入大数据平台，接口共享，成为大数据平台中的关键组件。

名词释义

隐私计算主要指在保护数据本身不对外泄露的前提下，实现数据分析计算的一类信息技术，主要分为可信硬件和密码学两大领域。

数据通过流动来释放价值，在数据要素市场化配置成为国家级战略的大背景下，隐私计算有着至关重要的意义。

问题

Q：隐私计算的技术路线是什么？

目前隐私计算主要有2条技术路线，一是多方安全计算，在无可信第三方情况下，安全的进行多方协同的计算。在一个分布式网络里面，多个参与实体各自都有一个秘密的输入，共同完成某个函数的计算，而要求每个参与实体除了计算结果外，均不能得到其他参与实体任何输入信息。目前，多方安全计算主要应用在金融领域，场景多见于多方联合风控以及精准营销。

另一个技术路线是联邦学习，也是目前最受关注的技术路线，据统计，目前大概有42%的产品都是采用联邦学习架构。但由于其安全性问题，行业还有所争议。

02 云原生

许锡彬，数澜科技CTO＆数澜研究院院长

一句话点评

没有伪概念，只有真需求，云端时代，需要云原生。

相关背景

2020年9月，过去54年从未参与新股发售的“股神”巴菲特一反常态，押注云原生数据仓库厂商Snowflake。Snowflake上市当日涨幅超过110%，此后，股价一路高歌猛进，市值一度飙升至1200亿美元，一举超过了老牌IT巨头IBM。

据36氪报道，Snowflake股价的高速增长，来自于资本对“云原生”概念的看好。“与其说巴菲特押注的是Snowflake，倒不如说是以往数据仓库无法比拟的，云原生的未来。”

在Snowflake热潮之下，2021年，国内出现了不少的“云原生”概念厂商，部分数据中台创业公司喊出了“云原生数据中台”“中国的Snowflake”口号。

名词释义

云原生（Cloud Native）代指一种在“云”上构建和运行应用程序的理论。从字面意思看，云原生可以拆成“云”和“原生”两个部分。“云”相对的是“本地”，传统的存储、运算都在本地服务器上运行，而在云计算时代，逐渐转移到了云端。“原生”是指土生土长，基于原始的环境生长。

问题

Q：云原生数据中台会是行业未来趋势吗？

可以肯定地说云计算一定是未来的关键，同样，云原生也一定是行业发展的趋势。但相比较同行高举高打式推行云原生数据中台的概念，值得冷静思考的一点是中国企业云计算普及率是多少，借用一个数据——“2021年天猫双11是首个100%的云上双11。”

这也意味着即使是行业先锋，也才完成全面云化，而大部分传统的公司云化进程还不到20%，所以在这个阶段，我以及数澜科技更主张“多云适配”的概念，以解决企业数字化进程中IT系统架构日渐复杂以及逐渐云化的情况。

03 流批一体

白松，数澜科技研发中心副总经理

一句话点评

流批一体化将是企业构建数据中台的必备选择。

热门事件

传统的 Lambda 架构数据开发需求是基于流、批两套计算引擎产出，这种分离的架构不仅会带来两套开发成本，也导致数据逻辑和口径难以对齐。

因此，业界提出流批一体的技术理念，初衷是让开发人员能够用同一套代码实现大数据的流计算和批计算，进而保证处理过程与结果的一致性。

近两年，随着各大数据厂商都陆续提出自己的解决方案，在一定程度上说明流批一体的思想已经在业界得到广泛认可。

当前流批一体技术已从理论走向落地，Flink 流批一体已在多个业务场景中得到成功验证，相信将会在未来迎来快速发展期。而且随着更多大型互联网公司成功落地并向业界输出经验，将会推动更多中小企业选择跟进和尝试流批一体架构。

名词释义

流批一体用同一套接口实现大数据的流计算和批计算，进而保证处理过程与结果的一致性。

问题

Q：流批一体概念核心主要体现在哪些方面？

流批一体主要体现在以下四方面: 统一元数据、统一计算引擎、统一数据存储和统一IDE。

统一元数据，离线和实时的元数据统一存储，业界一般选用Hive MetaStore。

统一计算引擎，离线和实时计算采用统一的计算引擎，并用一个逻辑一套代码去覆盖离线和实时两个场景。

统一数据存储，统一存储离线和实时的数据，避免数据的不一致、重复存储和重复计算等问题。

统一IDE，提供一套统一的开发工具，能支持流批一体模式的数据开发、运维和管理。

04 信创国产化

徐少春，金蝶集团董事会主席＆CEO

一句话点评

巨大的事物总有细小的开端。

热门事件

随着中美竞争关系加剧，中国高新技术企业受到了美国的技术封锁，芯片、基础软件和中间件基本被美国企业所垄断，“缺芯少魂”成为了中国信息产业发展的一大难题，引起了全国广泛关注。

在这样的背景下，“信创国产化”的概念被提出，肩负着发展中国信创生态产业，加强中国信息技术安全可控与开放创新的重要使命。

名词释义

信创国产化是指在信息技术应用创新产业链条中（包括芯片、系统平台、中间件和应用软件等）实现全面国产化替代。

05 PBC（可封装能力）

Gartner （*援引自Gartner公开报道）

热门事件

Gartner预测，到2023年60%的主流企业将把可组装企业作为战略目标，并将使用越来越多的封装业务能力。

Gartner研究总监孙鑫在采访中表示：“搭建中台的最终目的是让用户使用，只有用户不断地把‘积木’组装起来，实现更多创新型、数据变现型应用，才能最大化实现中台价值。”

名词释义

PBC（Packaged Business Capability）是一个打包业务能力，由软件定义，大多数时候以API service和模块化的形式交付。

PBC具有四个属性。

高度模块化的组件，可快速应用到企业业务场景中；

有足够的自主性，能够自给自足，确保组装时有足够的灵活性；

可以被编排，“积木”能够按照一定流程和事件接口，或是通过API打包成一定流程；

组件可以被发现，确保对封装的业务能力做到语义清晰的设计，可以轻松获取。

问题

Q：数据中台需要什么类型的PBC？

数据中台需要如下类型的PBC。

封装的分析能力PBC，以便助力决策制定。

自服务能力，传统的IT驱动报告报表不再能够满足用户需求，需要被封装起来，和自服务分析能力一起交付到业务中，用户可以通过低代码或无代码的形式做探索性拖拉拽式分析。

由机器学习赋能的预测分析能力，通过更好的预演和预测让分析更有效。

06 数据智能

赵东辉，数澜科技数据智能业务负责人

一句话点评

数据智能将成为企业数字化转型的关键。

相关背景

数据智能是2018年前后诞生的一个新概念，在2021年受到了行业的广泛关注。

数据智能的提出，主要基于两大方面原因。首先是庞大的数据，经过前几年大量数据的线上化、数字化，当下中国企业已有很多数据资产。其次，随着数字化转型的不断深入，企业复杂的业务场景，需要更多元化的技术才能解决问题。而数据智能的出现，正承担了这项职能。

名词释义

数据智能，是指以数据为生产要素，通过融合数据处理、数据分析与挖掘、数据可视化、机器学习等大数据和人工智能技术，实现数据驱动的智能分析与决策。

问题

Q：相较于人工智能，数据智能有何不同？

数据智能的核心在于“大数据驱动和业务场景牵引”。人工智能技术偏向各行业都适用的通用场景，如人脸识别、智能客服等，而数据智能必须要结合大数据与行业业务场景，融合业务知识，再进行技术的开发与优化。

数据智能结合了人工智能的优势，具备智能化自主学习能力，同时也更聚焦业务场景，可以帮助企业解决复杂、深层的业务问题。

07 CDP（客户数字运营平台）

付登坡，畅销书《数据中台：让数据用起来》作者

一句话点评

CDP将为MarTech生态带来全新的技术革命

相关背景

互联网营销环境的剧烈变化，流量红利逐渐枯竭，可使用的外部数据越来越有限，而企业获客的成本也越来越高。企业的关注重点，从如何大量快速获取流量，转变为如何围绕用户数据采集和沉淀、 用户标签体系建设以及用户运营平台的建设，提升消费者全生命周期价值，构建精细化运营的能力，进而带来整体的增长，CDP成为时下最为热门的MarTech选项。

著名市场研究机构Markets and Markets数据显示，CDP的全球市场规模将以29.3%的年均复合增长率不断扩大，在2020年已达到25亿美元，预计2025年将达到104亿美元。在预测期间的复合年增长率（CAGR）为34.2%。

名词释义

CDP Institute创始人David Raab在2013年首次提出Customer Data Platform（CDP）的概念：CDP是一个软件包，可创建可由其他系统访问的持续统一的消费者数据库。通过不同来源的数据的抓取、清洗、整合生成单一的消费者画像。

目前，行业对CDP的定义不尽相同，但核心都在于对私域流量消费者全生命周期行为数据的获取、管理与应用，其目的都是帮助企业更好地利用数据，将数据应用于营销活动并且优化消费者体验管理，最终带来业务增长。CDP的核心功能大体可以分为数据的采集与清洗、打造Super ID（one id）、标签分类以及数据服务化四大模块。

问题

Q：哪些企业需要CDP（（客户数字运营平台））？

企业拥有两个或者以上的各种数字平台(微信、网站、短信、app等)，并且其上有较多⽤户参与或互动的；

企业需要针对不同细分类型的客户、潜在客户或者用户设计不同的营销⽅案，并基于这些设计为这些不同类型的⼈群提供不同的营销体验

企业需要营销策划，或者⼴告投放得更为贴近⽬标消费者群体，以获得更好的用户响应率，销售转化率和品牌认知度

企业经常进行再营销⼴告（⼆次定向广告/重定向广告）投放，并希望扩大再营销的投放规模，在更加细分的⽤户群⾥投放广告

企业需要⼤量采用营销⾃动化市场运营手段(尤其是基于微信公众号、⼩程序、短信和邮件的⾃动化营销)

08 城市数据中台

李言，贵阳经开区城市数据中台项目专家

一句话点评

城市数据中台助力城市数字化转型。

相关背景

城市数据散落在政府、企业以及居民等主体拥有的成百上千个系统当中，信息获取困难，数据资源割裂，传递零散，导致海量城市数据使用效率低下，无法为城市更新升级做足支撑，而城市数据中台的出现有效解决了这一窘境。

城市数据中台由数据生产要素、数据生产工具、数据生产环境构成，以城市数据为核心，以数据安全为基础，围绕数据产生、介入、处理、分析、应用到销毁等全生命周期，能够快速感知城市运行，构建基于数据安全的管理闭环，对经济社会发展态势进行精准监测、精准决策和精准施策，实现城市运行运营持续迭代升级。

名词释义

城市数据中台包含两个层面，一是指对政务系统里各种信息化系统的连接，也就是大家经常看到政务数据所谓的汇聚，联通共享。

另外，城市数据中台也包含整个城市全域物联感知网的数据采集，通过构建统一物联设备的管理平台，来汇聚来自全域的传感的感知数据，实现公共事务、城市治理统一的调度和指挥。例如近些年普及开的各个小区的人脸识别的终端数据，也是数据中台里面物联管理模块的需求。

09 轻量级数据中台

占超群，阿里云数据库OLAP产品部总经理

一句话点评

数据中台是信创生态产业链中非常重要的一部分。

相关背景

企业数字化转型驱动市场需求不断增加，数据中台行业增长势头明显，市场规模快速扩张。与此同时，数据中台在行业头部企业已逐渐落地，为数据中台能力要求相对简单的中小企业，提供标准化、轻量化的整体解决方案成为市场趋势。

2021年10月21日，在云栖大会云原生数据仓库AnalyticDB技术与实践峰会上，阿里云X数澜科技联合发布“轻量级数据中台解决方案”。

名词释义

轻量级数据中台解决方案以数澜科技旗下数据中台构建套件数栖平台为核心，集成阿里云自研的云原生数据仓库AnalyticDB。基于AnalyticDB稳定、高实时响应、高吞吐等特性，在PB级数据在线处理具有极大优势，能够大幅提升数据处理效率，为金融、政企、泛互联网等客户构建数据资产，释放数据价值提供有力支撑。

目前，“轻量级数据中台解决方案”在管财合一、应收应付、人力专题、时序数据分析、多维实时数据监控、数字孪生等场景得到了深入应用。

问题

Q：相较于传统数据中台，“轻”在何处？

敏捷开发：存储、设计、计算、服务一体化，面向行业的业务模型沉淀，敏捷定制，快速部署；

轻量高效：简化传统中台架构，用ADB替代hadoop生态，降低企业资源存储及计算的复杂度和成本存储水平拓展，高性能数据库列存为多维分析决策提供保障；

场景匹配：大场景、小切口、快应用、大牵引，自下而上，围绕场景构建数据资产，实现数据的模块化、插件化、场景化，快速匹配需求，贴近价值。

10 首席数据官（CDO）

彭文华，中国电子商会数据资源服务创新专委会专家

一句话点评

对数据的管理，关键在人。

相关背景

2021年5月，广东省政府办公厅印发《广东省首席数据官制度试点工作方案》，鼓励试点单位先行先试，强化跨部门、跨层级、跨领域统筹协同机制，为全面落实首席数据官制度积累可复制、可推广的经验做法。随后，浙江绍兴市和杭州市滨江区等地相继推出了首席数据官制度，为数字政府改革翻开新的篇章。

名词释义

首席数据官(Chief Data Office，简称CDO)一职最早由企业创设，主要职责是根据企业的业务需求通过数据挖掘、处理和分析，对企业未来的业务发展和运营提供战略性的建议和意见。

如今，首席数据官这一特殊岗位，也被应用于政府数字化改革中。根据浙江绍兴市首席数据官制度定义，首席数据官是本单位（部门）统筹管理公共数据资源、组件资源和应用资源的第一责任人，是统筹建设多跨场景应用的技术把关人。

问题

Q：为什么在政府单位中设置首席数据官？

利用大数据提升国家治理现代化水平，推进数字政府建设已成为大势所趋。据相关数据统计，我国已有17个省（直辖市）203个市（州、盟）组建了专门的大数据管理机构。但在实际过程中，政府之间数据资源共享渠道不通畅，政府数据往往由各级政府部委或直属相关单位存管，成立的大数据管理机构职能有限，数据的汇聚、融合、共享往往需要更高层级由上至下积极推动。

其次，公共数据数量大、数据标准不一、数据资源调度不畅等问题，导致大量有价值的政务数据资源难以得到有效开发利用，因此政府设置首席数据官制度十分必要。

end

Flink 从入门到精通 系列文章

基于 Apache Flink 的实时监控告警系统
关于数据中台的深度思考与总结（干干货）
日志收集Agent，阴暗潮湿的地底世界

公众号(zhisheng)里回复 面经、ClickHouse、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章。

点个赞+在看，少个 bug 👇