大数据市场：朝阳产业蓄势待发

Posted 2021-04-26 方德信基金

一、大数据含义

 

1、大数据含义

 

大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统（GFS，GoogleFile System）、分布式并行计算（Map Reduce）和分布式数据库（BigTable）等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。

 

伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。

 

虽然大数据已经成为全社会热议的话题，但到目前为止，“大数据”尚无公认的统一定义。但市场基本认为，认识大数据，要把握“资源、技术、应用”三个层次。大数据是具有体量大、结构多样、时效强等特征的数据，处理大数据需采用新型计算架构和智能算法等新技术，大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线闭环的业务流程优化。因此说，大数据不仅“大”，而且“新”，是新资源、新工具和新应用的综合体。

 

图：大数据是新资源、新技术和新理念的混合体

资料来源：方德信

 

从资源视角来看，大数据是新资源，体现了一种全新的资源观。1990年以来，在摩尔定律的推动下，计算存储和传输数据的能力在以指数速度增长，每GB存储器的价格每年下降40%。2000年以来，以Hadoop为代表的分布式存储和计算技术迅猛发展，极大的提升了互联网企业数据管理能力，互联网企业对“数据废弃”（Data Exhaust）的挖掘利用大获成功，引发全社会开始重新审视“数据”的价值，开始把数据当作一种独特的战略资源对待。

 

从技术视角看，大数据代表了新一代数据管理与分析技术。传统的数据管理与分析技术以结构化数据为管理对象、在小数据集上进行分析、以集中式架构为主，成本高昂。与“贵族式”的数据分析技术相比，源于互联网的，面向多源异构数据、在超大规模数据集上进行分析、以分布式架构为主的新一代数据管理技术，与开源软件潮流叠加，在大幅提高处理效率的同时，成百倍的降低了数据应用成本。

 

从理念的视角看，大数据打开了一种全新的思维角度。大数据的应用，赋予了“实事求是”新的内涵，其一是“数据驱动”，即经营管理决策可以自下而上地有数据来驱动，甚至像股票量化交易、实时竞价广告等场景中那样，可以由机器根据数据直接决策；其二，“数据闭环”，观察互联网行业大数据案例，它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”，从而能够不断地自我升级。目前很多大数据应用，要么数据量不够大，要么并非必须使用新一代技术，但体现了数据驱动和数据闭环的思维，改进了生产管理效率，这是大数据思维理念应用的体现。

 

2、大数据产业

 

  从狭义看，当前全球围绕大数据采集、存储、管理和挖掘，正在逐渐形成了一个“小生态”，即大数据核心产业。大数据核心产业为全社会大数据应用提供数据资源、产品工具和应用服务，支撑各个领域的大数据应用，是数据在各个领域应用的基石。应该注意到，狭义大数据产业仍然围绕信息的采集加工构建，属于信息产业的一部分。

数据资源部分负责原始数据的供给和交换，根据数据来源的不同，可以细分为数据资源提供者和数据交易平台两种角色。

 

数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应，根据数据加工和价值提升的生产流程，数据基础能力部分主要包括数据存储、数据处理和数据库（数据管理）等多个角色。

 

数据分析/可视化部分负责数据隐含价值的挖掘、数据关联分析和可视化展现等，既包括传统意义上的BI、可视化和通用数据分析工具，也包括面向非结构化数据提供的语音、图像等媒体识别服务。

 

数据应用部分根据数据分析和加工的结果，面向电商、金融、交通、气象、安全等细分行业提供精准营销、信用评估、出行引导、信息防护等企业或公众服务。

 

二、大数据战略

 

1、国外大数据发展规划

 

美欧日澳等国家（地区）政府高度重视大数据产业发展，自2012年来密集出台多项专门政策予以支持。

美国在推动大数据研发和应用上最为迅速和积极，强化顶层设计，力图引领全球大数据发展。

 

2012年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）”，重点在基础技术研究和公共部门应用上加大投入。在该计划支持下，加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data AnalyticsStack）”，其中的内存计算软件Spark的性能比Hadoop提高近百倍，对产业界大数据技术走向产生巨大影响。美国政府还在积极推动数据公开，已开放37万个数据集和1209个数据工具，并在2013年5月初进一步要求，政府必须实现新增和经处理数据的开放和机器可读，激发大数据创新活力。同时，美国政府也是大数据的积极使用者，2013年曝光的棱镜门事件显示出美国国家安全部门大数据应用的强大实力，其应用范围之广、水平之高、规模之大都远远超过人们的想象。2012-2013年间美国国家安全局（NSA）、联邦调查局（FBI）及中央情报局（CIA）等联邦政府机构还大量采购亚马逊的云服务，以支撑其大数据应用。

 

随着应用的深入，美国政府对大数据带来的负面影响也更加重视，白宫2014年5月发布的《大数据：抓住机遇，守护价值》报告中提醒，在发挥正面价值的同时，应该警惕对大数据应用对隐私、公平等长远价值带来的负面影响。

 

    2016年5月，美国发布《联邦大数据研发战略计划》，该计划面向对象是联邦机构，尤其是涉及数据科学研发、密集型数据应用、大规模数据管理的机构。主要内容包括七项战略，主题分别聚焦新兴技术、数据质量、基础设施、共享机制、隐私安全、人才培养、相互合作。

2016年10月，美国联邦通信委员会（FCC）批准了一项消费者隐私保护规则，要求宽带服务提供商在使用消费者的网络搜索、软件使用、位置信息和其他与个人信息相关的数据之前必须征得用户同意。

 

相对于几年前，2019年国外大数据发展在政策方面略显平淡，只有美国的《联邦数据战略第一年度行动计划（Federal Data Strategy Year-1Action Plan）》草案比较受到关注。2019年6月5日，美国发布了《联邦数据战略第一年度行动计划》草案，这个草案包含了每个机构开展工作的具体可交付成果，以及由多个机构共同协作推动的政府行动，旨在编纂联邦机构如何利用计划、统计和任务支持数据作为战略资产来发展经济、提高联邦政府的效率、促进监督和提高透明度。相对于三年前颁布的《联邦大数据研发战略计划》，美国对于数据的重视程度继续提升，并出现了聚焦点从“技术”到“资产”的转变，其中更是着重提到了金融数据和地理信息数据的标准统一问题。此外，配套文件中“共享行动：政府范围内的数据服务”成为亮点，针对数据跨机构协同与共享，从执行机构到时间节点都进行了战略部署。

 

  欧盟力推数据价值链战略计划，用大数据改造传统治理模式，试图大幅降低公共部门成本，并促进经济和就业增长。2012年9月，欧盟委员会公布“释放欧洲云计算服务潜力”战略，旨在把欧盟打造成推广云计算服务的领先经济体，预计到2020年，大数据技术领域新增投资将为欧盟创造9570亿欧元产值，增加380万个就业岗位。

2016年4月，欧洲议会通过《一般数据保护条例》，以欧盟法规形式确定对个人数据的保护原则和监管方式，将于2018年5月开始实施。英国、法国、德国、爱尔兰、荷兰等国家也纷纷出台要求电信运营商和互联网企业进行数据留存的法规。

 

2018年，欧洲议会通过了一项决议，敦促欧盟及其成员国创造一个“繁荣的数据驱动经济”。该决议预计，到2020年，欧盟国内生产总值将因更好的数据使用而增加1.9%。但遗憾的是，据统计目前只有1.7%的公司充分利用了先进的数字技术。

 

英国将大数据列为战略性技术，给予高度关注。英国政府紧随美国之后，推出一系列支持大数据发展举措。首先是给予研发资金支持。2013年1月，英国政府向航天、医药等8类高新技术领域注资6亿英镑研发，其中大数据技术获得1.89亿英镑的资金，是获得资金最多的领域。其次是促进政府和公共领域的大数据应用。据测算，通过合理、高效使用大数据技术，英国政府每年可节省约330亿英镑，相当于英国每人每年节省约500英镑。为了在医疗领域更好的应用大数据，2013年5月，英国政府和李嘉诚基金会联合投资设立全球首个综合运用大数据技术的医药卫生科研机构，将透过高通量生物数据，与业界共同界定药物标靶，处理目前在新药开发过程中关键的瓶颈，之后还将汇集遗传学、流行病学、临床、化学和计算机科学等领域的顶尖人才，集中分析庞大的医疗数据。

 

日本政府把大数据作为提升日本竞争力的关键。日本政府认为，提升日本竞争力，大数据应用不可或缺。日本在新一轮IT振兴计划中把发展大数据作为国家战略的重要内容，新的ICT战略重点关注大数据应用技术。日本总务省2012年7月推出了新的综合战略“活力ICT日本”，将重点关注大数据应用，并将其作为2013年六个主要任务之一，聚焦大数据应用所需的、社会化媒体等智能技术开发，以及在新医疗技术开发、缓解交通拥堵等公共领域的应用。

 

此外，2013年8月初，澳大利亚出台公共服务大数据政策，提出了大数据分析的实践指南，希望通过大数据分析系统提升公共服务质量，增加服务种类，为公共服务提供更好的政策指导。在新加坡政府，多个国际领先企业在当地设立大数据技术研发中心，加速数据分析技术的商业应用。2014年初，新加坡资讯通信发展管理局（IDA）还聘请了首任首席数据科学家，专门推进政府数据的开放和价值开发。

 

拓宽和深入大数据技术应用是各国数据战略的共识之处。有资料指出，美国2020年人口普查有望采用差分隐私等大数据隐私保护技术来提高对个人信息的保护。英国政府统计部门正在探索利用交通数据，通过大数据分析及时跟踪英国经济走势，提供预警服务，帮助政府进行精准决策。

 

2、我国大数据发展政策

 

  我国政府高度重视大数据的发展。自2014年以来，我国国家大数据战略的谋篇布局经历了四个不同阶段。

预热阶段：2014年3月，“大数据”一词首次写入政府工作报告，为我国大数据发展的政策环境搭建开始预热。从这一年起，“大数据”逐渐成为各级政府和社会各界的关注热点，中央政府开始提供积极的支持政策与适度宽松的发展环境，为大数据发展创造机遇。

 

起步阶段：2015年8月31日，国务院正式印发了《促进大数据发展行动纲要》（国发〔2015〕50号），成为我国发展大数据的首部战略性指导文件，对包括大数据产业在内的大数据整体发展作出了部署，体现出国家层面对大数据发展的顶层设计和统筹布局。

 

落地阶段：《十三五规划纲要》的公布标志着国家大数据战略的正式提出，彰显了中央对于大数据战略的重视。2016年12月，工信部发布《大数据产业发展规划（2016-2020年）》，为大数据产业发展奠定了重要的基础。

 

深化阶段：随着国内大数据迎来全面良好的发展态势，国家大数据战略也开始走向深化阶段。2017年10月，党的十九大报告中提出推动大数据与实体经济深度融合，为大数据产业的未来发展指明方向。12月，中央政治局就实施国家大数据战略进行了集体学习。2019年3月，政府工作报告第六次提到“大数据”，并且有多项任务与大数据密切相关。自2015年国务院发布《促进大数据发展行动纲要》系统性部署

 

大数据发展工作以来，各地陆续出台促进大数据产业发展的规划、行动计划和指导意见等文件。截至2019年12月，除港澳台外全国31个省级单位均已发布了推进大数据产业发展的相关文件。可以说，我国各地推进大数据产业发展的设计已经基本完成，陆续进入了落实阶段。

需要说明的是，大部分省（区、市）都发布了不止一项大数据相关政策，以上所列的只是其中最主要的一项。可以看出，大部分省（区、市）的大数据政策集中发布于2016年至2017年。而在近两年发布的政策中，更多的地方将新一代信息技术整体作为考量，并加入了人工智能、数字经济等内容，进一步地拓展了大数据的外延。同时，各地在颁布大数据政策时，除注重大数据产业的推进外，也在更多地关注产业数字化和政务服务等方面，这也体现出了大数据与行业应用结合及政务数据共享开放近年来取得的进展。

 

三、大数据产业

 

1、市场规模

 

   近年来，全球大数据的发展仍处于活跃阶段。2018年11月IDC发布的白皮书《数据时代2025》显示，2018年全球创建和复制的数据总量为33ZB，2018至2025年全球数据圈将增长5倍以上，预计2025年将达到175ZB（1ZB等于1万亿GB）。

根据IDC《2025年中国将拥有全球最大的数据圈》白皮书，中国数据圈增速最为迅速，平均每年的增长速度比全球快3％。2018年，中国数据圈占全球数据圈的23.4％，即7.6ZB。预计到2025年将增至48.6ZB，占全球数据圈的27.8％，中国将成为全球最大的数据圈。与全球动态相似，中国数据圈将受到来自物联网设备信号、元数据、娱乐相关数据、云计算和边缘计算增长的驱动。

根据Statista在2019年8月发布的报告显示，预计到2020年，全球大数据市场的收入规模将达到560亿美元，较2018年的预期水平增长约33.33%，较2016年的市场收入规模翻一倍。随着市场整体的日渐成熟和新兴技术的不断融合发展，未来大数据市场将呈现稳步发展的态势，增速维持在14%左右。在2018-2020年的预测期内，大数据市场整体的收入规模将保持每年约70亿美元的增长，复合年均增长率约为15.33%。

 

从细分市场来看，大数据硬件、软件和服务的市场规模均保持较稳定的增长，预计到2020年，三大细分市场的收入规模将分别达到150亿美元（硬件）、200亿美元（软件）、210亿美元（服务）。具体来看，2016-2017年，软件市场规模增速达到了37.50%，在数值上超过了传统的硬件市场。随着机器学习、高级分析算法等技术的成熟与融合，更多的数据应用和场景正在落地，大数据软件市场将继续高速增长。预计在2018-2020年间，每年约有30亿美元的增长规模，复合年均增长率约为19.52%。大数据相关服务的规模始终最高，预计在2018-2020年间的复合年均增长率约为14.56%。相比之下，硬件市场增速最低，但仍能保持约11.80%的复合年均增长率。从整体占比来看，软件规模占比将逐渐增加，服务相关收益将保持平稳发展的趋势，软件与服务之间的差距将不断缩小，而硬件规模在整体的占比则逐渐减小。

  对于我国大数据产业的规模，目前各个研究机构均采取间接方法估算。中国信息通信研究院结合对大数据相关企业的调研测算，2017年我国大数据产业规模为4700亿元人民币，同比增长30%。在这其中，大数据软硬件产品的产值约为234亿元人民币，同比增长39%。而中国信息通信研究院《中国数字经济发展与就业白皮书（2018年）》中的数据显示，2017年我国数字经济总量达到27.2万亿元，同比名义增长超过20.3%，占GDP比重达到32.9%。在这其中，以大数据为代表的新一代信息技术对于数字经济的贡献功不可没。根据赛迪咨询的研究报告，2018年中国大数据产业规模达4384.50亿元，同比增长23.50%，预计2021年产业规模将超过8000.00亿元。

2、企业形态

 

（1）传统IT厂商加快向大数据解决方案提供商转型

 

大数据解决方案提供商面向企业用户提供大数据一站式部署方案，覆盖数据中心和服务器等硬件、数据存储和数据库等基础软件、大数据分析应用软件以及技术运维支持等方面内容。其中，大数据基础软件和应用软件是大数据解决方案中的重点内容。当前，企业提供的大数据解决方案大多基于Hadoop开源项目，例如，IBM基于Hadoop开发的大数据分析产品BigInsights、甲骨文融合了Hadoop开源技术的大数据一体机、Cloudera的Hadoop商业版等。

 

大数据解决方案提供商中，主要包括传统IT厂商和新兴的大数据创业公司。传统IT厂商主要有IBM、HP等解决方案提供商以及甲骨文、Teradata等数据分析软件商。它们大多以原有IT解决方案为基础，融合Hadoop，形成融合了结构化和非结构化两条体系的“双栈”方案。通过一系列收购来提升大数据解决方案服务能力，成为这些IT巨头的主要策略。

 

国际上也诞生了一批专门提供非结构化数据处理方案的新兴创业公司。这些公司包括Cloudera、Hortonworks、MapR等，它们主要基于Hadoop开源项目，开发Hadoop商业版本和基于Hadoop的大数据分析工具，单独或者与传统IT厂商合作提供企业级大数据解决方案。这些新兴大数据企业成为资本市场的热点。

 

国内华为、联想、浪潮、曙光等一批IT厂商也都纷纷推出大数据解决方案。

 

（2）云服务商成为大数据处理服务提供商的主体

 

  大数据处理服务提供商主要以服务的方式为企业和个人用户提供大数据海量数据分析能力和大数据价值挖掘服务。按照服务模式进行划分，大数据处理服务提供商可以分为四类。

第一类是在线纯分析服务提供商。此类服务商主要是互联网企业、大数据分析软件商和新创企业等，通过SaaS或PaaS云服务形式为用户提供服务。典型的服务如谷歌提供的大数据分析工具Big Query、亚马逊提供的云数据仓库服务Red Shift、微软的AzureHDInsigh1010data提供的商业智能服务等。国内一些云服务商也逐步开始提供大数据相关云服务，如阿里云的开放数据处理服务（ODPS）、百度的大数据引擎、腾讯的数据云等。

 

第二类是既提供数据又提供分析服务的在线提供商。此类服务商主要是拥有海量用户数据的大型互联网企业，主要以SaaS形式为用户提供大数据服务，服务背后以自有大数据资源为支撑。典型的服务如如谷歌Facebook自助式广告下单服务系统、Twitter基于实时搜索数据的产品满意度分析等。国内百度推出的大数据营销服务“司南”就属于此类。

 

第三类是单纯提供离线分析服务的提供商。此类服务商主要为企业提供专业、定制化的大数据咨询服务和技术支持，主要集中为大数据咨询公司、软件商等，例如专注于大数据分析的奥浦诺管理咨询公司（Opera Solutions）、数据分析服务提供商美优管理顾问公司（Mu Sigma）等。

 

第四类是既提供数据又提供离线分析服务的提供商。此类服务商主要集中在信息化水平较高、数据较为丰富的传统行业。例如日本日立集团（Hitachi）于2013年6月初成立的日立创新分析全球中心，其广泛收集汽车行驶记录、零售业购买动向、患者医疗数据、矿山维护数据和资源价格动向等庞大数据信息，并基于收集的海量信息开展大数据分析业务。又如美国征信机构Equifax基于全球8000亿条企业和消费者行为数据，提供70余项面向金融的大数据分析离线服务。

 

（3）大数据企业加速整合

 

近两年来，国际具有影响力的大数据公司也遭遇了一些变化。

 

2018年10月，美国大数据技术巨头Cloudera和Hortonworks宣布合并。在Hadoop领域，两家公司的合并意味着“强强联手”，而在更加广义的大数据领域，则更像是“抱团取暖”。但毫无疑问，这至少可以帮助两家企业结束近十年的竞争，并且依靠垄断地位早日摆脱长期亏损的窘状。而从第三方的角度来看，这无疑会影响整个Hadoop的生态。开源大数据目前已经成为互联网企业的基础设施，两家公司合并，意味着Hadoop的标准将更加统一，长期来看新公司的盈利能力也将大幅提升，并将更多的资源用于新技术的投入。从体量和级别上来看，新公司将基本代表Hadoop社区，其他同类型企业将很难与之竞争。

 

2019年8月，惠普（HPE）收购著名大数据技术公司MapR的业务资产，包括MapR的技术、知识产权以及多个领域的业务资源等。MapR创立于2009年，属于Hadoop全球软件发行版供应商之一。市场普遍认为，企业组织越来越多以云服务形式使用数据计算和分析产品是使得MapR需求减少的重要原因之一。用户需求正从采购以Hadoop为代表的平台型产品，转向结合云化、智能计算后的服务型产品。这也意味着，全球企业级IT厂商的战争已经进入到了一个新阶段，即满足用户从平台产品到云化服务，再到智能解决方案的整体需求。

 

四、大数据趋势

 

技术方面，我们仍然处在“数据大爆发”的初期，随着5G、工业互联网的深入发展，将带来更大的“数据洪流”，这就为大数据的存储、分析、管理带来更大的挑战，牵引大数据技术再上新的台阶。硬件与软件的融合、数据与智能的融合将带动大数据技术向异构多模、超大容量、超低时延等方向拓展。

 

应用方面，大数据行业应用正在从消费端向生产端延伸，从感知型应用向预测型、决策型应用发展。当前，互联网行业已经全面进入“DT 时代”。未来几年，随着各地政务大数据平台和大型企业数据中台的建成，将促进政务、民生与实体经济领域的大数据应用再上新的台阶。

 

治理方面，随着国家数据安全法律制度的不断完善，各行业的数据治理也将深入推进。数据的采集、使用、共享等环节的乱象得到遏制，数据的安全管理成为各行各业自觉遵守的底线，数据流通与应用的合规性将大幅提升，健康、可持续的大数据发展环境逐步形成。

 

  然而，我国大数据发展也同样面临着诸多问题。例如，大数据原创性的技术和产品尚不足；数据开放共享水平依然较低，跨部门、跨行业的数据流通仍不顺畅，有价值的公共信息资源和商业数据没有充分流动起来；数据安全管理仍然薄弱，个人信息保护面临新威胁与新风险。这就需要大数据从业者们在大数据理论研究、技术研发、行业应用、安全保护等方面付出更多的努力。