指数级暴增场景复杂下，揭秘百度云原生湖仓架构等系列数据产品

Posted 2021-10-19 CSDN云计算

9月28日，百度智能云2021“云智技术论坛”智能大数据专场在上海举办。本次会议以“云智一体，让大数据发挥大价值”为主题，百度副总裁谢广军携百度多位资深技术专家与行业伙伴出席会议，共同探讨了大数据发展新形势下，企业如何运用云智技术打造满足数字化、智能化转型的安全可靠的数据基础设施和价值挖掘平台，发挥数据资产的核心价值。
 

百度副总裁谢广军致辞

谢广军表示，在以新一代信息技术为基础、以海量数据的互联和应用为核心、将数据资源融入产业创新和升级各个环节的数字经济时代，大数据成为关键的生产要素。百度智能云产品委员会联席主席宋飞为现场嘉宾带来了百度智能云大数据产品架构全景图，旨在为企业提供从构建新型数据基础设施、深度挖掘数据价值，到保障数据安全的全流程大数据解决方案，助力企业数字化创新升级。

 百度智能云大数据产品架构全景图

  
百度智能云产品委员会联席主席宋飞现场分享

 

百度云原生湖仓架构，构建大数据基础设施

随着企业数字化转型的加速，企业日常运营中产生的数据量呈指数级增长趋势，且数据的类型更加多样化，数据的应用场景日益繁杂。在此背景下，如何加强新型数据基础设施建设至关重要。百度智能云大数据工程技术负责人牛献会带来了百度云原生湖仓架构，为企业解决大数据基础设施构建中的数据存储、计算、处理、治理开发等问题。
 

 百度智能云大数据工程技术负责人牛献会解读百度云原生湖仓架构

百度云原生湖仓架构以云为基础，为客户提供弹性、低成本的数据存储和按需伸缩的计算资源；同时以湖仓引擎为架构，在低成本的基础上保障各种数据处理场景下，数据加工处理灵活性、数据分析高性能性、以及异构数据源融合分析等特性；最后，提供一体化的数据治理开发平台，以统一元数据为抓手，一站式完成数据集成、治理、开发、分析、服务。

牛献会向现场嘉宾介绍了百度对象存储BOS、托管大数据平台BMR、数据仓库Palo、数据湖管理与分析平台EasyDAP等产品，展示了百度强大的智能大数据能力。

 
其中，百度数据仓库Palo是基于开源Apache Doris构建的企业级MPP云数据仓库，可有效地支持在线实时数据分析，具有简单易用、流批一体、高可用性等特征。现场，牛献会介绍了百度Palo在互联网和制造业领域的应用案例，他表示，百度Palo可以助力企业实现降本增效，加速数据赋能。
度小满金融日志平台技术负责人刘建东分享了度小满借助百度BES升级检索架构的案例。他提到，度小满原有检索架构存在存储成本高、检索速度慢、冷数据恢复速度慢等痛点。基于BES的日志检索架构，可被直接检索数据存储周期由7天升级为最高180天，存储成本降低近90%，热数据检索速度实现了秒级响应。
 

度小满金融日志平台技术负责人刘建东分享案例

百度智能云AI产品Sugar，深度挖掘数据资产价值

在构建数据基础设施后，企业应该如何实现数据资产价值最大化？百度智能云AI产品研发部总架构师马如悦介绍了百度智能云如何从商业智能到数据科学，驱动数据资产价值最大化。马如悦表示，商业智能可以洞察过去，数据科学可以预知未来。
 

百度智能云AI产品研发部总架构师马如悦现场分享

洞察过去，即让数据说话，告诉我们过去的情况。百度智能云通过数据可视化Sugar让所有的数据清晰呈现，所有的信息一目了然。Sugar是百度自助BI报表分析和制作可视化数据大屏的工具，直连多种数据源，通过丰富的图表和拖拽式编辑帮助客户轻松生成可视化页面，并以炫酷大屏呈现，让数据信息更直观。同时，Sugar融合了百度语音、语义识别等多种AI技术，客户通过语音的方式就可以快速获取想要的数据。

预知未来，即根据已有数据发现规律，从而预测未来。百度智能云全功能AI开发平台BML具备高效的算力管理和调度、高性能数据科学引擎、自动机器学习、丰富的建模方式四大核心功能，提供从数据源管理、数据标注、数据集存储、数据预处理、模型训练生产到模型管理、预测推理服务管理等全流程开发支持，让客户预测未来有据可依。

此外，马如悦还分享了邮储银行实现智能数据挖掘的案例。他提到，邮储银行与百度智能云合作构建了邮储大脑，利用全功能AI开发平台BLM实现了数据处理、模型训练、模型管理、预测服务的全生命周期管理，为银行智能营销、智能风控、智慧运营、智慧服务提供智能化解决方案。

中车集团长春轨道客车上海研发中心城铁车辆设备室主任肖占分享了中车长客上海研发中心与百度智能云合作的案例。他提到，中车长客上海研发中心由于数据庞大、数据分析困难、数据关系复杂等问题，导致故障难以预测。与百度智能云合作后，双方联手打造了轨交故障预测维护平台，通过数据平台建设、故障知识库搭建、模型算法开发等多项举措，提前预测列车故障，避免事故的发生。 
 

中车集团长春轨道客车上海研发中心城铁车辆设备室主任肖占现场分享

 

百度隐私计算核心产品“百度点石”，铸就数据安全防护体系

数字化进程加剧了数据安全隐患问题，数据安全事件驱动着数据安全政策持续加码。随着数字安全相关法律的发布，我国数据安全体制建设进入了新阶段。

百度打造了覆盖数据全生命周期的安全体系。在隐私数据保护中，百度数据安全体系实现了事前安全隐患发现、事中敏感数据保护、事后精准溯源的安全保护闭环，为客户提供安全合规的数据应用能力。

现场，百度安全部数据安全业务副总经理韩祖利向各位嘉宾介绍了百度隐私计算的核心产品“百度点石”。百度点石基于安全多方计算、联邦学习、机密计算、安全数字沙箱的隐私计算引擎，打造了一套集数据安全治理规则与隐私计算工具一体的解决方案，通过技术与规则的巧妙结合，在“数据可用不可见”与“数据不动算法动”的基础上，赋能企业机构合法合规的采集数据、存储数据、挖掘数据，实现在用户隐私合理保护基础上的数据驱动经济发展。
 

百度安全部数据安全业务副总经理韩祖利现场分享

 

百度点石提供的隐私计算方案可以安全、灵活地实现合规数据应用，已在政务、金融、医疗、电商、教育、媒体等多个领域成功落地。

数据治理、资产管理，推动大数据的应用落地

基于百度复杂业务和数据场景下锤炼的数据治理、管理、应用实践，以及To B服务行业经验积累，百度智能云大数据产品负责人李德禹向现场嘉宾分享了相关实践方法。

李德禹表示，企业数据资产构建和应用面临数据孤岛治理困难、数据资产管理效率低、业务应用场景繁杂等挑战。为帮助行业实现数据治理更有序、数据资产管理运营更高效、数据应用价值发挥更广泛，百度智能云提供了从数据治理实施、数据资产化管理运营到数据应用落地的全方位解决方案。

 百度智能云大数据产品负责人李德禹分享数据资产构建与应用实践 

数据治理实施的首要步骤是＂搭班子”，即数据提供方、数据治理实施方、数据应用方、管理者形成有效协同；接着是＂做盘点”，从数据、IT架构、业务需求盘点要全面，为实施和应用做好准备；继而要＂定标准＂，数据主题分类、模型、质量等，要完整统一。这样的企业数据治理的实施，就能够分段分层，有序进行。

在资产管理运营层面，构建起数据资产管理平台能够帮助企业实现数据“好管理”、“好找到”、“好理解”、“好应用”。 运营过程中企业需要建设配套的运营体系，数据覆盖、数据质量、数据成本、数据价值的有效运营对于优化和指引企业未来规划有非常大的价值。

最后落实到数据应用上，企业构建数据应用要以成效为先，解决真痛点，实现大收益。李德禹分享了百度智能云与徐工合作的案例。她提到，百度智能云为徐工提供的综合管理决策驾驶舱，能够提升企业的业务协同效率；通过资源调度的优化，确保服务的及时性；帮助分析收支平衡关联，降低其还款风险等。百度智能云帮助企业将大数据技术落实到各个应用场景，助力企业实现数据资产价值最大化。

来自陕西广电融媒体集团创新中心技术总监陈科分享了大数据助力媒体融合创新的案例。陈科表示，媒体在融合创新方面面临着数据缺乏治理和应用、多渠道客群运营、内容和运营深度融合的挑战。百度智能大数据助力陕电媒体建设了媒体融合数据资产，最终实现了以数据驱动多渠道综合管理、媒体精准化运营、实时舆情监测。
 

陕西广电融媒体集团创新中心技术总监陈科分享案例

数字经济成为“十四五”期间我国经济高质量发展的新引擎，数据要素成为数字经济时代的战略资源，大数据正在推动千行百业进入数字化创新升级阶段。百度智能云通过云智一体的技术优势打造一体化智能大数据解决方案，帮助企业构建数据资产平台，让大数据充分发挥大价值。未来，百度智能云将进一步拓展业务边界，携手更多合作伙伴，以数据创新推进产业数字化转型、智能化升级。