前沿分享｜数澜科技联合创始人&副总裁 江敏：基于云原生数据仓库AnalyticDB PostgreSQL的最佳实践

Posted 2021-12-11 阿里云开发者

简介：本篇内容为2021云栖大会-云原生数据仓库AnalyticDB技术与实践峰会分论坛中，数澜科技联合创始人&副总裁江敏关于“基于云原生数据仓库AnalyticDB PostgreSQL的最佳实践”的分享。

本篇内容将通过四个部分来介绍基于云原生数据仓库AnalyticDB PG的最佳实践。

一、背景介绍

二、方案介绍

三、客户实践—某商业集团

四、公司介绍

 

一、背景介绍

当前我国数据中台行业处于从萌芽转向高速发展的过渡期，伴随着数据星的爆发式增长，数据处理技术的进步，以及企业数字化转型驱动市场需求不断增加，行业增长势头明显,市场规模快速扩张。目前，数据中台在行业头部已逐渐薄地，而对于数据中台能力要求相对简单的中小企业，为其提供标准化、轻量化的整体解决方案将是日前市场的主要诉求。

我们去构建整个数据中台的能力的时候，其实会碰到一些问题。比如，底层架构复杂。传统数据中台架构思维，导致客户在选型和部署大数据组件，开发和调度数据任务和运维和运营数据需要多方进行权衡考虑，架构复杂,使用门槛过高。其次，运维成本高。伴随着传统統数据中台底层架构的复杂性,随之而来的是复杂的IT人员体系以及高昂的运维成本。第三，响应时效挑战大。随着数据量的不断增加以及业务需求的不断迭代，如何快速响应业务人员需求、减少数据分析的等待时间、让业务人员有更好的体验将成为数据中台成功的关键指标。

二、方案介绍

我们基于ADB PG这个版本去构建整个轻量级数据中台的时候，你会发现底下就一个ADB PG。中间的话，我们是一个轻量级数据中台的套件。这样两套系统就可以去撑我们上层的业务建设。

从整个的业务架构来说，底层是我们现有的各种数据源的系统。然后我们会在数据中台会搭建一个技术体系，在技术体系里包括了ADB。之后再构建我们整个的数据体系跟服务体系。在数据中台的技术体系上，就是我们的数据流。它会经过一个数据建模的过程。对于轻量化的中小微企业来说，当需要轻量化的方案时，我们会把它放到ADB里。在这过程中，就不需要去考虑搬迁数据的问题，我所有的数据都在这个体系里面。ADB的数据量，其实能够支撑大部分企业的数据量使用。

企业只要在这里构建整个数据模型，我们会有相应的工具来支撑，包括数据同步，环境管理，模型开发，模型监测，包括数据治理的一些功能。对于数据及服务来说，我们在构建数据模型的时候，针对企业的对象，我们会去构建一些具体的指标，相应的内幕体系也会建设起来。比如，我们从客户的视角，构建客户的画像体系。从供应商的视角，构建供应商的画像体系。数据构建完之后，我们就可以去做洞察，营销，精准匹配等。所以从数据层面看，它能够支撑应用场景。

针对具体的场景来看，我们分成几大块。第一个，财务领域。财务报表有时候会跟企业的经营报表口径统一，大部分企业在面临财务审计的时候，对于企业来说是一个非常强的需求。第二个，企业的应收应付和人力资源的管理。对员工的洞察，也需要通过数字化的手段去管理员工叫数字员工。更加精细化的去对员工做一些考核，包括一些相应的指标分析。第三，我们目前在一些领域做实时数据的分析。根据轨迹去做态势的分析，包括一些碰撞的分析。第四，加密数据库的能力。这种场景可以基于ADB的底座去构建。数据的可用不可见，让我们对数据可以更加高效的管理。

三、客户实践—某商业集团

我们主要讲一个商业集团的案例。这个商业集团，主要是管理高速服务区。原先服务区，每个服务区自己建设系统。现在随着智能化服务区概念的提出，需要对进出服务区的管理进行统一。在建设之初，我们也遇到了一些问题。比如，数据收集难，50对+服务区，各自独立,只能收集部分统计数据;多种信息系统独自建设，归口各不统一;无法有效获得周边路段的数据;数据孤岛问题明显。数据管理混乱，各位数据笆理部门不一，没有形成统一的资产目录; 数据标准不一，数据质参差不齐;跨部门数据使用协调繁琐。数据使用弱，数据大部分处于沉唾状态。对于管理者的运营监控、经营决策等方面缺少必要的智能洞察。

在解决这些问题的时候，要考虑到对于各个服务区的这个站点，怎样能够降低维护成本？怎样可以开箱即用？，对于它里面建设场景刚才其实也简单介绍过。第一个，服务器里会有很多视频分析的场景。涉及到关键信息，要实时抓取，写到道数据库里。比如人流的情况，车流的情况，拥堵的这种情况，人员进来之后，对什么样的商品有需求？对于服务区总体的管控来说，我们在预测服务区的流量，一些供需关系，一些管理的时候。它需要把数据汇聚到总部来，做统一的管理，统一的分析。

从客户价值呈现的角度来说，第一，智能化。我们通过对各类数据的采集、加工、治理及应用，并结合成熟的业务模型，释放数据价值，支撑业务的智能化。第二，轻量化。我们简化传统中台架构，用ADB替代Hadoop生态，降低企业资源存储及计算的复杂度和成本;为多维分析决策提供保障。第三，场景化。我们以具体的业务场最为切入点，自下而上，围绕场景开展数据治理,构建数据资产，支撑数据应用需求，贴近价值。

四、公司介绍

数澜科技成立于2016年6月,自成立之日起,秉持”让数据用起来”的使命,帮助企业持续数据资产化,赋能业务创新。数澜科技总部位于杭州，在华北(北京)、华南(深圳)、华西(成都)、华中(武汉)设有本地化团队，核心成员均来自阿里巴巴、华为、IBM、 百度、金蝶、甲骨文等一线企业,是国内较早-批大数据服务创新实践者。截止目前,数澜科技使用旗下核心产品”数栖平台”, 已为1000+企业客户提供数据中台建设服务,帮助客窖户使用数据中台作为关键数字技术推动企业的数字化变革。

原文链接：https://developer.aliyun.com/article/802313?

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。