全周期数据管控，为「快递大数据+」保驾护航

Posted 2023-02-04 BinTools图尔兹

伴随着电子商务和网络零售的蓬勃发展，我国邮政快递业发展十分迅速，已成为国家重要的战略性基础设施和社会组织系统之一，“收快递”被称为“新开门七件事”之首。2020年上半年，全国快递服务企业业务量累计完成338.8亿件，同比增长22.1%。

业务量的极速增长意味着数据风险也随之上升。在构建以数据为关键要素的数字经济进程中，如何保障数据安全成为邮政快递业当前面临的问题。某省邮政中心针对当前自身面临的数据管理困境，提出了几点核心诉求。

核心诉求

改变数据库访问方式

当前人员访问数据库的方式通过直连数据库实现，存在较高数据泄漏风险。邮政中心希望能将原直连数据库的方式改为间接查询，让 CloudQuery 平台成为介于用户和数据库之间的隔离带，用户的所有数据库操作都先到达平台。

用户权限管理

邮政中心接触数据库的人员类型复杂，几个人共用一个账号的情况使得人员与权限不匹配，容易导致权限滥用，一旦出现问题无法精准追溯源头。因此，邮政中心需要完善的权限及审计系统，在事前即对用户与数据进行分类分级，实现用户与账号一一对应。同时，提升用户权限管控粒度，加大用户账户提权、过期、注销审核力度，在满足用户正常使用的同时，提升权限管控水平。

敏感数据管理

为防止数据信息泄露和传播，需要对敏感数据进行脱敏。根据用户查询需求，灵活制定脱敏策略，在不影响用户使用的同时，最大限度保证数据不泄漏。

操作流程管控

为低权限用户开放提权流程。当用户需要进行无权限操作时，可申请提权，在审核通过后，可为该用户开放相应权限，权限到期时系统自动回收，减轻管理人员工作量的同时也避免人工操作导致的时间以及信息偏差。

高可用

为保证平台服务功能不受影响，需要支持高可用配置，CloudQuery 平台同时支持 HA、集群两种高可用方式，在保持服务器自身稳定的基础上尽可能提升单机服务并发量。

解决方案

根据某省邮政中心的需求，我们提出将 CloudQuery主要作为数据操作中心和人员管控中心的思路，加强当前数据库安全访问控制机制，解决直连数据库带来的人与账户不统一、权限不易管控、出现问题难以定位责任人等问题。

数据操作中心

数据库访问控制

CloudQuery 支持普通用户通过访问连接配置访问数据库，将原直连数据库的方式改为间接查询，以此加强数据库安全访问控制机制。所有用户的数据库操作行为都将先到达平台，通过平台系统权限，再由平台发送至数据库端执行。数据库操作执行完成后返回结果将直接推送至平台，最后展示给用户。

数据库操作支持

作为用户和数据库之间的隔离带，承接用户对数据库的所有操作，CloudQuery 支持多类型数据源，支持的数据库对象类型包括表、视图、同义词、存储过程、package、序列、触发器、索引、DBlink、Job等。同时，支持DML、DDL等数据库操作类型。

异常操作管理

针对平台中的异常操作，CloudQuery可详细展示数据库操作错误日志，对非授权操作与SQL语法错误进行区分提示，通过错误日志清楚定位错误原因。

人员管控中心

用户权限管控

根据不同类型人员需求和权限，CloudQuery 将用户管理权限分为系统管理员、连接管理员和普通用户三级系统角色。系统管理员可进行系统级别资源管理，如菜单、组织架构、岗位等，同时可指定连接管理员。连接管理员管理数据资源，可进行该连接下用户权限分配，同时可配置敏感资源及高危资源。普通用户则只能进行连接访问，普通用户又可分为审计人员、监控人员等角色进行授权。

当前 CloudQuery 数据库操作权限类型主要分为操作权限、时间权限和受限资源权限。操作权限包含数据源操作全新、数据导出权限、过滤权限、行过滤权限、执行次数权限和执行行数权限等。时间权限则可限制用户执行时间，非授权时间段，普通用户不可进行访问。受限资源权限指可将某些资源设置为高危资源。

通过权限划分，可阻断用户非法访问和越权操作，对于无权限操作，用户只能申请提权，审批通过后可进行正常操作。

操作流程管控

操作流程主要包含数据订正流程、连接访问提权、数据库脱敏提权、结果集导出提权、数据库操作提权、高危资源提权和 UI 提权。

1.数据订正流程

在数据操作中需要有批量的数据变更时，用户可以发起数据订正流程，同时附带数据订正需要使用的脚本或脚本文件，也可以选择再附带当执行出错时的回滚脚本但数据订正并没有回滚的能力，需要在执行后的流程中点击回滚按钮生成新的数据订正流程。

2.连接访问提权

新用户刚开始使用平台时没有任何可用连接的，需要某连接的访问权限时，需要选择连接访问提权，提权成功后即可拥有该连接的访问权限，但默认只会拥有查询权限，而并无修改数据以及表结构的权限。

3.数据库脱敏提权

用户加入一个新的连接时自发受到敏感资源的限制，当某位用户临时需要查看敏感资源时可以申请脱敏提权，提权成功后即可访问敏感资源。

4.结果集导出提权

CloudQuery 默认用户在加入连接时无导出权限，如需导出权限需发起导出提权工单，经连接管理员审批同意后，再次登陆即可进行相对应数据库元素的导出动作。

5.数据库操作提权

平台默认用户只拥有查询权限，当需要其他编辑数据的权限时可以选择数据库操作提权。

6.高危资源提权

用户需要编辑高危资源时需要先申请高危操作提权，通过后方可编辑该资源。

7.UI提权

页面上的审计、流程、监控等菜单均为ui权限，但需要查看审计数据时，可以选择ui审计提权，用户再次登陆系统即可看到对应的菜单。

敏感数据管理

CloudQuery 可针对查询结果进行脱敏，平台脱敏功能仅涉及数据查询，不涉及数据变更，技术实现的过程中数据不落地的方式既保证了数据库的数据安全，也不会对正常运行的业务系统造成影响。

在脱敏模块，CloudQuery 对不同类型数据对象，提供不同的脱敏方式，并且可自定义脱敏规则。对不同的用户也可启用不同的脱敏策略，或通过同一脱敏策略模板应用于相同需求的用户。

高可用模块

CloudQuery 支持采用两台物理器组成主备模式，当其中一台物理服务器宕机时，平台功能不受影响。同时支持高可用故障切换，当其中一台服务器或应用服务异常时，能够自行切换至另一台服务，不影响平台服务功能。

至此，某省邮政中心面临的人员管控、数据库操作管理和敏感数据管理难题得以解决。CloudQuery 从整体的组织架构角度根据内部数据流向提供全链路的干涉跟踪和保护机制，对数据和人员的管控贯穿整个数据生命周期，从全局角度解决数据管控难的问题。

官网地址：https://www.bintools.cn/cloud_query