SaCa DataQuality概述

Posted 2020-11-16 jeely

1.1 产品特性

UniEAP DataQuality（以下简称DataQuality）是UniEAP最新推出的数据质量管理平台。基于数据监控服务、数据质量校验引擎、数据清洗引擎以及面向服务数据质量架构实现了数据质量管理平台，产品关键特性主要有：

• 通过图形化的页面支持所有主流数据库的数据质量校验，校验规则支持自动适配且内置跨表、表、列校验；
• 通过数据质量监控模块对整个数据质量处理过程进行动态跟踪，提供二维质量调试报告和综合质量汇总报告
• 支持对主流数据库进行数据的唯一性、完整性、合法性等质量问题进行综合分析，同时能够进行非关联数据质量分析规则定义；
• 支持基于常见拆分、替换等规则进行数据清洗，支持数据分支流转、过滤并且能写入所有主流数据库；

【注意】应用场景详细介绍请参见产品白皮书

1.2 系统组成

DataQuality采用面向服务的数据集成体系结构（如图1），核心为两个部分一是Web服务，二是后台引擎。Web服务端主要作为接入度提供给用户操纵引擎的入口同时提供设计工具，引擎端主要提供数据质量核心服务，包括监控服务、质量校验服务、清洗服务、时间处理服务以及元数据服务。