关于大数据下数据一致性的思考

Posted 2021-09-07 weixin_38532821

偶尔翻了网上关于指标一致性的文章，都不是很满意，手打的，没有排版，见谅

当下大数据下，数据指标不一致带来的问题:

1，多版本问题，同一个指标有不同的版本

2，各业务系统自行管理指标，无法形成统一的解释，数据质量较差

3，数据指标格式混乱，每个系统同一个指标都定义了不同的格式，描述差异大

指标一致性的意义:

1,确立企业内部标准，推动数据系统化落地

2,全面整治历史数据，从根本解决这部分历史顽疾

3,形成制度化、准确化、流程化的指标管理体系，杜绝此类问题再次发生

4,促进业务系统和数据平台协同联动需求，为企业资料共享、快速决策提供提供规范的、标准的信息化服务，是企业数据价值的更好的体现。

指标一致性的模式:

1 原数据指标一致，主要指的是 静态指标一致，主数据一致，编码一致是从业务系统，日志采集进行规范和改造的，改造后的指标亦会再次回流至业务系统(如果是此类型数据)，目前大多数大型公司采用此方案

2 末端指标一致，通过对ods层的数据指标干预清洗，深层次的解决此类问题，目前方案较成熟

3 ai指标一致，通过和ai自动识别结合，自动识别异常指标进行制定规则，目前尚不成熟

指标一致性管理的原则:

1 自上而下指标体系

2 指标标准直至末端

3 强调指标针对性，只针对管理，不宜过多受业务影响

4 不宜过细 ，只初步确认，不要过于纠结个别细节

5 明确管理需求

指标规范化问题:

1 指标大类问题，如大类纬度不统一

2 指标中类问题 ,如中类指标范围过广

3 指标小类问题，如指标小类模糊不清

4 指标编码属性问题，编码模型不统一，一码多物或一物多码的问题。

5 指标计量单位问题，如大小写不同，书写格式不规范。

等等

指标统一性的目标 长久性，前瞻性，全面性，可扩展性，稳定性实用性，合理性，可审计性等等