数据质量管理5要素分析

Posted 2023-04-13

参考技术A 数据质量管理5要素分析

　　借助客户数据整合(CDI)软件和主数据管理(MDM)软件的帮助，人们可以把上述各种在不同时期因为不同目的而生成的数据进行一定程度的整合和清理，但是要想真正长期保证数据的高质量，还必须从以下5个方面着手。

　　1. 建立数据的标准，明确数据的定义。通常，独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统的用户必须在数据的标准和数据的定义上达成一致。不过，这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此，需要从整个企业的角度出发，建立统一的数据标准和数据定义，同时，整个企业必须就这个数据标准和数据定义达成共识。这一句话说起来容易做起来难。因为人通常本能地会拒绝改变，改变数据标准和定义并不是轻而易举的。为此，强烈建立在企业中除了设立一个高管级别的数据质量管理委员会外，还需要选定一个执行能力强的项目负责人，需要他推动相关人员接受新的数据标准和定义。

　　在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因(比如出于方便、习惯等)制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。相对而言，前者更容易执行一些。

　　2. 建立一个可重复的数据收集、数据修改和数据维护流程。数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。

　　3. 在数据转化流程中设立多个性能监控点。数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的`比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。

　　4. 对流程不断进行改善和优化。我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量保证计划的总体开销。实际上，排除错误、数据整合和数据标准化从来就不是一件容易的事情。数据质量管理计划的负责人将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利执行。要注意的是，作为该项目的负责人，不能墨守成规，仅仅因为自己以前一向采用某种方法，就要求别人也必须采用这一方法，特别是当发现这些方法成本高昂的时候，就应该考虑换一种方式了。

　　5. 把责任落实到人。通常，我们认为那些与数据的产生、维护相关的人员是负责任的，但是，很有可能，他们有很多其他的工作要做，因此作为数据质量的负责人光有善良的想法是难以提高数据的质量，很有可能一辈子也达不到目标。对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。更重要的，他们还需要针对这些指标细化对他们自己的要求，当然，他们会因为达到或者超过这些指标而得到奖励。其中，一个执行力强的负责人的价值体现出来，他会针对具体情况适时调整数据质量的目标。

　　最后，再次强调考虑与数据管理和数据质量的改进项目有关的人的因素，他们的行为是非常重要的。从某种程度上说，要比具体选择什么软件要重要得多。上述5点有助于帮助组织规范数据质量管理中与人有关的流程。

　　提高数据质量的三个步骤

　　由于大多数系统和应用程序会持续不断接收到新数据，数据量也在不断增加，因此确保数据质量并不是一次就能完成的。所有企业都应该使用一种反复进行的阶段性过程来管理数据质量，此过程包括数据质量评估、规划以及策略的选择和实施。

　　第一步对数据质量进行评估。评估当前的数据质量状态是第一步。对数据质量进行评估能帮助企业准确地了解数据的内容、质量和结构。主管人员参与数据质量评估以及分析在数据检查过程中发现的问题对于数据质量评估来说都很重要。在最有效的数据质量评估中，所有问题都将按照对业务影响从大到小的顺序列出，这将帮助IT机构节省项目成本。

　　第二步，制订数据质量计划。彻底了解企业数据的内容和质量后，接下来的步骤是制订一个计划，来修改当前的错误并避免未来错误的发生。有效的计划不但可以提高企业当前所有应用程序中数据的质量，还将制定一些方式以确保新应用程序从一开始就遵循数据质量规则。

　　第三步，选择和实施数据质量策略。选择改善企业数据质量的策略，要求决策者权衡每个数据质量计划的成本以及该策略产生的影响。目前的策略类型有两种: 在企业输入数据时提高数据质量的方法称为“上游”方法，而从运营系统提取数据的应用程序(如数据仓库)中改善数据质量的方法是“下游”方法。

　　上游策略研究当前应用程序的逻辑、数据和流程，解决检查过程中发现的异常情况。此策略可能涉及到更改应用程序逻辑、添加更好的表验证、改善与数据输入相关的流程，它致力于企业数据的高准确性。另外，此策略还要求使用应用程序本身附带的数据质量功能。

　　下游策略解决目标应用程序或数据仓库(而非数据源)中的数据质量问题。由于数据可以根据需要随时进行修改，所以企业能够在流程(尤其是数据转换、名称和地址清洗以及查找验证)中改善数据质量。下游策略仅为目标应用程序或数据仓库改善数据质量，但与上游策略相比，它的实施过程更简单，成本更低。 ;

大数据分析四大分析要素是什么

数据分析是对数据进行详细研究和总结的过程，以便提取有用的信息并形成结论。大数据分析的出发点来自于企业的某些场景需求。根据需求目标，构建分析框架，通过对多个指标和纬度的全方位深入分析，提取企业数据，并利用相应的BI工具实现分析过程，最后提炼结论，通过可视化大屏展示，挖掘问题和提供策略。

　　1、场景

　　因为互联网行业的高速发展，数据分析BI工具也开始走入人们的视线，越来越多的企业开始意识到人工智能和商业智能给企业带来的价值，也甚至是愿意花钱在数据基础建设上面，所以，数据分析的应用场景也越来越丰富，从行业来看，主要有互联网、移动互联网、电力、财政、政务、税务、司法、租赁、银行、制造、教育、医药、金融、汽车、房地产和物流等等。

　　2、数据

　　数据指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。

　　而我们今天说的要分析的数据是企业在经营或者生产的过程中有很多的经营管理数据、财务数据、销售数据等等。

　　3、工具

　　工欲善其事必先利其器，工具在数据分析过程中也是非常重要的一环，一般做大数据分析，首先会使用到大数据数据库，比如MongoDB、Gbase等数据库。其次会用数据仓库工具，对数据进行清洗、转换、处理，得到有价值的数据。然后使用数据建模工具进行建模。最后使用大数据工具，进行可视化分析。

　　数据可视化分析工具：一站式数据分析软件-亿信ABI，融合了数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流、门户、移动应用等核心功能。采用轻量级SOA架构设计、B/S模式，各模块间无缝集成。使用了新一代的3D引擎技术，大屏展示炫酷。支持广泛的数据源接入。数据整合模块支持可视化的定义ETL过程，完成对数据的清洗、装换、处理。数据集模块支持数据库、文件、接口等多方式的数据建模。

　　4、方法

　　ABI一站式数据分析平台中包含有四大类分析方式。分别是：报表分析、报告分析、敏捷分析、可视化分析。

　　报表分析含有报表分析以及图表分析，可以制作各种复杂报表、图表结合的dashboard等。

　　报告分析含有word分析报告，幻灯片报告以及即席报告。Word分析报告是纯word版式的报告，可以拾取报表内的统计图、表格、数据等，支持导出成word；幻灯片报告可以向ppt一样播放，直接用于汇报展示，支持导出成ppt；即席报告中只需要简单的鼠标拖拽维度和指标，即可即时生成相应的分析结果。

　　敏捷分析中含有多维分析、敏捷看板以及看板集。多维分析是拖拽式的自主分析，通过拖拽维度和指标就能够立即得出分析结果；敏捷看板类似与多维分析，不过其中功能更加强大，它可以自动识别维度指标，智能生成两表的关联关系，内置丰富的组件帮助用户完成更加绚丽的看板的制作等等；看板集是多个看板的集合。

　　可视化分析中含有地图分析、3D分析以及酷屏分析。地图分析囊括了世界、中国各省市的地图及gis地图，与图表的结合，可衍生出成千上万种可视化效果；3D分析中有炫酷的3D效果，这是传统报表无法企及的可视化效果；酷屏分析中内置了百余种可视化效果组件，还能自己编写js、css等自定义组件，可以制作各种交互式常规屏、大屏等。

　　中琛魔方大数据温馨提醒：各行业致力于推动技术创新的企业都在考察云端分析功能。考虑到厂商提供技术的多样性，选择解决方案时，必须仔细研究评估所有相关标准，确保解决方案能充分发挥性能并带来预期的价值。