元数据管理

Posted 2022-11-30 数据文字工作者

元数据管理的核心功能如下：

---

 元数据采集

 在操作方式上分为自动采集和手动采集两种：

• 自动采集：定义自动的、定时的采集任务。采集任务为自动调度的工作单元，为元数据的采集提供自动化的、周期性的，或指定某个时间触发的机制。支持通过界面来维护任务，如查询、新增、修改、删除，可以配置任务自动执行的时间、状态。
• 手动采集：手动采集是指选择本地文件上传到服务器来手动采集元数据。相对于自动采集，手动采集功能属于手工方式实时采集保存在本地文件中的元数据信息，如保存在excel文件中的元数据。

同时，提供采集日志信息的查看，检查采集是否成功。查看采集日志可以查询到采集任务的如下信息：开始时间、任务状态、结束时间、过程日志，采集的数量等等。

元数据采集完成后，存储在数据库中，支撑包括元数据统计、查询、血缘分析、影响性分析、数据资产地图等元数据应用。

---

元数据存储

依照元数据管理制度及要求，获取元数据后，根据规则进行元数据分类，后续根据每类元数据定义，实现元数据的分类管理。元数据分为业务元数据、技术元数据和管理元数据。

• 业务元数据：介于业务人员和系统之间的语义层，包含业务定义，业务部门，业务规则，管理部门等信息。
• 技术元数据：主要指所在系统的数据类型，数据处理逻辑，表/字段等技术细节信息。
• 管理元数据：主要指数据访问权限，数据处理作业的结果等数据处理过程的元数据。

---

元数据管理

• 元数据查询：

背景：元数据系统采用树形方式来统一展示元数据信息，层级结构清晰，便于用户直观了解元数据组织结构。但由于元数据来源繁多，数量巨大，很难快速地精准定位到用户所关心的特定的元数据信息。

自助式元数据查询为用户提供直观简洁的界面，用户根据自定义搜索条件，查询符合该用户访问权限的所有元数据信息，以列表的形式展现出来，支持模糊查询。

• 元数据统计：

用于统计各类元数据的数量，如各部门提供的各类数据的种类，各部门数据被使用的冷、热度等，方便用户掌握大数据平台中元数据的汇总信息。元数据统计的展现方式有报表，图形等直观的方式。

• 元数据版本管理：

元数据版本管理用于管理元数据的版本发布，以及基于版本的元数据查看、比对等操作，通过版本管理功能，用户可以更清晰了解元数据的版本变更历史，掌握元数据生命周期，提升了后续使用元数据的可靠性。例如，当某个信息系统的元数据第一次全量采集进入元数据管理库中，对其发布一个基线版本；经过几年后，该信息系统进行了一次重大升级，许多数据结构都被改变了，还有新增和删除的元数据，这时候再对元数据进行一次全量采集，对其发布第二个版本。

• 元数据变更管理：

主要是在线对元数据进行变更，如对属性值进行修改，对变更历史和变更明细进行查询，对变更前后进行差异比对。

用户可以自行订阅权限范围内自己所关注的元数据，当这些元数据发生变更后，系统将以邮件、短信等形式通知用户变更的发生，用户可根据指引，进一步在系统中查询到该变更的具体内容及相关的影响性分析。

---

元数据分析

• 影响分析：

元数据影响性分析指的是评估数据变更对数据应用的影响。影响性分析能帮助用户迅速了解分析当前元数据对象的下游数据信息，快速识别元数据的价值，掌握元数据变更可能造成的影响，以便更有效的评估变化带来的风险。

• 血缘分析：

血缘分析是建立在元数据整合的基础上，记录数据治理过程中的血缘关系，基于这些血缘关系信息，可以进行以数据流向为主线的血缘追溯功能，可以一直追溯到数据的产生。

血缘分析的输出结果包括回溯过程中所找到的所有相关元数据对象，以及这些元数据对象之间的关系。这些元数据对象可能是指标、接口文件、报表、数据库表、数据库视图、数据立方体实体、数据处理过程和数据源接口等。

血缘分析通过图形化的方式展示给用户，用户看到的是代表该元数据血缘关系的一条分布有各个节点的链形图，图中的每一个节点代表数据来源过程中的一个步骤。

• 数据资产地图：

大数据平台内的元数据种类繁多、形式各异，元数据查询、血缘分析、影响性分析等功能，是面向元数据细节信息的使用需求，更适用于具体的人员，各部门基于元数据开展相关工作，对于领导、管理人员等高层用户，由于关注层次更高，范围更广泛，大量的细节信息不能有效的满足该类用户的需要。

数据资产地图用于在宏观层面组织信息，力求以全局视角对数据进行归并、整理，展现数据的宏观信息。数据资产地图以图形化的方式管理数据资产，提供多形式的图形化展现，如支持全景数据地图，方便用户从宏观角度对数据进行深入的理解，如数据分布情况等。数据资产地图支持数据库级别的数据流向可视化展示，数据按照时间维度的增量、存量展示，便于监控数据的增量、存量情况。