数据仓库的元数据管理

Posted 2021-04-24 勿忘初心

架构:

元数据联盟MDC（Meta Data Coalition）的开放信息模型OIM（Open Information Model）和OMG组织的公共仓库模型CWM（Common Warehouse Model）标准。

需要说明的是，MDC与OMG组织已经合并，今后所有的工具都将遵循统一的CWM标准。

CWM为数据仓库和商业智能（BI）工具之间共享元数据，制定了一整套关于语法和语义的规范。它主要包含以下四个方面的规范：

(1) CWM元模型（Metamodel）：描述数据仓库系统的模型；

(2) CWM XML：CWM元模型的XML表示；

(3) CWM DTD：DW/BI共享元数据的交换格式；

(4) CWM IDL：DW/BI共享元数据的应用程序访问接口（API）；

 

实现：

基于多个后端系统分布存取数据，从第三方数据源实时存取元数据通过同时提供实时元数据和定制的元数据，系统将不同应用集成到一个系统，从而提高了整体系统的响应时间。

功能：

1.   实时浏览所有的应用元数据 - 绝对保证您看到的是最新的真实信息

2.   高级搜索功能 -快速调查应用、数据问题，附带详细灵活的搜索选项

3.   数据血统分析 -了解数据在应用中流动变化的来源和目的

4.   相关分析 - 追踪企业范围的系统变化影响

5.   报告 - 创建并保存用户报表，方便需要频繁使用的数据读取

6.   审计 - 追踪业务规则和公司标准的变化

 

Data Lineage:

·        Shows the data flow from the data source, through various systems andstaging areas, to the data destination.

·        Determines where data comes from, how it is transformed, and where it isgoing.

Example: data lineage shows how data in a database table column eventuallyfeeds a metric in a business intelligence report.

 

Impact Analysis:

·        Shows all instances where an object is used within and acrossrepositories.

·        Provides more technical information than data lineage; useful fortechnical people

·        Used before making changes to source repositories, such as businessintelligence, data integration, or database repositories.

Example: if you wantto drop a database table, you can use where-used analysis to determine whatother objects in any repository use the information provided by the databasetable

Process Analysis

使用户能够察看处理过程执行情况的历史，可以得到诸如“每一个可执行的处理过程最后一次运行时的详细信息是什么？”，“这个处理过程最后三次运行时每一次使用的都是哪些参数？”，以及“出现失败事件的作业的哪些信息是可用的？”等问题的答案。

 产品:

一种是元数据管理通用解决方案，如石竹软件的MetaOne产品、Data Advantage Group 的 MetaCenter；

另一种是数据仓库统一解决方案，往往突出自己是整体解决方案供应商，自己产品的集成性相对好些，如Informatic 的SuperGlue Metadata Manager、CA的Advantage Repository、IBM的Metastage等.

开源元数据管理（Pentaho Metadata Editor）。