矿山数据仓库数据采集的数据要求有哪些？

Posted 2021-04-24 智慧矿山建设

数据采集是根据生产经营决策分析主题，采集操作环境中的各类业务数据，重整归类后放到数据仓库，再经多层次分类汇总成为有效的管理信息的过程。数据采集过程跨越操作环境和信息分析环境，是数据仓库建设中的重要一环。

数据采集的概念

数据采集（ETL），即数据抽取（Extract）、清洗（Cleaning）、转换（Transformation）、装载（Loading）的过程，是构建数据仓库的重要环节。用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

数据采集的数据流模型图：

数据源：分布在煤矿的相关业务系统中及外部相关系统中，是整个数据仓库建设的基础。

原始数据：抽取上来的数据保持为原始数据状态，没有经过过滤和校验，不能进行数据应用。原始数据存在以的必要性：一是保持数据的原有形态，便于追溯原始记录；二是为数据过滤处理的准确的准确度和质量提供核对依据。

基础数据：将原始数据进行过滤和校验后，形成具有基础性的数据，为数据仓库提供基础数据。

应用数据：经过对基础数据的整合生成的应用数据，服务于报表、查询、决策分析等数据应用系统。

数据采集的数据要求

矿山数据仓库所存储的是矿山生产经营管理数据以及相关的外部数据，对数据的要求有以下几点：

①    数据的广泛性：数据需要涉及到计划、统计、财务、资源、产品、安全、物质供应等各个方面。

②    数据的基础性：必须从数据源头（生产车间）获取数据。

③    数据的动态性：地质资源状况以及矿产产品生产、销售、库存量都是随时间不断变化的，矿产品价格、市场需求等是与市场行情紧密相连的，数据都是动态的。

④    数据的综合性。能准确反映矿山生产经营情况和领导所关心的问题，如资源、产品、成本、安全等。

⑤    数据层次性。能分析不同的统计层次和统计粒度的数据，便于挖掘问题的原因等等。

推荐阅读

了解详情