煤炭行业两化融合示范项目—伊泰集团数据仓库建设

Posted 2021-04-24 煤炭工业网

伊泰集团数据仓库建设

完成单位：内蒙古伊泰集团有限公司

内蒙古伊泰信息技术有限公司

思爱普（中国）有限公司

 

1.内蒙古伊泰集团有限公司基本情况

内蒙古伊泰集团有限公司（以下简称“伊泰集团”或“公司”）成立于1988年3月，是以煤炭生产、运输、销售为基础，集铁路、煤制油与煤化工为一体，房地产开发、生态修复及有机农业等非煤产业为互补的大型清洁能源企业。

公司发起成立的内蒙古伊泰煤炭股份有限公司分别在上海（B股）、香港（H股）上市。伊泰集团在2016年度中国企业500强中排名第396位，在全国煤炭企业百强中排名第21位，是动力煤“4+1”企业大型煤炭企业和煤炭行业协会协调机制成员单位，在内蒙古地方煤炭企业中排名首位。截至2016年底，伊泰集团共有直接和间接控股子公司64家，生产矿井15座，拥有465公里自营铁路，过亿吨储运能力的煤炭集运站，总资产1100亿元，员工7300人。

2.项目基本情况

项目背景：伊泰数据仓库系统项目的建设是以几乎覆盖伊泰所有业务范围的信息系统的建设和伊泰集团相对规范的管理模式两个基础建设为支撑点，进一步挖掘系统中已有数据的隐形价值，充分的利用已有信息系统的数据资源，整合系统中的各类数据并通过集中利用综合分析的方法规范各业务数据统计的口径，准确及时合理的出具各类统计分析结果。在上述需求的情况下提出建设伊泰集团数据仓库建设项目。

实施思路：总体规划、分步实施、科学组织、有序推进。

项目目标：通过新一代的数据仓库技术，构建一个数据仓库平台；以伊泰集团现有信息系统为基础，以伊泰集团现在的业务模式为基础；实现集团公司高级管理人员，普通管理人员和基层业务人员三个层面的数据分析应用，从而提高各级各类数据的综合分析能力。

实施基础条件：项目实施前，已经建好的信息系统有，企业资源计划管理系统（以下简称ERP系统，其中包括财务模块、总账模块、物料管理模块、销售管理模块、人力资源模块）、产运销业务系统（以下简称MES系统）、数字矿山系统、合并报表系统（以下简称BPC系统）、客户关系管理系统（以下简称CRM系统）。在此基础上，项目立项前期做了大量的调研工作，摸清了各系统中数据的具体使用情况及数据可靠程度，并对将要采用的技术架构和数据架构进行了多渠道的论证。

主要内容和特点：伊泰数据仓库系统项目中主要内容涵盖伊泰集团下属各部门和相关分、子公司等组织和部门。在系统架构上，以业务数据仓库（以下简称BW系统）系统为核心，向下接ERP系统、MES系统、调度、数字矿山等一些业务系统。向上通过BO报表平台发布报表和展示报表。其中的部分报表和仪表盘还通过OA系统的链接，按照用户的权限推送给各级管理人员。

在项目的分析指标设计过程中，根据各部门提出的需求。结合各信息系统中的现有数据，设计了7个主题类型，129个分析指标；在数据获取途径方面，考虑了系统的整体架构和相关技术的成熟程度。开发了多种类型的数据接口和数据抽取机制。最终完成连接了4种类型数据库，整合了7个应用系统的数据获取途径。

在数据分析模型设计方面，面对不同类型的源系统创建了185个数据存储对象，31个综合数据分析模型；以及与这些模型配套的各类数据分析的逻辑和数据抽取机制。

在数据展示方面，按照各部门提出的报表需求，经过指标设计，查询设计等环节，最终将结果呈现为83张报表和8个综合分析仪表盘。

项目建设和完成情况：伊泰数据仓库系统项目建设经历了立项，招标，蓝图设计，模型设计，展示设计，单元测试，集成测试和上线几个主要阶段。

资金投入情况：项目资金来自伊泰集团自筹资金，总投资353万元。

3. 项目涉及到的关键技术和相关人员的培训

　　l列式数据库存储与计算技术

基于列式数据存储和计算的业务信息仓库（以下简称BW ON HANA）技术，作为数据仓库平台的核心模块，其核心特征是基于内存的运算，所有的数据都被直接的存放在内存中，因此在处理大量数据时，性能会远远高于传统的基于硬盘的数据库技术。而BW的技术优势在于对各类数据的整合、多层次的逻辑加工、多维度的数据切片以及与原有ERP各模块的同一体系内的集成。

　　l多类型的数据库到统一的信息平台技术

伊泰数据仓库系统项目，综合考虑了系统的整体架构和相关技术的成熟程度。采用SAP BW本身具有的标准功能，连接到SAP其它系统的多个模块。同时，开发和配置了多种类型的数据接口和数据抽取机制，建立了多种类型的数据连接通道，其中包括SAP HANA，甲骨文（以下简称ORACLE），微软（以下简称SQLSERVER），手工EXCEL等类型。各类型通道的建立，确保了数据仓库中数据入口的多样与简便。

　　l数据分析指标确立与模型创建技术

伊泰数据仓库系统项目，采用了SAP BW的数据分析模型创建技术。数据分层次的从源系统获取和抽取，手动获取数据与自动获取数据相结合的多种数据获取模式。使用了多层级的逻辑加工和整合。模型创建过程，采用拖拉拽的方式，更容易把业务内容与技术指标相对应。根据已确定的分析指标完成数据分析模型的创建。

　　l数据展示技术

伊泰数据仓库系统项目，采用固定格式报表与数据综合展示仪表盘两种形式展示各类数据分析结果。固定格式报表，采用SAP公司商务智能分析平台即席查询报表技术（以下简称WEBI报表），报表的数据来自于在BW系统中创建好的数据模型及模型上构建的数据查询。在展示前端可以根据后端支持所出具的查询结果和其中所设计的查询维度和查询关键值，构建出可供日常查询和打印的报表并支持多维度的追朔查询。

综合展示仪表盘，采用SAP公司商务智能分析平台报表设计工具包（Design Studio），设计生成的结果会封装成html5代码包，并部署到商务智能分析平台。依托设计工具本身所有的一些控件工具包或者第三方开发的数据展示设计工具包，可以灵活的设计出多种类型的图表与可互动操作的数据分析展示仪表盘。

人员培训：

伊泰数据仓库系统项目，人员培训分为两个部分完成。首先把业务部门经常使用报表且日常工作中对于报表平台的功能使用的较为全面的用户，定义为“关键用户”。把使用报表但一般情况下是直接获取查询结果对于报表平台的功能使用较少的用户，定义为“一般用户”。对于“关键用户”培训的内容较为系统全面，除了报表的查询方法，还要求掌握系统中其它功能的使用，能够理解到维度和关键值的意义，并根据自己对于数据的分析角度自主完成格式的变化、维度和关键值的增减等内容。对于“一般用户”只要求掌握报表的查询方法。培训过程中会有视频和操作手册等类型的相关文档作为辅助。

4.项目价值优势和创新点

伊泰数据仓库系统项目的价值主要体现在数据综合分析能力的增强和报表查询效率的提高。在综合分析能力方面，原来实现困难的多个系统中的数据在同一张报表中灵活查询的功能现在得以轻松实现，同一个维度体系下可以任意的组合查询。以《运销日报表》为例，此报表包含了来自于4个不同系统的数据，又相互交叉的综合在同一张报表当中。比如煤炭销售总览部分的计划值来自于调度系统，实际值来自于MES系统。比如区域销售计划销售量来自于调度系统，而实际值则来自于MES系统、ERP系统和CRM系统。而本次项目实现了这种数据的综合查询分析的功能。最终四个系统中的数据集中在同一张报表中得以综合分析。而查询效率的提升体现在报表的运行时间上最为明显，以《运销日报表》为例，系统上线前该报表在原有系统的运行时间大约在80分钟左右，系统上线后，从结构上改变了查询的方式，查询同样结果的报表运行时间为30秒以内。

5.项目实际应用情况及效果分析

伊泰数据仓库系统项目在上线3个月后（2016年11月6日至2017年3月9日），对报表的使用情况进行了统计，结果显示，所有的报表总计被访问10044次，单个报表最多访问2220次。部分高频率查询报表，日访问超过500次以上。系统上线后，各使用部门获取数据的工作得到了明显的提升。无论是从各类数据获取途径的方便程度还是数据获取的时间效率上以及使用综合数据的价值方面都得到了有效的提高。

6.项目成果及应用前景、示范意义及行业推广价值

伊泰数据仓库系统项目的成果，体现在如下几个方面：

第一，使用项目成果的人员范围包括，公司领导、财务公司、人力资源与战略企划部、运销事业部、安全环境监察与质量管理部、财务管理中心等6个业务组织。

第二，项目数据获取途径考虑了系统的整体架构和相关技术的成熟程度。开发了4种类型的数据接口和数据抽取机制，连接了4种类型数据库，整合了7个应用系统的数据获取途径。

第三，根据各部门提出的需求，结合各信息系统中的现有数据，在项目过程中设计了7个主题类型，129个分析指标。

第四，在数据展示方面，按照各部门提出的报表需求，项目过程中设计数据分析模型31个，将结果呈现为83张报表和8个综合分析仪表盘；

第五，在应用方式上面，项目实现了7个类型的应用场景。其中有固定格式可供直接打印的报表，有图与表结合的报表，有多维度分析的动态报表，有用于综合展示的仪表盘，有连接到实时数据源的分析仪表盘，有从煤矿某些传感器上取得数据的仪表盘，还有一些非结构化的数据，通过手工录入的方式做了分析和展示。

　　7.项目经验总结和下一步计划

　　第一，伊泰数据仓库系统项目的成功离不开业务部门与技术部门的密切协同配合。只有业务部门的充分参与，技术部门才能构造出符合业务实际的报表，也只有业务部门才能最终确认数据是否正确。第二，项目实施过程中，对项目范围的把控要准确。在项目实施过程中，随着业务人员的参与越来越多，对于系统的理解也越来越深刻准确。第三，项目成果及其相关技术应及时消化。项目实施过程中，不可避免的要采用一些新的技术和方法，这些技术和方法对于项目最终的成果起着决定性的作用。

　　下一步，伊泰信息技术公司将全面接手伊泰数据仓库系统项目的运维和持续改进工作。将在今后的使用和维护过程中，进一步深化项目成果，逐步完成各部门提出新的数据分析需求。按照数据仓库项目的远景规划，逐步扩展项目成果使用的业务部门，扩展系统的集成范围，做更全、更快、更具价值的数据分析系统。

全文内容请点击“阅读原文”