传统行业如何建立数据仓库？

Posted 2021-04-02 地面通三网互通

    建立数据仓库是一个解决企业数据问题应用的过程，是企业信息化发展到一定阶段必不可少的一步，也是发展数据化管理的重要基础。数仓的知识市面上的书籍和文章不少，但是实际实施依据行业不同，企业核心诉求不同，从技术到方法论各有不同。

    需求分析是数据仓库项目最重要的一个环节，数仓说到底还是服务于业务，支撑于业务，如果需求分析不准确，做了没人用，上了不好用，会直接影响业务/客户的使用，最终导致项目的失败。为了避免最坏的情况，磨刀不误砍柴工，前期一定要重视需求的调研、挖掘和分析，并采用一些严谨科学的措施和方法去做需求分析。

    数据仓库所能实现的目标和不容易解决的问题与协商清楚。这一个环节趟过不少坑，IT方急着上线，业务方对于项目还处于一知半解，甚至在推动的时候可能避重就轻，比如一期不满足的需求强行上，长远来看项目会产生不少推诿和扯皮，消磨的是对方的信任。

    尽可能与业务方/客户方一起分析需求，引导对方将项目所要实现的整体框架和业务细节部分述清楚，最好的方式就是需求人员和设计人员基于原型来讨论，从而正确理解实际的业务需求。

    需求调研的再完美，也避免不了需求变更。现实是很多情况下需求是不确定的，业务方是提不出有价值的需求的，需求今天是A明天又变成B无法一步做到位的，这都很正常，作为项目实施者要做好心理预期。

    一般情况下，业务方能够提供的都是需求的整体框架部分或者是实际需求的一部分内容，不能预见未来需要增加的需求，这也注定了数仓项目是一个不断循环、反馈，使系统不断完善增长的过程。

    数据源分析是指通过需求调研得知业务数据源的基本情况，并且加以详细说明，具体内容包括数据源中存在哪些物理表，表之间的关系和表中每个字段的数据类型和含义等。一般来说，业务数据源通常会有数据不完整、口径不一致，或者各个数据源存在业务规则不统一的情况。

    在分析的过程中，需要确定业务源数据中哪些数据需要被抽取。为了确定合适的抽取方式，需要在抽取之前对数据源进行分析，分析的范围一般包括数据的格式、数据的范围、更新的方式、数据质量的好坏。在分析的过程中，应该尽可能获取分析的结果，形成数据源分析报告，在仔细研究分析报告后，再选择合适的抽取、加载方式。了解这些数据源的特点，有利于ETL 抽取时对数据的整合和统一，从而保证数据的质量和可信度。