分析数据怎么能少的了数据仓库？

Posted 2021-04-24 皇子的新衣

互联网每天都会产生大量的数据，每一条数据都代表了一份信息，因为互联网的数据其实是我们在使用互联网产品时发生的行为所沉淀下来的结果。

 

一 数据仓库

 

定义：数据仓库（Data warehouse），是一种对历史数据进行存储和分析的数据系统，通常为企业进行战略决策提供数据支持而建立使用。

 

特点：

1、数据仓库是面向主题的：操作型数据库的数据组织一般面向事物处理任务。数据仓库中的数据一般按照一定的主题领域去进行组织，然后获取到数据。主题领域是指用户使用数据仓库获取数据进行决策时所关心的重点方面。

例子：老板想知道12月份xxx活动一共吸引了多少女用户，多少男用户？

主题有：时间-12月份 活动-xxx活动 性别-男/女

2、数据仓库是集成的：数据仓库的数据有来自于分散的操作型数据库，将所需要的数据从原来的数据库里面抽取出来，进行加工，统一综合之后才能进入到数据仓库。

3、数据仓库是不可更新的：数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据查询。

4、数据仓库是随时间变化的：传统的关系型数据库比较适合处理格式化的数据，能勾较好的满足商务处理的需求。稳定的数据以制度格式保存，且不随时间改变。

5、非规划化的：数据仓库的数据经常是有冗余的，而且这种冗余是必要的。

 

二 数据仓库的组成

从功能结构划分，数据仓库至少应包含数据获取、数据存储、数据访问三个部分。

细点来看：

1 数据抽取工具：抽取工具是用用来把数据从各种各样的存储方式中拿出来，进行必要的转化，整理，再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键，即这个抽取工具应能生成各种脚本程序语言以访问不同的数据。

2 数据库：整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于普通的操作型数据来讲，数据仓库的数据库有对海量数据支持和快速检索的特点。

3 元数据：元数据是描述数据仓库内数据和建立方法的数据。分为技术元数据和商业元数据。元数据为访问数据仓库提供了一个信息目录，这个目录描述了数据仓库中都有什么数据，这些数据是怎么得到的，怎么访问这些数据。

4 数据集市：为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据，在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。

5 数据仓库管理：涉及到安全权限管理、删除、备份、恢复、存储管理等等。

6 信息发布系统：把数据仓库中的数据发送给不同的地点和用户。基于Web的信息发布系统是对付多用户访问的最有效方法。

7 访问工具：为用户访问数据仓库提供手段。各种的数据查询和报表工具，应用开发工具，数据挖掘工具等等。

 

三 数据库与数据仓库的区别

数据库：是对实时数据进行存储和事务性处理的系统，对应的操作包括新增数据或者对数据进行修改和查询。

数据仓库：支持复杂的查询分析操作，更侧重决策支持，并提供直观易懂的查询结果。

简单的来说：数据库处理日常业务，数据仓库为战略决策提供数据支持。

 

一个面向事务，一个面向主题。

一个存储实时数据，一个存储历史数据。

一个设计时尽量避免冗余，一个设计时有意制造冗余。

一个为了捕获数据，一个为了分析数据。

 

四 数据仓库的用处

例：

基本每家电商公司都会经历，只需要业务数据库到需要数据仓库的阶段。

电商公司早期启动门槛比较低，这个时候使用业务数据库基本可以支撑业务流转。

中期的时候，流量多了起来，普通查询有压力了，服务器负载开始高了，这个时候就需要升级服务器，扩展服务器等等操作。

随着业务越做越大，业务数据库只能支持日常一般性的业务操作，而无法为决策提供有效的数据。当ceo，coo去询问某个活动的pv、uv的时候，通常这类问题的答案很难从业务数据库去调取出来（因为一般的业务数据库对复杂繁琐的制只读查询类型的支持是不足的），而且这些问题的频率和难度会随着公司的发展会不断的提高。这个时候，我们就需要去建立数据仓库。

 

数据仓库可以给企业公司内部带来巨大的变化。

1 数据仓库的建立可以带来新的工作流程，科学管理，提高效率。

2 数据仓库为企业的战略决策提供了有效的数据基础，还能为企业发现新的市场商机，同时也可以用来控制库存、管理客户群等等。

3 通过数据仓库，可以建立起企业的数据模型。一旦企业建立起合理的数据模型，对企业的发展有着极为重要的意义。