BI，数据仓库，ETL，大数据开发工程师有啥区别

Posted 2023-02-14

准确的来说，商业智能BI不仅仅包含前端可视化分析、报表展现的能力，更包含了底层数据仓库的建设过程。

Gartner 在上世纪九十年代就已经提到了商业智能 Business Intelligence，它更多的认为BI是一种数据类的技术解决方案，将许多来自不同企业业务系统的数据提取有分析价值的数据进行清洗、转换和加载，就是抽取Extraction、转换 Transformation、加载Loading 的ETL过程，最终合并到一个数据仓库中，按照一定的建模方式例如Inmon 的3NF 建模、Kimball 的维度建模或者两者都有的混合式架构模型，最终在这个基础上再利用合适的分析展现工具来形成各种可视化的分析报表为企业的管理决策层提供数据决策支撑。

所以，可以从这里能够看到数据仓库Data Warehouse 的位置是介于可视化报表和底层业务系统数据源之间的这一层，在整个BI项目解决方案中起到的是一个承上启下的作用。所以，BI在前端可视化分析层面要玩出各类精彩的动作，没有数据仓库这个核心力量的支撑是很难做到的。

那大家也会问到，市面上不是有很多直接链接数据源就可以拖拉拽分析的BI工具产品吗，不也一样可以做BI分析报表吗？这种独立的、单独的面向前端的BI分析工具，他们更多的定位是部门级和个人级的BI 分析工具，对于深层次的需要复杂数据处理、集成、建模等很多场景是无法解决的。最好的方式就是底层构建一套完整的数据仓库，把很多分析模型标准化，再利用这些前端BI分析工具结合起来，这样才能真正的把前端BI分析能力给释放出来。

很多企业认为只要买一个前端BI分析工具就可以解决企业级的BI所有问题，这个看法实际上也不可行的。可能在最开始分析场景相对简单，对接数据的复杂度不是很高的情况下这类BI分析工具没有问题。但是在企业的BI项目建设有一个特点，是一个螺旋式上升的建设过程。因为对接的业务系统可能会越来越多，分析的深度和广度会越来越多，数据的复杂度也会越来越有挑战性，这个时候没有一个很好的数据仓库架构支撑，光靠前端BI分析工具基本上是无法搞定的。

所以在企业中，我们需要明确我们的BI建设是面向企业级的还是个人和部门的分析工作。如果是个人数据分析师，使用这类前端BI分析工具就足够了。如果是需要构建一个企业级的BI项目，就不能只关注前端可视化分析能力这个层面，更应该关注到底层数据架构的构建，也就是数据仓库这个层面。

参考技术A 这几个职位都是跟数据有关的工作。
BI 是商业智能，职位包括etl,数据仓库，数据展示工作。
数据仓库，是按设定好的一种数据库模型
ETL，负责清洗原始数据的一个过程，清洗完之后将数据加载至数据仓库。
大数据开发，数据量较大，上千万乃至亿级的数据量开发 参考技术B 1、要求不同，BI开发：要有一定的数据库经验，掌握SQL查询优化方法，精通Oracle、SQLServer、mysql等主流数据库的应用设计、性能调优及存储过程的开发。
数据仓库开发：理解数据备份/恢复与灾难恢复；工具集的使用。
ETL开发：要掌握各百种常用的编程语言。
2、特点不同，BI开发：熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。数据仓库开发：凡是关系到数据库质量、效率、成本、安全等方面的工作，及涉及到的技术、组件，都在数据库开发的技术范畴里。
ETL开发：海量数据的ETL开发，抽取成各种数据需求。
3、工作内容不同
BI开发：主要是报表开发，负责开发工作。数据仓库开发：主要负责业务数据仓库从设计、测试到部署交付的全生命周期管理。
ETL开发：从事系统编程、数据库编程与设计。