ETL的原理？

Posted 2023-05-09

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ETL的原理？相关的知识，希望对你有一定的参考价值。

哪位高手做过ETL工具告诉俺一下原理呗！俺公司有一批数据要做数据挖掘，筛选，让俺简单针对这批数据做一个！

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。

扩展资料：

ETL与ELT：

ETL所描述的过程，一般常见的作法包含ETL或是ELT（Extract-Load-Transform），并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库，愈偏向使用ELT，以便运用目的端数据库的平行处理能力。

ETL（orELT）的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，并运用其内置的metadata功能来存储来源与目的的对应（mapping）以及转换规则。

工具可以提供较强大的连接功能（connectivity）来连接来源端及目的端，开发人员不用去熟悉各种相异的平台及数据的结构，亦能进行开发。当然，为了这些好处，付出的代价便是金钱。

参考技术A ETL 其实就是把源数据加工成你想要的数据然后放到你想放到的DB中或者file里，工具有很多微软的 SSIS java里面的kettle IBM 的informatica ,datastage都可以进行上面的工具前期的话推荐你用微软的ETL工具，他是一套BI系统，可以后期进行多维分析，报表分析等参考技术B ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。每个过程都有数据算法在里面。建议你看一下《数据挖掘》这本书，然后选择上面的部分算法来实现你的软件。参考技术C 其实简单的说，就是由源数据向目标表导入数据的一个过程，只是在这中间我们需要对数据进行筛选，选出你所需要的，如果你用的是IBM公司的informatic/datastage那就简单了直接拖取控件就行，在空间中加入条件，如果你用的是微软的产品那你需要做一个ssis包。其实原理是一样的。还有就是谨记插入数据之前先truncate。