常用的etl工具都有哪些

Posted 2023-04-12

1、DataPipeline

DataPipeline 隶属于北京数见科技有限公司，是一家企业级批流一体数据融合服务商和解决方案提供商，国内实时数据管道技术的倡导者。

通过平台和技术为企业客户解决数据准备过程中的各种痛点，帮助客户更敏捷、更高效、更简单地实现复杂异构数据源到目的地的实时数据融合和数据管理等综合服务。

从而打破传统 ETL 给客户灵活数据应用带来的束缚，让数据准备过程不再成为数据消费的瓶颈。

2、Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

3、Talend

Talend 是数据集成解决方案领域的领袖企业，为公共云和私有云以及本地环境提供一体化的数据集成平台。Talend的使命是致力于帮助客户优化数据，提高数据可靠性，把企业数据更快地转化为商业价值。

以此为使命，Talend的解决方案将数据从传统基础架构中解放出来，提高客户在业务中的洞察力，让客户更早实现业务价值。

4、Informatica

Informatica是全球领先的数据管理软件提供商。

在如下Gartner魔力象限位于领导者地位：数据集成工具魔力象限、数据质量工具魔力象限、元数据管理解决方案魔力象限、主数据管理解决方案魔力象限、企业级集成平台即服务（EiPaaS）魔力象限。

5、DataStage

IBM® InfoSphere™ Information Server 是一种数据集成软件平台，能够帮助企业从散布在各个系统中的复杂异构信息获得更多价值。InfoSphere Information Server提供了一个统一的平台， 使公司能够了解、清理、变换和交付值得信赖且上下文丰富的信息。

IBM® InfoSphere™ DataStage® and QualityStage™ 提供了图形框架，您可使用该框架来设计和运行用于变换和清理、加载数据的作业。

参考资料：DataPipeline官网-关于我们

参考资料：百度百科-Kettle

参考资料：百度百科-Talend

参考资料：百度百科-Informatica

参考资料：百度百科-DataStage

参考技术A

几种 ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica等)

四种工具的比较主要从以下几方面进行比对：

1、成本：

软件成本包括多方面,主要包括软件产品, 售前培训, 售后咨询, 技术支持等。

开源产品本身是免费的，成本主要是培训和咨询，所以成本会一直维持在一个较低水平。

商业产品本身价格很高，但是一般会提供几次免费的咨询或支持，所以采用商用软件最初成本很高，但是逐渐下降。

手工编码最初成本不高，主要是人力成本，但后期维护的工作量会越来越大。

2、易用性：

DataPipeline： 有非常容易使用的 GUI，具有丰富的可视化监控；

Kettle： GUI+Coding；

Informatica： GUI+Coding，有GUI，但是要专门的训练；

Talend：GUI+Coding，有 GUI 图形界面但是以 Eclipse 的插件方式提供；

3、技能要求：

DataPipeline：操作简单，无技术要求；

Kettle： ETL设计, SQL, 数据建模 ；

Informatica： ETL设计, SQL, 数据建模；

Talend：需要写Java；

4、底层架构：

DataPipeline：分布式，可水平扩展；

Kettle：主从结构非高可用；

Informatica：分布式；

Talend：分布式；

5、数据实时性：

DataPipeline：支持异构数据源的实时同步，速度非常快；

Kettle：不支持实时数据同步；

Informatica：支持实时，效率较低；

Talend：支持实时处理，需要购买高级版本，价格贵；

6、技术支持：

DataPipeline：本地化原厂技术支持；

Kettle：无；

Informatica：主要在美国；

Talend：主要在美国；

7、自动断点续传：

DataPipeline：支持；

Kettle：不支持；

Informatica：不支持；

Talend：不支持；

参考技术B 国外的ETL发展比较早，国内的ETL工具现在也相当不错。如Restcloud、datax等。B/S架构，可以单机、集群、容器部署；支持异构数据源（SQL、Nosql、kafka等）、实时传输，可视化构建管道，任务监控、预警、统计都比较全面，而且性能也非常强大。 参考技术C 开源的代表是Kettle，性能比较强大，关键是免费
国外的主流产品有Informatica、Talend
国内有HaoheDI（这个工具部署在云端，在他们的公司官网可以实操体验）本回答被提问者采纳 参考技术D 北京灵蜂纵横软件有限公司
只做国产ETL工具原厂商 10年有余

最常用的报表工具都有哪些

国外的话水晶报表，SAP公司的商业报表工具，作为SAP“集团”下的报表组件模块。10年事前盛行一时，后被SAP收购。但水晶报表（Crystal Report）在理论上只支持单数据集，对多集的支持依赖于数据库的运算能力（叉乘与联合等或写存储过程），多库一般难以支持。

国内的话FineReport，目前国内报表软件领域发展最成熟也是市场份额最高的。IDC的报告里，17年甚至超过SAP，IBM，在这个细分领域，也是Gartner的BI选型市场指南里唯一推荐的报表工具。零代码开发，类似excel的设计方式，上手简单。尤其数据字典、实际值和显示值等的设计更是切入快速开发的要害，这些放在别的语言和体系下往往要大量代码才能实现且频繁需要的功能放在FineReport里却只是几个操作的事情。移动端报表+可视化大屏，FineReport做大屏有先天开发优势。

参考技术A 一、常见开源报表工具
1.BIRT报表
BIRT是Eclipse-based开源报表系统，主要基于Java和J2EE的Web应用程序中。 BIRT主要包括两部分：基于Eclipse的报表设计和可以添加到您的应用程序服务中的运行期组件。 BIRT同时还提供图形报表引擎。
BIRT报表由数据连接、数据转换、业务逻辑设计、表现四个组成逻辑构成，可以设计制作简单的列表报表、交叉报表和文本报表，也支持饼图、折线图、柱形图等基础图表。
2.iReport
iReport和jasperreports是为后者开发的纯Java可视报告设计器。 Ireport允许用户直观地编辑包含图表，图片，子报表等的复杂报表。iReport还集成了JFreeChart图表生成软件包。允许用户直观地编辑XML JasperDesign文件。
3.JasperReports
最流行和最常用的开源报告工具通常与ireport一起使用。 JasperReports可以在Java环境中创建报告，并支持PDF，HTML，XLS，CSV和XML文件输出格式。
开源报告工具基本上是以上三个选项。因为我没有使用或开发它，所以我不对其进行评估。但是开源工具存在一个普遍的问题，即开发和维护成本相对较大。如果您的公司要报告工具，则必须招募/培训2或3个开发人员，并且学习材料大部分为英语。使用以下业务报告工具，实际上成本还不错，该产品提供了部署服务，可以转到项目中，并在以后进行技术维护。
二、常见商用报表工具
有很多可以推荐的，一些BI制造商倾向于产品出售，并且由制造商实施以用于特殊项目。除产品外，还建议衡量制造商的服务。
1.亿信BI（BI @ Report）
适合国人使用的大数据分析软件。大数据分析软件亿信BI作为在中国具有自主知识产权的商业智能工具，是专门为中国式复杂报表设计的。类似于Excel的在线设计器，支持多级表头、表元合并，多级浮动、分组、斜线表元、多表体等复杂的报表样式。纯Web应用程序，通过在浏览器上的简单拖放，就可以自由定义具有“复杂格式和大量信息”的任何中文样式的复杂报表。
优点：
数据可视化：数据分析软件亿信BI具有数百种内置的可视化元素和图形。通过简单的数据关系定义，可以实现丰富的可视化效果。数据可视化图包括线图，饼图，条形图和其他常规图，同时支持复杂的流程图，和弦图，圆形饼图，瀑布图，金字塔图等。它还包括世界及中国各省市的图片地图和GIS地图。通过设计和匹配，可以导出成千上万种视觉效果，以帮助您理解数据。
3D透视图获取数据值：还原事件场景并掌握动态数据信息。商业智能分析软件亿信BI产品内含多个场景，这些场景都支持大数据的3D可视化。在3D场景中，可以实现诸如钻取，联动，轮播，旋转和3D漫游等功能。通过全景3D透视图和虚拟现实技术，勾勒出现场事件场景，带来顶级视觉体验，帮助您直观地掌握信息的全貌并获得数据的价值。
移动分析：
A.多终端无缝应用，不同的移动设备自适应一表和三屏；
B.在线和离线浏览模式，您可以随时随地离线访问移动数据；
C.多参数选择，多种钻取分析，丰富的统计图形等数据分析技术，完美满足一站式移动办公需求。
D.多种集成和接口技术可以将移动分析表，移动端应用程序或APP主页灵活地集成到第三方APP中。
2.水晶报表
SAP公司的商用报表工具，作为SAP“集团”下的报表组件模块，在十年前它很普遍，之后被SAP收购。但是从理论上讲，水晶报表（Crystal Report）仅支持单数据集，对多个集合的支持取决于数据库的计算能力（叉乘和联合或编写存储过程），并且通常很难支持多个库。
3.Cognos
Cognos功能非常强大，但是操作复杂度较高。如果是普通列表，则操作确实很简单。如果格式很复杂，或者有许多统计数据来源表，至少对于像我这样的新手来说，该操作不是那么方便。
4. 其他：例如，Oracle的BIEE也可算是商业BI工具，包含在商业智能解决方案中。
总结一下：商业的比开源的好用，开源需要强大的代理能力，该项目长时间在线，容易不稳定，并且后续维护需要不断更改代码；国内的比国外的好用，在这一点上希望大家不要“崇洋媚外”了。事实证明，国内BI报表分析工具能更好地理解“表哥”和“表姐”的意思。 参考技术B 谢邀！
其实报表只是表格工具里的一种功能。很多表格工具都有这个功能，只是我们更关注哪个操作更简便，不用学习那么复杂的教程；进而就是速度快，能提高工作效率。还有就是功能强大些，比如让报表统计更便捷、形式更多样式、视觉更美观等了。
从表格工具来讲，比较广泛的是Excel和wps，但我感觉这两个产品功能和操作几乎一样了，复杂的功能不是一般人就能熟练使用的，学习起来很费劲。楼主可以试试Seatable，比Excel简单好用太多了。在简书上发现的介绍，亲测确实很简单好用。可以直接在表格里存储文件、图片、大段文字、链接啥的，而且数据统计和分析能自动化，报表更简单，不用进行复杂的设置，在一个界面就搞定了，能用图表和表格两种方式呈现。楼主可以参考下
举例1：企业的行政HR统计复工日期，怎样简单高效，用SeaTable表格就够啦！
https://www.jianshu.com/p/de81fef32f6b
举例2：行政HR用表格记录和管理信息，这个SeaTable黑科技比Excel简单好用！
https://www.jianshu.com/p/690cdb8d865d 参考技术C FineReport：FineReport是一款集数据展示(报表)、数据查询(参数)和数据录入(填报)功能于一身，用来辅助开发基于BS软件系统的工具软件。

数巨报表：MAXReports是一套功能强大且简单易用的专业报表开发工具与数据分析工具。数巨报表支持Web方式下的应用，并成功地解 决了B/S架构软件中报表制作、预览、打印及导出文件等难题。

杰表：杰表是一个功能强大，容易上手的报表开发环境，根据中式报表的需求特点，采用多项创新技术研发的报表分析应用系统的快速开发平台。

用友华表：E-Cell集业务开发、设计和业务运行于一体，使用者无需掌握编程语言和数据库知识，完全从用户角度出发本着“以业务实现业务”的理念，让企业轻松构建 属于自己的管理系统。 参考技术D 1、excel，传统的企业可能还在用，但信息化建设早或快的或许已经转到其他开发了，毕竟excel方式效率还是低的。
2、第三方的报表工具，比如birt，japser、ireport、润乾报表、FR等
3、简单的报表开发可以考虑开源的birt等，如果是报表多或报表复杂就考虑商业报表，如润乾报表等国内的老牌厂商，有技术及服务保障。