常用的大数据工具都有哪些？

Posted 2023-04-11

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。

首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。

1、mysql数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;

接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。

1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。

2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。

第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;

1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;

2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。

最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。

1、PowerPoint软件：大部分人都是用PPT写报告。

2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;

3、Swiff Chart软件：制作图表的软件，生成的是Flash

参考技术A 1. 开源大数据生态圈
Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。

2. 商用大数据分析工具
一体机数据库/数据仓库（费用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库（费用较高）
Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市（费用一般）
QlikView、 Tableau 、国内永洪科技Yonghong Data Mart 等等。

前端展现
用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。
用于展现分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、国内永洪科技Yonghong Z-Suite等等。 参考技术B Tableau/QlikView/DOMO 大多费用高。Microsoft老字号工具。国内DataFocus相对性价比高一些。 参考技术C bdp个人版，excel...... 参考技术D 火车采集器，
作为采集界的老前辈，火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。
1采集功能完善且不限网页与内容，任意文件格式都可下载
2具有智能多识别系统以及可选的验证方式保护安全
3支持php和C#插件扩展，方便修改处理数据
4具有同义，近义词替换、参数替换，伪原创必备技能
5采集难度大，对没有编程基础的用户来说存在困难

数据可视化工具系统都有哪些？

DataV，帆软，奥威这种知名度高的价格也高啊，有没有不同的厂家，靠谱的，主要做BI的数据展现这种，求推荐！

现如今有大量强大的可视化工具可用于表达想法、可视化数据、向客户和全球社区分享重要的分析结果。现在大大小小的企业都可以利用商业智能工具来理解复杂的大数据。 这些解决方案可以收集，分析这些数据并将其转换为可理解的报告，从而为企业提供有价值的见解，以此推动企业利润。

建议你可以试试思迈特软件Smartbi。思迈特软件Smartbi拥有成熟的OLAP引擎，实现了对SQL及MDX语言的解析功能；支持大数据和云计算，单表10亿数据规模以上，查询可“秒级响应”。无论是业务数据库、数据仓库还是excel、txt，思迈特软件Smartbi可快速成为分析数据源，并能可视化管理数据模型。

思迈特软件Smartbi小到填报、查询、部署、集成，大到可视化大屏、dashboard驾驶舱，应有尽有，功能很强大。最重要的是，因为这个工具，整个公司的数据架构都可以变得规范，下一步就是构建企业的大数据平台了。而且它是java编写的，支持二次开发，类Excel的设计器，无论是IT还是业务。

思迈特软件Smartbi上手都很简单：编辑sql优化、数据集复用简直都是小case，大大降低了报表开发的门槛。在企业中被关注最多的数据安全方面，思迈特软件Smartbi支持多人同时开发同一套报表，并通过模板加锁功能防止编辑冲突；通过数据分析权限控制，保障数据安全。

数据可视化工具靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。

思迈特软件Smartbi个人用户全功能模块长期免费试用
马上免费体验:Smartbi一站式大数据分析平台

参考技术A

近几年冒出来的BI之秀，如TB、qlk都强调可视化，一改传统BI工具SAP BO、IBM家的cognos（不过近几年貌似都在研发云BI）。  这里不谈开源，还没见到能成熟应用的BI。成熟的BI工具如 FineBI （国内）和 Tableau（国外），都很推荐。tableau可视化探索分析很赞，数据量多的时候性能较差，企业用多并发价格贵。FineBI 国产帆软，为数不多能占据世界领先地位的数据工具，重在数据处理性能和企业应用的复杂情况（市场步伐很快），自带ETL，可视化还行，价格良心，个人用免费。如图可视化效果：

参考技术B 可视化编程 可视化编程，亦即可视化程序设计：以“所见即所得”的编程思想为原则，力图实现编程工作的可视化，即随时可以看到结果，程序与结果的调整同步。 可视化编程是与传统的编程方式相比而言的，这里的“可视”，指的是无须编程，仅通过直观的操作方式即可完成界面的设计工作，是目前最好的Windows应用程序开发工具。 可视化编程语言的特点主要表现在两个方面：一是基于面向对象的思想，引入了控件的概念和事件驱动；二是程序开发过程一般遵循以下步骤，即先进行界面的绘制工作，再基于事件编写程序代码，以响应鼠标、键盘的各种动作。 可视化编程十问 1. 什么是可视化程序设计? 可视化(Visual)程序设计是一种全新的程序设计方法，它主要是让程序设计人员利用软件本身所提供的各种控件，像搭积木式地构造应用程序的各种界面。 2. 可视化程序设计有哪些优点? 可视化程序设计最大的优点是设计人员可以不用编写或只需编写很少的程序代码，就能完成应用程序的设计，这样就能极大地提高设计人员的工作效率。 3. 能够进行可视化程序设计的语言有哪些? 能进行可视化程序设计的语言很多，比较常用的有微软的Visual Basic、Visual C＋＋、中文Visual Foxpro、Borland公司的Delphi等。 4. 可视化程序设计中有哪些基本概念? 主要的几个基本概念有表单、组件、属性、事件、方法等。 5. 什么是表单(Form)? 表单是指进行程序设计时的窗口，我们主要是通过在表单中放置各种部件(如命令按钮、复选框、单选框、滚动条等)来布置应用程序的运行界面。 6. 什么是组件? 所谓组件，就是组成程序运行界面的各种部件，如：命令按钮、复选框、单选框、滚动条等。 7. 什么是属性? 属性就是组件的性质。它说明组件在程序运行的过程中是如何显示的、组件的大小是多少、显示在何处、是否可见、是否有效…… 8. 属性可以分成哪几类? 属性可分成三类，设计属性：是在进行设计时就可发挥作用的属性；运行属性：这是在程序运行过程中才发挥作用的属性；只读属性：是一种只能查看而不能改变的属性。 9. 什么是事件? 事件就是对一个组件的操作。如用鼠标点击一个命令按钮，在这里，点击鼠标就称为一个事件(Click事件)。 10. 什么是方法? 方法就是某个事件发生后要执行的具体操作，类似以前的程序。例如当我们用鼠标单击“退出”命令按钮时，程序就会通过执行一条命令而结束运行，命令的执行过程就叫方法。 面向对象程序设计 1．历史回顾 1967年挪威计算中心的Kisten Nygaard和Ole Johan Dahl开发了Simula67语言，它提供了比子程序更高一级的抽象和封装，引入了数据抽象和类的概念，它被认为是第一个面向对象语言。20世纪70年代初，Palo Alto研究中心的Alan Kay所在的研究小组开发出Smalltalk语言，之后又开发出Smalltalk-80，Smalltalk-80被认为是最纯正的面向对象语言，它对后来出现的面向对象语言，如Object-C，C++，Self，Eiffl都产生了深远的影响。随着面向对象语言的出现，面向对象程序设计也就应运而生且得到迅速发展。之后，面向对象不断向其他阶段渗透，1980年Grady Booch提出了面向对象设计的概念，之后面向对象分析开始。1985年，第一个商用面向对象数据库问世。1990年以来，面向对象分析、测试、度量和管理等研究都得到长足发展。 实际上，“对象”和“对象的属性”这样的概念可以追溯到20世纪50年代初，它们首先出现于关于人工智能的早期著作中。但是出现了面向对象语言之后，面向对象思想才得到了迅速的发展。过去的几十年中，程序设计语言对抽象机制的支持程度不断提高：从机器语言到汇编语言，到高级语言，直到面向对象语言。汇编语言出现后，程序员就避免了直接使用0-1，而是利用符号来表示机器指令，从而更方便地编写程序；当程序规模继续增长的时候，出现了Fortran、C、Pascal等高级语言，这些高级语言使得编写复杂的程序变得容易，程序员们可以更好地对付日益增加的复杂性。但是，如果软件系统达到一定规模，即使应用结构化程序设计方法，局势仍将变得不可控制。作为一种降低复杂性的工具，面向对象语言产生了，面向对象程序设计也随之产生。 2．面向对象程序设计的基本概念 面向对象程序设计中的概念主要包括：对象、类、数据抽象、继承、动态绑定、数据封装、多态性、消息传递。通过这些概念面向对象的思想得到了具体的体现。 1）对象 对象是运行期的基本实体，它是一个封装了数据和操作这些数据的代码的逻辑实体。 2）类 类是具有相同类型的对象的抽象。一个对象所包含的所有数据和代码可以通过类来构造。 3）封装 封装是将数据和代码捆绑到一起，避免了外界的干扰和不确定性。对象的某些数据和代码可以是私有的，不能被外界访问，以此实现对数据和代码不同级别的访问权限。 4）继承 继承是让某个类型的对象获得另一个类型的对象的特征。通过继承可以实现代码的重用：从已存在的类派生出的一个新类将自动具有原来那个类的特性，同时，它还可以拥有自己的新特性。 5）多态 多态是指不同事物具有不同表现形式的能力。多态机制使具有不同内部结构的对象可以共享相同的外部接口，通过这种方式减少代码的复杂度。 6）动态绑定 绑定指的是将一个过程调用与相应代码链接起来的行为。动态绑定是指与给定的过程调用相关联的代码只有在运行期才可知的一种绑定，它是多态实现的具体形式。 7）消息传递 对象之间需要相互沟通，沟通的途径就是对象之间收发信息。消息内容包括接收消息的对象的标识，需要调用的函数的标识，以及必要的信息。消息传递的概念使得对现实世界的描述更容易。 3．面向对象语言 一个语言要称为面向对象语言必须支持几个主要面向对象的概念。根据支持程度的不同，通常所说的面向对象语言可以分成两类：基于对象的语言，面向对象的语言。 基于对象的语言仅支持类和对象，而面向对象的语言支持的概念包括：类与对象、继承、多态。举例来说，Ada就是一个典型的基于对象的语言，因为它不支持继承、多态，此外其他基于对象的语言还有Alphard、CLU、Euclid、Modula。面向对象的语言中一部分是新发明的语言，如Smalltalk、Java，这些语言本身往往吸取了其他语言的精华，而又尽量剔除他们的不足，因此面向对象的特征特别明显，充满了蓬勃的生机；另外一些则是对现有的语言进行改造，增加面向对象的特征演化而来的。如由Pascal发展而来的Object Pascal，由C发展而来的Objective-C，C++，由Ada发展而来的Ada 95等，这些语言保留着对原有语言的兼容，并不是纯粹的面向对象语言，但由于其前身往往是有一定影响的语言，因此这些语言依然宝刀不老，在程序设计语言中占有十分重要的地位。 4．面向对象程序设计的优点 面向对象出现以前，结构化程序设计是程序设计的主流，结构化程序设计又称为面向过程的程序设计。在面向过程程序设计中，问题被看作一系列需要完成的任务，函数（在此泛指例程、函数、过程）用于完成这些任务，解决问题的焦点集中于函数。其中函数是面向过程的，即它关注如何根据规定的条件完成指定的任务。 在多函数程序中，许多重要的数据被放置在全局数据区，这样它们可以被所有的函数访问。每个函数都可以具有它们自己的局部数据。下图显示了一个面向过程程序中函数和数据的关系。 图1 面向过程程序设计中函数和数据的关系示例 这种结构很容易造成全局数据在无意中被其他函数改动，因而程序的正确性不易保证。面向对象程序设计的出发点之一就是弥补面向过程程序设计中的一些缺点：对象是程序的基本元素，它将数据和操作紧密地连结在一起，并保护数据不会被外界的函数意外地改变。下图显示了一个面向对象程序中对象与函数和数据的关系。 图2 面向对象程序设计中函数和数据的关系示例 比较面向对象程序设计和面向过程程序设计，还可以得到面向对象程序设计的其他优点： 1）数据抽象的概念可以在保持外部接口不变的情况下改变内部实现，从而减少甚至避免对外界的干扰； 2）通过继承大幅减少冗余的代码，并可以方便地扩展现有代码，提高编码效率，也减低了出错概率，降低软件维护的难度； 3）结合面向对象分析、面向对象设计，允许将问题域中的对象直接映射到程序中，减少软件开发过程中中间环节的转换过程； 4）通过对对象的辨别、划分可以将软件系统分割为若干相对为独立的部分，在一定程度上更便于控制软件复杂度； 6）以对象为中心的设计可以帮助开发人员从静态（属性）和动态（方法）两个方面把握问题，从而更好地实现系统； 7）通过对象的聚合、联合可以在保证封装与抽象的原则下实现对象在内在结构以及外在功能上的扩充，从而实现对象由低到高的升级。 面对对象的程序设计方法 在数据输入模块内部设计中，采用面向对象的设计方法。[6]面向对象的基本概念如下： 对象：对象是要研究的任何事物。从一本书到一家图书馆，单的整数到整数列庞大的数据库、极其复杂的自动化工厂、航天飞机都可看作对象，它不仅能表示有形的实体，也能表示无形的（抽象的）规则、计划或事件。对象由数据（描述事物的属性）和作用于数据的操作（体现事物的行为）构成一独立整体。从程序设计者来看，对象是一个程序模块，从用户来看，对象为他们提供所希望的行为。在对内的操作通常称为方法。 类：类是对象的模板。即类是对一组有相同数据和相同操作的对象的定义，一个类所包含的方法和数据描述一组对象的共同属性和行为。类是在对象之上的抽象，对象则是类的具体化，是类的实例。类可有其子类，也可有其它类，形成类层次结构。 消息：消息是对象之间进行通信的一种规格说明。一般它由三部分组成：接收消息的对象、消息名及实际变元。 面向对象主要特征： 封装性：封装是一种信息隐蔽技术，它体现于类的说明，是对象的重要特性。封装使数据和加工该数据的方法（函数）封装为一个整体，以实现独立性很强的模块，使得用户只能见到对象的外特性（对象能接受哪些消息，具有那些处理能力），而对象的内特性（保存内部状态的私有数据和实现加工能力的算法）对用户是隐蔽的。封装的目的在于把对象的设计者和对象者的使用分开，使用者不必知晓行为实现的细节，只须用设计者提供的消息来访问该对象。 继承性：继承性是子类自动共享父类之间数据和方法的机制。它由类的派生功能体现。一个类直接继承其它类的全部描述，同时可修改和扩充。继承具有传递性。继承分为单继承（一个子类只有一父类）和多重继承（一个类有多个父类）。类的对象是各自封闭的，如果没继承性机制，则类对象中数据、方法就会出现大量重复。继承不仅支持系统的可重用性，而且还促进系统的可扩充性。 多态性：对象根据所接收的消息而做出动作。同一消息为不同的对象接受时可产生完全不同的行动，这种现象称为多态性。利用多态性用户可发送一个通用的信息，而将所有的实现细节都留给接受消息的对象自行决定，如是，同一消息即可调用不同的方法。例如：Print消息被发送给一图或表时调用的打印方法与将同样的Print消息发送给一正文文件而调用的打印方法会完全不同。多态性的实现受到继承性的支持，利用类继承的层次关系，把具有通用功能的协议存放在类层次中尽可能高的地方，而将实现这一功能的不同方法置于较低层次，这样，在这些低层次上生成的对象就能给通用消息以不同的响应。在OOPL中可通过在派生类中重定义基类函数（定义为重载函数或虚函数）来实现多态性。 综上可知，在面对对象方法中，对象和传递消息分别表现事物及事物间相互联系的概念。类和继承是是适应人们一般思维方式的描述范式。方法是允许作用于该类对象上的各种操作。这种对象、类、消息和方法的程序设计范式的基本点在于对象的封装性和类的继承性。通过封装能将对象的定义和对象的实现分开，通过继承能体现类与类之间的关系，以及由此带来的动态联编和实体的多态性，从而构成了面向对象的基本特征。 面向对象设计是一种把面向对象的思想应用于软件开发过程中，指导开发活动的系统方法，是建立在“对象”概念基础上的方法学。对象是由数据和容许的操作组成的封装体，与客观实体有直接对应关系，一个对象类定义了具有相似性质的一组对象。而每继承性是对具有层次关系的类的属性和操作进行共享的一种方式。所谓面向对象就是基于对象概念，以对象为中心，以类和继承为构造机制，来认识、理解、刻画客观世界和设计、构建相应的软件系统。。按照Bjarne STroustRUP的说法，面向对象的编程范式： l 决定你要的类； 2 给每个类提供完整的一组操作； 3 明确地使用继承来表现共同点。 由这个定义，我们可以看出：面向对象设计就是“根据需求决定所需的类、类的操作以及类之间关联的过程”。 面向对象设计方法的特点和面临的问题 面向对象设计方法以对象为基础，利用特定的软件工具直接完成从对象客体的描述到软件结构之间的转换。这是面向对象设计方法最主要的特点和成就。面向对象设计方法的应用解决了传统结构化开发方法中客观世界描述工具与软件结构的不一致性问题，缩短了开发周期，解决了从分析和设计到软件模块结构之间多次转换映射的繁杂过程，是一种很有发展前途的系统开发方法。 但是同原型方法一样, 面向对象设计方法需要一定的软件基础支持才可以应用，另外在大型的MIS开发中如果不经自顶向下的整体划分，而是一开始就自底向上的采用面向对象设计方法开发系统，同样也会造成系统结构不合理、各部分关系失调等问题。所以面向对象设计方法和结构化方法目前仍是两种在系统开发领域相互依存的、不可替代的方法。 参考技术C 三个关键词：做BI 、数据展现、价格合适
DataHunter可以满足您的需求。 参考技术D 蛛网系统-商业智能-数据可视化本回答被提问者采纳