常用的大数据分析软件都有哪些？

Posted 2023-02-18

数据分析的工具千万种，综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。 参考技术A

工具介绍

1、前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。

国内的有BDP，国云数据（大数据魔镜），思迈特，FineBI等等。

2、数据仓库

有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

3、数据集市

有QlikView、 Tableau 、Style Intelligence等等。

扩展资料

大数据分析的六个基本方面

1、Analytic Visualizations（可视化分析）

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

2.、Data Mining Algorithms（数据挖掘算法）

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3、Predictive Analytic Capabilities（预测性分析能力）

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4、Semantic Engines（语义引擎）

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5、Data Quality and Master Data Management（数据质量和数据管理）

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。

6、数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。

参考技术B 回答

一、Excel

Excel使用人群众多是新手入门级数据分析工具，也是最基本的数据分析工具之一。Excel主要学习使用常用函数、快捷键操作、基本图表制作、数据透视表等。Excel具有多种强大的功能，可以满足大多数数据分析工作的需要。而且Excel提供了相当友好的操作界面，对于有基本统计理论的用户来说更容易上手。

二、SQL软件

SQL是一种数据库语言，它具有数据操作和数据定义功能，交互性强，能给用户带来很大方便。SQL专注于Select、聚合函数和条件查询。关联库是目前应用较广的数据库管理系统，技术较为成熟。这类数据库包括mysql.SQLServer.Oracle.Sybase.DB2等等。

SQL作为一种操作命令集，以其丰富的功能受到业界的广泛欢迎，成为提高数据库运行效率的保证。SQLServer数据库的应用可以有效提高数据请求和返回速度，有效处理复杂任务，是提高工作效率的关键

三、Python软件

Python提供了能够简单有效地对对象进行编程的高级数据结构。Python语法和动态类型，以及解释性语言的本质，使它成为大多数平台上写脚本和快速开发应用的编程语言，并可用于可定制软件中的扩展程序语言。丰富的Python标准库提供了源代码或机器代码，适用于各种主要系统平台。Python有极其简单的解释文档，所以更容易上手。

四、BI工具

BI工具是商业智能(Busines Inteligence)分析工具的英文缩写。它是一个完整的大数据分析解决方案，可以有效地整合企业中现有的数据，快速准确地提供报表和帮助领导作出决策的数据依据，帮助企业做出明智的业务决策。BI工具是根据数据分析过程设计的。首先是数据处理，数据清理，然后是数据建模，最后是数据可视化，用图表识别问题，影响决策。

 参考技术C 大数据行业因为数据量巨大的特点，传统的工具已经难以应付，因此就需要我们使用更为先进的现代化工具，以下是几款常用软件：

1、思迈特软件Smartbi大数据分析平台：定位为一站式满足所有用户全面需求场景的大数据分析平台。它融合了BI定义的所有阶段，对接各种业务数据库、数据仓库和大数据分析平台，进行加工处理、分析挖掘和可视化展现；满足所有用户的各种数据分析应用需求，如大数据分析、可视化分析、探索式分析、企业报表平台、应用分享等等。

2、HPCC，HighPerformanceComputingandCommunications（高性能计算与通信）的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。

2、Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。

数据分析工具靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求

参考技术D

数据分析软件有Excel、SAS、R、SPSS、Tableau Software。

1、Excel

为Excel微软办公套装软件的一个重要的组成部分，它可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。

2、SAS

SAS由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体。SAS提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程，几乎囊括了所有最新分析方法。

3、R

R拥有一套完整的数据处理、计算和制图功能。可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。

4、SPSS

SPSS除了数据录入及部分命令程序等少数输入工作需要键盘键入外，大多数操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成。

5、Tableau Software

Tableau Software用来快速分析、可视化并分享信息。Tableau Desktop 是基于斯坦福大学突破性技术的软件应用程序。它可以以在几分钟内生成美观的图表、坐标图、仪表盘与报告。

常用的大数据工具都有哪些？

未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。

未至科技小蜜蜂网络信息雷达是一款网络信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。
未至科技泵站是一款大数据平台数据抽取工具，实现db到hdfs数据导入功能，借助Hadoop提供高效的集群分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决大数据传统抽取导致的作业负载过大抽取时间过长的问题，为大数据仓库提供传输管道。
未至科技云计算数据中心以先进的中文数据处理和海量数据支撑为技术基础，并在各个环节辅以人工服务，使得数据中心能够安全、高效运行。根据云计算数据中心的不同环节，我们专门配备了系统管理和维护人员、数据加工和编撰人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和分析人员等，满足各个环节的需要。面向用户我们提供面向政府和面向企业的解决方案。
未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术,
包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop
MapReduce的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对,
在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。
未至科技数据立方是一款大数据可视化关系挖掘工具，展现方式包括关系图、时间轴、分析图表、列表等多种表达方式，为使用者提供全方位的信息展现方式。 参考技术A 常用的大数据采集工具有八爪鱼、Content Grabber、Parsehub、Mozenda、Apache Flume等。
八爪鱼是一款免费的、可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据。
Content Grabber是一个支持智能抓取的网页爬虫软件。
Parsehub是一款基于网页的爬虫程序。
Mozenda是一款网页抓取软件，它还可以为商业级数据抓取提供定制服务。
Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 参考技术B 数据挖掘和数据分析的能力在当今时代相当重要， 智能的工具是你与竞争对手对抗并为公司业务增加优势的必备条件。我列出了一部分最热门的大数据工具，供大家参考。

Part 1：数据采集工具

1 .八爪鱼

八爪鱼是一款免费的、简单直观的网页爬虫工具，无需编码即可从许多网站抓取数据。无论你是初学者还是经验丰富的技术人员或企业高管，它都可以满足你的需求。为了减少使用上的难度，八爪鱼为初学者准备了“网站简易模板”，涵盖市面上多数主流网站。使用简易模板，用户无需进行任务配置即可采集数据。简易模板为采集小白建立了自信，接下来还可以开始用“高级模式”，它可以帮助你在几分钟内抓取到海量数据。此外，你还可以设置定时云采集，实时获取动态数据并定时导出数据到数据库或任意第三方平台。

2. Content Grabber

Content Grabber是一个支持智能抓取的网页爬虫软件。它的程序运行环境可用在开发、测试和产品服务器上。你可以使用c#或VB.NET来调试或编写脚本来控制爬虫程序。它还支持在爬虫工具上添加第三方扩展插件。凭借其全面综合的功能，Content Grabber对于具有技术基础的用户而言功能极其强大。

3.Import.io

Import.io是一款基于网页的数据抓取工具。它于2012年首次在伦敦上线。现在Import.io将其商业模式从B2C转向了B2B。2019年，Import.io收购了Connotate并成为网页数据集成平台。凭借广泛的网页数据服务，Import.io成为了业务分析的绝佳选择。

4. Parsehub

Parsehub是一款基于网页的爬虫程序。它支持采集使用了AJax， JavaScripts技术的网页数据，也支持采集需要登录的网页数据。它有一个为期一周的免费试用窗口，供用户体验其功能。

5. Mozenda

Mozenda是一款网页抓取软件，它还为商业级数据抓取提供定制服务。它可以从云上和本地软件中抓取数据并进行数据托管。

Part 2：数据可视化工具

1. PowerBI

Microsoft PowerBI同时提供本地和云服务。它最初是作为Excel插件引入的，不久PowerBI凭借其强大的功能开始普及。目前，它被视为商业分析领域的软件领导者。它提供了数据可视化和bi功能，使用户可以轻松地以更低的成本实现快速，明智的决策，用户可协作并共享自定义的仪表板和交互式报告。

2. Solver
Solver是一家专业的企业绩效管理(CPM)软件公司。Solver致力于通过获取可提升公司盈利能力的所有数据源来提供世界一流的财务报告、预算方案和财务分析。其软件BI360可用于云计算和本地部署，它专注于四个关键的分析领域，包括财务报告、预算、仪表板和数据仓库。

3.Qlik
Qlik是一种自助式数据分析和可视化工具。它具有可视化仪表板，可简化数据分析，并帮助公司快速制定业务决策。

4.Tableau Public
Tableau 是一个交互式数据可视化工具。不像大多数可视化工具那样需要编写脚本，Tableau的简便性可以帮助新手降低使用难度。只需托拉拽的简单操作使数据分析轻松完成。他们也有一个“新手入门工具包”和丰富的培训资料，可帮助用户创建创更多的分析报告。

5. 谷歌Fusion Tables
Fusion Table 是谷歌提供的数据管理平台。你可以使用它来做数据收集、数据可视化和数据共享。他就像电子数据表，但功能更强大更专业。你可以通过添加CSV、KML和电子表格中的数据集和同事共享资料。你还可以发布数据资料并将其嵌入到其他网页属性中。

6. Infogram
Infogram是一种直观的可视化工具，可帮助你创建精美的信息图表和报告。它提供了超过35个交互式图表和500多个地图，帮助你可视化数据。除了各种各样的图表，还有柱状图、条形图、饼图或词云等，它用创新的信息图表给你留下深刻印象。 参考技术C 大数据工具特别广泛了，数据建模、数据分析挖掘、数据采集、数据展示等都有不同工具，目前我能说得上的是软件机器人小帮数据采集工具，对于CS、BS架构的软件都能兼容，更适合大数据这个范畴，不过，采集数据只是第一步，整个大数据工具的话，是个更系统的概念了。 参考技术D 大数据是互联网发展的方向，大数据人才是未来的高薪贵族。随着大数据人才的供不应求，大数据人才的薪资待遇也在不断提升。大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。综合以下是10家专门从事大数据构建或相关业务的企业所提供的应用程序，有需要的可以直接收藏了！
1. Domo
Omniture公司前首席执行官Josh James于2010年创立了Domo公司，为企业提供了一种方法，可以从不同来源、不同的孤岛中查看数据。它自动从电子表格、社交媒体、内部存储、数据库，基于云的应用程序，以及数据仓库中提取数据，并在可定制仪表板上显示信息。它以其易用性以及几乎任何人都可以建立和使用它而闻名，而不仅仅是数据科学家采用。它配备了许多预加载的图表和数据源设计，可以快速移动。
2. Teradata Database
从Teradata Database 15开始，该公司增加了Teradata统一数据架构等新的大数据功能，使企业能够跨多个系统访问和处理分析查询，其中包括从Hadoop导入和导出双向数据。它还添加了地理空间数据的3D显示和处理，以及增强的工作负载管理和系统可用性。支持AWS和Azure的基于云计算的版本称为Teradata Everywhere，它在基于公共云的数据和本地部署的数据之间提供了大规模的并行处理分析。
3. Hitachi Vantara
Hitachi Vantara的大数据产品是建立一些流行的开源工具基础上。Hitachi Vantara成立于2017年，是日立数据系统公司的存储和数据中心基础设施业务部门，是由Hitachi Insight集团物联网业务和日立Pentaho大数据业务组合成的一家合资公司。 Pentaho基于Apache Spark内存计算框架和Apache Kafka消息系统。Pentaho 8.0还增加了对Apache Knox Gateway的支持，以对用户进行身份验证，并强制访问大数据存储库的访问规则。它还增加了对依靠Docker容器构建分析应用程序的支持。
4. TIBCO公司的Statistica
TIBCO公司的Statistica是针对各种规模企业的预测分析软件，使用Hadoop技术对结构化和非结构化数据执行数据挖掘，解决物联网数据，能够在全球任何地方的设备和网关上部署分析，并支持数据库内分析来自Apache Hive、MySQL、Oracle、Teradata等平台的功能。它使用模板来设计完整的分析，因此只有较少的技术用户可以进行自己的分析，并且可以将模型从电脑导出到其他设备。
5. Panoply
Panoply公司依靠使用人工智能来销售所谓的智能云数据仓库，以消除转换、集成和管理数据所需的开发和编码。该公司声称，其智能云数据仓库实质上提供了数据管理即服务，能够在无需任何干预的情况下消费和处理高达1PB的数据。其机器学习算法可以检查来自任何数据源的数据，并对该数据执行查询和可视化。
6. IBM Watson Analytics
Watson Analytics是IBM公司的基于云计算的分析服务。当用户将数据上传到Watson时，它会根据数据分析向用户提供可帮助回答的问题，并立即提供关键数据可视化。它还可以进行简单分析、预测分析、智能数据发现，并提供各种自助服务仪表板。IBM公司还有另一种分析产品SPSS，可用于从数据中发现模式，并查找数据点之间的关联。
7. SAS Visual Analytics
Statistical Analysis System (SAS)创建于1976年，比大数据的创建还要早，就是为了处理大量数据。它可以从各种来源中挖掘、更改、管理和检索数据，并对所述数据执行统计分析，然后将其呈现在一系列方法中，如统计数据、图表等，或将数据写入其他文件。它支持所有类型的数据预测和分析要点，并附带预测工具来分析和预测流程。
8. Sisense商业智能软件
Sisense公司声称其提供了唯一的商业智能软件，使用户可以依靠从商品服务器硬件上的多个源进行来准备、分析和可视化复杂数据。Sisense的片上高性能数据引擎可以在一秒钟内完成对TB级数据的查询，并且为不同行业提供了一批模板。
9. Talend的大数据工作室
Talend一直专注于为Hadoop生成干净的原生代码，无需手动编写所有代码。它为各种大数据存储库提供接口，如Cloudera，MapR，Hortonworks和Amazon EMR。它近期添加了一个数据准备应用程序，可以让客户创建一个通用字典，并使用机器学习，自动执行数据清理过程，以便在更短的时间内为数据处理准备好数据。
10. Cloudera
Apache Hadoop公司是很受欢迎的提供商和支持者，它与戴尔、英特尔、甲骨文、SAS、德勤和凯捷等公司都有合作关系。它由五个主要应用程序组成：核心数据管理平台Cloudera Essentials，数据管理平台Cloudera Enterprise Data Hub，用于商业智能和基于SQL的分析的Cloudera Analytic DB; 高度可扩展的NoSQL数据库Cloudera Operational DB，以及Cloudera Data Science and Engineering，在Core Essentials平台上运行的数据处理、数据科学和机器学习。