大数据分析到底需要多少种工具

Posted 2023-02-18

　一、hadoop
　　Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
　　Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
　　二、HPCC
　　HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。
　　三、Storm
　　Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、 Admaster等等。
　　Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。
　　四、Apache Drill
　　为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel。该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。
　　通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
　　五、RapidMiner
　　RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
　　六、 Pentaho BI
　　Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。 参考技术A 在工具学习上，入门工具推荐两类：SQL（Structured Query Language）、Microsoft Office Excel，进阶工具推荐：SPSS Clementine/Python。
1、SQL
SQL是数据提取工具，大中型企业都会建立自己的数据库系统，常用数据会建立数据报表系统（常说的BI系统，即business intelligence），供业务人员使用。但深入业务分析需要更多的底层数据，报表系统里没有呈现的数据，这时就需要使用SQL工具提取数据库系统数据。
SQL工具很多，有oracle、mysql、sqlserver、hive等，除了细微差异，大多数SQL语句都通用。
SQL工具学习很容易，真正需要下功夫的是对数据库表结构的了解。从常用数据表了解，摸清数据指标及含义，建立起表结构间关系，完成日常工作数据提取工作为要。有精力的童鞋可以再去探索非常用数据表。
2、Microsoft Office Excel
Excel应该是所有数据分析师的入门工具。除了一些常用功能使用外，就是使用数据透视表和多学习内嵌函数，能省去不少工作量。除了数据量级处理有限外，Excel功能强大不能仅仅用强大来形容。高阶Excel学习，可以继续了解宏使用。
3、SPSS Clementine/Python
在数据分析进阶路上，还有一类工具是：数据建模工具，如SPSS Clementine、R、Python等。大数据时代，数据维度过于丰富，数据量级过于庞大，对于未知数据探索，手动计算发现数据关系的工作量已经过于繁重，交给这些数据模型工具就简单多了。其内嵌了大量精细的数据算法，我们需要做的就是掌握统计理论，掌握算法原理，输入规范的数据，等待模型的结果。当然，对模型的掌握，结论的解读，业务的理解，都是使用建模工具必须要学习的。本回答被提问者采纳 参考技术B 比如R语言偏向绘图、python偏向兼容数据库、spark是未来趋势、hadoop 参考技术C 第一维度：数据存储层——数据报表层——数据分析层——数据展现层，第二维度：用户级——部门级——企业级——BI级 参考技术D 一般做大数据分析，首先会使用到大数据数据库，比如MongoDB、GBase等数据库。其次会用数据仓库工具，对数据进行清洗、转换、处理，得到有价值的数据。然后使用数据建模工具进行建模。最后使用大数据工具，进行可视化分析。
根据以上的描述，我们按过程对用到的工具进行讨论。
1、 大数据工具：数据存储和管理工具
大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。
2、 大数据工具：数据清理工具
使用数据仓库工具-Hive。Hive是基于Hadoop分布式文件系统的，它的数据存储在HDFS中。Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。
3、 大数据工具：数据建模工具
SPSS：主要用于数据建模工作，功能稳定且强大，能够满足中小企业在业务模型建立过程中的需求。
4、 大数据工具：数据可视化分析工具
一站式数据分析平台-亿信ABI，对上述所说的工具ABI都有。平台提供ETL数据处理、数据建模以及一系列的数据分析服务，除了中国式复杂报表、dashboard、大屏报表外，还支持自助式分析，包括拖拽式多维分析、看板和看板集，业务用户通过简单拖拽即可随心所欲的进行探索式自助分析。