Hadoop精华问答 | Hadoop 和Spark有什么区别？

Posted 2021-04-13 CSDN云计算

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop精华问答 | Hadoop 和Spark有什么区别？相关的知识，希望对你有一定的参考价值。

我们很荣幸能够见证Hadoop十年从无到有，再到称王。感动于技术的日新月异时，希望通过今天的有问有答深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。

Q：Hadoop是什么？

A：Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。

从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 MapReduce。

HDFS(Hadoop Distributed File System)是可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取，主要负责存储。
MapReduce 为分布式计算框架，包含map(映射)和 reduce(归约)过程，负责在 HDFS 上进行计算。

我们先来了解下 Hadoop 的发展历史，如图 1-1 所示。

Q： Hadoop 有哪些优点呢？

A：Hadoop 是一个能够让用户轻松架构和使用的分布式计算的平台。用户可以轻松地在 Hadoop 发和运行处理海量数据的应用程序。其优点主要有以下几个：

(1) 高可靠性： Hadoop 按位存储和处理数据的能力值得人们信赖。

(2) 高扩展性： Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以干计的节点中。

(3) 高效性： Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

(4) 高容错性： Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分。

(5) 低成本：与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比，Hadoop 是开源的，项目的软件成本因此会大大降低。

Hadoop 带有用 Java 语言编写的框架，因此运行在 linux 生产平台上是非常理想的， Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

Q：Hadoop解决哪些问题？

A：海量数据需要及时分析和处理

海量数据需要深入分析和挖掘
数据需要长期保存

海量数据存储的问题：

磁盘IO称为一种瓶颈，而非CPU资源
网络带宽是一种稀缺资源
硬件故障成为影响稳定的一大因素

Q：Hadoop 和Spark有什么区别？

A：Hadoop 和Spark 两者都是大数据框架，但解决问题的层面有所不同。Hadoop更多是一个分布式数据基础设施，将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，节省了硬件成本，而Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，依赖于分布式数据存储。

其次， Spark要比Hadoop的MapReduce计算速度快很多。Spark，它会在内存中以接近“实时”的时间完成所有的数据分析，从集群中读取数据，完成所有必须的分析处理，将结果写回集群。对于动态数据实时分析而言，Spark要比Hadoop性能较为优越。

Q：Hadoop在大数据中的作用是什么？

A：Hadoop大数据处理的相关产品有很多，如Hive、HBase、Spark、Storm、Mahout等等，用户的需求也能够日益得到满足。相比于使用场景已基本固化的关系型数据库，Hadoop功能更加灵活。并且Hadoop是开源项目，有开源社区和大多技术者的支持，开发维护也较为方便。在Hive中，关系型数据主要基于SQL语言，并且Hadoop有SQL型，同时也可以用Java、Python等进行开发。