大数据入门-三分钟读懂Hadoop
Posted 水坚石青
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据入门-三分钟读懂Hadoop相关的知识，希望对你有一定的参考价值。
最近在收集整理大数据入门文章，各位盆友关注点赞不迷路，每天都要开心鸭！
大数据入门系列文章
1.大数据入门-大数据是什么
2.大数据入门-大数据技术概述(一)
3.大数据入门-大数据技术概述(二)
一、背景及概念
背景：经过自己三年多的接触，个人谈一些自己的愚见。我们之所以用Hadoop，是因为关系型数据库已经不能满足我们对数据处理的要求。比如我们要进行数据的追溯以及关联，简单的关系型数据库经过优化以及处理没有办法满足我们对于数据的即时性要求。所以通过Hadoop，我们可以将数据放到Hive通过MR或者Impala去计算查询数据，这样我们的数据会跑的比较快一点。给业务带来诸多便利，帮助业务更好的发展。
概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
二、特点
高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
高效性： Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
高容错性：Hadoop能够自动保存数据的多个副本，并且能够将失败的任务重新分配。
低成本：与一体机、商用数据仓库是开源的，项目成本大大降低。
三、架构
四、大白话
个人理解的Hadoop
首先，是因为数据量大，数据种类多，我们传统的关系型数据库已经不能满足我们的需求。Hadoop能干啥，Hadoop是免费的，我们暂时没有很多资金的小伙伴可以使用它。
第二，Hadoop是可以扩展的，就是说我们一台机器不够用了，可以再加一台，流程不是很复杂，简单的写几条命令就可以了。
第三，Hadoop的机器是可以动态的移动数据，这就是啥呢，这就是互帮互助，在现实生活中，你负担大了，我可以帮助你，你可以帮助我。这种帮助机制是有自己的调度资源的。
第四，Hadoop是有容错机制的，什么意思呢。就是说你事情做错了，我们可以有办法给你矫正。当然是要备份之前的副本，可以给你还原回去了。保证你的数据是错误的，现实生活中错误是没有办法避免的，我们唯有每天自省，每天反思，才能避免少犯错误或者不犯错误。让自己弯道超车，让自己少走弯路。
五、其他
下一篇：介绍我们伟大的HDFS，走起。
鸡汤：认识谁都没有用，只有自己牛逼了才有用。人只有奋斗，才会快乐。
备注：以上资料来自网络，侵删。
来来来，看这里，如果你觉得这篇文章对您有帮助，请关注点赞加收藏，想要了解更多请关注公众号联系博主，祝您生活愉快，身心健康！
大数据入门系列文章
1.大数据入门-大数据是什么
2.大数据入门-大数据技术概述(一)
3.大数据入门-大数据技术概述(二)
以上是关于大数据入门-三分钟读懂Hadoop的主要内容，如果未能解决你的问题，请参考以下文章