Hadoop安装与部署
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop安装与部署相关的知识，希望对你有一定的参考价值。
1、hadoop：由java语言开发的开源的分布式计算平台。可提供PB（100万G）存储。hadoop是可靠的，高效的，可伸缩的。
hadoop假设计算元素和存储会失败，维护多个副本，确保针对失败的节点重分布处理。文件以块的方式存储.
2、hadoop最核心的是hdfs和mapreduce，hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和taskreduce组成。
3、hadoop集群包含一个master和若干个slave角色。master称为namenode节点，slave为datanode节点。
4、hdfs命令
hdfs namenode -format：格式化hdfs文件系统
start-all.sh: 启动集群
jps: 查看节点进程
查看master统计信息和hdfs存储信息：http：//masterip:50070
hadoop fs -普通命令： 管理hdfs文件命令
hdfs dfsadmin -report：查看节点状态信息
hdfs dfsadmin -safemode enter|leave|get 开启|关闭|查看 安全模式，在安全模式下只可查看不可写入
以上是关于Hadoop安装与部署的主要内容，如果未能解决你的问题，请参考以下文章
学习笔记Hadoop—— Hadoop集群的安装与部署—— 配置Hadoop集群